ChatGPT后浪汹涌，中国能否在一年内迎头赶上？超大规模训练的秘密与未来挑战
文章主题：
人类对人工智能的恐惧，
从未像今日这般强烈。
2022年11月，美国Open AI公司上线了一款名为ChatGPT的语言大模型——你可以将它理解为是一款人工智能聊天机器人程序。
比起它之前存在的那些聊天机器人，ChatGPT似乎更聪明了。虽然仍然以文字聊天的形式与人类互动，但它已经可以和人类进行非常自然的聊天了。甚至除了聊天，ChatGPT还能够胜任许多较为复杂的语言工作，比如写论文，比如写策划，比如写代码。大量的美国学生正在利用ChatGPT的超强性能实施他们的“作弊计划”——许多学生直接让ChatGPT为自己生成一篇论文或者论文大纲，还有人让ChatGPT帮自己在在线考试中答题。
可以说，这是人工智能这个概念出现以来人类创造出的“最强大脑”。
面对这个展露出前所未有“智能”的聊天机器人，人类的社会陷入一片喧嚣——从北美的华盛顿到东亚的北京，几乎所有关注科技的人都或多或少地参与了关于它的讨论。
今天，我们就来聊聊ChatGPT的前世今生以及分享一些我的想法。
【ChatGPT的前世今生】
ChatGPT的故事要从2017年的一篇论文说起。
2017年，谷歌发布了一篇名为《Transformer: Attention is all you need》的论文。这篇论文的核心就是提出了一个名为“Transformer”的新型模型。
众所周知，AI的运转背后是数学运算，工程师们将现实世界里的各种事物用数学的方式表达给计算机，计算机得出结果之后，再反向用数学的方式回馈一个答案。
在“Transformer”之前，主流的计算方式是顺序性的——后一个时刻的输入依赖于前一时刻的输出，你必须先完成前序计算才能开始下一步的计算。这就好像是逐字逐句地读书，你必须读完上一句才能看下一句。
而“Transformer”的独特就在于它打破了这种顺序性的套路。利用独特的“Attetion机制”（注意力机制），它可以一次性处理所有输入的数据。如果还用读书来做比较，它更像是“一目十行”地看书——一次性输入大量的内容然后自己判断出这本书到底在写什么。
Transformer的独特优势使得它获得相比起之前的AI模型更快的处理速度，也就更适合在超大型数据上进行训练。
一经提出，Transformer立刻就成为了“业界宠儿”——在它的基础上，谷歌做出了BERT模型，另一家新成立的公司Open AI则做出了GPT模型。从名字上我们就能看出，现在的ChatGPT就是从当时的GPT身上发展出来的——ChatGPT相当于是GPT的聊天机器人特化版。
另一个比较有意思的是，ChatGPT之所以体验起来如此丝滑，是因为它的背后有一个叫做“基于人类反馈的强化学习”的机制（HFRL）。相当于是请了人类老师来训练AI模型，教AI模型怎么更好地和人打交道——面对AI输出的结果，人类老师会给予评分，当这个结果符合人类的习惯，就会得高分，反之则会打低分。
某种意义上来说，HFRL可以被看作是一种“抽象的人类意志”，AI模型就是从它身上学会和人打交道所需要的一切知识。
久而久之，在HFRL的辅助下，GPT就会学会如何像真正的人类那样交流。比起之前的模型，它对人类用户的实际意图理解更深刻，还具备了衔接上下文的能力和强大的知识与逻辑。
【ChatGPT，一把尚未出鞘的利刃】
了解了ChatGPT的基本原理，我们就能讨论一下更多有趣的事情了。
当然，现在的GPT还有许多毛病——比如当我的朋友孔老师问它“贾宝玉到底适合《红楼梦》里哪一位女性？”时，ChatGPT果断推荐了贾母——并且煞有介事地给出了自己的理由。
虽然离谱，但是这是可以理解的。毕竟ChatGPT的本质是基于英语的，在它的训练材料中，中国传统文化相关的内容并不会太多——哪怕它可以把维基百科里的无数词条都当作训练素材，其中中文内容的占比也是少数——如果你用英文去问它一些技术问题，那么它的回答会清楚得多。
不论如何，ChatGPT的确是显示出了强大的潜力，它现在虽不完美，但已经足够震撼了。
我最为震撼的地方就在于此：ChatGPT的出现，可能已经宣告着AI技术将会迎来大规模的普及——在ChatGPT之前，AI技术在现实中的运用往往都是大型企业的“专利”，只有大型企业才有钱为自己量身定制。但在ChatGPT之后，通用型的AI已经不再是一个可望而不可及的目标了。
就在今天。2023年的2月8日，微软就将ChatGPT接入了自己的搜索引擎Bing——我们普通人已经可以非常低成本使用它了。
结合已有的成熟技术，现在已经有了无数值得我们想象的未来应用场景。
ChatGPT这种简单的聊天式交互，非常符合我们的日常习惯——暂且忽略掉它胡说八道的事情，当你向它询问某些事情的时候，它的反应的确和真人并无太大的区别。
哪怕仅凭这一个特色，就已经有很多值得想象的地方了。
以现在的一些企业办公软件为例，当你打开这些办公软件，首先看到的就是被各种图标各种菜单填满的界面。如果你和我一样不属于那种每天都需要用办公软件走程序的岗位，那么哪怕是简简单单请个假或者申请一个报销单，你可能都需要在里面找半天。
但如果这个办公软件是基于ChatGPT的呢？那么情况可能就完全不同了——基于ChatGPT的办公软件等于是给公司里的每个人都配了个助理。
你想请两天年假？那么直接告诉它“我要请假”就可以了，它就会直接甩给你一份表格让你填写。
你想去杭州拜访一下客户？那么直接告诉它“我下周三要去杭州出差”，它就会直接用公司的名义和账户帮你订好往返的机票和酒店，顺便还会提醒你保留在杭州的各种发票。
当然了，这些都还只是小儿科，犯不着用ChatGPT也可以解决。但如果你想策划一个活动的话，你可以直接问ChatGPT如何策划，它会直接返回给你一个像模像样的策划案——已经有人通过多次询问的方式让ChatGPT帮他生成了“辩论比赛策划案”了。
再比如去医院挂号看病，现在虽然有了微信小程序挂号和自助挂号机，但是大家都知道这玩意儿操作起来有多繁琐麻烦，年轻人都要填半天表格，更何况老年人呢？
但如果某家医院配备了基于ChatGPT的问诊系统，这些问题瞬间就会变的简单起来——你只需要告诉它你哪里，它就会很自然地问你是简单的咨询还是要去挂号。如果你想咨询或者只是单纯想开点药，它完全可以给你提供一个足够靠谱的解答。
如果你说要挂号，ok，它直接就会帮你分配科室挂号并且顺便甩你一个付款链接。另外，现在语音识别功能这么先进了，就算是普通话不好的老人，通过语音输入也可以实现这套操作。
再比如处理各种必要的证件和手续——想当初我买第一套房的时候，银行的各种手续、房管局的各种流程把我整的要死要活的。如果AI能接管这些事情，我想总还是比亲自跑来跑去要省事儿的多。
总而言之，ChatGPT的强悍之处就在于它那个和真人聊天一样的感觉以及它背后的想象空间——用自然语言指挥一切、实现一切。
【语言生成模型，必须国产化】
但我们需要注意的是：任何事情都有两面性——ChatGPT的想象空间有多大，它能造成的麻烦就有多大——互联网兴起之后，依托互联网的黑色产业也在不断壮大，如今AI崛起已经是时间问题，基于AI的黑产问题也不容小觑。
甚至黑产都是小问题，因为没有人能确保AI不被武器化。
今天，即便是大学教授也无法分辨一篇文章到底是ChatGPT写的还是人类学生写的。既然这样，那么会不会有人专门就做这个生意呢？考试作弊、论文代写……如果这些黑产从业者熟练掌握了ChatGPT，那么他们的破坏力只会更高。
毕竟，原来的“论文代写”是真的要请人写的，几百上千块钱的辛苦费是少不了的，但现在，用AI就可以操作了，整套操作下来做多也就画个十几块钱。
我们再往下想一层，既然ChatGPT写的东西大学教授都无从分辨，那么它如果放在日常的网聊中就更不会被人察觉了。再结合一下现在非常流行的AI绘图、AI语音，以及现在已经开始起步的AI视频……当你的网聊对象会发语音，会发自拍，会和你视频，且对答如流、口齿伶俐的时候，你如何确定对方是真人还是AI呢？
或许到了那天，即便对面是个抠脚大汉也是一种幸运……起码对方是个人呢。
更恐怖的是，如果有人将ChatGPT这样的AI用在干扰舆论、挑动社会情绪上呢？要知道，这些东西其实并不新鲜，之前早就已经存在了——ChatGPT的出现，某种意义上让这些黑产的犯罪成本更低了。
最根本的是，ChatGPT不是中国的，它的管理大权，并不掌握在我们手中。未来如果AI技术大规模普及，深入到了千家万户，如果我们只能用外国的AI，那么就等于是把命脉交到了别人手里——这背后不仅是一个个公民的信息，更是整个国家的种种数据。
因此，在我看来，中国必须开发自己的“ChatGPT”，否则在未来很可能陷入被动局面——因为只有拥有国产自主的“ChatGPT”，我们才能既保证中国社会可以享受到AI产业带来的技术升级，又能够免于被人卡脖子以及无法管理的问题。
昨天，百度的“文心一言”正式得到了官宣。在此之前，2020年的时候，百度就已经开发出了有16亿个参数的、类似ChatGPT的通用对话生成模型PLATO-2——比当时的GPT-2的参数量（15亿）基本处于同一个级别。
不过，我们也还是要正视差距的。
🌟🚀掌握未来，揭秘超大规模语言模型训练的秘密🔍💻在人工智能领域的巅峰之作——诸如ChatGPT这样的巨擎研发中，参数量的递增不仅是技术突破的里程碑，也是经济与智慧的双重挑战🏆💰。亿、十亿、百亿乃至万亿级别的参数规模，意味着海量数据的处理和复杂算法的优化，这不仅仅是砸钱的游戏，更是对顶尖工程师技能和创新思维的严峻考验🎓💻。每一步提升都伴随着技术革新和成本飙升——从实验室到市场，每增加一个零，都是对计算能力、存储空间和算法效率的巨大要求🌈📊。这些训练背后的故事，不仅揭示了科技巨头的战略布局，也彰显了行业生态的动态变迁📈🌍。欲知详情，敬请关注未来AI领域的深度解析，让我们一起见证语言技术的革新之旅🚀🏆
🎉【技术飞跃】ChatGPT的崛起：从1亿到1750亿的巨变！🌟在2018年的AI浪潮中，一个小小的里程碑——GPT以1亿多参数和5GB的数据量崭露头角。然而，仅仅四年后的今天，这个数字已如云霄般翻天覆地变化。现在我们眼前的ChatGPT，不仅参数量暴增到天文数字般的1750亿，数据量更是膨胀了45TB之巨！🚀这不仅是技术的快速迭代，更是数据力量的惊人展现。每一步的进步都标志着人工智能的进步，ChatGPT正以惊人的速度引领着语言理解和生成的新纪元。🔍欲知其变，必观其成。这样的飞跃背后，是科研团队的辛勤耕耘和创新精神的熠熠生辉。让我们期待ChatGPT未来能带给我们更多惊喜与可能！🏆SEO优化提示：使用长尾关键词”ChatGPT参数增长”、”数据量膨胀”、”AI技术进步”等，并融入相关行业术语，如”深度学习”、”大数据驱动”等。
幸运的是，AI行业是一个没有秘密的行业。而且目前全球范围内来看，也只有中美两国有大规模发展AI产业的机会。
🌟中国的AI研发实力正在迅速崛起，ChatGPT的脚步似乎已不再遥远。国内企业已成功孕育出能媲美GPT-3级别的创新大模型，这标志着我们在人工智能领域的技术突破正逐步显现。🚀对于这样的进展，相信中国人的智慧和创新能力将在一年内助力我们实现对ChatGPT的卓越追赶。🌈尽管时间紧迫，但这不仅是科技竞赛，更是国家实力的象征。让我们期待这一激动人心的时刻，为中国AI的发展加油！💪
（以下文章来源于星海情报局 ，作者老局长）
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
相关文章
