文章主题：关键词：ChatGPT, 人工智能, 自然语言处理, 科技公司
作者：朱秋雨
来源：盐财经（ID：nfc-yancaijing）
横空出世的ChatGPT狂潮，让科技公司久违地出现了“神仙打架”。
在2月7日，谷歌公司宣布推出其ChatGPT的竞争对手Bard后，我国知名AI企业百度迅速响应，宣布将推出一款名为“文心一言”的大语言模型。
近期，ChatGPT的担忧在我国大型企业之间持续蔓延。为了应对这一趋势，百度公司正积极与合作伙伴展开密切合作，并宣布将于3月份将百度地图、联想小新等多个平台与文心一言进行整合。
一周之内，中国科技巨头纷纷对ChatGPT表态。
腾讯2月9日称，在相关方向上已有布局。 阿里巴巴则被曝将AI大模型嵌入钉钉。公司也回应称，“确实在研发中，目前处于内测阶段”。 科大讯飞称，公司已有超过40个通用领域的中文预训练语言模型，预告新产品将于5月推出。
ChatGPT的突然亮相，让许多大型企业感到手忙脚乱。据清华大学计算机系自然语言处理实验室副教授刘知远在《盐财经》上的回忆，历史上能够引起广泛关注的人工智能事件屈指可数。其中最引人注目的一次，当属2017年，由AlphaGo战胜世界围棋冠军柯洁的壮举。
人们或许没有预料到，到了2023年，人工智能将有可能成为改变人类工作方式的效率利器。有学者将ChatGPT的颠覆性与苹果、安卓系统相提并论，认为当前的人工智能就如同未经激发的能量的智能手机，其潜力巨大，但尚未完全释放。
在未来三年或五年内，如果我们想要在ChatGPT方面取得进展，中国必须采取行动。据新浪微博AI实验室的负责人张俊林透露，中国的这一轮发展必须与全球保持同步。
尽管，从实际情况出发，“百度们”的数据质量和成本因素影响下，要推出中国版ChatGPT难度依存。
在宣扬ChatGPT所开启的广大可能性时，一个关键性的问题尚未得到解答：究竟是什么使得ChatGPT的技术成为未来的代表？
搞清楚这个问题，我们再推测，中国大厂们做ChatGPT，到底差了哪一截。
01
总统的演讲稿，ChatGPT写的
在2022年的最后一个月，我国互联网上热点话题聚焦于提供奇特回答的ChatGPT。虽然这家公司迅速封锁了我国IP地址用户，但ChatGPT的卓越回应已经以截图的形式在网络上广泛传播。
概括ChatGPT的惊艳感，那便是以假乱真、接近人类。
ChatGPT写的悼念文章，笔触细腻
这篇文章具有独特的魅力，它能够阐述出这样一句至理名言：“拥有过去，就能创造整个宇宙。”同时，在人类的启发下，它可以展现出多种才华，如撰写文章、创作诗歌以及模仿名人的言语风格。
以色列总统艾萨克 · 赫尔佐格在2月7日发表的演讲时透露，自己的部分讲稿就是ChatGPT撰写的。
比如，演讲结尾这句，“让我们不要忘记，是我们的人性让我们真正与众不同。”
ChatGPT拥有如此强的语言能力，连长期研究AI自然语言处理的专家也感到吃惊。张俊林坦言，ChatGPT是基于GPT-3.5模型的产品，“我想过ChatGPT会很好，但没想到那么好”。
比起5年前火了的AlphaGo，张俊林惊叹的是ChatGPT覆盖各个领域的实用性。“AlphaGo尽管带了一波热潮，但对实际应用的带动很有限。如何下围棋，这是一个封闭问题。”
而“上知天文下知地理”的ChatGPT经发布，已经让许多行业感到被撼动。
张俊林举例，ChatGPT的编程代码能力很强，可以根据人类一句话生成代码。“据我所知，一些公司开始用它生成或检查代码，来替代程序员的部分工作。”
清华大学计算机科学与技术系长聘副教授黄民烈告诉盐财经，ChatGPT“在一个模型里可以完成各种开放式任务，而且智能化水平相当之高，任务范围覆盖之广，能力之强，”这是令他惊叹的。
张俊林介绍，在现今科技公司的竞逐上，ChatGPT背后依托的大语言模型（LLM）一直都在持续升级。
据Analytics India Magazine整理的全球顶尖大厂的LLM，许多都迈入了千亿参数级。Open AI的GPT-3模型有1750亿个参数，谷歌的LaMDA模型有1370亿参数，LG的Exaone模型有3000亿参数。
2022年6月15日，谷歌研究院联合DeepMind和斯坦福大学发表了一篇论文：《大语言模型的突现能力》（Emergent Abilities of Large Language Models）。其中研究了谷歌，DeepMind和OpenAI的5个语言模型系列的8个“突现能力”
上榜的两家中国公司在体积上也不示弱。百度的ERINE 3.0拥有2600亿参数，华为的盘古大模型有2000亿。
但“一直以来最大问题是，大语言模型的能力比较强，使用的时候却发挥不出它的能力，”张俊林说。
ChatGPT的一大突破体现在此。它创造了结合人类反馈信息训练语言模型（RLHF）的办法。
据Open AI披露，ChatGPT的训练分为三步。第一步常规步骤，即训练及微调GPT模型。
第二步是使用真实的用户评价标记生成内容的排序，训练出奖励模型（Reward Model）。
第三步，通过奖励模型为GPT生成内容打分，再用近端策略优化（PPO）进一步优化模型。
通过人类的真实评价来训练模型，张俊林说，这让ChatGPT在理解人的表达和语意上更进一步。“人们可以对着它畅所欲言，想说什么就说什么，和它反复对话，它都完全可以理解。这一点是最有突破性的。”
ChatGPT对文本的理解能力很强，甚至能够“读懂”笑点
Open AI同时要求人工标注员在评价机器生成结果时，遵循“有用”“真实”“无害”三大原则。这让ChatGPT给人一种礼貌、真诚、不冒犯人的体面感。
而在ChatGPT未出现之前，张俊林介绍，机器训练的效果通过测试集合来评估。“假设，测试集合里有100个任务，每个任务都有打分和指标。那么AI模型的优劣，最终通过完成任务的优劣程度来决定。”
这个办法，没有将真实的人的需求考虑入内。
“ChatGPT的基座模型都在真实调用上不停迭代和优化。它不仅仅是技术上的成功，更是系统、工程、数据上的成功。”黄民烈总结。
02
百度的自嗨与自省
“ChatGPT这一波浪潮，中国必须要跟，”张俊林焦虑地说：“通用人工智能3至5年迭代一次。在这一波落后的话，今后想跟也跟不上了。”
2017-2025年我国搜索引擎市场规模及预测情况，随着消费互联网红利见顶，增长放缓成为了搜索巨头们的共同问题。图源：观研天下
也难怪被寄予厚望的国内巨头百度最为着急，2022年底，李彦宏梳理了百度的不顺。
“百度这几年过得比较苦，财报、业务增长性都不是那么光鲜。”他还说：“有些技术同学做的事离市场很远，纯属自嗨，做了一两年发现东西没人用。”
批评归批评，李彦宏还是把希望落在了百度自称深耕10年的AI技术上。他判断，“百度的机会是把技术变成人人需要的产品，这一步最难，但也最能产生影响力。”
人人需要的产品，百度不是没做过，搜索引擎便是，只是基本公认已经被它做废了。以至于偌大中文市场，没有一个好用的搜索引擎。
ChatGPT带来的技术未来，如果百度再棋差一着，这家企业未来的存在堪忧，也会被口水淹没。所以焦虑是必然的。
如果说2022年的百度还在忧愁AI该落向何处，ChatGPT在2023年被微软加快嵌入office产品和搜索引擎等的一系列动作，给了百度充足的紧迫感和方向感。
张俊林认为,之所以说ChatGPT是从零到一的产品，是因为它给AI界指明了大模型和通用人工智能的方向。
“以前AI的研发倾向于按领域训练出一个专有模型，比如一个专门翻译的AI模型，一个用于文本摘要的模型等等。但ChatGPT给大家证明一点，一个大规模的通用模型，可以解决大多数问题和任务。”
刘知远也告诉盐财经，ChatGPT的出圈会让AI从过去只解决特定问题的“小作坊”转向了完成通用任务的“航空母舰”。这是两种底层技术的区别和迭代。
AIGC产业链，图源：国海证券
他介绍，在2010年左右，AI的深度学习曾受过一轮关注和讨论。当时的成功建立在有监督的机器学习上。
“AI学习的数据提前由专家标注好，这些数据都是有目标的。”此后的很长一段时间，“大家默认，数据标注得越多，模型学得就越好”。
但2018年开始，Open AI的GPT模型和谷歌的Bert等大语言模型横空出世，都是基于自监督学习方法。
“这类大模型的不同之处在于，不事先假定到底需要完成哪些任务或者特定能力。它穷尽互联网尽可能获取更多的数据，让模型自动地从这些数据里面学习知识。”
几次迭代后，从ChatGPT的效果看，AI技术已经发生了跨越式的变化。
刘知远回忆，人工智能在2018年左右有一个热门研究领域，叫少次学习(Few-shot Learning)，即假设AI学习了大量一定类别的数据后，对于新的类别，只需少量的样本就能快速学习。
“大模型的数据训练之后，我们会发现，因为AI见得足够多，它已经有了非常强的联想类比能力。过去没有的推理能力、少次学习、举一反三的能力，好像一下都出现了。”刘知远说。
喜人的技术革新由ChatGPT率先引爆。上述专家都相信，今后，大语言模型将成为人工智能界的主流。
03
中国没能诞生ChatGPT，谁全责
一个重要的前沿方向在几年前就出现。但2018年以来，除了Open AI和谷歌“大张旗鼓”在做，鲜有科技公司入局。中国的大厂除了百度和华为，其他也极少公开其对大语言模型的布局。
一个说法是，这是一个很贵的技术。Open AI很特殊，所有的资源流向了它。
2019年，设计ChatGPT的旧金山小公司OpenAI获得了微软大手笔10亿美元的投资。在此后的几年里，微软又悄悄地投资20亿美元。
完美的合作不只体现在“不差钱”上。前谷歌研究员艾登·戈麦斯曾表示，“建立这些系统真的需要一台超级计算机。而地球上没有多少这样的计算机。”
2019年，Open AI首席执行官山姆·奥尔特曼在受访时透露：“微软10亿美元的投资大部分是以OpenAI所需的计算能力出现的。微软成为其实验室唯一的算力来源。”
靠着“金主爸爸”的投资，GPT-3模型在2020年推出时，便突破了千亿级参数。据国盛证券2月12日名为《ChatGpt需要多少算力》的报告估算，GPT-3训练一次的成本约为140万美元（约合960万元）。对于一些更大的语言模型，训练成本介于200万美元至1200万美元（1300-8300万元）之间。
OpenAI text-davinci-003模型，是所有模型里效果最接近ChatGPT的一个模型
该报告同时表示，对于全球科技大企业而言，百万至千万美元级别的训练成本虽然不便宜，但尚在可接受范围内。
“不算昂贵。”
单次成本大概率不是中国巨头们的考量。张俊林告诉盐财经，Open AI最难得的是，它突破了长期以来AI届的思维惯性。
“以前没走训练大模型的路，完全是基于思维惯性。几十年来，AI界的主流都在研究小模型，希望渐进式地实现突破和发展。”
问题不在于是否舍得投钱，而是取决于公司对通用人工智能的信心。
“不是说之前就没有大厂想过这条路。有很多人想过这条路，”张俊林说，“但是没有人（像Open AI一样）如此有决心发展LLM。那时候，大家不知道这条路能不能走得通,也就不会不计回报地烧钱。”
这也就能解释，为何百度等中国巨头和研究机构，技术底子并不薄弱，投入的也足够多，但类似ChatGPT的产品就是没率先在中国出现。这背后或许更多是路线选择和选择方法的差异。
黄民烈分析，就发展ChatGPT的底层技术而言，中国有很多团队和公司都有。“但在最终体现的系统能力上，我们有较大的差距。这里面有企业家精神、资本环境、人才、技术理念等多方面的因素，非常复杂。”
“比如大模型研究，我们是做一个项目，还是实现AI生成内容（AGI)的最终理想？”
“比如资本，我是为了短期逐利，还是坚持长期投入？”
这些差异都导致了“百度们”现今陷入奋起直追的被动结果。
部分国内科技公司布局AIGC赛道
好消息是，ChatGPT很大程度上依靠“大力出奇迹”的方法，靠着参数升级、反复训练和生成内容反馈持续迭代优化。反复投入、烧钱、迭代，这对中国公司并不陌生。
但坏消息是，留给“百度们”的时间不多了。
通用人工智能的技术迭代正在全球加速。刘知远说，虽然底层技术差别不大，但AI技术变革非常快。这一领域又对专利有要求，“国内外很多研究组都没那么快开展这方面研究。”
他认为，与ChatGPT有关的大模型以及背后技术，学界和业界都没有完全吃透。
张俊林分析，做第二个ChatGPT除了钱的门槛外，还有数据的阻碍。“中文数据相对英文数据还有太大差距。”他解释，由于互联网上英文占比最高，中文的高质量数据比英文相差很多。“要制作出一个相同能力的模型，在数据方面也有一定短板。”
而想做成类ChatGPT产品，刘知远认为，不只事关算法和底层技术。“数据、算力和人力的投入，可能都会是问题。这个领域本身需要有一个持续的投入，有一个量变，才能够产生质变。”
据调研机构CB Insights数据显示，2022年有110笔创投交易和AIGC概念有关，投资金额超过26亿美元
他判断，中美科技公司的差距，保守估计1-2年。
2023年，席卷公众视野的ChatGPT无疑让众多中国科技公司拉响“红色警报”。如果这一波没有迎头赶上，技术的优势可能将造成结构性垄断和技术壁垒。到时候，再漂亮的讲故事能力，都无法掩盖技术的空心。
尽快做出叫好叫座的ChatGPT之余，黄民烈认为，国内科技公司的难点不在于什么时候推出中国版的ChatGPT。
“而是在这股AI浪潮中，我们到底是否能够有深入的远见和创新性的想法，最终在人工智能时代迎面赶上，实现超越。”
盐财经，南风窗旗下唯一财经号关注它，看新鲜热辣的财经讯息
THE END
关键词：ChatGPT, 人工智能, 自然语言处理, 科技公司
相关文章
