ChatGPT引领革命？大模型‘涌现’能力揭示未来数字经济新纪元！揭秘这三项关键技术，国内竞争如何

21世纪经济报道记者董静怡 上海报道

🌟 ChatGPT引领革命性对话变革，人工智能里程碑触手可及 🚀 作为行业翘楚，它正以惊人的智慧，颠覆着我们对智能化的理解。它的卓越表现预示着，一个无所不在的基座系统即将崛起，以闪电般的速度渗透至各行各业，重塑数字经济格局。🚀 随着ChatGPT的崛起，未来将更加精彩，科技的力量将引领我们步入前所未有的数字繁荣时代！🌍 #ChatGPT #人工智能里程碑 #数字经济革命

🌟【ChatGPT革命性揭秘】🔍大模型的“涌现魔力”引领科技新变革！🎓邱教授深度解析，ChatGPT的崛起源于其在海量数据训练中的超凡跃升。💥当计算量突破10²²级别时，奇迹发生了——模型展现出了远超期待的能力爆炸式增长，开启了技术革新的新篇章！🌟欲知更多，探索AI未来之路，敬请关注21世纪经济报道！🌐

🌟阅读量的秘密：从一到亿，知识的深度与广度💡想象一下，一本书的力量能让你记住两页的内容，但海量书籍的海洋中，每读过10,000本，你就可能领悟出新的智慧火花。当跨越1亿本书的大门时，你可能会发现规律在其中游走，仿佛掌握了世界的脉络。邱锡鹏教授的话语揭示了知识积累与智能跃升的神奇过程。然而，大模型如何在特定数量级后实现质变，背后的机制仍然是个谜团等待揭晓。🚀

🌟 当提到”涌现”这一概念，它无疑揭示了一条成功的路径——通过扩大模型的容量来赋予其智能。AI围棋领域的突破性进展，谷歌BERT以3亿个参数量傲视群雄，成为了历史上的里程碑；而2020年之后，GPT-3的横空出世更是将参数规模推向了令人震撼的1750亿大关。这一显著的增长趋势，无疑证明了规模化的优势与智能的深度关联。🚀

🌟ChatGPT之所以能在AI领域独领风骚，背后倚仗的三大关键技术是🌟情境理解、心智连贯与语令解析。这三大能力犹如引擎，驱动着ChatGPT展现出卓越的智能表现和无限可能。🚀

🌟🎨情景学习引领革新，重塑机器学习新纪元！只需巧用🌈Prompt💡，详述任务魔咒，配上实例剧场，模型就能如魔术师般，根据指令一挥而就，任务达成无压力！🚀🏆无需繁琐联系方式，让知识的力量直达每一个思维角落。🌍

思维链则使得模型具有了推理的能力，让本来模型不会解的一个个复杂问题，分解成很多简单问题，然后通过逐一解决简单问题，最终使得复杂问题同样迎刃而解。

指令学习则使模型能够理解并执行各种自然语言指令，将任务指令化以便机器理解。人类只需要在少量的任务上进行指令化，在经历大概40多个任务指令化之后，对模型进行适度微调，就很容易泛化到上百、上千种任务，即使它从来没有见过。

在模型优化过程中，人的参与意义非常重要，使得机器在迭代中始终保持和人类的价值观、思维方式对齐，也避免了机器自己迭代起来有可能会离人类的偏好和初衷越来越远。

放眼国内，大模型的竞争也愈发激烈。2月20日，复旦大学自然语言处理实验室发布了国内首个类chatgpt模型MOSS，3月16日，百度发布“文心一言”，打响大厂入局的第一枪，此后，阿里云、商汤科技均公布了自家的大模型产品，国内大模型的百团大战一触即发。

但这些产品较ChatGPT来说，还存在一定差距，邱锡鹏也承认，目前MOSS的任务完成度却并不高，主要原因在于MOSS在部署和训练上投入的资本还非常有限，相较于千亿级的ChatGPT，大概只是其规模的十分之一。“我们现在仍旧在加紧迭代MOSS，预计将于4月中旬开源。”

邱锡鹏表示，尽管目前的通用人工智能技术尚且存在很多不足，包括随机性、不可控、容易“一本正经地胡说八道”等等，但随着时间的推移，这些问题都将在未来通过各种方式逐步改进。

正如图灵奖得主、著名人工智能专家杨立昆（Yann LeCun）所言：下一代模型应该更加具有事实性、无害性、即时性，并且能够灵活使用计算器、数据库、搜索引擎、模拟器等各种辅助工具，而这也是人们亟需重点解决的时代课题。

《21世纪》：我们如何复现ChatGPT这一大型语言模型？面临哪些挑战？

邱锡鹏：第一步需要先实现语言模型基座，第二步是指令微调，第三步是能力不断强化迭代。虽然这些关键步骤以及大概方法已经十分明朗，但每一步的细节都需要我们自己去一一摸索，还是充满着各种未知的挑战性。

第一步主要是Transformer架构上进行模块优化。首先，对于ChatGPT来说，它并没有特别关注中文，很多时候只是直接把中文按照英文的方式进行编码，我们作为中国人自然是希望对中文进行优化，就需要重新实现更好的中文编码，并想办法把中文和英文打通；此外，将来如果接入多模态的话，编码问题同样会带来架构设计以及训练稳定性等诸多问题与麻烦。

第二步是指令微调，个人认为指令微调的难度甚至比预训练更高。在预训练阶段，大家可以利用一些大公司成熟的预训练模型，在短时间内取得不错的训练效果；但是指令微调则非常难以立马做到，这一点上和OpenAI之间存在着非常明显的差距。

在与人类对齐方面，想要让模型的回答尽可能符合我们人类的思维习惯，也很难做到。而且考虑到OpenAI暂不开源，我们只能够一步步慢慢向前探索。如果我们要想超过ChatGPT，肯定就得去找到一条比它更好的实现路径，而这个过程无疑充满艰险。

《21世纪》：如何看待国内AI生态？

邱锡鹏：我们的生态还没有建好。OpenAI做ChatGPT的时候，它不需要分心做其他东西，只是把模型做好。微软帮它做算力，还有其它公司帮它做部署，数据也有专门的公司来进行数据清洗。它是在整个生态中去做的，这样的多方协作生态促使它的发展非常快。

而我们国内每家公司都要做，这就会产生一个问题，每家都做自己的，但每家数据、算力也有限，也没有多少钱可以支持研发，并且又在做一些很基础的、重复性的事情。而我们希望能促进大模型的协作生态，在MOSS开源之后，底层的重复性的工作就不要做了，把整个生态建起来。

如果我们有一个统一的大模型平台和基座，下面对接一下国产的算力，做好一份接口，大家都可以来用，能够去促进一个生态链的建设，使得整个中国的AI能够往前进一步发展。我们现在仍旧在加紧迭代MOSS，预计将于4月中旬开源。

《21世纪》：3月22日，美国的生命未来研究所向全社会发了一封公开信，呼吁所有的人工智能实验室暂停研制比GPT-4更强大的AI系统的训练，暂停的时间是6个月，如何看待这件事？

邱锡鹏：机器的迭代速度会快于人，在某一天总会超过人的，停止这六个月或者半年没有意义。并且很多时候也很难停下来，从很多公司的商业利益出发肯定会迭代的。我们目前为止的AI还是可控的，它目前的形式还是在语言层面的，没有接入到社会的方方面面。有一天当它接管了很多东西，成为了我们的某种基础设施之后，这就非常关键了，你要控制它各种能力，这时避免危害不光要靠技术，还要靠一些法律法规。

《21世纪》：类ChatGPT的AI将如何对未来社会形成颠覆性影响？

邱锡鹏：考虑到ChatGPT已拥有通用语言理解的能力，并可以进一步增加对外接口，成为通用人工智能的技术基座。这也就意味着通用人工智能的加速实现对于现阶段的人类来说已经不是梦想。甚至乐观一点说，像科幻片里面的人工智能形象可能很快就会在我们的生活中出现。

以ChatGPT为代表的通用人工智能技术，可以引爆数字经济，充分发挥数据和算力效能，并催生出海量的新商业模式；可以赋能产业数字化，并通过人机协同的方式解决行业专家资源不足的问题；可以以数字人、个人助理、搜索引擎等形式对数字经济新业态、新模式提供发展动能；更将深刻改变教育、社会治理、司法等领域的生态，大幅提升行业水平。

当然，我们也必须正视，目前的通用人工智能技术尚且存在很多不足，包括随机性、不可控、容易“一本正经地胡说八道”等等，不过，相信这些问题随着时间的推移，都将在未来通过各种方式逐步得到改进。

对于下一阶段的大型语言模型来讲，我们目前重点需要去做的事情就是让模型和现实世界以及人类的价值观进行“对齐”，成为一个真正的智能体，具有自身学习、跨模态学习、知识和工具利用等能力。与此同时，AI与人类价值观“对齐”也同样不可忽视，毕竟如果AI的价值观和人的价值观背道而驰，那将会是非常危险的。

《21世纪》：AI未来的发展方向是如何的？

邱锡鹏：以前一直做的人工智能模型都是弱人工智能模型，比如AlphaGo只能下围棋。目前ChatGPT的表现类似于通才，但是它可能在细分的专业性上和行业中比较顶级的专家还有很大的差距。我认为它将来会有不同的分支，往不同的专业方向上发展，以大模型为基础，产生很多的分领域的不同模型。这对于之前的人工智能研究来说应该都是一个大的颠覆。

《21世纪》：中国如何在这场科技浪潮中抓住机会？

邱锡鹏：我是比较乐观的。我们的AI以场景的丰富度或者应用层面的创新性领先，在AIGC或者大模型浪潮中，应用驱动也是很重要的。有了底座之后，我们再去把AI产品打磨好，这些应用场景的数据在我们国内是非常丰富的。