连接密码：探究Seq2Seq模型背后的故事

Connect the dots

在2014年，Yoshua Bengio和他的蒙特利尔大学同事们正致力于探索将编码器-解码器方法应用于机器翻译领域的可能性。这篇论文，预计将成为机器学习研究领域的重要里程碑，但在当时却遭遇了一些困难。论文的主要作者，Yoshua Bengio的博士后KyungHyun Cho发现，他的模型在处理长句子翻译时仍然存在许多问题。这些问题若得不到解决，模型的整体实力将难以令人满意。

在当时，蒙特利尔大学正与IBM公司展开深度合作。其中，负责对接的科学家从纽约远道而来，旨在与Yoshua和KyungHyun共同展示他们在研究中取得的最新成果。然而，令人意外的是，这位科学家很快就发现了这个模型存在的一个重大缺陷。

它缺少一个对齐（alignment）的机制，也就是判断目标输出语言里的哪些词与输入语言是对齐的。

在后续的研究成果中，我们可以看到这种对齐的思想被融入到研究之中，这使得长句翻译的效果得到了显著的提升。这篇论文以及后来与Ilya Sutskever共同创立了OpenAI公司后的研究成果，共同奠定了Seq2Seq模型的基础理论。在这篇论文以及对齐策略的使用中，我们看到了后来对人工智能发展产生深远影响的注意力机制的雏形，它们被认为是推动各种模型走向底层统一的重要来源之一。

这名给Bengio提出建议的科学家是周伯文。

在IBM工作了超过十个年头的周伯文，在公司的T. J. Watson研究中心担任自然语言理解与语音翻译团队的领导。当Geoffrey Hinton于2012年证明神经网络的可行性之后，周伯文便率领着团队成为了最早致力于研究神经网络与自然语言表征的科学家之一。

在蒙特利尔进行学术研究的Yoshua Bengio，同时，周伯文在纽约开启了一项基于seq2seq与注意力机制架构的创新研究。与他人不同的选择是，他在生成式写作领域展开了探索。回顾他的过去研究主题，发现其中贯穿始终的一条主线便是通向通用人工智能。他坚信，通用人工智能的实现路径中，生成式人工智能将是必经之路。

周伯文在当年的学术会议上引用了著名物理学家费曼的名言：“凡是我不能创造的，我都没有真正理解。”这句话在当日引起了广泛的讨论。周伯文借此机会提出了一个引人深思的观点：即使是那些我们无法制造或理解的事物，也同样值得我们深入探索和研究。事实上，这一观点在人工智能领域尤为重要。随着技术的不断发展，人工智能已经逐渐渗透到我们生活的方方面面。然而，对于AI的创造性和理解力，我们还远不能完全掌握。正如费曼所说，我们需要努力去理解那些我们不能创造的事物，这样才能更好地利用和发展人工智能技术。当然，这并不意味着我们要盲目地追求AI的创新，而是要我们在不断学习和实践的过程中，逐步提高对AI的理解和掌控能力。只有这样，我们才能在未来的科技发展中站在更高的起点上，创造出更多有价值的东西。

不久之后，周伯文团队所提出的生成式摘要论文引起了广泛的关注。然而，周伯文本人仍然认为，该论文在人类行为和泛化能力方面仍有待改进。他指出，当时的注意力机制存在一定的不足之处，这些机制都是基于输出结果来判断输入中需要加强关注的部分。

周伯文以一个生动的比喻，将人工智能的训练过程与大学期末考试做对比。他提到，如果在考试前，老师能够明确地指出重点，让学生针对性地进行复习，那么在考试中取得优异的表现是很自然的。然而，一旦考试结束，学生往往就会忘记他们曾经的努力。这就是为什么，当我们谈论通用人工智能时，我们关注的应该是其长期的效果以及对AI模型的深度训练，而不是短期的输出结果。为了实现这一点，周伯文强调，我们需要设计一个更有效的编码器以及更优化的自然语言表征机制。这样，AI系统就能更好地理解并处理自然语言，从而在各种任务中表现出更高的智能水平。总之，周伯文的观点是，要想真正实现通用人工智能，我们必须把目光投向输入数据，以此为基础进行深入的训练，这样才能达到理想的长期效果。

最终他和团队提出了多跳自注意力（multi-hop self-attention）机制来改善编码器——若继续拿考试做比喻，就是完全不考虑会考什么，只看书，来理解哪里需要更多地赋予注意力，也就是学习自注意力，并且不能限制在单独某一科目或任务的学习上，所以要反复的看，通过多跳来理解内在的依赖关系。2016年底这篇论文完成，2017年初发表，成为第一个完全不考虑下游任务的自然语言表征模式。

在那两年，有关神经网络的一切都在蓬勃的发展着。同年年底，后来被称为一切繁荣的开端的那篇论文出现了，来自谷歌的几个研究员写下《Attention is All you need》的题目，给世界带来了Transformer模型。

在这篇论文中，周伯文的论文被引用，在引用角标对应的地方，多跳自注意力的名字演变成了“多头自注意力”。

“这是一个很好的研究，他们在多头自注意力基础上拓展了两件事。第一就是利用强大的算力，对注意力机制叠了很多层。第二很聪明也很简单，就是把RNN抛弃了，只用位置编码，轻装上阵因此可以用更多的数据。最终证明效果很好。”周伯文对我回忆道。RNN/LSTM之前一直和Seq2Seq模型一起出现，它可以捕捉上下文的关系，但因为需要基于序列顺序来做，所以计算资源消耗巨大。尤其会出现梯度爆炸的问题。

Attention is all you need，这个后来很大程度改变了学术论文起标题风格的短句，今天的关注点都在“Attention”上，但在当时的研究背景里，它更像是在有针对性的喊话：

多头重要，自注意力重要，但RNN不再重要，这打破了当时所有人搭建模型时的惯例，也是和周伯文等之前研究者的论文最大的区别。

这篇论文和Transformer架构彻底改变了一切，它解决了模型长距离记忆的问题。Ilya Sutskever在近期一次采访中回忆，OpenAI在论文出现第二天就立刻彻底转向了Transformer架构。

而后，2020年5月OpenAI基于Transformer架构的GPT-3论文发表，2年后ChatGPT出现。之后的一切都是历史。

“从注意力到自注意力，从BERT到GPT-3，核心的思想都是当不再依赖输出或待预测词的下文等未来的信息时、当可以用更多的数据来更充分训练AI模型时，我们看到了AGI的影子“。

弄潮的人会更早意识到新浪潮到来，在看到GPT3后，当时已经在京东担任高级副总裁的周伯文给自己的职业生涯做了一个重要的决定：

创业。

2021年下半年，他向工作了4年的京东提出离职。他曾在这里一手搭建起京东的整个AI团队，领导了云与AI的整合和战略刷新，把生成式人工智能用到千人千面的个性化商品营销和爆款产品创新中，并收获了亮眼的提升数据。2020-2021年生成式人工智能还是早期探索，很少有人愿意为此而重新出发，但他看到的未来让他无法等待。

人生就是“connect the dots”。周伯文喜欢乔布斯这个提法，而对他来说，把这些点连接起来的一刻到了。

衔远科技的诞生

一个无限的符号。左边是产品，右边是消费者。

周伯文在2021年底的一天在一张A4纸上画下了这个图案，之后衔远科技诞生。

Dots connected。

这种基于生成式的交互智能就是ChatGPT成功背后的重要机制，但在ChatGPT还没出现的当时很少有人懂。

离开大船，带来的是巨大的沉没风险，但他自己想的很清楚。

“终局思考加上对技术阶段和成熟期的判断，让我在2021年决定干这件事情。”在衔远科技位于中关村的办公室，周伯文对我说。他的声音有些沙哑，今年以来他每一天的行程以小时划分，但精力依然充沛，提到技术的演进节点，不自觉会兴奋地提高音量。

周伯文

“展开来说，首先是技术验证，一方面是GPT3这些模型明显看出生成式的能力越来越强。另一方面是我自己早期的一系列技术和效果验证。用生成式AI来做的内容和产品创新等比人类专家的转化率提高30%。”

两相结合，周伯文创办衔远科技要做的，就是用生成式人工智能去重构用户和产品的关系。

“过去的模式虽然已有很多新AI技术的实践，但数智化产业在追求单点，成千上万个小的模型，解决一个个具体环节。我希望做一个基础大模型，学习商品供应链各个环节，并以消费者为中心提升关键环节效率。”

但果不其然的，这个模式在一开始并没太多人理解。周伯文又再次需要做一个判断：这些技术思考和现实的商业模式之间的空隙，他是否又一次太超前了。

“超前是我的常态，但我当时判断是，没有太超前。”他对我说。“我总是说，技术的突破，核心是你的愿景是什么。”

周伯文的技术愿景显然指向通用人工智能，而这一次生成式人工智能的进展，让他更清晰看到通用人工智能的可能性，其中最关键的改变，就是人与人工智能的交互关系的变化。

“过往大家都把人机对话认为是一种应用。我为什么要去做交互呢？我不认为它是个应用，从人类历史早期开始，从孔子与72门徒到雅典学派，人类知识的积累、沉淀、传播，其实都是通过人和人的对话、交互实现的。AI时代类似，我认为人机对话是一个学习与对齐的手段，通过交互，人可以不断地教AI，完成人和AI在复杂任务上的分工协同，并同时确保AI的目标和子目标都与人类对齐。”周伯文说。

在ChatGPT出现后，这种判断成了一种共识。但在2022年初当他去清华大学提出想要做这个课题时，大家也感到新奇。周伯文离开京东后，受聘为清华大学电子工程系长聘教授、清华大学惠妍讲席教授，并设立“协同交互智能研究中心” 。他同时拥有学界和创业者的双重身份，希望通过这两种身份围绕学术与产业的协同更好的助推AI创新发展。

什么才是中国的OpenAI

在中关村不大的会议室里，周伯文给我展示他2021年底最早设计衔远科技的技术底座与商业模式时的幻灯片，网络投屏延迟有些高，“我们的网络资源都在训练模型，”他半开玩笑地说。

这家公司正在按照他的愿景，稳步推进每一个技术细节，打造着模型和产品。

用生成式人工智能去重构用户和产品的关系，周伯文最终将它们指向5D：发现，定义，设计，开发，转化（Discover，Define，Design，Develop，Distribute）。周伯文在和客户的沟通中发现，这5D基本涵盖了品牌和制造商的所有需求。

这5D的任何地方不能只考虑用户或者产品，而是需要把它们链接起来看，也就是需要彼此交互。这也是与以往的不同——5D并不新鲜，它们早已存在，过往周伯文也用技术走通过每一个D，但问题是在大模型之前，模型训练和部署成本都很高。更重要的是，它们是彼此分割的，哪怕是曾经火热一时，试图解决这一问题的数据中台概念也没能改变这个事实。

“当我做了数据中台后，发现这是一个伪命题，因为它是一个ad hoc（临时安排）的东西，是事后定义的。所有人用不同软件看到的数据还是不同，因为最终的入口不同。但衔远科技的大模型做成后，所有企业使将使用5D大模型来实现数智化转型，将其成为统一的入口。”他说。

“生成式人工智能让5D第一次有可能用同一个AI基础模型跑起来。而且能够将5D的数据集中到一起并实现全部穿透，这类场景以前是不存在的。”

“在应用落地层面， 我们研发的领衔Collaborative Innovation Platform SaaS基于大模型的多模态理解、推理与生成能力，通过深刻洞察消费者、场景、商品、品参、研发，协助企业发现商业机会与产品创新。 同时，衔远科技的ProductGPT多轮对话平台为企业每个员工提供根据不同职业角色深度定制的个人助手，通过提供角色特定的技能与知识满足其特定的工作需求， 例如，衔远科技的消费者研究个人助手会提供研究市场趋势、理解消费者需求、市场调研等专业技能与相关知识。”

衔远科技在今年3月1日已完成数亿元天使轮融资，由启明创投领投，经纬创投跟投。不过，在今天已经被一定程度上塑造的中国大模型商业语境里，这样的模型思路似乎会被立刻归类为“垂直模型”，人们认为它需要被建立在一个更强大的，全能的通用大模型之上，而后者才是“百模大战”的焦点。

但周伯文并不这么认为。

“我以前没用大模型这个词，现在大家这样理解，没办法（也要用起来），这样有好处，就是简洁。但它也会把很多东西混淆在一起。”

第一是技术上，他认为，一方面只强调大就会让人们把GPT这种dense model和其他一些MOE（拼接模型，可以大很多）放一起比较，这样并没有意义。另一方面，目前模型的确需要足够大才能涌现一些能力，但未来一定会有新的办法，比如，未来训练一定要提供现在还多的高质量、高智慧密度数据，但模型的表征架构不一定就必须要数量级的增长，如果是可能是我们的表征学习还不够好；推理就更明显，一定是越小越好。

“我一直认为，模型不是越大越好。我们说大模型其实关键是模型提供了预训练能力，具备了基础能力，后面怎么去用是另一个问题。”

第二在商业模式上，“大”其实对应的是ROI里I的部分，但事实上没人要去比I，要比的是R，I是分母越小越好，R是分子越大越好。

以及大模型本身更适合做的是长尾场景，这些往往也是低价值场景。而一些数据上的变化也开始印证这个判断。

“从上个月起，ChatGPT的API 调用量明显下降，日活下降5%，而它之前突增之后也才到谷歌日活的2%。”他说。“人们不知道用它干什么，只当做是一个玩具或一个简易工具。我的判断是必须进入生产力环节，成为人们在生产生活中的刚需。”

所以在衔远科技，大模型在技术底层框架上必须具备通用大模型技术的基础能力，并用科学的方法评估，但同时也需要专业的训练。

“人们都在用LLM来简述OpenAI做的事情，但实际OpenAI自己的定义是——基于多头注意力机制预测下一个词训练出来的最佳的世界知识压缩器。”周伯文找到OpenAI科学家的分享对我说。

也就是，一件产品诞生全过程的知识第一次可以用最佳方式压缩进一个模型。把人和消费者所有交互的数据压缩之后来预测下一个“词”，并可以学会人的场景，情感，来预测产品的参数。

周伯文喜欢引用诺贝尔经济学奖得主丹尼尔·卡尼曼提出的一个理论来解释人工智能与人的关系：人们的思考方式有两类，“系统1”基于直觉和经验判断，快速、不需要大量计算，“系统2”需要语言、算法、计算、逻辑。最初人们以为商业化的AI更适合做“系统1”的工作，比如人脸识别等。ChatGPT则证明了AI做非给定任务系统2的可行性。

而具体到衔远科技，可以拿亚马逊的贝索斯来比喻，他有天生的思维，有亚马逊强大的团队和数据分析能力，也就是强大的系统2，但不是所有商家都有这么强大的能力。但今天一个吃透了互动数据的模型可以让这些能力平民化。

衔远科技科技就是要帮助更多的企业家成为贝索斯。

据品玩了解，衔远科技正在训练的基础模型会在具备通用能力的基础上，更擅长理解人与商品，通过多轮对话方式为企业与消费者以生成式人工智能帮助从商品洞察、定位、设计、研发到营销的创新。

周伯文设计的训练方法，是用约三分之二的通用人工智能的问题，比如数学推理等，再加上三分之一完全围绕着5D的知识来一起训练。

周伯文认为，这是一个用全新技术驱动的全新挑战，而并不是简单地去追随做“下一个OpenAI”。

“因为在OpenAI成功的一瞬间，就意味着任何在该领域跟随的其他公司都不再有是OpenAI的可能。”他说。

“OpenAI是什么，是在没有前人成功的例子上，靠自己对终局的判断，一步步往前走，认为未来应该是这样，而不是那样。如果今天只是做跟随，那就不是中国的OpenAI。”