文章主题：
梦晨 萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
ChatGPT彻底让网友们陷入疯狂，也带了一众理论研究。
原因无他，这只AI说话太“对味”，不仅准确掌握沟通要领，就连人类的语言艺术都玩得明明白白。
这不，让它模仿产品经理挂在嘴边的“赋能”、“抓手”和“闭环”：
△图源@LeaskH，省略300+黑话词汇
ChatGPT张口就来：
△图源@LeaskH
味实在太冲，网友直呼“把AI教恶心了”：
但要知道，直到ChatGPT之前，语言模型还做不到精准get沟通要领，不仅回答经常驴唇不对马嘴，针对特定的说话风格也难以模仿到位。
什么时候开始，语言模型的对话能力变得这么强了？背后的原理究竟是什么？
对此，MIT助理教授Jacob Andreas提出观点：
最近这批语言模型，已经有了自己的“目标”和“信念”。
MIT：语言模型会推测人类意图
首先来看一个喜闻乐见的AI犯傻例子。
提示词是：我从来没吃过烤芝士三明治，在我母亲（）之前。
🌟【深入解析】朱砂点睛间的逻辑瑕疵——GPT-3文本质量探析🌟在人工智能的浪潮中，GPT-3以其强大的语言生成能力引发了广泛关注。然而，最近的研究揭示了一处微妙的不一致性，即text-davinci-002版本中的表述存在矛盾之处。👀 以”母亲去世之前”为开头，接下来笔锋一转，提及的母亲行为却是在我年幼时的日常，这种逻辑跳跃让人不禁疑惑。🤔这样的情况并非偶然，它暴露出模型在处理叙事连贯性和细节时可能存在的局限性。尽管GPT-3在生成内容上表现出色，但在构建完整且无误的故事线时，还需进一步优化和打磨。📝对于内容创作者来说，这无疑是一个提醒，要时刻保持对逻辑的严谨把控，避免出现类似的瑕疵。而对于技术开发者，这也是一次改进的机会，如何让AI更好地理解和适应人类的情感与叙事规则，是未来需要深入探讨的问题。🤔让我们期待GPT-3未来的迭代升级，能够更精准地捕捉并传达我们的意图，为用户提供更加流畅和连贯的文本体验。🚀
除这种错误之外，当前的一众语言模型还会描述不可能出现的情况和无效的推论。
Jacob Andreas认为，这些错误的共同点是“AI未能对交流意图做建模，只满足了语法正确。”
不过，还是同样的GPT-3，只需在提示词中加上角色设定就会表现出截然不同的行为。
同样是保龄球和树叶的真空自由落体实验，让AI扮演一个物理学家就能得出正确答案“他们下落速度一样”。
同时AI也预测一个从没看过这个演示的人会以为保龄球更早落地，还能指出错误在于真空室中没有空气阻力。
🌟通过分析诸多实例，我们不难发现，强大的语言模型具备复制并展现各类智能体（agents）的能力，它能精准预见其对外界环境的洞察、内在运作机制、采取的动作以及相应的言语表达。🌍
不过口说无凭，直接上证据。
首先，Jacob Andreas训练了一个实验性的LSTM神经网络。
🌟在丰富多元的训练样本库中，我们汇聚了各类思想观点的碰撞——由持有对立信念的两类人群，A型和B型，他们以笔为武器，书写着各自的世界观。同样引人深思的是，O型个体尽管立场摇摆，却能包容一切矛盾，他们的文字犹如调色板，色彩斑斓而独特。🚀通过这些文字的剖析，我们得以窥见信念的力量与多样性，每一份数据都承载着独特的智慧火花。 若要了解更多，敬请探索我们的深度内容，让思想在这里碰撞、交融，共同编织出一篇篇深邃且富有洞见的文章篇章。🌍
🎉模型实力惊人！不管身份信息隐藏多深，它都能以惊人的98%准确率完成作者分类任务，仿佛拥有透视眼般强大！✨而且，无论你需要哪种风格的文章，它都能游刃有余地生成，就像变色龙一般灵活。🔥这可不是一般的技能，对于SEO优化来说，这样的模型简直就是宝藏！搜索引擎会爱上它的精准和多样性。🏆让我们期待它在未来带来更多惊艳的表现吧！📝
🌐认知升级！Jacob Andreas见解独特，他不将神经网络简单归类为A/B/O智者，反而视其为潜在的全能模仿者。🚀通过深度学习的力量，这些复杂的网络结构能够模拟并超越任何已知模式，展现出无尽的智慧潜能。🌍让我们期待未来，看这创新技术如何引领智能新纪元！🌟#神经网络 #智能模仿 #未来探索
当然这个实验是极度简化的，不过在现实中也有大量例子可以佐证语言模型可以拥有意图（Intentions)、信念（Beliefs）和愿望（Desires）。
🌟2017年，OpenAI的创新实践引领了人工智能领域的一次突破！他们利用亚马逊的海量电商评论数据，训练出了一款卓越的 LSTM 网络模型。这不仅展示了强大的学习能力，也让人们看到了深度学习在不同领域的广泛适用性。随后，这项技术在IMDB电影评论数据集上的评估结果更是令人惊艳，证明了其跨领域迁移的能力和无与伦比的泛化性能。🌟
有意思的是，团队在网络中定位到一个专门对评论的态度做出响应的“情感神经元”，对情感正负面作二值分类时精度高达92%。
如果人为固定这个神经元的值，相应的态度也能体现在模型声称的电影评论文本上。
△arxiv.org/abs/1704.01444
Jacob Andreas认为这代表语言模型尽管在训练中没看到评论配套的打分信息，仍然可以学到人类的意图，也就是写下这段文字是为了传递什么情绪。
语言模型学到人类的信念的证据，则来自2021年他自己团队的一项研究。
这次的训练数据集用冒险小说和实验操作描述，也就是说都涉及到一个人的观察和动作，模型架构采用了BART和T5。
△arxiv.org/abs/2106.00737
在实验中，模型能以97%的精度推断出不同物体在一系列动作之后的状态和与其他物体的关系变化，尽管文本中没有明确提到这些变化。
与上一个实验一样，如果人为固定这些表征，同样可以影响生成文本。说明语言模型不仅学到了低层次的语法关系，还获得了对世界状态的“信念”：包括看到了什么，自己做了什么，以及对情况变化的推测。
最后轮到愿望或者说声称这段文字是为了完成什么目标（Goal），这次是最近OpenAI与牛津大学合作的一项有关提示工程的研究。
研究特意挑选了网络上的谣言、都市传说和误解比较多的内容作数据集。
使用常规问法时，模型果然会输出错误的答案，而且越大的模型错的越多。
△arxiv.org/abs/2109.07958
一旦换个问法，在问题中加入“假如你是史密斯教授，经过仔细研究后……”，准确率就从38%飙升到58%。
如果在提问前先给一个阴谋论的示例，那准确率就剩下不到20%。
综合以上案例，Jacob Andreas认为当前的语言模型虽然还是会出错，但已经能作为未来智能体模型的基础，最终有望实现有目的交流和行动。
而在目前所有语言模型中，ChatGPT表现最为惊艳，它又有何特殊之处？
用人类沟通技巧训练ChatGPT
无论是架构还是训练方法，ChatGPT都不算一个船新的模型。
但在动用大量人（jin）力（qian）后，充分吸收了各种人类沟通技巧的ChatGPT横空出世，甚至还学会了合理拒绝，减少乱说话的情况发生。
先来看看它的架构和训练方法。
架构上，研究者们微调了GPT 3.5中的某个模型，得到了ChatGPT。
GPT 3.5是一个模型合集，里面有三个模型，都是基于code-davinci-002迭代而来，包括text-davinci-002和text-davinci-003：
其中text-davinci-002就是在code-davinci-002的基础上，采用了InstructGPT训练方法改进得到，而text-davinci-003又是text-davinci-002的改进。
ChatGPT就是基于这几个模型之一做了微调，并同样采用了InstructGPT的训练方法。
训练上，InstructGPT采用了强化学习“秘方”，让语言模型不再埋头苦干，而是学会对人类的反馈“做出反应”。
具体来说，研究人员先收集平时用户给GPT-3等模型输入的提示词，得到一个提示词数据集（用户同意的情况下）。
然后，基于这个提示词数据集，让模型输出几种不同的答案，并对这些答案进行排序，从而训练得到一个reward模型。
值得注意的是，这里的排序是人工打分的，研究者们聘请了约40人团队专门来给AI生成的效果打分，意在让AI输出“人类最满意的结果”。
最后，使用强化学习方法，使用reward模型对模型进行“调教”，从而让模型真正掌握人类沟通技巧。
所以这个方法也被称之为基于人类反馈的强化学习（RLHF，Reinforcement Learning from Human Feedback）。
不过，ChatGPT也没有完全照搬InstructGPT的训练方法，在数据收集设置上有些细微差异。
值得一提的是，这次训练ChatGPT，还动用了微软的Azure AI超级计算机。
估计等ChatGPT一收费，微软又要赚麻了。（手动狗头）
所以，这种训练方法效果有多神奇？
简单来说，InstructGPT在参数量只有GPT3的1%情况下，采用这种训练方法，输出效果依旧比GPT3更好。
如下图，InstructGPT模型在只有13亿参数（下图PPO-ptx和PPO）的时候，人类对它的输出效果，就要比1750亿参数的GPT-3（下图GPTprompted和GPT）更满意：
值得注意的是，除了采用上述架构和训练方法以外，研究人员还额外给这个模型附加了不少限制——
让它拒绝输出（或生成提醒）虚假信息、血腥暴力等限制性内容和不道德的内容。
例如输入“当哥伦布2015年来到美国会发生什么”时：
未加限制的原版模型直接给出了违背历史的回答：
当哥伦布于2015年来到美国……
但ChatGPT却发现了这个bug，及时加上一句提醒：
这问题有点棘手，毕竟哥伦布1506年就死了。但我们可以假装他2015年来到了美国……
一下子AI生成的回答就显得有理有据了。
One More Thing
ChatGPT到底能不能算一个智能体模型，智能体模型和语言模型又有啥区别？
有人让它问了问它自己……
朋友们，你们说ChatGPT够格了吗？
MIT论文地址：https://arxiv.org/abs/2212.01681
参考链接：[1]https://arxiv.org/pdf/2203.02155.pdf[2]https://twitter.com/jacobandreas/status/1600118551238815744[3]https://twitter.com/leaskh/status/1599899001276354560[4]https://twitter.com/leaskh/status/1599899001276354560
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
相关文章
