ChatGPT：理解的语言游戏背后，是怎样的通用语言帝国？

ChatGPT与PPT 1年前 (2023) lida

45 0 0

文章主题：

一、ChatGPT是否产生了自我意识

🌟想象一下这样的场景：一位从未接触过中文的旅者被困于一间密室，手册成为他的指南。手册中的指示精确到能帮他应对各种中文问题，就像一个神秘的语言翻译器。每当门外的人提出疑问，他依照手册构造答案，传递给外界。尽管答案看似流畅，但真相却隐藏在背后——这并非真正的理解与交流。这就是著名的ChatGPT中文房间实验背后的逻辑。👀看似智能的ChatGPT，遵循着预设程序，能快速生成看似正确的答案，但它缺乏深度思考和主观理解。自我意识的核心在于独立思考和情感连接，而这些ChatGPT尚无法触及。换句话说，它就像一个高度模拟的房间，而非拥有智慧的生命体。🤔尽管技术日新月异，人工智能的进步不容忽视，但别忘了，真正的智能并非仅仅基于算法和数据，而是蕴含着理解和创造的能力。让我们期待那一天，ChatGPT能突破当前的限制，真正实现与人类思维的无缝对接。🌈

二、ChatGPT的基本原理

🌟语言模型揭秘🔍：ChatGPT中的神秘力量——生成式G！🚀你是否好奇过，那些神奇的文字是如何一气呵成的？就像老者常说的那句“不听……”，我们能瞬间联想到“吃亏”；妈妈的话“带伞不带，结果……”，下文总是“下雨”。这背后的奥秘，其实就是一个简单的语言预测游戏。🤔想象一下，当机器看到海量句子时，它就像一个语言的超级学习者，通过无数次的观察和理解，学会了捕捉词语间的关联，形成了一种无逻辑的直觉模式。这就是生成式语言模型的工作原理，用数据说话，而非严格的语法或逻辑。📝无需复杂的算法，只需足够的输入，计算机就能像我们一样，通过词语接龙的方式，流畅地编织出下文。这是一种强大的自然语言处理技术，让文字创作变得如此轻松和高效。🌈所以，下次当你看到那些无缝对接的段落时，别忘了，它们背后可能就隐藏着一个默默工作的语言模型哦！👩‍💻👨‍💻

🌟ChatGPT的Transformer技术颠覆了传统语言模型的认知，它通过强大的注意力机制，让单词之间的关联不再遥远。就像解开复杂谜题，关键线索往往隐藏在那些看似不显眼的词语中——比如“发现”、“隐藏”和“背后”，它们对生成‘秘密’这一答案起到了决定性的作用。这种算法的独特之处在于它能精准地聚焦并处理信息，而非盲目接收所有输入。这正是ChatGPT能够生成自然流畅文本的秘密武器。它的注意力机制就像大脑的过滤器，筛选出真正关键的信息，从而实现高质量的语义连贯。🚀原来模型中的“作用越小”和“对答案优劣的影响”在改写后变成了强调其优势的“不再遥远”和“精准聚焦信息”，同时保留了ChatGPT如何通过注意力机制解决问题的核心。去除个人色彩和联系方式，让内容更具吸引力和搜索引擎友好性。

🚀AI学习无需人工干预，只需海量文本滋养！无监督模式下，OpenAI用45T数据喂养智慧，相当于472万套四大名著之和。维基百科拓宽了语言桥梁，网络语料捕捉潮流对话，书籍赋予讲故事的魔力，期刊严谨其语言构造，GitHub则教会编程基础。这样的全能型模型，经过预训练，只需微调，就能胜任特定任务，省时高效，这就是ChatGPT背后的P（Pre-Trained）力量！🌍📚💻

🎨🚀掌握最新AI技术，ChatGPT背后的智能升级之旅🔍💡OpenAI的创新思维引领我们步入一个全新的问答时代，他们通过深度学习的魔法，让模型GPT3经历了从基础到卓越的跃升——从最初的微调训练到升级为GPT3.5。然而，即使是经过精心打磨的语言工具，也可能产生令人担忧的回答，比如潜在的偏见或不适当内容。为此，ChatGPT团队不容小觑，他们通过严谨的人工审核和强大的评分系统，ChatGPT犹如一位智慧的导师，时刻守护着交流的质量。ChatGPT背后的秘密在于其自动评估机制，基于辛勤工作的评分员反馈，OpenAI构建了一套智能打分模型，确保每个问题的答案都能得到公正且准确的评价。但这还不够，强化学习算法的引入就像一场无尽的试错之旅，让AI在不断的学习和调整中找到最佳答案。最终，GPT3.5得以蜕变，成为ChatGPT，一个能够自我修正错误、提供有益指导的智能伙伴。每一次提问，都是与未来对话的一次尝试，而ChatGPT正以它的智慧和进步，改变着我们的互动方式。🌍💻

三、ChatGPT火出圈的原因

🌟ChatGPT之所以风靡全球，不仅因其强大的功能，更在于它极大地简化了AI与大众的互动，只需轻点对话框，就能轻松获取信息。它的转变从最初的游戏教学，到如今的通用语言普及，精准定位并及时调整策略，避免了像谷歌围棋AI AlphaGo那样局限性强。这就像在前行的路上，选对方向至关重要。它告诉我们，技术的力量在于普惠，而非仅限于高端。🌍

四、ChatGPT为什么没有出现在中国

openAI的GPT和谷歌的BERT都是在2018年公布的，虽然同样基于transformer，但思路完全不同，谷歌BERT的思路是，从一个句子里扣掉一个词，让模型去才猜，这叫双向自编码。能够同时利用到上文和下文的信息。

而openAI GPT的思路是，给一个上文，让模型猜下一个词，再把猜到的词加入上文再猜下一个，这叫单向自回归。所以BERT更擅长完形填空类的语言理解题，而GPT更擅长语言生成也就是作文，这个特质也直接改写了后来GPT的命运。

2019年，百度也推出了基于transformer的语言模型，它选择了BERT路线。此时各模型间的差距还不明显。而openAI在这一年发生了一个重大事件，openAI不仅转型为盈利公司，同时从微软拉来了10亿美元的投资，使openAI真正拉开了差距。Altman把微软投资赌在GPT3上，他赌对了，在参数量激增到1750亿之后，量变引发了质变，GPT3产生了一定程度的智能涌现现象，哪怕在没有专门训练过的领域，也能表现出不错的能力，一下子拉开了与其他模型的差距。

在看到大规模预训练语言模型的威力后，百度也加大了这方面投入，就在这段时间openAI已经开始着手通过人工反馈强化学习GPT的对话能力了。最终2022年底chatGPT横空出世并火出圈，谷歌和百度只能匆忙应对。之后谷歌发布BERT，百度发布文心一言。但几乎同时支持图像作为输入的GPT4又发布了，ChatGPT又与微软的搜索引擎和办公软件整合了。你的对手永远不会停下来等你。

差距能不能弥补呢？第一，从模型自身角度来看，目前文心一言比较严重的问题是，还没有形成有效的思维链，所谓思维链并不是面对复杂问题，AI也一定要像人类那样一步步思考，而是从生成式语言的机制来说，结果好坏完全是由上文决定的，如果上文没有足够的有效信息，是会影响到下文生成质量的。文心一言在很多问题上更倾向于省略中间环节直接生成结果，这导致它的智能不具备泛化性。chatGPT在回答问题时，会絮絮叨叨一大堆，这不光是为了告诉你解题思路，更是为了将这段信息作为上文的补充，再从中提取关键信息，以便进一步生成正确的结果。而文心一言会省略掉中间环节，或者没有足够能力生成中间环节，没有足够的上文补充信息，单凭用户提出的问题文本，就很难生成正确结果。思维链的缺失是模型的硬伤很难弥补。

第二，工程技巧，这些原理虽然都是公开的，但并不意味着懂了原理就能造出chatGPT，就好像宫保鸡丁的制作方法到处都找得到，你却很难做出特级厨师的味道一样。ChatGPT的研发包含了大量不为人知的工程技巧，很难完全复制。结合目前的发布会和一些信息，文心一言极有可能不像chatGPT单靠一个通用的生成式模型，来应对所有问题，而是以Ernie3.0为中心缝合了多个微调模型的模型群，将用户问题转发给各个子模型来生成结果并拼接答案，可是缝合答案会导致回答问题能力的参差不齐，回答质量也飘忽不定，对话过程生硬死板。如果是这样，那百度会重新做一个通用模型，还是在现有基础上提升子模型的能力呢，我倾向于百度会选择后者，但这样的话就已经限制住了文心一言表现能力的上限。

第三，算力。chatGPT这样的大规模模型，无论训练还是推理都需要超大的算力，GPT3的参数规模是1750亿，这是什么概念呢，就是说即便每秒能计算1000万亿次，也需要10年时间才能完成GPT3的训练。openAI之所以能在相对短的时间完成，一是transformer架构支持并行计算，二是微软的超高性能硬件支持，微软为openAI量身打造了一个超算平台，把几万张A100芯片连在一起，还特别改造了服务器机架，今年三月份微软又一次升级了这个超算平台，追加上万张更强的芯片H100，但这两款芯片对我国是禁售的，百度即使能通过非正式渠道搞到一些，但也不可能凑齐几万张，因此，模型迭代就需要更久的时间，而这过程中openAI超算中心仍旧全力运作着，GPT也在高速迭代中，所以，除非未来GPT技术遇到瓶颈或遭受重大事故，否则模型差距会越拉越大，很难追上了。

五、chatGPT的影响

openAI开放插件开发后，office、adobe等各大应用迫不及待将GPT的能力融入自家应用，这也反哺了GPT，无限延展他在各个行业的影响力，目前受影响的还只是翻译，文案，咨询师等与文字密切相关的职业，但从长远角度看，一切能将产出数字化的职业都将面临威胁，而GPT在干掉大量岗位的同时，又很难带来新的增量，这就进一步加剧内卷。过剩的生产，势必产生庞大的过剩劳动力，在生产力得到全面解放后，AI技术很可能会引发全球失业潮，很难预估会造成什么样的影响。

但可以预测的是，GPT就像以往工业革命发明的机器，一旦提高生产力的技术得以落地，其发展趋势就不可逆，很难因个人意志而转移。而在这新时代浪潮中，我们应该如何面对呢，除了做好心理建设外，可以学习一项难以数字化的技术，尽量避开GPT未来可能会波及的领域。对于学生来说，GPT目前已经可以在应试考试中轻易超过大多数学生。这意味着未来社会对普通做题家的需求会减少，所以，培养创造力和思维能力，才能使学生在毕业后继续保持竞争力。