揭秘ChatGPT来龙去脉，科技神力背后的数学秘密，你了解多少?

ChatGPT与软件 2年前 (2023) lida

52 0 0

文章主题：关键词: ChatGPT, 人工智能, 计算机科学家, 热度差异

从野蛮社会到人工智能，计算机科学家吴军为你讲解ChatGDP的来龙去脉。

🎉晚上8点炸裂！🌟顶尖科学家吴军老师空降直播间，🔥聚焦AI与ChatGPT的狂热讨论！🚀通过深度解析，带你领略未来科技的无限可能。🎓想更深入？别错过这场知识盛宴，让我们一起探索人工智能的智慧海洋！👇直播地址已隐藏，敬请留意后续更新哦！🏆#吴军直播# #人工智能探索

【这也是得到AI大作战-主题月系列主题直播中的一期，文后结尾有AI大作战-主题月的详细介绍。】

Q1：

ChatGPT的出现，为什么会引起恐慌？

🔥ChatGPT火遍全球，中美舆论反差引人深思！💡虽国内热议如沸，但这股AI浪潮在美国已悄然降温。🔍回顾十年前，新兴科技在中国媒体上的热度远超彼岸，哪怕它们的根在硅谷。👀美国人对新技术的态度往往更务实，而咱们这边，老百姓却显得格外关注，这是个有趣的现象。这背后反映出两国文化差异与信息传播速度不平衡。 ön one hand, 热情洋溢的讨论彰显了我们对科技的好奇和拥抱变化的决心；但从另一面，也可能导致资源过度集中，忽视本土创新的发展。🤔好消息是，这种交流拉近了中美之间的距离，让我们有机会借鉴彼此的经验。坏消息则是，我们需要警惕过度追捧可能带来的泡沫风险。🚀无论结果如何，ChatGPT的兴起无疑提醒我们，科技日新月异，保持敏锐和平衡才是关键。🌍

🚀技术泡沫破裂：区块链热度冷却，元宇宙尚处试验 périod，而Facebook的巨额投资却未带来预期的回报。🔥ChatGPT引发了热议，有人期待，有人担忧，中国也有一部分人企图趁机浑水摸鱼，重复过去的套路。👀然而，真正的未来科技并非一夜成名，而是需要时间沉淀和稳健发展。💡让我们理性看待这些新兴技术，而非盲目追逐炒作的热度。别忘了，每一次泡沫的背后都是一次学习与调整的机会。🌱—原文改写如下：区块链热潮冷却，元宇宙探索仍需冷静观察，Facebook的巨额投资未带来显著效益。ChatGPT引发了热议，其中不乏投机心态。中国亦有部分人试图利用此趋势，但科技前行需要稳健而非短暂热度。让我们对新兴技术保持清醒头脑，而非盲目跟风。泡沫后的学习与调整，才是真正的价值所在。🌱—原文已根据要求进行了改写，保留了主要信息，同时去除了个人和商业细节，增加了SEO关键词，并使用了emoji符号以增加可读性和情感表达。

在讲ChatGPT 是什么以前，我先给大家讲一个历史故事，这历史故事你听起来你就会发笑，但是你回头看，今天是很多人的表现也是如此。

原文讲述了1503年哥伦布的儿子记录的一次航行经历，当时他们误入牙买加，面临食物短缺的问题。为了获取食物，哥伦布和他的船员不得不依赖当地的居民。然而，矛盾随后出现，一些船员因为偷窃当地物品导致当地人停止了供应食物。这段历史事件可以改写为：🌟1503年航海史上的转折：哥伦布探索新大陆的意外插曲 🌍在寻找未知的土地时，哥伦布的船队遭遇了严峻的生存挑战——牙买加的孤立困境。航行至中途，他们急需当地的食物供给。无奈之下，与当地人建立了依赖关系。然而，这段短暂的合作很快因船员的不道德行为而破裂：偷窃事件引发了信任危机，导致食物供应戛然而止。🌟关键词优化：哥伦布、新大陆探索、食物短缺、牙买加、船员矛盾、当地居民、历史事件、生存挑战、信任危机、SEO优化

🌟面对困境，哥伦布展现了他的智慧与预见性。他巧妙地利用了一本古老的万年历，这本日历上详尽记录着天文奇观——日食和月食的精确日期。在那个关键时刻，他向部落首领们阐明，如果他们不提供食物，就等同于触怒了无所不能的神明。🌟上帝的愤怒即将降临，月球将会染上红色，象征着他的惩罚。这不仅是一种警告，也是对未知力量的敬畏。🌟

当然，众所周知，当月全食发生时，地球部分遮挡月亮，映照出红色的景象，即所谓的“血月”。然而，在牙买加，这样的天文现象并非当时居民所熟知。夜晚降临，他们惊讶地发现月亮真的变红了，随后渐渐隐没。恐慌情绪在人群中弥漫，人们纷纷揣测这是神的警示。📚✨

这个部落首领慌忙去求哥伦布，承诺答应哥伦布的所有条件。哥伦布就说，好，我去帐篷里向上帝祷告，让他不惩罚你们，但是我需要一点时间，然后哥伦布就走进了帐篷。其实，进了帐篷之后，哥伦布就是拿着一个沙漏，在看那个计时。

今天咱们有天文学知识，肯定知道月全食的时间，大概也就会维持大概48分钟，到时候月亮就会重新出现。但是，这些牙买加人不知道。他们看到的就是，哥伦布从帐篷里出来，月亮也就出来了。然后哥伦布说，这是上帝已经听了我的劝解，答应宽恕你们，但是你们必须要给我们好好的提供食物。所以，当地人千恩万谢，给他们不断提供食物。

这个故事说明什么呢？月全食这件事，它的发生背后自有其原因，但是在人们不知道这个原因的时候，往往只能把这个自然现象归结为一个神的作用。而这个神，本身又是人创造出来的。也就是说，人自己创造一个神以后，然后趴在神的脚下，成为了他的奴仆。

这就是我为什么讲要给大家开《世界文明史》的课程。

其实这个文明的发展过程，就是人类不断认识自然规律的过程。我们一点点的进步，为的就是让现在的我们不再像当地的土著人那样，盲目地相信一个人向上帝祷告真的可以阻止月亮消失。我们现在知道，在日食月食的背后，实际上是开普勒行星的三定律在起作用，然后在开普勒行星三定律背后是牛顿的万有引力定律。人类搞清楚这个原因以后，对自然就不再仅仅是畏惧了，我们可以利用自然规律做很多很多事情。

Q2：

ChatGPT的技术基础是什么？

从历史回到现在，其实ChatGPT的情况也差不多，背后是一个叫做语言模型的一个数学模型在发挥作用。换句话说，ChatGPT的背后是一个数学模型。在今天，这项技术显得很强大的原因主要是三个：

第一，它用到的计算量很大；

第二，它的数据量很大；

第三，今天训练语言模型的方法比以前要好很多。

那么，语言模型是什么呢？或者说它是一个什么时代的产物？

它是1972 年，由我的导师贾里尼克(Fred Jelinek)带领团队研发的一项技术。具体地讲，是他当时在IBM带着人来完成的一项技术，是用来衡量一句话或者一个语言现象有多么的可能产生。那它有什么用？它最初的用处是做的语音识别，后来是做机器翻译，再后来是做计算机问答，也就是我们今天熟悉的回答问题。

当时它就可以做摘要，比如说举一个例子，有一篇一万字的文章，那么你怎么摘要出十句话能概括这一篇文章的内容。这对于做这个自然语言处理的人来讲，就是一个数学问题。也就是说，你的条件是什么？条件是这一万个字，然后你想得到的结果是什么？结果可能就是十句话，一百个字，然后这里头有很多种组合，你可以随便挑几个句子，也可以把有的句子拆成两段，把后面那些不太重要的修饰或者形容的部分去掉。然后，你也可以把两个句子合成一个句子，那么你在合成一段文本的时候，这个计算机就会计算一个概率，哪些句子合成在一起的概率比较大，它会按照概率帮你合成。

而我们今天看到的ChatGPT，就是这个大的语言模型，它就是会挑一个概率最大的、最有可能发生的这样一个文本来来给你看。所以总体来讲，ChatGPT生成结果的过程，是一个用大量的计算资源来计算的过程。它需要非常庞大的数据量来支撑，有很多很多的GPU（电脑处理器）。没有这些东西的话，ChatGPT是做不起来的。

而且今天这个ChatGTP，其实不光是技术，还有很多人工在背后。他们还雇了一家公司，专门负责审核ChatGPT产生的结果。比如说，ChatGPT产生了一百篇摘要，都挺好，我已经分辨不出来了，那么这些人就负责帮我分辨一下，到底哪一篇更像是准确的摘要。

那实际上，你可以看到，Chat GPT背后就是一个语言模型，而这一语言模型的技术是1972年就已经有了的。到现在，经过了五十年，现在行业内，其实大家并不觉得它是一个什么了不得的东西。在此以前，这个语言模型其实已经做了很多的事情。

提到语言模型，这个词，最初是由我的导师贾里尼克提出来的。他大概在1993年的时候到了约翰霍普金斯大学，我是1996年到这个大学，然后成为他学生。那么这个词的中文，也就是你看到的“语言模型”这四个字，则是我在20世纪90年代的时候发表论文时候创造出来的。那时，只有我们这些圈内的人知道它能做很多事，但是你不会想到说，哎？这个事后来会被热炒。

你可以这样理解，“语言模型”之于ChatGPT，就相当于开普勒的这个行星三定律之于月食。

Q3：

“语言模型”诞生之初是什么情况？

那么在发明的当时，语言模型是一个什么情况？

其实，在20世纪90年代的时候，用简单统计方法得到的模型就已经很不准确了。这就相当于，我打个比方，你观察行星，但用的是托勒密的地心说来预测，是很不准确的。所以，那时候我们开始引入了语法、主题、语义的很多信息。然后，这个语言模型就变得很复杂了。复杂之后就又带来了一个很大的问题。

什么问题？

比如，我当时做过一个很复杂的语言模型，这个语言模型当时有多少参数？600万个参数，就是说，这歌语言模型大小基本上按以这个参数来定。我那时候做的已经是那个时代能做的最大、最复杂的语言模型了。我当时是用的还不是PC机，而是20台超级服务器，然后大概算了3 个月才训练出这样一个语言模型。所以你看，它的计算量是非常大的。那么，第一版ChatGPT，它用的语言模型参数是多少呢？大概是 2000 亿个参数，大家可以看到这些年的变化。

所以，今天很多人问，ChatGPT在美国出现了，中国研究机构什么时候能做ChatGPT？其实，中国的大部分研究机构是做不了的，不是说研究水平的问题，而是因为Chat GPT太耗资源。今天的ChatGPT，可能光硬件的成本就要差不多10亿美元，这还没算电钱，所以成本和耗资是非常巨大的。所以，如果开完玩笑，问ChatGPT的最大贡献是什么，我倒觉得它对全球变暖是有很大贡献的。

所以，我想说的是，ChatGPT这件事，它的原理很简单，但是在工程上要想做到，其实是蛮困难的一件事。

Q4:

计算机擅长回答什么问题？

到了大概2010年前后，也就是13年前，语言模型能做到什么程度？我给大家看两个例子。这两个例子都是我在2014年离开Google以前做的。当时我负责的是Google的自动问答系统，就是让计算机回答问题。不过因为这个产品是英文的，所以在中文世界基本上没有太露脸。