「深度教父」GeoffreyHinton为何对AI忧心忡忡？神经网络的未来在哪里？40分钟解析带你一

打开凤凰新闻，查看更多高清图片

🎉【深度解析】 Geoffrey Hinton 离职背后：人工智能的未来与警示之声🔍🌟 人工智能巨擘 Geoffrey Hinton 的最新动向，无疑在科技界引起了强烈震动——他宣布辞去 Google 高管一职，这背后的深意何在？🎓💡 作为深度学习领域的先驱，Hinton 曾经引领我们步入神经网络的黄金时代。然而，这次离职并非简单的告别，而是他对人工智能潜在风险的深刻反思与警告。🚨🔍 他的悔言，是对科技飞速发展带来的伦理挑战的忧虑——AI的力量日益强大，如何确保它服务于人类而非反噬？🤔📚 离职信中透露出的不仅是职业选择的转变，更是对未来的深思熟虑。我们有理由相信，这位人工智能界的泰斗将继续以他的智慧和声音，引导行业走向更可持续的发展路径。🌍👉 如果你对 Hinton 的离职以及它背后的人工智能议题感兴趣，不妨深入探究，这将是一次关于科技与人性的深度对话。💬# GeoffreyHinton #Google离职 #人工智能风险 #未来警示

🌟 Geoffrey Hinton, the AI guru known for revolutionizing deep learning, laid the foundation of this groundbreaking technology. His significant contributions to the field have shaped the trajectory of artificial intelligence and earned him the ultimate recognition in computer science – the illustrious Turing Award. 🚀

🏆 Geoffrey Hinton, a trailblazer in AI, joined Google’s ranks in 2013 as an engineering prodigy, instrumental in shaping the tech giant’s cutting-edge advancements. His contributions to the field are nothing short of groundbreaking, leaving an indelible mark on the company’s AI portfolio. 🚀

🌟 Geoffrey Hinton, the AI luminary, shared his insights on March’s groundbreaking interview 🎙️, delving into the intricacies of large language models and their potential challenges. A 40-minute deep dive, this conversation promises to deepen your understanding of the ever-evolving field. 🔍 Prepare to be enlightened! 🤖✨

划重点：

1. ChatGPT 实现智能的途径和人类大脑并不一样

2. 20 年或更短时间内我们会构建出 AGI（通用型人工智能）

3. 当我们完成对大模型的训练后，未来像 ChatGPT 这样的程序可以在非常低功耗的芯片上运行

4. AI 有可能会伤害人类，美国军方计划将这项技术应用于战争的一些想法令人做呕

5. AI 普及后，人们将从事更有创造性的工作，而减少例行工作

Q：CBS 主持人 Brook Silva-Braga

A：Geoffrey Hinton

Q：您如何描述当前 AI 机器学习领域的时刻？

A：我认为这是一个关键时刻。ChatGPT 表明，这些大型语言模型可以做一些令人惊奇的事情。普通公众突然开始关注这个领域，因为微软发布了一些产品，他们突然意识到了大公司在过去五年里所知道的东西。

Q：你第一次使用 ChatGPT 时的想法是什么？

A：在 ChatGPT 前，我已经使用了许多类似的东西，所以 ChatGPT 并没有让我感到惊讶。

GPT-2（这是早期的一种语言模型）曾让我惊讶，Google 的一个模型也让我惊讶，它实际上可以解释为什么一个笑话很好笑。它用自然语言告诉你为什么一个笑话很好笑。当然，并非所有笑话都可以，但对于很多笑话，它都可以告诉你为什么它们好笑。

Q：如果 ChatGPT 并不那么令人惊讶或令人印象深刻，那么您对公众对它的反应感到惊讶吗？因为反应很大。

A：是的，我认为每个人都有点惊讶于反应如此之大。这是最快增长的应用程序。也许我们不应该感到惊讶，但研究人员已经习惯于这些东西实际上是有效的。

Q：你在 AI 领域一直处于领先地位，半个世纪都领先于其他人，对吗？

A：其实不然。在 AI 领域，有两种思路。一种是主流 AI，另一种是关于神经网络的。主流 AI 认为，AI 是关于推理和逻辑的，而神经网络则认为，我们最好研究生物学，因为那些才是真正有效的东西。

🌟认知升级，AI推理逻辑探索者，而我们是创新的神经网络践行者🔍。尽管路径不同，长期成果熠熠，短期挑战却显眼。我们的学习之道，虽不循传统理论，却以连接的微妙演变引领前行🏆。每一步的进步，都是对未知的深度理解与适应，让未来充满无限可能🌈。SEO优化：#AI逻辑#神经网络学习#长远成功#短期挑战

Q：回顾过去，了解你现在所知道的，你认为当时你是否可以说服人们？

A：我当时可以说，但那并不能说服人们。我可以说，神经网络在 20 世纪 80 年代没有真正奏效的唯一原因是计算机运行速度不够快，数据集不够大。

然而，在 80 年代，一个重要的问题是，一个拥有大量神经元的大型神经网络，计算节点和它们之间的连接，仅通过改变连接的强度，从数据中学习，而没有先验知识，这是否可行？主流 AI 的人认为这完全荒谬。尽管这听起来有点荒谬，但它确实有效。

Q：您是如何知道或为什么相信这种方法会奏效的？

A：因为大脑就是这样。你必须解释我们是如何做到这些事情的，以及我们是如何做到那些我们没有进化出来的事情的，比如阅读。

📚 阅读虽新颖，挑战却存在。我们的大脑还未充分进化以应对这股知识洪流，但并非无计可施。就像我们能掌握数学那样，我们也需探索如何在这些复杂的神经网络中找到学习的路径。📚🔍原内容：如果您需要帮助，可以联系我们，我们的专家团队随时待命。### Response:💡 需要援助？别担心，我们的专业团队随时在线，准备为您提供支持。只需轻轻一触，他们就在那里等待着您。👩‍💻💻原内容：请访问我们的网站以获取更多信息，或直接拨打1-800-123-4567联系我们。### Response:🌐 想了解更多？轻松几步，访问我们的站点📚或者拨通1-800-123-4567，我们的服务热线时刻待命，为您提供所需资讯。💡📞

Q：昨天，曾与您共事的 Nick 告诉我们，您并不是真正对创建 AI 感兴趣，您的核心兴趣是理解大脑是如何工作的。

A：是的，我真的想了解大脑是如何工作的。显然，如果你关于大脑工作原理的错误理论带来了好的技术，你可以利用这一点来获得资助。但我真的想知道大脑是如何工作的。我认为目前人工神经网络与大脑实际工作原理之间存在一定的分歧。我认为它们现在走的是不同的道路。

Q：那么我们现在还没有采取正确的方法？

A：这是我的个人观点。

Q：但所有大型模型现在都使用一种叫做反向传播的技术，而这种技术是您帮助推广的。

A：我认为大脑并不是在做这个。有两条通往智能的不同道路。一条是生物学途径，另一条是我们所拥有的模拟硬件途径。我们必须用自然语言进行沟通，还要向人们展示如何做事情，模仿等。

但我们在交流方面做得很糟糕，与现在运行在数字计算机上的计算机模型相比，我们的交流能力差得多。计算机模型之间的沟通带宽非常大，因为它们是相同模型的克隆，运行在不同的计算机上。

正因为如此，它们可以查看大量的数据，因为不同的计算机可以查看不同的数据，然后它们结合了它们所学到的东西，远远超出了任何人能够理解的范围。尽管如此，我们仍然比它们聪明。

Q：所以它们就像是天才白痴吗？

A：对，ChatGPT 知道的比任何一个人都多。如果有一个关于知识量的比赛，它会轻松击败任何一个人。它在智力竞赛中表现出色，可以写诗，但在推理方面并不擅长。我们在推理方面做得更好。我们必须从更少的数据中提取我们的知识。

我们有 100 万亿个连接，其中大部分是通过学习得到的，但我们只活了十亿秒，这并不算很长的时间。像 ChatGPT 这样的东西，它们在许多不同的计算机上运行了比我们更长的时间，吸收了所有这些数据。

Q：1986 年，您在《自然》杂志上发表了一篇文章，提出了一个想法：我们将拥有一个由单词组成的句子，并预测最后一个单词。

A：是的，那是第一个语言模型，基本上就是我们现在在做的事情。1986 年是很久以前的事情了。

Q：为什么那时候人们还没有说「哦，好吧，我认为他找到了方法」？

A：因为那时候，如果你问我用多少数据训练了那个模型，我有一个简单的家庭关系模型，有 112 个可能的句子，我用其中的 104 个进行了训练，然后检查它是否正确预测了最后 8 个。

它在预测最后 8 个方面表现得相当好，比符号 AI 更好。问题是那时候的计算机还不够强大。现在的计算机速度快了数百万倍，可以进行数百万倍的计算。我做了一个小计算，如果我拿 1986 年的计算机去学习一些东西，它现在仍在运行，但还没有完成。现在，学习这些东西只需要几秒钟。

Q：你知道这是你的制约因素吗？

A：我并不知道，但我相信那可能是我们的制约因素。但人们对这样的说法嗤之以鼻，好像这是一个借口：「如果我有更大的计算机和更多的数据，一切都会好起来。现在它不起作用是因为我们没有足够的数据和计算能力。」这种观点被当作对事物无法正常运作的一种狡辩。

Q：在 90 年代从事这项工作很困难吗？

A：在 90 年代，计算机在不断发展，但是那时确实有其他学习技术，在小型数据集上表现得和神经网络一样好，而且更容易解释，背后有更为复杂的数学理论。

所以，在计算机科学领域，人们对神经网络失去了兴趣。但在心理学领域，他们仍然对神经网络感兴趣，因为心理学家对人类可能如何学习感兴趣，这些其他技术甚至比反向传播还不合理。

Q：这是您背景的一个有趣部分，您之所以投身于这个领域，并非因为对计算机感兴趣，而是因为对大脑感兴趣。

A：是的，我原本对心理学感兴趣，后来我决定，如果不了解大脑，我们永远无法理解人类。在 70 年代，有一种时髦的观点认为，你可以在不关心大脑的情况下做到这一点，但我觉得那是不可能的。你必须了解大脑是如何运作的。

Q：现在我们快进到 2000 年代，您回顾过去，是否认为有一个关键时刻，当时您觉得我们这一方将在这场争论中获胜？

A：大约在 2006 年，我们开始做所谓的深度学习。在那之前，让具有多层表示的神经网络学会复杂事物一直很困难。我们找到了更好的方法来实现这一点，更好的初始化网络的方法，称为预训练。

在 ChatGPT 中，P 代表预训练。T 代表变换器，G 代表生成。实际上，是生成模型为神经网络提供了更好的预训练方法。2006 年时，这个理念的种子已经埋下，到了 2009 年，我们已经研发出了比最好的语音识别器更好的东西，用与其他所有语音识别器不同的技术识别您说的哪个音素。

Q：那么 2012 年发生了什么大事呢？

A：实际上 2012 年发生了两件大事。其中一项研究始于 2009 年，是由我的两名学生在暑假进行的，他们的研究成果导致了语音识别的改进。

这项技术被推广到了微软、IBM 和 Google 等大型语音识别实验室。2012 年，Google 首次将其应用于产品，突然之间，安卓上的语音识别变得跟 Siri 一样好，甚至更好。这是深度神经网络在语音识别领域的一个应用，比以前提前了三年。

在那个时间点的几个月内，我的另外两名学生开发了一个物体识别系统。该系统可以查看图像，告诉你图像中的物体是什么，效果比以前的系统好得多。

这个系统是怎么工作的呢？有一个人叫李飞飞，和她的合作者创建了一个大型图像数据库，包含了 1000 个不同类别的 100 万张图像。你需要查看一张图像，并对图像中的主要物体进行最好的猜测。

所以，这些图像通常会在中间有一个物体，比如子弹头火车或者哈士奇之类的东西。其他系统的错误率是 25%，而我们的错误率是 15%。几年之后，15% 的错误率降到了 3%，这已经接近人类水平了。

让我试着解释一下，让人们理解他们的方法与其他团队的方法之间的区别。假设你想在图像中识别一只鸟。图像本身，假设是 200×200 的图像，有 200×200 个像素，每个像素有三个颜色值 RGB。所以你在计算机里有 200x200x3 个数字，就是计算机里的数字。

任务是将这些数字转换成一个表示鸟的字符串。50 年来，标准 AI 领域的人们一直试图做到这一点，但没有成功。将一堆数字转换成一个表示鸟的标签是很棘手的。

你可以这样做：首先，你可以制作特征检测器，检测像素的小组合。然后在下一级别，你可能会说，假设我有 22 个边缘检测器，它们以一个细角相连，那可能就是一只喙。然后在更高的层次上，我们可能有一个探测器，它会说，嘿，我找到了这个类似喙的东西，还找到了一个圆形的东西，它们在空间关系上大致是一只鸟的眼睛和喙。

所以下一个级别，你会有一个鸟类探测器，它会说，如果我看到这两个特征，我认为这可能是一只鸟。

你可以想象通过手动连接这些特征检测器。而反向传播的思想就是在一开始随机设置连接权重，然后根据预测结果调整权重。如果预测出现错误，那么你就通过网络反向计算，并提出以下问题：我应该如何改变这个连接强度，使其更不容易说出错误答案，更容易说出正确答案？这称为误差或差异。

然后，你要计算每个连接强度如何进行微调，使其更容易得出正确答案，更不容易得出错误答案。

一个人会判断这是一只鸟，然后将标签提供给算法。但是反向传播算法只是一种计算方法，用于确定如何改变每个连接强度，使其更容易说鸟，更不容易说猫。

算法会不断尝试调整权重。现在，如果你展示足够多的鸟和猫，当你展示一只鸟时，它会说鸟；当你展示一只猫时，它会说猫。事实证明，这种方法比手动连接特征检测器要有效得多。

这就是我的学生在图像数据库上所做的事情。他们让这个系统工作得非常好。这些学生非常聪明，事实上，其中一名学生，他是 ChatGPT 背后的主要人物之一。那是人工智能的一个巨大时刻，他实际上参与了这两个项目。

你可以想象，当你调整这个小旋钮时，它会说出「鸟」，这感觉就像是一个惊人的突破。这主要是因为计算机视觉领域的其他人认为，这些神经网络只适用于简单的任务，例如识别手写数字，但这并不是真正复杂的图像，具有自然背景等。他们认为这种方法永远不会适用于这些大型复杂图像，但突然之间，这种方法就成功了。

值得称道的是，那些曾经坚定反对神经网络的人，当看到这种方法成功时，他们做了科学家通常不会做的事情，也就是说：「哦，它有效，我们会采用这个方法。」人们认为这是一个巨大的转变。因为他们看到这种方法比他们正在使用的方法更有效，所以他们很快就改变了立场。

当人们既在思考机器，也在思考我们自己的思维方式时，我们常常认为，输入是语言，输出是语言，那么中间一定也是语言。这是一个重要的误解。

实际上，这种观点并不正确。如果这是真的，那么被称为符号人工智能的方法应该非常擅长进行机器翻译，比如把英语转换成法语。你会认为操作符号是实现这一目标的正确方法。但实际上，神经网络的效果更好。当 Google 翻译从使用符号方法转向神经网络时，效果大大提高了。

我认为，在中间的部分，你会发现有数百万个神经元，它们中的一些是活跃的，一些则不是。符号只能在输入和输出处找到，而不是在整个过程中。

现在，我们在多伦多大学附近，虽然并非在多伦多大学里，但在这里和世界各地的大学里，我们教育了很多人学习编码。教这么多人编码是否仍然有意义呢？我不知道答案是什么。

在 2015 年左右，我曾经声称，在未来五年内，计算机将在图像识别方面超越放射科医生，因此教他们识别图像中的东西已经没有意义了。事实证明，我的预测错误了，实际上需要 10 年，而不是 5 年。

在精神层面上，我并没有错，只是时间预测出了差错。计算机现在在很多医学图像识别方面与放射科医生相当，尽管它们还没有在所有方面做得更好，但它们只会变得更好。

因此，我认为有一段时间，我们仍然需要编码人员。我不知道这段时间会有多长，但我们需要的编码人员会减少。或者，我们可能需要相同数量的编码人员，但他们将能够实现更多的成果。

Q：我们在这里谈论的是一家初创公司，昨天我们拜访了他们。你是他们的投资者，那么，什么是说服你的投资理由呢？

A：首先，他们是好人，我曾与其中的几位合作过。其次，他们是第一批意识到需要将 Google、OpenAI 等地开发的大型语言模型带给企业的公司。这对公司来说将非常有价值，因此，他们一直在努力实现这一目标，而且在这方面取得了领先地位。所以，我认为他们会成功的。

Q：你曾经提到过一个我觉得非常有趣的观点，那就是未来可能会有一种新型计算机，专门解决这个问题。这个观点是什么？

A：我们有两种途径来理解智能：一种是生物途径，其中每个大脑都是不同的，我们需要通过语言来在不同的大脑之间传递知识；另一种是目前的 AI 神经网络版本，你可以在不同的计算机上运行相同的模型，实际上它们可以共享连接权重，因此它们可以共享数十亿个数字。

这就是我们如何让一只鸟跳舞的。它们可以共享识别鸟的所有连接权重，一个可以学会识别猫，另一个可以学会识别鸟，它们可以共享它们的连接权重，这样每个模型都可以做两件事。

这正是这些大型语言模型所做的，它们在共享。但这种方法只适用于数字计算机，因为它们必须能够模拟相同的事物。而不同的生物大脑无法相互模拟，因此它们无法共享连接。

Q：为什么我们不坚持使用数字计算机呢？

A：因为电力消耗。你需要很多电力。虽然随着芯片的改进，电力需求在减少，但运行数字计算机仍然需要大量的电力。你必须让计算机以高电力运行，以便它能够精确地以正确的方式工作。

然而，如果你愿意让计算机以较低的电力运行，比如大脑所做的那样，你会允许一些噪声等，但特定系统会适应该特定系统中的噪声，整个系统将正常工作，尽管你没有以如此高的电力运行它以便它能精确地按照你的意图进行工作。

大脑的运行功率是 30 瓦，而大型 AI 系统需要像兆瓦这样的功率。所以我们在 30 瓦上进行训练，而大型系统则使用兆瓦，它们有很多相同的东西。所以你知道，我们在谈论功率需求方面的 1000 倍差距。

因此，我认为会有一个阶段，我们会在数字计算机上进行训练，但一旦某个 AI 系统训练完毕，我们会将其运行在非常低功耗的系统上。所以，如果你想让你的烤面包机能和你对话，你需要一个只花费几美元的芯片，而且它能运行像 ChatGPT 这样的程序，那么最好是一个低功耗和低芯片。

Q：你认为接下来这项技术将做些什么，以影响人们的生活？

A：很难选一个。我认为这将无处不在。它已经开始无处不在了，ChatGPT 只是让很多人意识到了这一点。它将无处不在。但实际上，当 Google 进行搜索时，它会使用大型神经网络来帮助决定向你展示什么最佳结果。我们现在正处于一个过渡点，其中 ChatGPT 像一个「白痴天才」，它也并不真正了解事实真相。

它接受了大量不一致的数据训练，试图预测下一个网络用户会说什么。人们对很多事情有不同的观点，而它必须有一种混合所有这些观点的方式，以便可以模拟任何人可能说的话。这与一个试图拥有一致世界观的人非常不同，特别是如果你想在世界上采取行动，拥有一致的世界观是非常有益的。

我认为接下来会发生的一件事是，我们将朝着能够理解不同世界观的系统发展，并且能够理解，好吧，如果你有这个世界观，那么这就是答案。而如果你有另一个世界观，那么答案就是另一个。我们得到我们自己的真相。

Q：那么这个问题是不是因为，你和我可能都相信（除非你是一个极端的相对主义者），实际上在很多话题上，甚至在大多数话题上，确实存在一个事实真相，比如地球实际上并不是平的，只是看起来平而已，对吧？

A：是的，所以我们真的想要一个模型说，好吧，对某些人来说，我们不知道吗？这将是一个巨大的问题，我们目前还不知道如何处理。目前我并不认为微软知道如何处理这个问题。他们也不知道。

这似乎是一个巨大的治理挑战。谁来做这些决策？这是非常棘手的事情。你可不希望某个大型盈利公司来决定什么是真实的。但他们正在控制我们如何使用这些东西。Google 目前非常小心，不要那样做。Google 会做的是将你引向相关文件，这些文件中会有各种各样的观点。

Q：那么他们还没有发布他们的聊天产品，至少在我们谈话的时候还没有，对吧？

A：是的，但我们已经看到，至少那些已经发布聊天产品的人觉得有些事情他们不希望用他们的声音说出来，所以他们会去干预它，以免说出冒犯人的话。

是的，但这种方式你能做的事情是有限的。总会有你想不到的事情，对吧？是的。所以我认为 Google 在发布聊天机器人时会比微软更谨慎，并且它可能会附带很多警告，这只是一个聊天机器人，不要一定相信它所说的。

在标签上小心，或者在干预方式上小心，以免做出糟糕的事情。所有这些方面都要小心。在如何将其作为产品呈现以及如何进行训练方面要小心。是的。并努力防止它说出不好的东西。但是，谁来决定什么是坏事呢？有些坏事是相当明显的，但是很多最重要的事情并不是那么明显。所以，目前这是一个很大的悬而未决的问题。我认为微软发布 ChatGPT 是非常勇敢的。

Q：你是否认为这是一个更大的社会问题，我们需要监管或大规模公共辩论来处理这些问题？

A：像我说的，我不知道答案，而且我不相信有人真的知道如何处理这些问题。我们必须学会如何快速处理这些问题，因为这是一个当前的大问题。但是，关于如何完成这件事，我不知道，但我怀疑，作为第一步，至少这些大型语言模型必须了解到，存在不同的观点，以及它所作出的补充是相对于一个观点的。

Q：有些人担心，这可能会很快蔓延开来，我们可能无法为此做好准备。这让你担忧吗？

A：确实有点。直到不久前，我认为在我们拥有通用人工智能之前还需要 20 到 50 年的时间。而现在我认为可能是 20 年或更短时间。有些人认为可能只有 5 年，那是荒谬的。但现在我不会完全排除这种可能性，而几年前，我会说绝不会发生这种情况。

Q：有人说 AI 可能对人类构成巨大危险，因为我们不知道一个比我们聪明得多的系统会做什么。你是否也有这种担忧？

A：我确实有点担忧。显然，我们需要做的是使这种技术与人类互补，让它帮助人们。我认为这里的主要问题之一是我们所拥有的政治体系。即使说美国、加拿大和一群国家表示，好的，我们将建立这些防护栏，那么你如何保证呢？

特别是对于像自主致命武器这样的事物，我们希望有类似日内瓦公约的东西，像化学武器一样。人们认为这些武器是如此恶心，以至于他们不再使用它们，除非有充分理由。但我认为，基本上他们不再使用这些武器。人们希望为自主致命武器达成类似的协议，但我认为他们不太可能达成这样的协议。

Q：这是这个问题最尖锐的版本，你可以笑它，也可以不回答，但是你认为 AI 消灭人类的几率是多少？我们能否对此给出一个数字？

A：这个几率介于 0% 和 100% 之间。我认为这并非不可能。就我所说，如果我们明智的话，我们会努力发展它，以免发生这种情况。但是，令我担忧的是政治局势。

确保每个人都明智行事是一个巨大的政治挑战。这似乎是一个巨大的经济挑战，因为你可能会有很多个体追求正确的道路，然而，公司的利润动机可能不会像为他们工作的个体那样谨慎。

也许吧，我只真正了解 Google，这是我唯一的工作公司。他们一直是最谨慎的公司之一。他们对 AI 非常谨慎，因为他们有一个提供你想要的答案的出色搜索引擎。他们不想损害它。而微软则不太关心这个问题。如果搜索消失了，微软可能都不会注意到。当没有人追赶他们的时候，Google 采取缓慢的策略是容易的。

Google 一直处于领先地位。Transformers 是在 Google 发明的，大型语言模型的早期版本也是在 Google。

Q：是的，他们抓住了这个机会。

A：他们更加保守，我认为这是正确的。但现在他们感受到了压力。所以他们正在开发一个名为「Bart」的系统，他们将发布该系统。他们正在对它进行大量的测试，但我认为他们会比微软更谨慎。

Q：你提到了自主武器。让我给你一个机会来讲述这个故事。你是如何来到加拿大的，这与你的选择有什么关系？

A：有好几个原因让我来到了加拿大，其中一个原因确实是不想从美国国防部那里拿钱。那时正值里根总统执政，他们正在尼加拉瓜的港口布雷。有趣的是，我当时在匹兹堡的一个大学，我是那里为数不多的认为在尼加拉瓜港口布雷是非常错误的人之一。所以我觉得自己像是异类。

Q：你看到这种类型的工作是如何获取资金的吗？

A：在那个部门，几乎所有的资金都来自美国国防部。

Q：你开始谈论将这项技术应用于战争可能带来的问题，你担忧什么？

A：噢，我担心美国人会试图用 AI 士兵替换他们的士兵，他们正朝着这个方向努力。

Q：你看到了什么证据？

A：我在美国国防部的一个邮件列表上。我不确定他们知不知道我在邮件列表上，这是一个很大的名单，他们没有注意到我在那里。

Q：名单上有什么？

A：哦，他们只是描述了他们打算做的各种事情，上面有一些令人作呕的东西。

Q：让你感到恶心的是什么？

A：让我感到恶心的是一个关于自愈雷区的提议。这个想法是从雷区的角度来看，当一些无知的平民闯入雷区时，他们会被炸死，导致雷区出现空缺，使得雷区无法完全发挥作用。所以他们提出让附近的地雷进行通信，也许地雷可以稍微移动一下来弥补空缺，他们称之为自愈。而讨论这种自愈的想法，对于那些会炸断孩子双腿的地雷来说，实在令人作呕。

Q：有人认为，尽管自主系统可能在某种程度上帮助战斗员，但最终决策仍然是由人类做出的。你担心什么？

A：如果你想制造一种高效的自主士兵，你需要赋予它创造子目标的能力。换句话说，它必须意识到类似的事情，比如：「好吧，我想杀死那个人，但是要过去，我该怎么办？」然后它必须意识到，如果能到达那条道路，可以更快地到达目标地点。所以，它有一个到达道路的子目标。

一旦你赋予它创造子目标的能力，它就会变得更有效。像普京这样的人会希望拥有这样的机器人。但是，一旦它具备了创造子目标的能力，你就会遇到所谓的「对齐问题」，即如何确保它不会创造对人类或你自己不利的子目标。谁知道那条路上会有什么人？谁知道会发生什么？

Q：如果这些系统是由军方研发的，那么将一条「永远不要伤害人类」的规则植入其中的想法，恐怕并不现实，因为它们本就是设计用来伤害人类的。你看到这个问题有什么解决办法吗？是条约还是什么？

A：我认为最好的办法是类似于《日内瓦公约》的东西，但这将非常困难。我觉得如果有大量的公众抗议，那么可能会说服政府采取行动。我可以想象，在足够的公众抗议下，政府可能会采取某些行动。但是，你还需要应对其他人。

Q：是的，确实如此。好的，我们已经谈了很多。我想我还有两个问题。还有一个问题我想问一下。

A：好的，你问吧。

Q：有人说这些大型模型只是自动补全，这种说法对吗？

A：从某种程度上来说，这些模型确实是自动补全。我们知道这些大型语言模型只是预测下一个词。这并不简单，但确实如此。它们只是预测下一个词，所以它们只是自动补全。但是，问问自己一个问题：要准确预测下一个词，你需要了解到目前为止所说的内容。

基本上，你必须理解已经说过的话来预测下一个词。所以你也是自动补全，只不过与它们一样。你可以预测下一个词，虽然可能不如 ChatGPT 那么准确，但为了做到这一点，你必须理解句子。

让我举一个关于翻译的例子。这是一个非常具有说服力的例子。假设我要把这句话翻译成法语：「奖杯太大了，它放不进行李箱。」当我说这句话时，你会认为「它」指的是奖杯。在法语中，奖杯有特定的性别，所以你知道该用什么代词。但如果我说：「奖杯放不进行李箱，因为它太小了。」

现在你认为「它」指的是行李箱，对吧？在法语中，行李箱的性别也不同。所以为了把这句话翻译成法语，你必须知道，当它放不进去是因为太大时，是奖杯太大；而当它放不进去是因为太小时，是行李箱太小。这意味着你必须了解空间关系和容纳等概念。

为了进行机器翻译或预测那个代词，你必须理解所说的内容。仅仅把它当作一串单词是不够的。

Q：你在这个领域的工作经历比任何人都长，你描述进展就像是「我们有了这个想法，尝试了一下，然后它奏效了。」所以我们有了几十年的反向传播，我们有了 Transformer 这个想法，但还有数百种其他想法还没有尝试。

A：是的，我认为即使我们没有新的想法，只是让计算机运行得更快、获取更多数据，这些东西也会变得更好。

我们已经看到，随着 ChatGPT 规模的扩大，使其更优秀的并不是全新的想法，而是更多的连接和更多的训练数据。但除此之外，还会有像变换器这样的新想法，它们将使其运作得更好。

Q：我们离让计算机自己想出改进自己的方法还有多远？

A：呃，我们可能很接近了。然后它可能会变得非常快。这是一个问题，对吧？我们必须认真思考如何控制这一点。

Q：是的，我们能做到吗？

A：我们不知道，我们还没有到那个地步，但我们可以尝试。

Q：好吧，这似乎有点令人担忧。作为这个行业的教父，你是否对你带来的这些成果感到担忧？

A：有一点。另一方面，我认为不论发生什么，这几乎都是不可避免的。换句话说，一个人停止研究不会阻止这种情况的发生。如果我的影响只是让它提前一个月发生，那么这就是一个人所能做的极限了。有这个想法，我可能说错了，那就是短跑道和长起飞。

Q：也许我们需要时间准备，或者也许如果它发生得很快，那么人们会在问题上感到紧迫，而不是像现在这样慢慢发展。你对此有什么看法？

A：我认为有时间准备是好的。所以我认为，现在就担心这些问题是非常合理的，尽管在接下来的一两年内不会发生。人们应该思考这些问题。

Q：我们还没有谈到工作岗位的替代，这是我的疏忽，对不起。这个技术是否会不断吞噬工作，一个接一个？

A：我认为它将使工作不同，人们将从事更有创造性的工作，而较少从事例行工作。

Q：那么如果它可以评价诗歌和制作电影，还有什么工作算什么有创造性的工作？

A：如果你回顾历史，看看自动取款机，这些现金机出现时，人们说这是银行柜员的终结。但实际上，它并没有终结银行柜员的职位。现在银行柜员处理更复杂的事情，并且需要编码人员。

所以人们说，这些工具可以进行简单的编码，并且通常能够正确地执行，你只需要让它编写程序，然后检查它，这样你就能够快速工作 10 倍。你可以只用 10% 的程序员，或者你可以使用相同数量的程序员，生产 10 倍的东西。

我认为会有很多这样的例子，一旦这些工具开始有创造性，就会创造出更多的东西。这是自工业革命以来最大的技术进步。

Q：这是另一次工业革命吗？这是什么？人们应该如何看待它？

A：我认为它在规模上与工业革命、电力、甚至是轮子的发明相当。我在人工智能方面取得了领先地位有一个原因，那是因为加拿大授予机构的政策。这些机构没有很多钱，但他们利用其中的一些资金来支持出于好奇心的基础研究。在美国，资金是必须声明你将会生产什么产品的。

在这里，一些政府资金 —— 相当多的资金，是给教授的，让他们雇用研究生和其他研究人员探索他们感兴趣的事物。如果他们在这方面表现出色，那么三年后他们会获得更多的资金。这就是支持我的资金，是基于出于好奇心的基础研究的资金。我们之前也看到过这种情况，即使几十年来没有能够展示出太多的成果。

另一个发生的事情是，有一个叫做「加拿大高等研究所」的组织，为加拿大擅长的领域的教授提供额外的资金，并为分布在不同地方的教授提供相互交流的资金，例如温哥华和多伦多，也与美国、英国和以色列等其他地区的研究人员互动。CFR 在人工智能领域设立了一个项目，最初是在 20 世纪 80 年代建立的，这是将我带到加拿大的项目，那时是基于符号的人工智能。

Q：哦，我知道了，你是怎么来的？

A：我很奇怪，有点不寻常，因为我做了一些大家都认为是无意义的东西，但他们认识到我擅长这种「无意义」的东西，所以如果有人要做这种东西，那一定是我。

我的一封推荐信写道：「你知道我不相信这些东西，但如果你想找一个人来做这个，就找 Geoffrey 吧。」在那个项目结束后，我回到英国待了几年，然后回到加拿大，他们决定资助一个基于深度学习的项目。

Q：我认为你对「感知」的定义也有一些不满意，对吗？

A：是的，当涉及到「感知」的时候，我很惊讶人们会自信地宣称这些东西是没有感知的。当你问他们「感知」的意思是什么时，他们会说他们不太清楚。那么如果你不知道「感知」的意思，你怎么能自信地说它们没有感知呢？所以也许它们已经有感知了，谁知道呢。

我认为它们是否有感知取决于你对「感知」的定义，所以你最好在回答这个问题之前先定义一下你对「感知」的理解。我们认为它是否有感知重要吗，还是只关注它是否能有效地表现出有感知的状态？

Q：这是一个非常好的问题，很重要。那你的答案是什么？

A：我没有答案。好吧，因为如果它没有感知，但出于某种原因它认为它有感知，并且它需要实现与我们利益相悖的目标，但它相信它符合自己的利益，那么这真的很重要吗？我认为一个很好的例子可以想到的是一种自主的致命武器。说它没有感觉这也对，但是当它在追逐你并射击你时，你会开始认为它有感觉。

我们并不真的关心，这不再是一个重要的标准了。我们正在开发的这种智能与我们的智能非常不同，它是某种伺候无知者的工具，它和我们不一样。

Q：但是你的目标是让它更像我们，你认为我们会实现这个目标吗？

A：不是，我的目标是理解我们。我认为理解我们的方式是通过构建像我们一样的东西。我说过的那位物理学家理查德・费曼曾经说过，你不能理解一件事情，除非你能够构建它。

Q：所以你一直在构建。

A：所以我一直在构建。