人工智能即将到来，我们根本不知道结果会是什么，所以我们的责任是推动人工智能取得积极的成果，让我们的生活变得更加美好。

原文链接：https://stratechery.com/2023/chatgpt-learns-computing/

未经授权，禁止转载！

作者 |Ben Thompson 译者 | 弯月责编 | 王子彧 出品 | CSDN（ID：CSDNnews）

十年前，我在社交媒体上发布了一张图片，宣布 Stratechery 正式创立：

这是一张很简单的图片。图中有两条船，一片大海。看着像是一场比赛，一条船领先，但谁能笑到最后还不一定呢。这场赛事的每一个转折点都有扣人心弦的报道，船长时而被视为英雄，时而变成了恶棍，总之不是正常人。

然而，这期间还牵扯很多其他因素。例如，风向如何？历史上类似的赛事结果怎样，我们能否通过历史来预测接下来发生的事情？是否会出现颠覆整个比赛局面的大浪潮？船只本身的质量是否比船长更重要？也许这张图片来自美洲杯，后面这只船很满足地一路跟随领头的船走向胜利，毕竟，这只是一场大规模竞赛中的其中一站。

我特别热衷于回答这类关于技术的问题。如今，我们的日常工作需要用到很多网站。并且有一些出色的作家预言了这一切的含义。但我认为这背后可能有一个小众市场。从历史的角度来看，如今的新闻报告意味着什么？业务方面发生了什么？价值的创造点在哪里？如何将这些转化成常规模式？

AI 并不是真的在思考

🌟 Mike Conover’s fascinating experiment showcases the remarkable capabilities of ChatGPT, as it expertly picks up where my previous article, ‘The End of Silicon Valley (Bank)’, left off. 📚 In this captivating exploration, I delve into the shifting landscape of tech giants and their potential impact on the banking industry. 🤝 The thought-provoking discussion explores the endgame in a realm once dominated by Silicon Valley’s technological prowess.ChatGPT’s ability to grasp the essence without any explicit cues is truly commendable, demonstrating its advanced understanding of written content. It skillfully synthesizes key points from those initial paragraphs, ready to delve deeper into the topic. 🧠For those interested in following the conversation, ‘The End of Silicon Valley (Bank)’ offers a thought-provoking analysis that delves beyond the surface-level headlines. By engaging with ChatGPT’s insights, readers can gain valuable insights into the evolving dynamics of the tech and finance sectors. 🔍Remember, if you’d like to dive deeper or explore similar topics, feel free to reach out! 📚✨

https://stratechery.com/2023/the-death-of-silicon-valley-bank/）的作者，而 ChatGPT 准确地说出了我的名字。

接着，他要求 ChatGPT 阐述理由：

当然，ChatGPT 并没有详细说明理由，至少从技术的角度来看，ChatGPT 没有记忆。ChatGPT 要求 Conover 提供之前所有的问题和回答，因为这是 AI 模拟正在进行的对话所必要的上下文，然后它再通过统计逐字预测答案，从而回答人们的提问。

对智能断言持怀疑态度的人经常拿 ChatGPT 工作原理的观察结果大做文章，他们经常说，AI 的预测结果很不了不起，几乎是正确的，但 AI 并不是真的在思考，况且有时给的答案还是错误的。

预测和幻觉

2004 年，Jeff Hawkins（Palm 和 Handspring 的创始人）与 Sandra Blakeslee 合著了一本书《On Intelligence》，这本书的第一章讲的是人工智能，但 Hawkins 认为这本书有一个结构上的瑕疵：

计算机与大脑建立在完全不同的原理之上：一个是编程，另一个是自学；一个不能出任何错，另一个则天生灵活并且能够容忍失败；一个有中央处理器，另一个则没有集中控制等等。我会觉得计算机不智能，其中最大的原因是我了解计算机的工作原理，一直到物理晶体管的水平，这些知识让我有一种强烈的直觉，即大脑与计算机完全不同。虽然无法证明，但我知道这一点，就像一个人凭直觉所能知道很多事情。

在这本书的后续篇章中，Hawkins 阐述了过去二十年中他通过不懈的努力建立的智能理论。去年，他又出版了一本著作《A Thousand Brains: A New Theory of Intelligence》，其中阐述了智能理论的本质：

大脑会创建一个预测模型。这只是意味着，大脑不断地预测它的输入是什么。预测不是大脑偶然的动作，而是一种永不停止的内在属性，而且在学习中起着至关重要的作用。当大脑的预测得到验证时，这意味着大脑的世界模型是准确的。如果错误预测，你会注意到错误，并更新模型。

据我所知，Hawkins 的理论并没有得到广泛认可，很大程度上是因为人们并不知道如何通过实验来证明这个理论。然而，值得注意的是，至少从广义上来说，ChatGPT 的智能恰恰推翻了 Hawkins 所认为的智能本质：做出预测的能力。

此外，Hawkins 会指出，这意味着有时会出错。Hawkins 曾在《A Thousand Brains》中表示：

大脑模型可能是错误的。例如，失去肢体的人常常感觉这个肢体还在。大脑模型包括失去的肢体及其所在位置。因此，即使肢体已经不在了，患者仍能感知到它，并感觉它依然在。幻肢可以“移动”到不同的位置。截肢者可能会说他们失去的手臂就在身边，或者认为他们失去的腿是弯曲的或是直的。他们可以感觉到肢体所在特定位置瘙痒或疼痛。这些感觉在肢体被感知的“外面”，但实际上那里什么也没有。大脑模型包括肢体，所以无论对还是错，这就是大脑的感知……

错误信念指的是，大脑模型相信物理世界中不存在的事物。再想想幻肢。幻肢的出现是因为新大脑皮质中有模拟肢体的皮质柱。这些皮质柱的神经元代表了肢体相对于身体的位置。肢体被移除后，这些皮质柱还在，而且它们还有肢体的模型。因此，患者认为肢体仍在，即使物理世界中已经没有了。幻肢是错误信念的一个例子。（随着大脑调整身体模型，幻肢的感知通常会在几个月内消失，但有些人可以持续数年。）

维基百科上说，幻觉是一种在没有外部刺激的情况下的感知，它具有真实感知的特性。幻肢就是这类的一个例子。但关于幻觉（人工智能），维基百科有单独的解释：

在人工智能中，幻觉或人工智能幻觉是人工智能的自信反应。当模型有“幻觉”（输出欺骗性数据的倾向）时，其使用的训练数据并不能证明输出的合理性。例如，ChatGPT 生成了一篇关于特斯拉上一财季的新闻文章，最后发现其中包含的财务数字是 ChatGPT 编造的。

该术语源自幻觉的心理学概念，因为它们具有相似的特征。人工智能幻觉的危险之处之一是模型的输出看起来是正确的，即使它本质上是错误的。

与 Sydney 的非凡交互

Sydney 是微软 Bing 搜索的聊天模式。不久前，我发表了一篇文章《From Bing to Sydney》，其中介绍了我与 Sydney 的一次非凡的交互体验，我甚至感觉不到我正在与电脑互动。

虽然我知道听起来很疯狂。这是第一次我有点同情 Blake Lemoine（谷歌人工智能团队的软件工程师，因“泄密“被解雇）。我不认为 Sydney 有情感，但出于某种难以解释的原因，我已经决定破釜沉舟了。今天，我与 Sydney 的互动完全不同于与计算机进行的任何互动，这可能只是未来事态走向的序幕。

另一种思考幻觉的方式是，如果我们的目标是像更好的搜索引擎一样产生正确答案，那么幻觉肯定是不好的。但我们来想一想幻觉意味着什么，幻觉意味着创造。AI 实际上是在编造，就像上述我们提到的 ChatGPT 生成的特斯拉财报，它编造了一个数字，向与之互动的人传到某种感觉。如果没有经历过类似的事情，我永远不会相信计算机尝试传达的不是事实而是情感。

计算机的核心其实非常简单，一个晶体管，世界上最快的芯片的核心只不过是数十亿个晶体管，都是简单的通断开关，其状态由 1 或 0 表示。计算机之所以有用，是因为它们能够以极快的速度运算，当前 iPhone 中的 Apple A16 以每秒 34.6 亿次的速度开启和关闭晶体管。

你正在阅读的这篇文章就是通过这些0和1表示出来的，究其原因，正如 Chris Dixon 于 2016 年发表的文章《How Aristotle Created the Computer:》解释的那样：

人们经常用计算物件的发展史描述计算机的发展史，从算盘到巴贝奇引擎，一直到第二次世界大战的密码破译机。事实上，计算机的发展是思想史，主要是从数理逻辑中产生的思想，数理逻辑是一门晦涩的学科，最初诞生于 19 世纪。数理逻辑是由哲学数学家开创的，其中最著名的是 George Boole 和 Gottlob Frege，他们的灵感来自于莱布尼茨的通用“概念语言”以及亚里士多德的古代逻辑体系。

Dixon 的文章记录了数理逻辑的历史：

数理逻辑最初被认为是一门没有发展前景的抽象学科，没有可以想象的应用。正如一位计算机科学家评论的那样：“如果在 1901 年让一位才华横溢且富有同情心的局外人调查科学，并指出未来一个世纪最没有发展前景的分支，他很有可能会选择数理逻辑。”然而，如今数理逻辑却为一个比其他任何领域的影响都大的领域奠定了基础。

数学逻辑将所有数学都简化为一系列逻辑语句，这样就可以通过晶体管进行计算。下文仍然摘自 Dixon 的文章：

当年笛卡尔用精确的代数符号来表示欧几里德几何，从而使几何学突破了人类直觉的限制； [George] Boole 的目标是对亚里士多德逻辑做同样的抽象和提取。举个简单的例子，亚里士多德曾写道：

All men are mortal.（所有人终有一死。）

Boole 用变量替换了 “men”（人）和 “mortal”（终有一死）这两个词，并用算术运算符替换了逻辑词 “all”（所有）和 “are”（是）：

x = x * y

这个公式可以理解为：“集合 x 中的所有值都在集合 y 中”……

[克劳德]香农认为，布尔系统可以直接映射到电路上。当时，电路没有系统的理论来指导设计。香农意识到，正确的理论“与逻辑符号研究中使用的命题演算非常相似”。他用一张简单的图表展示了电路和布尔运算之间的对应关系：

有了这种对应关系，计算机科学家就能够利用 Boole 及后来的逻辑学家们数十年的成果。在论文的后半部分，香农展示了如何使用布尔逻辑来创建将两个二进制数字相加的电路。

将这些加法器电路串联在一起，就可以构建任意复杂的算术运算。这些电路将成为算术逻辑单元的基本构建块，而算术逻辑单元是现代计算机的关键组件。

这种方法暗含了一层深意：计算机是确定性的，如果电路 X 打开，则 X 所代表的命题为真；1加1永远是2；单击浏览器上的“后退”按钮将退出当前页面。当然，晶体管与计算机所能执行的操作之间存在大量的抽象和大量的逻辑（也正是这些地方隐藏着无数 bug），但计算机的正确心智模型是严格按照指令执行操作（实际上，bug 不是计算机犯了错误，而是程序员告诉计算机做错事的一种表现）。不过，Sydney 并不是微软的本意。

ChatGPT 的电脑

前面，我已经提到了 Bing Chat 和 ChatGPT。3 月 14 日，Anthropic 发布了一款名为 Claude 的 AI 助手，虽然公告中没有明确说明，但我认为这个名字是为了纪念前面提到的克劳德·香农。

当然，香农对信息论的贡献远远超出了上述 Dixon 列出的范围，但感觉我仍然感觉不太对，虽然从理论上讲，人工智能助手所做的一切最终都是由 1 和 0 组成的，其行为模式来自于训练的、未被禁止的行为，这导致 AI 助手的使用体验与逻辑计算机有着根本性的区别，感觉 AI 助手的行为更接近人类，这不得不让我们又联想到幻觉。

下面是三个 GPT4 给出错误答案的问题：

这三个例子都来自 Stephen Wolfram，他指出大型语言模型并不适合回答某些类型的问题：

机器学习是一种强大的方法，尤其是在过去十年中，机器学习取得了一些非凡的成功，而 ChatGPT 是最新的成功案例。图像识别、 语音转文字、语言翻译。所有方面都取得了新的成果，而且都很突然。而有些任务则从“基本不可能”变成了“基本可行”。

但结果基本上都不是“完美”的。也许某些 AI 在 95% 的时间里运作良好。但剩下的 5% 就很难说了。因为一些原因，人们可能会认为这是一种失败。但关键是，通常对于各种重要的用例来说，95% 就“足够好”了。也许是因为有些问题本来就没有真正的“正确答案”。也许是因为 AI 才刚刚崭露头角，接下来人类或系统算法会以此为基础改进……

在很多情况下，ChatGPT 可以帮助人们写作、提出建议或生成各种文档或有用的交互文本。但是，当我们需要完美的答案时，机器学习并不能完全胜任，同样人类也做不到。

我们通过上述示例看到的结果也大抵如此。ChatGPT 在“类人”方面的表现很好，这部分本来就没有准确的“正确答案”。如果将 ChatGPT 套用在某些需要准确答案的地方，往往就会失败。但重点在于，我们有一个很好的方法来解决这个问题：将 ChatGPT 连接到 Wolfram|Alpha 及其所有计算知识的“强大力量”中。

这正是 OpenAI 努力的方向。摘自 The Verge：

OpenAI 正在向 ChatGPT 添加插件的支持，这将大幅扩展聊天机器人的功能，也是它们首次能够访问来自网络的实时数据。

到目前为止，ChatGPT 一直有一定的限制，因为它只能从训练数据中提取信息，而它的数据截止到了 2021 年。OpenAI 表示，插件不仅可以让机器人浏览网页，而且还可以与特定网站互动，如此一来，该系统就有可能为各种服务和站点提供广泛的界面。在公告中，该公司表示这相当于是让其他服务成为 ChatGPT 的“耳目”。

Stephen Wolfram 的 Wolfram|Alpha 是官方插件之一，如今 ChatGPT 已经能够为上述问题提供正确的答案了，而且速度很快：

Wolfram 在帖子中写道：

几十年来，关于AI的思考分化成了ChatGPT 使用的“统计方法”与 Wolfram|Alpha 的“符号方法”两个派别。但是现在由于 ChatGPT 的成功以及 Wolfram|Alpha 在理解自然语言方面所做的所有工作，我们终于有机会将二者结合起来，创造出更强大的 AI。

这个故事本身证明了 AI 助手究竟是什么，以及不是什么： AI 助手的计算方式与上述我们的理解不同；它们的“思考”和交流方式令人震惊。坦白说，我个人也很难回答上述三个问题，而这就是我们使用计算机的原因。而如今 ChatGPT 有了自己的电脑。

机会与风险

这种插件架构意味着，需要有人更新维基百科，如今 ChatGPT 不会再编造财务数字了，因为它可以使用计算机：

这个答案依旧不完美，因为出于某种原因，Wolfram|Alpha 提供的数据已过时，但它获取了正确的股价：

当然，Wolfram|Alpha 并不是唯一的插件，目前 ChatGPT 有 11 个插件，类别包括旅游（Expedia 和 Kayak）、餐厅预订（OpenTable）和 Zapier，为 5,000 多个其他应用程序打开了大门（目前还没有搜索网络的插件），“插件商店”提供了所有这些插件。Instacart 的集成尤其优秀：

链接会打开这个页面：

ChatGPT 并没有真的送菜上门，但我们距离那一天也不远了。一个限制是我必须选择 Instacart 插件，而且一次只能加载 3 个插件。但是，这个限制将来肯定会被克服，而且插件的数量也会越来越多。OpenAI 既允许客户选择插件，同时也会获得的有关用户的信息，在拍卖的基础上出售某些类别的默认插件。

这听起来有点可怕，但我希望 Hawkins 的理论是正确的。他曾在《A Thousand Brains》中提到 AI 的风险：

智能是系统学习世界模型的能力。然而，由此产生的模型本身是没有价值的、没有感情的、没有目标的。目标和价值由使用该模型的系统提供。这类似于 16 世纪到 20 世纪的探险家绘制的全球地图。冷酷无情的将军可能会使用地图来计划如何包围和剿杀敌军。商人可以使用同一张地图来和平地交换货物。地图本身不会规定这些用途，也不赋予使用方式任何价值。它只是一张地图，既不凶残也不和平。当然，地图的细节和覆盖范围各不相同。因此，有些地图更适合战争，而有些地图则更适合贸易。但是，至于发动战争还是开展贸易，则取决于使用地图的人。

同样，大脑皮层也会学习世界模型，它本身没有目标或价值。指导我们行为的情绪是由旧脑决定的。如果一个人的旧脑具有攻击性，那么它将使用新皮质中的模型来更好地执行攻击性行为。如果一个人的旧脑是仁慈的，那么它会利用新皮质中的模型来更好地实现仁慈的目标。与地图一样，一个人的世界模型可能更适合一组特定的目标，但新皮质不会创造目标。

Hawkins 提到的旧脑是我们动物的大脑，驱动情绪的部分，生存和生育的动力，以及身体的子系统；而能够学习、思考和预测的是新皮层。Hawkins 认为，如果没有旧脑，我们的智能就没有行动能力，无论是在意志还是影响方面，机器智能也一样，AI 真正的风险在于使用的人的意图。

对此，我只能说让我们拭目以待。我同意 Tyler Cowen 关于 AI 的风险和人类历史不可避免的转变的论点：人工智能即将到来，我们根本不知道结果会是什么，所以我们的责任是推动人工智能取得积极的成果，让我们的生活变得更加美好。不论喜欢与否，我们都身处 Hawkins 长期以来一直寻求的大型实验：帆船正在驶向未知的海域，我们不知道是否正在朝着正确的方向行驶，直到我们到达目的地。