ChatGPT颠覆认知？MIT活动揭示巨型模型未来真谛
文章主题：
·“我认为对参数数量的关注度过高。”
山姆·奥特曼在麻省理工学院（MIT）举办的活动中远程连线。
🌟【OpenAI巨头揭秘】🚀ChatGPT背后的秘密：创新转向？🔥💡OpenAI掌门人山姆·奥特曼近期的一席话，引发了科技界的深度思考——巨量模型的黄金时代是否已步入尾声？💥💥在4月的一场对话中，这位人工智能领域的领军人物透露，OpenAI并未涉足GPT-5的训练过程。他暗示了一个微妙的转变，即公司在探索新的路径以优化模型效能。🔍🌟“巨型模型时代的车轮似乎正在放缓，我们正致力于寻找创新的引擎点。”奥特曼如是说，字里行间透露出对未来的洞察与决心。🌱👀这是否预示着OpenAI即将引领一场技术革命，或是单纯的战略调整以适应日益激烈的市场竞争？🔥💡ChatGPT虽未升级，但其背后的技术迭代和未来可能的突破，无疑将为人工智能领域带来新的活力。🚀欲了解更多OpenAI的未来动向与技术探索，敬请关注我们后续报道，一起见证科技的革新力量！🌐#ChatGPT #OpenAI #模型优化 #技术创新
🌟 MIT 主办的”想象行动”盛会于 5月8日精彩揭秘！🎉 模型效能而非规模，是创新致胜的关键💡，MIT学者奥特曼深入剖析，颠覆传统观念。🚀 他强调，真正的智能不拘泥于大小，而在于其解决问题的能力和智慧火花。让我们一起期待这场思想盛宴，探索未来科技的无限可能！🌐 #想象行动 #MIT #模型效能
🌟作为一位资深文章撰写者，我理解你的需求。在这个领域，我们不妨以一种启发性和专业的方式重述这段内容：🚀对于大模型的商业应用，虽然奥特曼坦承自己并非策略大师，但他强调了稳健发展的重要性。他指出，那些短期依赖轻量级技术构建掠夺性产品的公司，往往难以维持长久竞争力。相反，遵循常规、脚踏实地打造伟大企业的公司在过去十五年中持续展现出强劲的生命力。因此，追求的是那种可持续的长远成功。🌍
以下是对话内容，略有删节：
主持人：第一个我想问的是，如果AGI（通用人工智能）即将到来，那么我们现在正处于一个拐点。人类历史在AGI出现之前是一个段落，然后，从这里开始显然有一个完全不同的历史。所以在我看来，无论事态如何发展，你都将成为历史书中的焦点。你认为是这样吗？
奥特曼：你说的“这样”是指什么？
主持人：关于历史将如何描述这个时刻，这个时刻是（人工智能）这个领域里的创新之年。
奥特曼：我希望这会成为历史书中的一页或一章，但我认为在接下来的几十亿年里会发生如此多不可思议的事情，以至于这将只是其中的一个小部分。所以我认为，在我们面前会有更多新的、更大的、更令人兴奋的机遇和挑战。
主持人：你能否给刚创业的公司一些快速建议，需要从一开始就做出哪些决定？从哪里开始？如何让它在任何特定的垂直用例中发挥作用？等等。
奥特曼：没有什么能超过你为用户打造一个他们喜爱的产品的责任。你要非常了解你的用户，满足他们的需求，考虑长期可持续的商业策略。在平台转换期间，这实际上可能变得更加重要，而不是变得不那么重要。
🌟曾经的爆款瞬间，如今的过眼云烟，应用商店的繁荣见证了众多轻量级产品的崛起与陨落。🚀然而，可持续的成功并非靠掠夺性机制一蹴而就，那些短暂的明星公司犹如流星划过夜空，转瞬即逝。🔍相反，遵循常规、稳健经营的企业，如同常青树般，在过去的15年里稳步壮大。🏆因此，你的目标应当是成为后者，那才是真正的长跑赢家。🏆SEO优化：应用商店流星般的产品，可持续成功背后的逻辑；轻量级掠夺性机制的短暂繁荣与稳健企业的持久发展；从过客到常青树，成为后者，赢得市场长远青睐。
技术只是一个新的推动器，但你作为公司需要做的是建立一个具有长期复合战略优势的优秀公司。
主持人：让我们开始谈谈基础大模型。回顾过去两年，开始的最好方法之一是采用现有的基础模型，添加一些层，然后针对垂直领域重新训练它。现在基础模型可能有一万亿个参数，规模要大得多。但是，在不重新训练的情况下对其进行操作的能力也要灵活得多。我认为现在基本模型中有50000个可用的token（在自然语言处理中，token是指一组相关的字符序列，例如一个单词或一个标点符号） ？
奥特曼：最大的模型中大约有32000个，基础模型中有8000个。
主持人：那么，基础模型未来会如何迭代？这应该相当快就会被推出了。
奥特曼：我们仍在努力弄清楚，开发者在模型定制方面到底需要什么。我们愿意在这里做很多事情，我们也把开发者当作我们的用户。因此，我们的目标是让开发者非常满意，弄清楚他们需要什么。
🌟💡原来的想法是深入微调的精细化旅程，我们一直在探索创新路径，如何赋予服务更多元化的可能。然而，出乎意料的是，大众更钟爱基础模型的力量，用它来成就非凡之举。这促使我们深思，何以定制才是我们的优先选择？🚀🌈
🎉模型升级，需求进化🚀！随着AI技术的不断提升，用户期待的解决方案愈发精准。优化后的模型无需频繁微调，只需轻轻一调，就能在更大范围内满足复杂需求。🌍这意味着你可以用更少的努力，实现更多元化的操作，让每一次调整都发挥最大效能。🏆这就是进步的力量，让你的工作更加高效，内容更具影响力！SEO关键词：AI微调、精准解决方案、模型优化、工作效率提升
主持人：当你说微调时，你是指改变参数权重。
奥特曼：是的。我们肯定会在GPT里提供一些修改参数权重的功能，但就目前来看，与提供非常便宜的上下文能力相比，可能调整参数权重的使用频率会较低，如果我们能解决（可输入）100万个token的问题的话。
主持人：我们来稍微深入了解一下。无论具体细节如何， 趋势似乎是，随着模型变得越来越大，从1万亿到10万亿个参数，prompt提示工程的能力规模以及token规模的数量，都与模型参数规模不成比例地增长， 这听起来对吗？
奥特曼：从参数规模的角度，不成比例地增长，是的。但我认为我们现在已经接近这些巨型模型时代的尾声。我们将通过其他方式改进它们。我想说的是，它们和模型能力成比例地增长。
主持人：关于基础模型的创建投资，在训练过程中可能需要5000万至1亿美元的规模？
奥特曼：我们没有透露过具体金额，但实际上比这个数字要多得多。
主持人：随着时间的推移，投资也在增加。那么，试图从零开始的人需要迎头赶上，他们可能要追赶一个巨大的差距。
奥特曼：也许我们都很愚蠢，错过了一个重要的想法，所有这些或许并不像我们想象的那么困难或昂贵，可能将有一个完全新的范例取代我们。这对世界来说是好事，尽管对我们来说可能不是。
主持人：让我听听你对这些事情的看法。保罗·格雷厄姆（美国风险投资家）称，你是他见过的最伟大的商业策略家。在场所有这些人都在努力应对他们的商业策略，思考到底要建立什么和在哪里建立。所以我一直在问你一些问题，这些问题或多或少地涉及到在GPT-4、ChatGPT以及即将到来的GPT-5等基础之上的垂直应用案例。但是，还有许多与之相邻的商业模式，如联合学习、数据调节或部署等。
如果你只是投资于这个生态系统中的一类公司，那也是有趣的商业模式。关于哪里有更高回报、哪里有更快增长的商业模式，你有什么想法？
奥特曼：我不认为保罗·格雷厄姆真的那样说过。我知道他说过类似的话，但无论如何，我不认为这是真的。
我觉得有些人是难以置信的商业策略家，而我不是其中之一。所以我在这里犹豫不决地给建议。
我唯一懂得如何制定策略的方法就是，一次又一次地进行非常长期的、资本密集型的、困难技术相关的投资。而且我甚至不认为我在这方面特别擅长。我只是觉得没有太多人尝试这些，所以竞争很小，这种策略我认为没有太多竞争。
但要利用像OpenAI这样的平台，构建一个新的、快速增长、有防御能力的消费者企业公司，我几乎一无所知。我知道所有的理论，但不了解实践。我会去寻找那些做过这些事情的人，并向他们寻求实践建议。
主持人：关于底层技术平台，我有几个问题。自从参数数量还不到100万时，我就一直在自己构建神经网络。实际上，它们在许多商业应用中非常有用。然后我看着它们的参数数量增长到10亿，GPT-2大约是15亿个参数，接着是GPT-3，现在是GPT-4。我们不知道当前的参数数量，但我认为GPT-3中是1250亿。与GPT-2相比，它的差距简直令人难以置信，然后GPT-4更是让人难以置信地不同。
听了英伟达的预测，参数数量似乎处于上升趋势，从1万亿到10万亿，然后英伟达说未来十年将达到10千兆。你认为这个数字是正确的吗？
奥特曼：我认为对参数数量的关注度过高。
参数数量肯定会上升，但这让我想起了上世纪90年代和21世纪初芯片中的兆赫兹竞赛。每个人都试图指向一个很大的数字，然后最后，你可能连自己的iPhone上有多少兆赫都不知道，但它很快。我们实际上关心的是能力。
我认为重要的是去关注能力的快速提高。如果有什么原因使得参数数量应该随着时间的推移而减少，或者我们应该让多个较小的模型共同工作，我们也会这样做。
我们想为世界提供最有能力、最有用、最安全的模型。我们不是为了炫耀参数数量而存在。
主持人：但这类算法与我以前见过的任何算法相比，有一个绝对独特的地方，无论你是用参数数量还是其他方式来衡量，它都会让你惊讶于它的原始性能，它利用了规模的优势。
今天早上我举的例子是，如果你有一个电子表格，你将其编码并在一台速度提高了10000倍的计算机上运行，它不会让你感到惊讶；它反应很好，但它仍然是一个电子表格。
而这类算法在纯粹提高性能方面做了以前无法做到的事情（指AI大模型的智能涌现）。
实际上我们风险投资基金的一位合伙人用GPT-2写了一本书。你可以在亚马逊上购买，书名叫《从这里开始》或《从这里开始：浪漫》 ，我想大概卖了10本，我买了其中的一本，所以可能只卖了9本。如果你读这本书，你会发现这本书并不好 。
这只是4年前。仅仅4年，从GPT-2、3到4，现在它已经从质量不怎么好，到有些合理，到现在有可能写出一本真正优秀的书。
你还是要先给它一个框架，还是要有效地写出概念，但它在填充单词上做得非常漂亮。所以作为一个作者，这可能是一种十倍、一百倍的能力放大器，使作者更强大。
所以，如果底层基础设施越来越快，这类算法将在相对较短的时间范围内做出令人惊讶的事情。
因此，我认为在座的各位需要预测的是，下一个真正对社会有益的用例会在这个（AI增长的）曲线上达到临界点。你能给我们什么启示，关于什么是可能的，而在一年前或两年前是不可能的？
奥特曼：我认为，永远不要失去对愿景和长期目标的关注，要有非常紧密的反馈循环，关注哪些有效果，哪些无效果；做更多有效果的事情，少做无效果的事情。非常非常仔细的用户观察可以让我们走得很远。
所以，我可以猜测想法，你们都可以猜测想法，但没有什么比把产品放出去，真正深入了解发生了什么，并且对其做出及时响应更有价值。
主持人：你什么时候知道你的ChatGPT非常特别？是什么让你实现了其他人无法实现的事情？
奥特曼：我们已经为此努力了很长时间，我们逐渐更有信心地知道这真的会奏效。这个公司已经成立了7年，事情需要很长时间。
关于为什么其他人没有成功我们却成功了，就是因为我们一直在努力工作，长时间关注每一个细节，大多数人不愿意这么做。
至于我们什么时候知道，ChatGPT特别是作为一款消费者产品会火起来的，大概是在发布后的48小时左右。
主持人：我们在MIT，这里与马克斯·泰格马克（Max Tegmark，麻省理工学院教授）等人发起制定了一个“关于暂停AI发展6个月”的公开信。
关于这封公开信，你有什么想法？
奥特曼：其中有一部分我非常赞同。我们在发布GPT-4之前，已经花了超过6个月的时间研究模型的安全性，以及让外部审计和红队进行检查。花时间真正研究一个模型的安全性，尽可能地消除风险是很重要的。
自从我们发布了GPT-4以来，很多人都说，哇，这不仅是OpenAI发布的最有能力的模型，而且是最安全、最有目标的模型。除非我尝试让它做坏事，否则它不会这样做。所以，我们完全同意（以上这点）。
我还同意，随着AI能力变得越来越强大，安全标准也必须提高。但不幸的是，我认为这封信缺乏关于哪里需要暂停的技术细节。
事实上，在信的早期版本中宣称我们OpenAI正在训练GPT-5，但事实并非如此。我们还需要一段时间。从这个意义上说，这封信有点可笑。
02:03
重播
00:00
/
00:00
直播
山姆·奥特曼在对话中表示，OpenAI没有在训练GPT-5，“一段时间”内也不会训练。(02:03)
我们正在GPT-4之上做一些其他事情，我认为有很多安全问题需要解决，而这封信却完全忽略了这些问题。
所以，我认为谨慎行事，增加对安全问题的严格性非常重要，但这封信并不是解决问题的最佳途径。
主持人：你一直非常开放，进行很多对话，非常诚实，而且OpenAI也是如此，而其他公司就相对封闭得多。这背后的理念是什么？你打算继续这样做吗？
奥特曼：我们当然打算继续这样做。
我们权衡的是，有时候我们会说一些愚蠢的话，说出一些事实上是错误的东西。我想很多其他公司在确定某件事是正确之前都不想说出来。
但是，我们认为这项技术将对我们所有人产生如此深远的影响，因此我们相信，要让每个人参与讨论、将这些系统推向世界。尽管它们在当前状态下有很多不完美之处，但是让人们体验它们、思考它们，了解它们的优缺点是值得的。
即使我们有时候在公开场合会感到尴尬，不得不根据新数据改变想法，我们还是会继续这样做，因为我们认为这比任何替代方案都要好。
OpenAI的一个重要目标是让世界参与其中，思考这个问题，逐步更新和建立新的制度，或者调整我们现有的制度，以便能够找出我们都希望建立的未来，这就是我们在这里的原因。
主持人：我们只剩下几分钟了。我必须问你一个自从我13岁以来一直萦绕在我心头的问题。
如果读过雷蒙德·库茨魏尔（Raymond Kurzweil，美国作家、未来学家）或者这个领域的任何杰出人物的书籍，（都明白）在算法开始编写改进算法代码的那一天，就是一个关键的日子，这将使世界加速发展，直至无穷大。
如今，很多我投资或者参与创立的公司开始使用AI模型进行代码生成。这些代码生成的提升范围相当广泛，从大约5%到20倍不等。这取决于你要做什么，要编写什么类型的代码，以及它需要多少上下文等等，很多与调整系统有关。
所以问题有两个：首先，在OpenAI，你们在创建下一代代码时已经看到了多少效果倍增？
接下来的问题是，从现在开始，几个月后、一年后、两年后的情况是什么样的？我们是否接近那个日子，即算法迅速自我改进，达到某个临界点？
奥特曼：这是一个很好的问题。我认为，到达自我改进的边界会变得更加模糊。我认为会发生的是，越来越多的改进循环将由AI辅助，但人类仍然是驱动力。这种情况将持续很长时间。
我从未相信过在一天或一个月内实现突破的想法。原因之一就是建立新的数据中心和更大的数据中心需要很长时间。即使我们现在知道如何做，等待混凝土干燥、将电力引入建筑物等都需要一段时间。
但是我认为会发生的是，人类将越来越多地得到AI的增强，并能够在世界上更快地完成各种事情。这不会像科幻小说中描绘的那样发展，大多数事情都不会按照科幻小说中的方式发展，这也不例外。
但是，从现在开始，随着人类获得越来越好的工具，世界变化的速度将永远加快。
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
相关文章
