大模型：科学价值何在？冷门AI或藏颠覆性创新

🎉【热度降温？揭秘ChatGPT访问量的波动】🔍今年6月，技术巨头的宠儿——ChatGPT遭遇了一次罕见的流量滑坡，环比下降幅度高达9.7%，这是它自面世以来首次经历显著的用户冷却。👀 然而，这并不意味着大模型的魅力已经消退，反而可能是市场和公众对新鲜事物的热情周期性调整。📊在全球范围内，尽管各大公司如雨后春笋般推出或升级他们的超大规模语言模型，但舆论的聚焦点似乎开始从顶峰缓缓下移。💡 人们对于创新技术的关注度并非恒定，热度的起伏是科技行业新陈代谢的一部分。🌱尽管如此，ChatGPT的跌落并未冷却人们对大模型探索的热情，反而激发了更深入的讨论和期待。🤔 接下来，我们或许会看到更多迭代与优化，以适应不断变化的信息海洋。🌊记得关注，一起见证技术的潮起潮落！🌐

🏆🌟2023世界AI青年论坛：深度洞察，突破未来！🚀🔍在昨日璀璨的#世界人工智能大会#上，青年才俊们聚焦【创新】战场，复旦大学计算机学院教授邱锡鹏直陈，这场“百模争霸”虽热闹非凡，却隐藏着同质化问题的挑战。🔥💡大模型的发展，远非简单的技术堆砌，它正面临科学难题的严峻考验，距离通用人工智能的理想蓝图尚有距离。每一步前行，都需要对既有模式的深刻反思与突破。邱教授的观点，无疑为行业敲响了警钟，让我们期待未来能见证更多实质性创新的诞生！💡🚀欲了解更多AI领域的前沿动态和青年科学家的智慧火花，不妨探索这场论坛的深度内容，让知识的光芒照亮未来的道路。📚🌐SEO优化提示：使用相关关键词如“世界人工智能大会”、“大模型创新”、“通用人工智能”、“科学问题”等，并适当增加emoji符号以提升可读性和吸引力。

“百模大战”其实是挤同一条赛道

🌟探讨🔥：大模型科学价值之谜？🤔邱教授的开场似乎让人们对这些超大规模模型产生了冷静思考。尽管它们的崛起并非偶然，而是科研积累的厚积薄发，但ChatGPT的热度引发了一场转变——人们开始过分依赖技术手段，而非深入探索背后的科学原理。🔍诚然，大模型的成功源于工程上的突破，但这并不意味着我们应该忽视其背后的科学贡献。科学研究需要时间与耐心，而不仅仅是短期的奇迹。💻从长远看，一个健康的发展环境应当鼓励科研人员在基础研究上深耕，而不是一味追求立竿见影的效果。ChatGPT的兴起，或许正是提醒我们，技术的力量虽强大，但科学的价值不可替代。它既是工具，也是挑战，推动我们重新审视科技与知识的关系。🤔记得，每一次创新的背后，都是对既有理论的质疑和突破。让我们一起期待，未来的大模型不仅能带来便捷，更能引领科学的新篇章！📖

🌟Transformer架构无疑是现代大模型训练中的主力军，它的高效与广泛使用带来了显著成效。然而，随之而来的挑战也不容忽视——这强大的架构对计算资源的需求是巨大的，往往需要顶尖的超算能力来驱动。🚀

🌟🚀随着AI技术的进步，生成范式已成为行业主导，这无疑为大模型的应用开辟了新路径。不论任务多么复杂，如结构化预测问题，都需转化为生成形式来处理。不仅如此，生成范式的标准化正在加速，曾经的两大类别——Seq2Seq和LM——如今已合二为一，只剩下强大的LM模型。🌟

🌟邱锡鹏深度剖析：自然语言处理领域的演变轨迹👀曾经，NLP这片广袤的研究天地，百花齐放，各领风骚——对话、问答、机器翻译等多个方向熠熠生辉。那时的学者们犹如探险家，各自探索独特的知识领域，并从跨界中汲取灵感火花。然而，时代在变，潮流涌动——如今，我们看到的是一个显著的转向，所有目光聚焦于大语言模型这一主流路径。🚀曾经的多元并存，如今似乎正在经历一场集中式的创新竞赛，尽管这无疑推动了技术的进步，但也引发了对狭窄领域研究萎缩的担忧。学术界是否正逐渐失去探索未知的热情？🤔邱锡鹏的观点或许能为我们提供一些启示：在追求卓越的同时，我们不应忽视那些可能孕育新突破的小径。保持开放的心态和多元视角，或许才是未来NLP持续繁荣的关键。🌍SEO优化提示：使用相关关键词如”自然语言处理”, “研究领域萎缩”, “大语言模型”, “多元化”, “创新竞赛”等。

大模型面临“十大科学挑战”

尽管大模型展现出通往通用人工智能的潜力，但这条路并不好走。邱锡鹏列出了大模型亟需解决的“十大科学挑战”，包括架构设计、思维链、幻觉、多模态延展、自动化评价、平民化等。其中，大模型的架构创新是当务之急。邱锡鹏说，大模型之所以称为大模型，是因为其庞大的数据量使其拥有了涌现的能力，虽然人们至今不知道涌现是如何发生的，但是否有涌现是区别大模型与小模型的主要特征。换言之，想要大模型更智能，继续扩大其规模是一条显而易见的路。

但是，当下主流的Transformer架构已经制约了模型的进一步扩大。这是因为Transformer的复杂度是输入字符长度的平方级，每多输入一个字符，计算量就会以指数级增长。因此，“只有找到更高效的新架构，才能支持未来模型规模的进一步扩张。”

另一个对大模型发展至关重要的问题是评价体系。尽管当下有许多测评大模型优劣的榜单，但业内对此并没有形成统一标准。而且对于擅长“刷题”的大模型来说，很多数据集上的表现已不足以衡量其真实能力。

颠覆性创新常在“冷门”处

深入研究创新规律不难发现，越是扎堆的“热门”圈子，往往难出颠覆性创新成果，ChatGPT本身就是个“冷门选手”爆火的案例。在其火遍全球之前，在大语言模型领域，谷歌的“理解与生成相结合”的路线是绝对的主流，在这种情况下，研发ChatGPT的OpenAI公司仍然选择坚持走自己的路。

现在，原本默默无闻的生成式AI成为了“顶流”。当人们一哄而上投入其中时，仍有一部分人还在坚持以IBM沃森机器人为代表的“AI符号主义”技术路线。以“爆款”常偏爱“冷门”的创新规律来看，或许未来的“核爆点”会奖励默默坚持的“少数派”。

事实上，获得今年世界人工智能大会最高奖项SAIL奖（卓越人工智能引领者奖）的论文《机器学习结合阻抗谱技术预测锂电池老化》，就不是一个关于大模型的研究。文章第一作者、中山大学物理学院副教授张云蔚说，她只采集了2万个电化学阻抗谱，就实现了AI精准建模。比起海量数据，更重要的是思路。就是这样一个小模型，将过去需要花费几天才能实现的电池寿命预测缩短到了15分钟，且检测精度是原来的10倍。

在大模型爆火的半年多时间里，大家似乎形成了一种共识，即只有资金雄厚和数据储备充足的大厂才有进军大模型的资格。对此，邱锡鹏认为，大模型还有大量科学问题需要攻关，这些问题除了预训练阶段需要耗费大算力外，在对齐、指令微调等方面所需的算力并不高。而随着算法的优化，3090显卡足以能完成大模型的研究，这是一条小公司也能“出奇迹”的赛道。

作者丨沈湫莎

编辑丨蒋竹云