ChatGPT：通用人工智能的核心技术？
在昨晚的复旦科创先锋论坛上，复旦大学计算机学院教授、博士生导师黄萱菁形容自己和通用人工智能的相遇让她感到“无比兴奋”，这也是她从事人工智能研究这么多年以来最激动人心的时刻。作为国内最早从事人工智能、自然语言处理和信息检索的学者之一，她判断AI可能会像工业革命和信息革命一样，引领我们走向下一个时代。ChatGPT的出现让她更加坚信这一判断。作为全球领先的人工智能平台之一，ChatGPT不仅让人类语言处理能力得到了大幅提升，还实现了对大量文本数据的高效处理和检索。这一成果不仅在国内引起了轰动，也在国际上引起了广泛的关注和讨论。黄萱菁教授认为，ChatGPT的出现证明了AI技术已经取得了长足的进步和突破，这一技术的应用前景也极为广阔。她相信，随着技术的不断深入研究和发展，未来我们还会看到更多令人兴奋的AI技术和应用。
在活动现场，黄萱菁发表了主题为“迈向大规模语言模型”的演讲。她解释了语言模型的定义，指出语言模型就是语言的规律。虽然仅仅通过语法学习，我们很难捕捉到客观世界纷繁复杂的语言现象，因为语言并不会严格按照语法去表达。因此，我们需要使用数学“武器”——概率，在各种语言现象中间去寻找规律。通过对句子进行概率分析，我们就能知道什么是正确的识别结果。这个概率模型就称为语言模型。
传统概率语言模型需要大量计算资源来处理海量句子，因此在许多情况下无法有效地训练模型。为了解决这个问题，2017年出现了一种名为Transformer的模型，它能够通过压缩句子和单词序列的方式来减少计算量，并且能够使用更长的时间窗口来训练模型。Transformer模型成为现在预训练模型的基石，也是大规模语言模型的基石。
据黄萱菁介绍，传统的预训练模型有两种思路。一种是理解模型，比如BERT，另一种是产生式模型，比如ChatGPT的前身GPT。也有工作尝试将理解模型和产生式模型结合起来。曾经，理解式的模型被广泛使用，但产生式模型则需要更高的算力和更长的窗口，直到GPT-3的出现，大家才知道它如此强悍。ChatGPT还拥有很强的理解人类上下文的能力。
我们生活在一个快速变化的时代，每个礼拜都有新的模型发布，新的预训练和微调方法也随之出现。在这个时代，大厂商逐渐放弃开源，而用户也缺乏足够的计算资源来使用大模型。因此，一个新的范式出现了：利用大规模语言模型的涌现能力。这种模型虽然参数规模较大，但在未达到临界值时，你无法看到它的强大。但当模型的参数规模达到某个临界值时，它就会变得非常强大，这种强大的表现甚至可以超越那些开源的大模型。
ChatGPT背后的核心技术是大语言模型，该模型可以展现出强大的学习能力。现有研究表明，模型规模和数据量越大，性能越好。当模型和数据规模达到一定程度时，模型将获得涌现能力，表现出更为出色的语言理解和生成性能。
强大的能力后，ChatGPT会给我们带来哪些改变？微软CEO萨提亚·纳德拉曾指出，内燃机带来了廉价的动力，互联网技术减少了信息传递的成本，而ChatGPT会让信息的整合、转译、流通变得更加廉价。
在黄萱菁看来，ChatGPT可以视作是人工智能的基座，就像“大脑”一样，它可以协助人类完成各种任务，提高效率。未来，ChatGPT将协助人类完成更多的工作，但它并不能完全取代人类，因为AI只是工具，而不是人类。
改写后：同时，她表示，“我们发现ChatGPT能力现在的强大性能都是在现有的机器学习框架下可以解释的，并没有一些很玄的东西。我相信今年除了OpenAI，国内外会有很多机构，包括大学和企业等，在ChatGPT模型方面会有大的突破。”
作者：唐玮婕
编辑：朱伟
责任编辑：戎兵
*文汇独家稿件，转载请注明出处。
关键词：ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、复旦大学计算机学院教授、博士生导师、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、信息整合、转译、流通、马丁路德金、微软CEO、纳德拉、内燃机、互联网技术、信息传递、马丁路德金、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用者、计算资源、数据量、性能、效率、生产力、信息整合、转译、流通、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、ChatGPT、大语言模型、涌现能力、理解人类上下文、人工智能、工业革命、信息革命、学术论坛、计算机科学家、自然语言处理、信息检索、学术论坛、计算机科学家、语言模型、语法、概率、大规模语言模型、预训练模型、Transformer、理解式模型、产生式模型、大厂商、开源、下游应用、数据量、性能、效率、生产力、信息整合、马丁路德金、内燃机、互联网技术、信息传递、效率、生产力、信息传递、马丁路德金、效率、生产力、信息传递、马丁路德、马丁
相关文章
