百度内部所研发的类ChatGPT聊天机器

作者 | 徐杰承

2月7日，百度官方公众号发布了一条极为简短的通告，《官宣：文心一言》。据了解，文心一言正是百度内部所研发的类ChatGPT聊天机器人，其英文名称则为ERNIE Bot。

据百度内部人员透露，文心一言是由百度提出的知识增强大模型(Ernie)扩展而成的一系列高级大模型构成，可以执行广泛的任务，包括语言理解、语言生成(ERNIE 3.0 Titan)以及根据文本生成图像(ERNIE-ViLG)等。与其他语言模型相比，文心一言能够将广泛的知识与海量数据相结合，从而产生非凡的理解与生成能力。百度计划在3月完成文心一言的内部测试，然后向公众正式开放使用。

虽然对于文心一言的实际表现我们暂且不得而知，但通过百度此前所发布的名为《ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation》的论文，目前我们可以大致了解到一些有关其所应用的语言模型ERNIE 3.0 Titan的相关信息。

据相关论文介绍，ERNIE 3.0 Titan是百度在PaddlePaddle平台上训练的千亿参数模型，其中包含多达2600亿个参数(与ChatGPT使用的GPT3.5模型的参数量相当)。此外，该模型还设计了一个自我监督的对抗性损失和一个可控的语言建模损失，使得其生成文本可信度和可控性得到提升。

为了减少计算开销和碳排放，百度还为ERNIE 3.0 Titan提出了一个在线蒸馏框架，该框架利用教师模型同时教授学生和训练自己，以加快模型的训练速度和提高模型的性能。ERNIE 3.0 Titan是迄今为止最大的中国密集预训练模型，拥有1750亿参数，在多个NLP数据集上表现出色，优于现阶段最先进的语言模型，包括ChatGPT所应用的GPT3.5模型。

ERNIE 3.0 Titan模型架构图

据相关消息透露，文心一言项目已进入上线前的最接冲刺阶段。这一相关消息的曝出，也使百度港股市值增长约700亿港元。据部分业内人士推测，百度文心一言项目或早在2022年9月便已启动研发。当时，百度CEO李彦宏在世界人工智能大会上曾表示，人工智能在技术层面和商业应用层面都取得了巨大的进展，有些甚至是方向性的改变。

随着ChatGPT的生成式AI技术的火爆，未来觊觎这一领域市场的国内企业将不止百度一家。从市场角度而言，目前类ChatGPT聊天机器人最明显的价值与落地场景，正是百度主营的搜索业务。因此，如果下一次科技革命真的爆发在该领域，百度无疑已拔得头筹。此外，不少业内人士指出，考虑到谷歌和微软的推进节奏，文心一言开放内测的进度可能还会继续提前。