比当然可以比,有什么不能比

文心一言 2年前 (2023) lida
64 0 0

比当然可以比,有什么不能比的。

比当然可以比,有什么不能比

文 / 书航 2023.3.15

我非常重视这篇文章,因为时间已经临近12点,如果错过了这个点,这些预测将无法发布。但我一直打听多方消息,感觉将它们整理出来还是对大家有点用处。因此,我决定尽快完成这篇文章,以尽可能早地推送出去。

百度从官宣“文心一言”这样一个东西到发布成品,仅仅用了一个月多一点的时间,这本身并不稀奇。因为“文心一言”和“文心大模型”的关系,实际上就等于 ChatGPT 和 GPT-3 的关系。

百度的大模型已经训练很久了,但开发一个前端应用并不是一件容易的事情。在这一个月的时间里,大部分的时间都用在商务合作、宣传、内部测试各种刁钻古怪的用例以及找 bug 上面。

百度的工具箱里不只有文心大模型,还有支撑它的底层技术。包括使用自研芯片来训练。BAT 均宣布了自研芯片用于内部训练,百度对外宣布的「昆仑」已经到第二代,采用 7nm 制程,同时也强调通用性。而第三代会在明年部署。

百度虽然也会拓展各个模块的对外兼容性和开发者生态,但它坚信,将自家模块协同起来的效果肯定比使用通用方案拼起来更好。(我们可以将华为的5G技术和OpenRAN阵营,或者x86、ARM阵营和RISC-V阵营之间的比较,作为这个观点的证据)。

今天,OpenAI发布了 GPT-4,但令人值得注意的是,这次公布的技术细节相对较少。这与OpenAI以前作为服务于全人类的非盈利研究机构的感觉大不一样。这也说明,如果某个东西真的是好东西,制作它的人不太可能过于慷慨。

所有人都在注视「中国的 ChatGPT」,放眼全球似乎也只有中国有机会在现在的时间点做出美国公司之外开发的竞品。然而,能做出来是一回事,跟这东西是不是一样的品质则是另一回事。

复旦大学发布了 MOSS,成为最早发布该软件的学校,但很快就遭到了批评。虽然作为学术实验项目,口碑与未来的应用前景并不一定直接相关,但这并不意味着口碑不是最重要的东西。实际上,出产品的公司都在积极打预防针,不断降低国内外关注者的心理预期。具体而言,这些公司会先肯定自己现在做不出 ChatGPT 这么好的效果,并会担心出现更多问题,甚至更笨拙。

比如,小冰前阵子说的「小冰链」的说辞是,在全功能但高成本、低效率的大模型中,拆出一部分可以快速商用的做成产品,可能加上一些人工调优,会比当前的小冰模型更胜任聊天机器人等角色。即使不考虑类 GPT 的技术,小冰此前也自主实现了其中一些用例,比如文章、图片、视频的生成,以及尽可能的多轮对话。这些已经做出来的东西,其实也没必要扔掉,反正外面看来都是在同一个黑箱里面。

当我们浏览百度的工具箱时,可能会发现除了芯片和全技术栈之外,还有一个重要而被忽略的东西:知识图谱。

百度知识图谱最新数据来自 2020 年,其最新表述为:「百度打造了世界上最大的多源异构知识图谱,拥有超过 50 亿实体和 5500 亿事实,并在不断演进和更新,每天的调用次数超过 400 亿次」。

在深度学习技术突飞猛进的同时,知识图谱领域似乎被遗忘了,进展缓慢。然而,许多 AI 研究人员一直相信直接建立实体与事件的对应关系是让「黑箱」变白,让 AI 决策过程透明化的关键。然而,到目前为止,这并没有发生。

建立知识图谱的过程确实让人抓狂,尤其是当需要对大量的文本数据进行分析时。如果采用机器生成的方式,就可能会生成错误的对应关系,就像百度有时候会在搜索框下面提取出的让人啼笑皆非的「答案」一样。(谷歌也曾经发生过类似的问题。一个著名的例子是它把研究杀灭 Wanna Cry 勒索病毒的科学家标注为了该病毒的作者。)不过,这并不意味着我们应该完全放弃人类的判断和过滤。相反,我们应该尽可能地利用人类的智慧和判断来过滤信息,同时利用机器生成部分信息以加速分析过程。这种方法需要对自然语言处理和机器学习技术有深入的了解,需要不断地优化和改进。

如果用人工来梳理——开什么玩笑,是吧?

GPT 及同类技术可以产出符合伦理规范、符合逻辑且正确率高于商业应用所需要的阈值的答案,那么人类在打标签、知识图谱标记以及清洗深度学习语料等方面的工作将不再是不可完成的任务。

中文语料库虽然不如英文那么丰富,但通过成熟的 GPT 技术,可以代替人工清理过往的素材,核对和搭建知识图谱,实现自我增强。不过,这只是一种理论上的假设,实际应用中还需要进一步研究和探索。

实际上,不论是否将知识图谱,或其它现有资源融入文心大模型,我们已知它的问题就不算少了。在「文心一格」也就是画图应用中,经常出现 prompt 不能正确认知的情况。我或许可以在明天摸到「文心一言」的时候一起举例说明。

然而,一个可能证明他们将知识图谱引入大模型的例子是,文心一格可以正确了解「米线」和「佛跳墙」等中国菜肴,因为它们源自中国并拥有深厚的文化背景知识。百度成立初期的宣传口号是「更懂中文」,因此它们可能会特别注重将这方面的优势最大化,以吸引更广泛的用户。

为了扬长避短,避免在算力上正面交锋,以上各种说法都是为了挽救需要训练才能涌现的能力。涌现能力是 all or nothing,跟 ChatGPT 比了不行是意料之中的,如果有地方胜出,那就是意外收获嘛。

国产芯片目前处于从”me too”到”me better”的阶段,可以和国外产品比性能,也可以比价格,国产芯片企业应该如何正确预期呢?这就是我们应该面对”文心一言”时的正确预期。

关键词:文心一言、文心一格、知识图谱、芯片、自研、计算能力、人工智能、商业应用、竞品、国产、能力、比较

版权声明:lida 发表于 2023年3月16日 pm6:56。
转载请注明:比当然可以比,有什么不能比 | ChatGPT资源导航

相关文章