文心一言真实测评来了,超乎预期!

文心一言 2年前 (2023) lida
56 0 0

3月16日,百度召开了文心一言的新闻发布会,作为国内企业自主研发并首先发布的大语言模型,文心一言获得万众瞩目,其中也不乏调侃吐槽,将其与ChatGPT对比。虽然ChatGPT很强,但由于众所周知的原因,ChatGPT国内的应用者并不广泛。少数尝鲜者为其惊叹,但好用是一方面,能不能直接用到才更为关键。

笔者一拿到邀请码就迫不及待尝试起来,相信很多人跟笔者一样,对于它的中文语义识别格外感兴趣,毕竟汉语博大精深,很多毫不相干的词语也可以在汉语浩瀚的语境里产生微妙的联系,也正是这些微妙的联系让人感慨汉语的神奇。那么文心一言到底强不强?笔者给它准备了一场考试,从初级到高级,力求做到全方位的知识拷打。

说到汉语,那么首先绕不开的就是对于成语的理解,其背后的典故和含义一直是构筑汉语文化的基石。笔者选了几个成语与文心一言和ChatGPT对话,看看他们是否能够准确识别并理解成语。

文心一言真实测评来了,超乎预期!
文心一言真实测评来了,超乎预期!
文心一言真实测评来了,超乎预期!
文心一言真实测评来了,超乎预期!
文心一言真实测评来了,超乎预期!
文心一言真实测评来了,超乎预期!
文心一言真实测评来了,超乎预期!
文心一言真实测评来了,超乎预期!

考完这些,笔者发现文心一言的表现远超预期,而ChatGPT则有很多事实错误,一本正经的胡说八道。

接下来,笔者升级难度,增加了一些网络热梗,这些内容不属于固有知识的范畴,不仅要对现有知识懂得衍生和引用,同时一些亚文化也将成为考题重点。

文心一言真实测评来了,超乎预期!
文心一言真实测评来了,超乎预期!
文心一言真实测评来了,超乎预期!
文心一言真实测评来了,超乎预期!

从这里可以看出,除了对于一些固有的基础知识文心一言能够掌握以外,对于汉语中出现的谐音昵称也可以做到精准识别。ChatGPT能够回答,但能感觉到有一种向外地人问本地路的突兀感——能走到那儿去,但多少得走点弯路。

最后,笔者又尝试出了一些开放式命题,这部分不仅仅局限于对于知识的了解,更多的是能够“学以致用”所以考察的重点是文心一言的创造性。

文心一言真实测评来了,超乎预期!
文心一言真实测评来了,超乎预期!

可以看出文心一言的道歉信还略显清纯,但是框架是对的,从承认错误到阐述理由,逻辑清晰,调教后语气用词更是有很大提升,有点意思。

最后,文心一言的多模态生成能力更是ChatGPT不具备的,而且画面质感很好,确实有点惊喜。

文心一言真实测评来了,超乎预期!

一番体验下来,文心一言真是超预期。ChatGPT可能是中文语料训练不足,虽然什么都可以回答,但是答案需要做好甄别,而文心一言对汉语的独特理解能力真的很赞。如果大家没用过,就不要踩它了。百度的一小步,AI的一大步,中国需要文心一言这样的产品,而且除了百度还有谁能跟OpenAI PK?

版权声明:lida 发表于 2023年3月23日 pm6:17。
转载请注明:文心一言真实测评来了,超乎预期! | ChatGPT资源导航

相关文章