文章主题：ChatGPT, AI科技, 腾讯AI Lab
在今天，狂热追捧ChatGPT，仿佛已经成为了一种“政治正确”。
🎉ChatGPT震撼登场，全球热议不断！🌟学术与工业界的惊叹声此起彼伏，一位AI领域的权威人士在科技评论中直言：“ChatGPT颠覆了传统，其卓越的生成能力和强大的NLP技能，让人为之震撼。”🔍技术的进步，确实带来了挑战，也让创新更具可能性。👩🏫教育和研究领域或许需要重新审视，如何与这样的强大工具共存并提升。💼工业界也需紧跟步伐，探索如何利用其优势推动产业升级。🌍ChatGPT的影响力超越国界，引领着人工智能的新篇章。SEO优化提示：#ChatGPT #AI革命 #技术革新
微软注资百亿美元，谷歌则如临大敌，ChatGPT在科技圈里掀起的巨浪，仍是现在进行时。
🌟 ChatGPT虽火，但并非无所不能的超级工具🌟 诚然，大模型在通用性上表现出色，但专业领域的精准度仍有局限性。据 Tencent AI Lab 最新研究揭示，在机器翻译这一关键领域，ChatGPT的表现并不总是优于市面上的专业商业翻译产品。实例证明，它在某些特定场景下，翻译的准确性与这些垂类应用相比存在差距。🚀💡 语言技术的进步并非一蹴而就，每个工具都有其适用范围和专业领域挑战。对于依赖高度精准信息的专业工作，如法律文档、科研论文等，选择经验丰富且经过市场验证的产品更为明智。🔍📝 需要明确的是，ChatGPT虽强大，但它不是万能的解决方案，用户在使用时还需结合自身需求进行权衡和判断。📚记得，技术迭代，专业领域始终需要专业知识的陪伴。🌟
论文地址：
https://arxiv.org/pdf/2301.08745v1.pdf
1ChatGPT是个好翻译吗？
腾讯AI Lab的调查文指出：
🌟ChatGPT在高语料环境下展现出色的翻译实力，相较于知名工具如谷歌翻译和DeepL Translate，它确实具备相当的竞争优势。然而，对于那些稀有且历史悠久的语言，比如古籍文献，它的表现就显得逊色了。🌍古老语言的翻译需求呼唤更专业、精准的解决方案，ChatGPT在这方面还有待提升。📚
🌟ChatGPT虽在生物医学摘要和Reddit评论的翻译精确度上逊色于专业商务软件，但在口语表达方面却展现出独特优势🌟。它可能成为翻译领域的一个有力补充，特别是在日常对话或非正式场合中。虽然不能完全替代传统技术，但其潜力不容忽视SEO: #ChatGPT# #翻译工具# #口语翻译
为了更好地理解ChatGPT的翻译能力，腾讯AI Lab从以下三个方面开展实验：
🌟ChatGPT💡：作为一款卓越的语言智能工具，它依赖于精准的提示（Prompt）来驱动翻译过程。提示词的设计对翻译质量至关重要，就像桥梁连接不同语言世界。在多语种机器翻译中，巧妙地整合两种语言特征是关键，这通常通过内置的语义转换技术实现。换句话说，一个小小的提示，可以塑造出大大的精准！🌍
🌟ChatGPT🔥：一款全能型NLP神器，一应俱全的语言处理技术集于一身，堪称一体化多语言翻译的翘楚。👀它在跨文化和地域挑战中展现实力，特别是如何平衡资源丰富与有限，以及欧洲与亚洲语系的独特性，这些都是我们深入研究的关键领域。🌍无论何处，只需轻轻一点，就能跨越语言鸿沟，实现无缝沟通。🔥SEO优化提示：使用”多语言翻译能力”、”统一模型”、”跨文化表现”等关键词，提升搜索引擎可见度。
翻译鲁棒性：ChatGPT是基于GPT-3开发的模型，GPT-3在涵盖各种领域的大规模数据集进行上训练，因此，在特定领域的表现，是这次研究者们的重点之一。
提示词翻译
为了设计触发ChatGPT机器翻译能力的提示词，腾讯AI Lab团队向ChatGPT提出以下prompt：
提供十个可以让你翻译的简明提示或模版
并获得图1中的结果：
图1: ChatGPT推荐的10个可引发其进行机器翻译的prompt
生成的提示语看起来很合理，但是都有相似的格式，研究人员将它们总结成三个候选prompt（如图2），其中[SRC] 和 [TGT] 分别代表翻译的源语言和目标语言。另外，研究人员在Tp2中增加了一个额外命令，要求ChatGPT不要在翻译的句子上加双引号（在原始格式中经常发生）。尽管如此，ChatGPT依旧不稳定，如会将同一批次的多行句子翻译成单行。
图2：候选翻译提示
研究人员将三种不同的候选prompt与Flores-101的测试集在汉译英任务中的表现进行比较，图3显示了ChatGPT和其他三个翻译软件的结果。虽然ChatGPT提供了相当好的翻译，但它仍然落后于基线至少5.0个BLEU点。关于三个候选prompt，Tp3在所有指标方面表现的最好，因此在这篇论文中，研究者默认使用Tp3。
图3：在中译英翻译任务中ChatGPT使用不同提示语的翻译表现对比
多语言翻译
腾讯AI Lab选择了四种语言来评估ChatGPT在多语言翻译中的能力，包括德语（De）、英语（En）、罗马尼亚语（Ro）和中文（Zh），这些语言在研究和竞赛中都被普遍采用。前三种语言同来自拉丁语系，而后一种则来自中文语系。研究人员测试了任意两种语言间的翻译表现，共涉及12次翻译。
资源差异
通过实验发现，在同语系中不同语言也存在资源差异。在机器翻译中，德英互译通常被认为是一个高资源任务，有超过1000万条语料。而罗马尼亚语与英语间互译语料要少得多。
如图4所示，ChatGPT在德译英和英译德上，与谷歌翻译和DeepL可以分庭抗礼；而在罗马尼亚语译英，和英译罗马尼亚语方面，则要明显落后。具体来说，ChatGPT在英译罗马尼亚语上获得的BLEU分数比谷歌翻译低了46.4%。
图4：ChatGPT在多语言翻译中的表现
研究者认为，英语和罗马尼亚语之间的单一语言数据的巨大资源差异，限制了罗马尼亚语的语言建模能力，这部分解释了将英语翻译成罗马尼亚语表现差的原因。
相反，罗马尼亚语译成英语可以受益于强大的英语建模能力，使平行数据的资源缺口可以得到一定程度的补偿。
语系
同时，研究人员也考虑了语系的影响。
通常认为，对于机器翻译，不同语系之间的翻译通常比同一语系间翻译更难。研究人员发现，德英互译、汉英互译，或者德汉互译在文化和书写方式上存在差异。
另外可以发现，在这几种翻译中，ChatGPT和几款商业翻译软件间差距较大，研究者认为，这是因为在同一语系中知识转移比在不同语系间要好，对于既是低资源又来自不同语系的语言来说（如罗马尼亚语和汉语的互译），这种差距会进一步扩大。
由于ChatGPT在一个模型中处理不同的任务，低资源的翻译任务不仅与高资源的翻译任务竞争，而且还与其他NLP任务竞争模型容量，这说明其性能表现欠佳。
翻译鲁棒性
腾讯AI Lab进一步评估了ChatGPT在WMT19 Bio和WMT20Rob2和Rob3测试集上的翻译鲁棒性，这些测试集引入了领域偏见和潜在的噪声数据。
例如WMT19 Bio测试集是由Medline摘要组成的，这需要特定领域的知识处理，WMT20Rob2是来自Reddit的评论，可能包含各种错误，如拼写错误、单词遗漏、插入重复、语法错误、破坏性语言，和网络俚语等。图5列出了BLEU分数，显然ChatGPT在WMT19 Bio和WMT20Rob2测试集上的表现不如谷歌翻译和DeepL Translate。
图5：ChatGPT在翻译鲁棒性方面的表现
原因可能在于，像谷歌翻译这样的商业翻译产品往往需要不断提高其翻译特定领域（如生物医学）或噪音句子的能力，因为它们是现实世界的应用，需要对分布之外的数据有更好地概括性，ChatGPT不太能够完成这一点。
不过，一个有趣的发现是，ChatGPT在包含众包语音识别语料的WMT20Rob3测试集上大大超过了谷歌翻译和DeepL Translate。这表明，ChatGPT本质上是一个人工智能对话工具，能够比商业翻译软件生成更自然的口语（见图6）。
图6：来自WMT20鲁棒集set3的例子
2ChatGPT应如何扬长避短？
从该研究可知，高举高打的ChatGPT每训练一次就耗费大量算力资源，但也不能在全领域尽善尽美。所以，一些人开始思考，是否应该“摒弃”大模型思路，转而去做“精耕细作”的小模型。
腾讯AI Lab在Chat GPT“测评”中提到，罗马尼亚语与英语互译，相较德英互译存在较大差距，原因在于：巨大资源差异，限制了罗马尼亚语的语言建模能力，也恰恰证明，AI学习能力常常受到低资源的掣肘。
但也有资深学者认为，尽管现时ChatGPT仍存在不少不足之处，但仍然对研究者和创业者有着不少启示。以ChatGPT为代表的AI 3.0走的是跟过去 AI 浪潮不一样的路，即更落地、更接近真实世界，在工业应用上，更直接，更落地，从学术研究到工业落地的路径也变得更短、更快。
未来，“helpful, truthful, harmless”的 AI 系统会成为现实。
雷峰网雷峰网
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
相关文章
