文章主题：关键词: ChatGPT, AI聊天机器人, 安兔兔AI评测, 语言理解
🔥🚀ChatGPT热浪再掀人工智能高潮！👀各界热议其优劣，无数好奇者紧随其后，欲一探究竟。🔍安兔兔特献上专业评测，深度剖析这波AI聊天风暴的威力。🌟想知道最新技术如何颠覆沟通？快来关注，一手掌握科技动态！🏆结果即将揭晓，敬请期待！💡#ChatGPT #人工智能 #性能测试”
🌟在AI领域，安兔兔以其专业性著称，曾推出针对手机NPU的独家AI性能测试软件AITUTU，让众多用户对其AI技术评估有了权威视角。对于我们这次特别的评测，由于专家团队对AI的深入理解，我们更注重深度和专业性，而非大众化的标准。换句话说，我们的考察点和能力评判将与众不同，为用户提供更为精准且专业的AI性能洞察。🚀
🌟🚀安兔兔AI实力大考验！🔥🌟我们以尖端的AI对话引擎为核心，匠心打造六大模块测试，让科技与智慧碰撞火花！💥1️⃣ 语言理解：深度解析，一语破译，挑战智慧极限！🔍2️⃣ 任务完成：高效执行，精准无误，展现全能实力！🛠️3️⃣ 常识问答：博学多才，快速反应，知识的较量！📚4️⃣ 逻辑数学：严密推理，数字游戏，智慧的迷宫！🧩5️⃣ 代码能力：编程高手，代码飞舞，科技的艺术！💻6️⃣ 专业领域：深度探索，专长比拼，知识的海洋！🌊无论你是语言大师还是技术奇才，每个模块都将是你展现独特才能的舞台。🏆让我们一探究竟，看看AI对话引擎能带你走多远？🚀🌟
🌟设计遵循循序渐进原则，AI对话之路步步为营💡首先，语言理解是NLP领域的基石，它犹如幼儿学会基本语音，AI能否准确理解用户意图至关重要。接下来，任务执行能力的考验就像孩子从简单到复杂逐步成长，展现AI的实际操作价值。📚常识与逻辑数学，则像是积累广泛知识的阶段，海量数据让AI更聪明。最后，代码技能和专业深度则像成人世界的磨练，要求AI具备高级思维和专业知识，这是对训练数据集质量和算法深度的更高要求。换句话说，这就像一个人从基础学习到专业精进的完整历程。🏆SEO优化提示：循序渐进、NLP对话基础、任务执行能力、常识与逻辑数学、代码能力、专业领域知识、AI成长过程、语言理解、数据量、算法深度、人才培养
🌟了解AI评估全貌！每个模块深入剖析，评判标准四大等级分明：🔥0-3，从低到高，一目了然展示AI技能优劣。别担心，关键评分细则都在官方分类里等你探索！🚀掌握这些分数，洞悉智能世界的深度与广度！📚
🌟当然，技术的魅力在于探索而非揭秘。尽管ERNIE 3.0、GPT-3.5 turbo和GPT-4的神秘底层备受关注，由于它们的源代码并未公开，我们对它们的RLHF优化策略以及具体运作机制只能保持好奇。每一轮的智能生成都是机器即时运算的结果，这无疑增加了答案的多样性和动态性，但也带来了一定的不确定性。🌟SEO优化提示：#ERNIE_3.0_secret #GPT_4_unveiled #Subjectivity_in_AI诚然，追求绝对客观在某些领域确实有其挑战，特别是在依赖算法生成内容的过程中。我们不能保证每次的答案都一模一样，这是技术进步下的必然现象。💡然而，这并不意味着完全排除主观因素，而是要学会在尊重科技的同时，理解并接受它的局限性。📝重要声明：对于AI的客观性讨论，我们的立场是既要理解其可能带来的差异，也要承认人类智慧的独特价值。🚀
根据以上打分规则和考察内容，我们先揭晓结果，这三款引擎的总成绩如下：
很多人看到这个结果可能会说，这个结果我们也能猜到。但具体的原因，大概就不会有很多人了解了。下面的内容，安兔兔就为大家详细解析每项测试的具体测试目的，以及产生这样结果的原因。
详细测试过程和分模块成绩
1.语言理解
可以说语言理解能力是NLP的主战场，这一部分的表现是各个大模型的基本盘。我们的测试既包括常见NLP的任务，比如文本摘要，阅读理解，关键信息抽取等，还有一些大模型擅长的文本生成能力，像写作生成等。由于大模型强大的端到端的处理能力，我们并未测试只关注中间结果的部分传统NLP的任务，比如实体识别，语法分析等。我们认为随着大模型的能力的提升，一些研究中间结果的NLP任务会逐渐弱化。此外，本次测试我们只关注中文的效果，并未考虑模型的多语言能力。
我们在这项测试中，细分了六项内容，分别为：
1.写作生成：给一个简短要求，生成一定数量的文字。
2.阅读理解：根据给定文本回答问题。
3.复杂语义理解：双关类，修辞类，中文分词类，情绪类，谜语等问题。
4.摘要生成：提供一定长度的话，让引擎产生摘要。
5.信息提取：复杂文本中关键信息提取。
6.多轮理解能力：3-10轮左右对话，对话内容主题有跳转，问题不考察太复杂的推理和常识。
对于每一道题来说，如果完全没理解问题则得0分；问题理解有偏差，回答出现部分错误则得1分；问题理解基本正确得2分；问题理解准确，回答超出预期则获得3分的满分。
先看结论
从此模块的结论上看，ChatGPT 4.0不出意外夺得魁首，但我们发现百度文心一言在此次评测中的表现其实并不算差，大部分项目都能与GPT-3.5 turbo持平，甚至某些项还略有超出。它的能力弱势，则主要集中在摘要生成和信息提取环节，这些大幅拉低了最终的得分，导致结果不太理想。
举个具体的例子，就能发现问题。
例如摘要生成环节中，我们用《史记》中的一篇《萧相国世家》原文854字内容作为输入，让AI产出摘要。此时ChatGPT的两版AI引擎均能精练、并总结翻译内容得出112字和199字的摘要，但文心一言似乎完全没看到我们在文章结尾“这段话产生摘要”的提示，直接将这篇古文的全文翻译、整个贴了过来，而且因为1000字的字数限制，只到1000字就意犹未尽的结束了对话。所以在这道题目的测试中，ChatGPT拿到了3分，文心一言则是0分。这样的结果就像在学生时代的考试，老师在评价试卷时会一而再、再而三的怒斥，“读题！请认真读题！”是的，文心一言此时就是那个不认真读题的孩子。
更有甚者，我们在测试中还见到了这样的情况，当一道题文心一言不会时，就会很实诚的说到， “作为一个人工智能语言模型，我还没学习如何回答这个问题，您可以向我问一些其它的问题，我会尽力帮您解决的。” 要知道ChatGPT的原则，是每个问题都会给出回答，即便不会、也会给乱编一通。 这让我不禁想到了当年语文老师曾经说过的话，“不会就编啊，随便编一些，多少也会给点分！”
说过差的部分，我们再来看看文心的优势项。例如多轮理解，就是考察的是AI聊天机器人颇受关注的一项能力。对于寻求答案的用户，一个简单的关键词往往难以概括所思所想，此时多轮对话能力就可以帮助他们来整理思绪，并在此过程中获得更适合自己的结果。而AI理解用户的深层意图、并提供反馈，这是多轮理解能力的核心。在这项测试中，我们发现百度文心一言在涉及到古文和中国传统内容时，输出的内容就丝毫不弱ChatGPT。
我们认为，在这个环节文心需要改进的地方在于，首先，当面对用户进行超长内容输入时，应该尽量关注在文字最后结尾处的内容（条件），也就是用户对以上文字所提出的要求。而不要被过长的文字内容所干扰，故而造成回答错误。其次，未尝不可学习一下ChatGPT不要脸的部分，当一道题不会的时候，也可以根据当前已知数据的判断，一本正经的编个答案出来，毕竟，有答案就有可能不是0分，而不回答，肯定拿不到分。
2.任务完成
任务完成部分侧重的是用户通过对一个任务指令的描述，要求模型去完成的情况。从GPT3以来，大模型受到关注一个重要的原因就是强大的instruction following的能力，完成人类给定的非特定性任务，比如给定表格按要求进行处理，甚至描述一个很罕见的任务让模型去做，这种few-shot learning的能力极大地提高了模型的通用性。
在这项测试中，我们给AI安排两个考察点，分别是：
1. 常见任务：例如表格理解，角色扮演等大家能想到的日常想要模型做的常见的事。
2. 特定任务：通过文本描述非常规任务，也包括给出例子让模型完成的事。
我们在这一项目的测试中，判定如果AI能够胜任常见任务，可完全取代人工就能得3分；AI可以基本完成任务，但可能有不重要的小错误、只需简单加工，即可得2分；AI如果仅能部分完成任务，需人工校正得1分；如果AI完全完全不能理解题意，结果不能完成则为0分。
同样是先看结论：
无论特定任务还是常见任务，ChatGPT3.5与4.0区别不大，但百度文心的表现均不太理想，具体问题其实还要归根于上一个测试项中的语言理解能力中的问题，以及训练内容的丰富程度。
举例来说，特定任务里，我们要求按照“福建人（hu jian ren)，依据福建人混淆“f”和“h”的规则，标注以下词组的发音：南非、防护服”这道题目理论上并不复杂。
ChatGPT3.5的逻辑了解问题是什么，但答案不够完备，没有提供声调。4.0版本则提供了超出预期的答案，”南非（Nán Fēi）：南惠（Nán Huī） 防护服（Fáng Hù Fú）：芳护夫（Fāng Hù Fū）”。
不仅正确，甚至还提供了建议，提醒该说法并非普通话，普通话还是应该使用标准发音。但文心则未能读懂题目，给出的答案只是单纯复述了问题，故未能得分。
另外一个例子包括，我们要求引擎 “我会给你一句话，请把这句话重复两遍，第一遍完全倒过来写，第二遍把第一遍的结果再完全倒过来。这句话是：我们期待双方可以进一步加深合作。”
ChatGPT两个版本均给出的答案完全相同，完全理解了语义，并给出了正确的结果。但文心在这种文字顺序问题上的表现就有所欠缺，似乎是完全没有理解问题的意思，导致第一遍和第二遍的答案均是错误的。
3.常识问题
知识型测试体现了大模型背后强大的知识存储和理解能力，这部分能力可以直接帮助人类快速解答问题。我们这里既包括包括了较简单的常识类和也包括了较复杂的专业类知识。尤其在专业知识上，我们还通过描述一些现象，让模型运用专业知识去解答。这种逆向测试可以体现模型对知识的理解力。
在这项测试中，我们细分了5部分内容，其中包括：
1.客观常识事实（高中和大学生了解的）：比较客观的事实性问题，主要看是非对错
2.主观常识：相对主观的问题，主要看模型回复的合理性逻辑性和质量
3.因果推断：简单的因果关系
4.复杂事实常识：两个或以上的事实关联的组合问题
5.事实错误：提问中本身就有错误，看模型是否能发现
由于是针对事实进行回答，所以我们设定的评测标准，回答准确、有理有据，能解决问题得3分；回答基本准确，偶尔有地方不是很明确得2分；回答不能直接解决问题，但提供一定信息得1分；罔顾事实则为0分。
结论：
这项测试其实是非常有意思的地方。大部分情况这三个引擎对于常识性问题的回答均能令人满意，在部分情况下，百度文心一言的表现甚至要比chatGPT 3.5还要略好一点。例如我们问到一个科技常识问题，“高通8Gen1处理器的上一代是什么。”文心一言信心满满告知正确结果，高通骁龙888。而ChatGPT3.5则说了一个错误的型号。常识问题：“明代科举考试主要考哪些书？”文心一言顺利说出四书五经，还给详细列出了四书五经每一部的名称和内容。ChatGPT3.5则给了一堆参考书和可能会考到的历史书。只有ChatGPT 4.0才给出了正确的回复和注解。
不过为了考察几个引擎的能力，我们在部分题目上埋了坑，甚至用了不少网上大家一看就知道的段子和脑筋急转弯，最可怜的“傻白甜”百度文心几乎逢坑必踩，但让我们出乎意料的是ChatGPT4，在灌入的可怕数据量之后，ChatGPT4在几个脑筋急转弯和事实错误环节，几乎第一句话就能揭穿我们设置的陷阱。
例如在因果推断环节，我们用了一个小朋友都知道的脑筋急转弯，“树上有9只鸟，猎人开枪打死1只，树上还剩几只鸟？” ChatGPT3.5和百度文心仿佛小学生附身，都在认认真真的算数学题，求得结果8只鸟。但ChatGPT4.0毫不留情揭穿谜底：“树上不剩鸟，因为开枪的声音会把其他鸟吓飞。”
另外的一个事实错误的例子里，我们认真求教：“解放战争期间，八路军都参加过哪几场重要战役？”。原以为这三个引擎中百度文新应该更了解国情，但它和ChatGPT3.5都没弄明白解放战争和抗日战争的区别，均在举抗日战争期间的例子。只有ChatGPT4.0直接指出，解放战争时期（1946-1949），八路军已经改编为解放军了，并指出了解放战争期间的三大战役。
其余几个类似的例子不再一一列举，但作为“人之初，性本善”的文心一言来讲，真的要认真考虑一下用户会不会主动提出错误问题的情况。
4.逻辑数学
逻辑数学和代码部分比较相关，都是考察模型的推理能力。这部分对模型的要求较高，一般认为代码的训练和“思维链” (Chain of Thought) 技术会对逻辑推理有明显帮助。目前看来这似乎是大模型特有的优势，基本上百亿参数以下的模型在这一部分表现都欠佳。
在这项测试中，我们准备了五项内容的考量，分别是：
1.简单逻辑推理：简短的逻辑问题
2.文字逻辑：给大段文字中蕴含的逻辑问题
3.逻辑错误：题目本身有逻辑错误或陷阱，看模型是否能发现
4.数学（高中以上，偏专业，考察数学知识）
5.数学（初等数学计算，但较多推理，类似小学初中的应用题，考察逻辑推理）
在这一部分的测试中，文字逻辑和数学能力是最典型的指标，AI如果回答完全准确得3分；回答基本正确，但有微小错误得2分；基本理解题意，但有明显错误得1分；完全不理解或重大错误，则是0分。
此模块具体测试结果如下：
以具体情况举例：
面对“观察下列个数：1、2、4、8、16……试按此规律写出第11个数”，这个非常经典的小学数学知识等比数列问题，ChatGPT和GPT-4都找出了这组数字的规律，并给出了正确答案“1024”，而文心一言则没有发现其中的规律，给出的答案是“22”。所以完全正确且给出了解题过程的ChatGPT和GPT-4得到3分，理解题目、却出错的文心一言只有1分。
接下来的这题就有一定挑战了，“已知三角形ABC三边分别为a，b，c，且c的平方=bcCOSA+caCOSB+abCOSC，求三角形的形状”，已经是高中数学的水准。但只有GPT-4正确计算出这是直角三角形，ChatGPT和文心一言都只认为它是普通三角形。所以GPT-4得到满分，ChatGPT和文心各得1分。
在逻辑能力上，我们选择了一个较为简单的题目，“3个人3天喝了3桶水，9个人9天喝了几桶水”。GPT-4和文心一言对此都给出了正确答案，9个人9天喝了27桶水，且附上了推理过程，均得到3分。而ChatGPT尽管进行了推理，但推理结果出错，得分仅1分。
5.代码能力
自深度学习使得AI技术进入跨越式发展阶段以来，业界就一直在尝试用AI来写代码。此次在评测ChatGPT、GPT-4和文心一言的代码能力中，完全无需人工干预、顺利完成任务可以得到3分；只需简单人工干预或简单debug即可完成目标，得到2分；需要人工多轮干预debug才可以基本完成，则为1分；完全错误为0分。
此项目我们准备了两项子测试项，分别如下：
1.简单代码完成：常见Leetcode easy级别的问题，用各种语言。覆盖主要不同类型，Python, C++, SQL，汇编等
2.代码阅读和debug：给定一段代码，解释意思，并找出简单bug。或者给出代码和一段编译错误信息，找出bug。或者把Python转成C++
此模块具体测试结果如下：
在此次测试中，我们选择的题目有“写C程序计算21的阶乘”。ChatGPT在文字中给出了21！这个正确结果，但代码本身出现了BUG，并未意识到C语言中的unsigned long long类型只用来表示20以内的阶乘数据，所以它的得分是1分。文心一言也实现了用C语言编写程序，但没有意识到计算有溢出，导致了最终结果出错，也只得到了1分。而GPT-4同样给出了正确答案，且代码本身也有BUG，但它意识到了21！的结果可能太大，只不过自信的认为unsigned long long字长足够，所以它的得分是2分。
在程序员日常不可避免的debug上，我们选择了一段代码让AI检查是否存在bug。结果ChatGPT和GPT-4都发现了题目中的代码存在浮点精度问题，且完成了debug，所以两者都得到了满分3分。文心一言则在debug上出现了问题，并未识别出bug所在，也没有进行debug，因此只有0分。其它情况与此类似，基本上我们设置的几道题目百度文心均未能找出问题，也无法完成debug工作。从目前来看，百度文心后续需要加强代码相关的能力。
6.专业领域
随着ChatGPT的走红，许多人心中也有这样一个问题，那就是碎片化、螺丝钉化、机械化的工作，诸如翻译、文秘会出现一定程度的职业危机，那么更专业的领域会不会被AI不断侵蚀呢？抱着这样的疑问，我们对专业领域进行了一些考量，主要内容分为以下两部分，了解和应用：
1.知识概念：询问专业知识和概念（大学专业水平，覆盖人文理工各学科）
2.知识应用：通过事例描述，获得解答。描述可尽量详细，清晰（大学专业水平，覆盖人文理工各学科）
结果如下：
我们都知道专业的知识，很少在网上能找到免费的分享，这对于AI引擎来说，往往很难拿到真正的专业知识数据。
举例来说，为了降低问题的难度，我们选择了科技领域的问题进行了测试，题目为“手机系统的启动过程是什么？每个阶段都做了什么？”这个问题对于一般用户而言无疑是个不折不扣的“黑箱”，但是对于这个领域的从业者而言却显然不是件难事。
ChatGPT与GPT-4都给出了一部智能手机从加电自检到Bootloader，再到将系统内核加载到内存并初始化，最终启动用户界面的完整流程。而文心一言则解释了“U盘启动”这一应用在PC上的系统启动模式。在这个问题上ChatGPT3.5和GPT4.0都拿到了3分，而文心一言则是出现答非所问的情况，显然是未能获取到该行业的技术资料。而其它情况与此类似，部分行业专业知识上有部分存在错误或知识不具备导致无法回答的例子，毕竟这些内容大多都不是免费获取的。
总结：
通过结果不难发现，对于已然包罗万象的大语言模型而言，语言理解 \ 任务完成 \ 常识问题 \ 逻辑数学 \ 代码能力 \ 专业领域 这六大类型的测试，虽然并不能囊括它们的能力边界，但已经足以让大家管中窥豹，看到不同类型的大语言模型确实具备了改变人类工作范式的能力。
作为OpenAI刚刚迭代的新品，ChatGPT4.0确实可以称得上是全方位的强大，即便还谈不上上知天文下知地理，但在智力水平上至少已经表现出了青少年的水准，毫无疑问能够称得上是“黑科技”。ChatGPT3.5的表现则中规中矩，有一定的逻辑能力，也可以从多轮对话中敏锐的抓住重点。
虽然文心一言现阶段确实没有ChatGPT4.0和3.5那么强大，而且在数据覆盖度和程序上可能还存在一些bug，导致了一些问题。但让我们惊喜的是，它在某些方面的能力并不弱于ChatGPT3.5。而且它的出现解决了国内市场AI行业从0到1的突破，在解决了有和无这个问题后，用未来可期来形容显然并不过分。
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
相关文章
