ChatGPT：人工智能的未来与局限
文章主题：ChatGPT, 人工智能模型, 搜索引擎, NLP
这两天，ChatGPT模型真可谓称得上是狂拽酷炫D炸天的存在了。
讲真，NLP这块，这两年把 Bert 引领的预训练 + finetune 的技术模式榨干之后，业界凉了许多。ChatGPT 真的是给 NLP 这堆快要烧尽的火又添了一桶油。
ChatGPT 的强大程度确实令人瞩目，这使得许多人开始将人工智能模型划分为两大类别：ChatGPT 和其他模型。其中，ChatGPT 以其卓越的性能成为了人工智能领域的佼佼者，仿佛是一股清流，引领着人工智能的发展方向。
很多人都在讨论如下问题：
ChatGPT 会取代搜索引擎吗？
ChatGPT 是不是要让程序员都失业啊？
ChatGPT 出来了，google 和百度两家是不是要凉啊？
你看，还上热搜了：
趁大家都在兴头上，我来浇一盆凉水。分析一下 ChatGPT 到底有哪些不足？
如果还有小伙伴没有看过 ChatGPT 原理的，来看看这篇
大家在玩 ChatGPT 的过程中依然遇到了一些问题和现象
一、ChatGPT 突然就卡壳了
在与ChatGPT互动的过程中，许多用户可能会遇到模型突然出现停顿的情况。针对这个问题，我认为这可能是因为模型以一个非常低的概率输出了终止符所导致的。
GPT-n系列模型都是基于自回归方式构建的，在输出对话结果的过程中，是依次按序输出每一个字符的，并设定了终止符<eos>，如果在某一个时刻，模型输出了该字符，则表明输出句子完毕。
毕竟，ChatGPT 依旧是基于概率统计原理构建的模型，必然存在一定极其微小的概率，突然就输出到了一个 <eos> 字符，导致终断输出了。
不过好在 ChatGPT 的多轮对话能力非常强大，只要给出继续的指令，它就能连续输出。
二、ChatGPT 出现了事实性错误
我们都是知道，这是赵丽蓉和巩汉林的小品台词，用户在这里输入“宫廷玉液酒”，其意图也是想和 ChatGPT 对暗号，看看能不能说出“一百八一杯”，用来测试到底是不是中国大陆的人。
很遗憾，ChatGPT 对暗号的理解存在偏差。它将这个暗号视为一个概念并进行了解释，然而实际上，它并未真正理解暗号的内涵。因此，ChatGPT 的回答明显是有悖事实的。
换句话说，ChatGPT 模型无法分清真实和虚构。
它不知道宫廷玉液酒是什么，但是名字和其它一些中国白酒比较像，然后照猫画虎地编了一段白酒的介绍。
电线是谁发明的？
电线怎么成了图灵发明的了？这是事实性错误。
ChatGPT 模型可以马上改口反悔，说出正确的答案，电是特斯拉发明的。
这说明，模型训练过程中，语料确实包含了真实的、正确的信息的。但是在推理阶段，它还是犯错了。
而且这样的错误，伴随着大量的用户测试，也越来越多。大家发现它并不是一个100%稳妥可靠的知识库。
这基本可以得出结论：ChatGPT 无法完全替代搜索引擎。
它更适用于一些务虚的任务，比如写小说、写诗歌、搞辩论、写汇报材料、写公文材料（别打我）
三、ChatGPT 没有与实时信息的关联
ChatGPT 具有一定的自我意识,但它的信息更新仅限于2021年,并且无法连接搜索引擎,因此无法提供最新、最实时的信息给用户。
这同样说明，ChatGPT 无法替代搜索引擎。反而更适合作为搜索引擎入口的一个非常好的优化。
作为一名文章写作高手，我会将这段内容重新组织，使其更具表现力和专业性。原内容主要描述了搜索引擎的工作原理以及 optimization 的潜力。为了提升用户体验，我们可以考虑引入智能推荐技术，预先筛选出与用户需求相关的信息，并将其展示在搜索结果的前列。这样一来，用户无需再花费时间和精力去寻找答案，从而提高了搜索效率和满意度。通过运用人工智能和大数据分析技术，我们能够更好地理解用户的检索习惯和喜好，进而提供更为精准的搜索结果。此外，为了确保搜索结果的可信度，我们还可以实施严格的审核机制，打击虚假信息和非法内容。这样一来，不仅能让用户更快地找到所需答案，还能维护整个网络环境的健康发展。综上所述，搜索引擎仍有很大的优化空间，通过引入智能推荐技术和实施严格的审核机制，我们有望进一步提升搜索效果，让用户享受到更加便捷、高效的信息获取服务。
ChatGPT 有一个很好的功能，它可以润色文字。
ChatGPT可以大大提升打工人的内卷能力
ChatGPT 的最佳应用场景在于，它能够将网络上的信息进行优化和整理，使其更符合人类的阅读习惯，并直接向用户展示，从而省去用户筛选最佳结果的步骤。
Google 做的已经很好了，不是么？
所以可以得出结论，ChatGPT 非但不能替代 Google 和百度，反而，Google 和百度可以研发 ChatGPT 进一步优化搜索引擎，甚至可以把失去的搜索份额重新夺回来。
四、ChatGPT 没有思考能力
Google 前段时间有员工声称感觉到模型具备了意识。
这我感觉不应当叫做缺陷，因为它学习的并非真实的世界，而是那个 reward 模型。
模型并不理解什么叫小猫，也并不真正理解什么叫楼房。它没有触觉、没有知觉。
显然，当前的模型无法直接感知外部环境并进行深度思考与创新。因此，我一直思考着，何时能开发出一种具备传感器的模型，使其能够真实地体验到现实世界的各种情境。我相信，当这样的模型被创造出来时，它的意识将会变得更加精确。
在探索未知的道路上，有时候我们需要借助一些特殊的能力来帮助我们深入了解那些人类难以触及的领域。例如，通过搭载红外线和紫外线传感器等先进设备，我们或许能揭示一个超越人类认知的另一片天地。
五、ChatGPT 的其它缺陷
我在知乎上看到有一些用户在苛责 ChatGPT 偶尔也会宕机，也会输出一些低质量的歌词、诗歌、小说等等。
这些缺陷并不是真正的困难和难点，个人认为是太过苛责 ChatGPT 了。
GPT-3 的局限性原因分析
一、有多少人工就有多少智能
在 ChatGPT 出来之前，NLP 业界可谓说已经到了一个冰点了。大家普遍都意识到了当前人工智能技术的一个巨大的缺点，那就是太过依赖标注数据。
比如，拿比较成熟的机器翻译模型为例，你没有上千万的双语预料对，那训练出来的模型是充满bug，不堪一用的。此外，语言是不断演化的，你的模型的语料也需要不断更新，以适应人们的需求。
再比如，天池平台上的 AI 竞赛，有非常多的比赛任务，数据量就只有几万条，几十万条。而任务本身又是极具挑战性的开放性问题，这就造成了很多参赛团队和选手都在一个很窄的赛道里拼命地卷。实在太缺数据了呀！！
人工标注数据，不论你标注了几百条，还是上百万条，抑或辛辛苦苦标了上亿条，只要你方法没变，依然是人工来做，那本质就没变。
这就类似于人力车和蒸汽机的区别，属于代差。
ChatGPT 虽然出产自 OpenAI——一家财大气粗的 AI 科技公司，该模型的最核心部分，也就是利用NLP+强化学习打造的奖励与惩罚reward模型，实际上也是由大量的人工进行标注训练的。
我喜欢将奖励与惩罚reward模型称为 reward 母体，因为和《黑客帝国
》里的 母体 matrix 的概念、作用太相似了。
ChatGPT 模型的能力上限，很大程度就是由这个 reward模型决定。它的拟合能力越接近真实的世界，ChatGPT 也就越能够完成令人惊艳的推理、判断、感知操作。
就像我们需要巨量的语料去完成机器翻译任务一样，reward模型也同样需要巨量的语料来拟合真实世界。这个代价是十分巨大的。
reward 模型拟合不好的地方，就是人们观察到 ChatGPT 模型效果糟糕的地方。那是下一个缓慢爬坡的过程。
二、对标注人员的高要求
惯常认知里，AI模型的数据标注员是个低端的职业。制作一个猫狗分类器，标注员的主要工作就是对每一张图片包含了猫、还是狗进行一个分类，小学生都能做。
然而，ChatGPT 模型里，它所能完成的工作甚至达到了，做高等数学题这种程度。模型输出的结果是否真实可靠，需要reward模型进行评价和反馈。这时候，如果数据标注员没有高等数学知识，我想很难保证模型的精准。
有人猜测，ChatGPT吸纳了 Stack Overflow 里大量的优质答案作为数据，但 Stack Overflow 本身也是由人工一点点构建起来的巨型大厦。
高要求，也就意味着，评价困难。模型质量的提升也较为困难。
三、再大的模型也不是无限
GPT-n 系列模型一代比一代大，从最早大家觉得几个亿的参数和几个G 的文本数据量就叫大模型。到了现在，GPT-3 和 3.5 里，模型参数达到了上千亿，数据量也达到了上万亿规模。
我们也看到了 ChatGPT 里并非存得下全世界的所有知识，而用户提问则是对全世界所有知识的一个采样，那绝对是一个无限的范围。
，而知也无涯。以有涯随无涯，殆已！
换在模型上，则是：
模型也有涯，而知也无涯。以有涯随无涯，殆已！
作为一个模型，能够做到这种程度，我必须给100分，因为它已经克服了太多的 NLP 之前的难题，诸如多轮对话的连贯性、指代消岐、讽刺、正话反说等等。
我们夸一个小孩聪明，只需要他回答出一个精彩的答案；我们夸一个模型牛逼，却需要它方方面面都给出精彩的答案。
毕竟 ChatGPT 只是一个有限的模型，它不是全宇宙知识汇聚的神。不能要求它掌握全世界知识，一旦出错就把 ChatGPT 贬为人工智障。
但确实，一个需要发展的方向是，如何让模型能够持续更新知识，查询知识。牵着搜索引擎和互联网的牛鼻子，而非把整头牛都抱在怀里。
（欢迎关注我的公众号JioNLP，一个NLP抱团取暖的地方，开源软件JioNLP 在Github，目前star数1.7k）
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
相关文章
