ChatGPT凭什么火？揭秘Transformer与LLM的魔法语言聊天术

一, 引言

最近ChatGPT爆火，俨然已经成为人工智能的代名词了，股市有了ChatGPT概念股，红衣周主教畅谈了一下ChatGPT，360就拿了3个涨停板；更别说那个号称价值15亿美金的朋友圈招聘广告，甚至听说还有利用ChatGPT概念搞诈骗的，不知道OpenAI公司是作何感想，一般来说诈骗能盯上的项目绝对是热到发烫了，比热搜还热的那种。

🌟ChatGPT：引领AI潮流的背后🔥自从2022年12月OpenAI的创新之作ChatGPT横空出世，IT行业的眼球就被它牢牢吸引。作为一名拥有十多年ToB业务经验的老兵，尽管我并非AI领域的专家，但对新技术的敏锐洞察和探索热情，早已融入我的血液中。🚀一路跟踪观察，我深入研究了各大权威人士的观点，亲自操作体验以求全面理解。在这个过程中，我不仅记录下每一次学习的心得，更将它们转化为宝贵的思考结晶，沉淀下来。这是一种技术进步与自我提升的双重历练。📚💪ChatGPT的成功，无疑是AI技术的一次飞跃，它以其独特的优势和广泛应用潜力，正在重塑我们的交流方式。作为旁观者，我期待并坚信，这样的创新将持续推动行业的发展，为未来的科技世界带来更多惊喜。🏆🚀

二, ChatGPT到底是什么

🌟ChatGPT，一听名字就明白它的核心使命——专注聊天交流，简洁而不失精准，就像一个亲切的朋友，随时待命陪你闲聊解惑。🔍而提到”GPT”，那是技术领域的明星，Transformer的代表，代表着生成式预训练的强大能力。虽然目前它以ChatGPT3.0的身份聚焦第三代模型，但未来可期，其潜力无限。📝

在人工智能（AI）领域，大致包括NLP（Natural Language Processing，自然语言处理做），图像处理，音频处理等诸多赛道。其中，NLP是研究如何让计算机理解人类语音，从而做更多事情的基础，所以也是大众关注最高的领域。经过这么多年的发展，NLP领域还是有不少成果落地，比如机器翻译（讯飞甚至还出了一个翻译机出国旅游），语音识别与对话系统（小米的小爱同学，苹果的Hey Siri ）应该都已经深入到大家的生活了。

即便大热的ChatGPT，按师门派别也得归于NLP门下，所以令狐冲再牛，也只是华山派的一个弟子（还不是掌门），把令狐冲视同整个武林（AI），这让少林和武当怎么想？

此外， 人工智能还有一种分类：弱人工智能和强人工智，可能与你直觉不同的是，当红小生ChatGPT只能屈居弱人工智能这一类，因为划分的标准是领域而不是能力强弱，弱人工智能就是专属特定领域里，比如大名鼎鼎的阿法狗，只会下棋，而ChatGPT只会文字输入输出（聊天，问题解答，甚至编程写论文），但是不能看图说话，也不能输出图片（那些在朋友圈里炫技画图的朋友，难道你是用VVIP账户登录的？）。我曾经尝试让ChatGPT用JS画一个蒙娜丽莎，他很机智的给我画了一个圆（手动狗头）。

说了这么多，并不是要贬低ChatGPT的强大，恰恰相反，ChatGPT3.0确实是突破性的，但是吹也要讲究基本法。如果输入一张图片，让模型输出描述行文字，专业术语是“图-文生成”，涉及图像和文本两种类型，对应的就是“多模态任务”，至少目前而言，ChatGPT是基于单模态任务（纯文本交互），据说GPT4.0就升级到多模态了，但那也是后话了。

三，管中窥豹，ChatGPT为什么这么牛

在OpenAI凭借ChatGPT大放异彩的之前，NLP领域的巨头Google和DeepMind已经深耕好多年了，在技术演进，模型升级，数据训练方面做出了大量的探索和贡献（人类的技术发展，不是一蹴而就，都是前赴后继）。

🌟ChatGPT背后的秘密：Transformer模型的全能战士🔍ChatGPT以其卓越的表现，无疑是人工智能领域的耀眼明星，它与GPT和Transformer模型之间存在着紧密的联系。Transformer，这个神秘的引擎，是ChatGPT的核心驱动力，它的强大不言而喻。💡Transformer模型，如同一个智能双面手，由Encoder（深度理解）和Decoder（流畅生成）两部分构建，两者相辅相成，确保了卓越的语义理解和内容创作能力。Encoder犹如先知，洞悉一切；Decoder则如诗人，将信息转化为生动的文字。📝GPT系列的独特之处在于它专注于Decoder，理论上它的生成能力无人能敌，而理解力可能稍逊一筹。但正是这样的设计，使得ChatGPT在处理复杂问题时展现出强大的适应性，仿佛一位语言大师，无论问题多么深奥，都能给出精准且自然的回答。🤔当我们赞叹ChatGPT的理解力时，不妨换个角度，就像与母语流利的外国人交流，我们用最简单清晰的语言提问，ChatGPT同样能轻松应对，这背后是Transformer模型的强大功绩。🗣️所以，下次当你惊叹ChatGPT的智慧时，别忘了它背后的Transformer模型才是真正的英雄。🏆

🎓掌握LLM秘密🔥，数据训练的大师在于让模型汲取海量文本的智慧，涵盖语言与世界两大领域。語言大法，词法、句法、语义等犹如多国语言密码，帮助理解和解析自然语言。想象一下，如同一个人精通中英法等多种语言，甚至编程语言如Python和Java，这便是LLM的强大之处——通晓一切，无惧任何语言障碍。这就是ChatGPT为何能流畅地用中文与你交流，无需翻译的繁琐过程，它就像一个母语为中文的专家，直接输出地道且准确的表达。🌍

学会语音后，接下来就是世界知识了，比如当前美国总统不是特朗普这样的时政知识（再过段时间就不好说了 ），人类是哺乳动物这样的科学基本知识，还有各种常识知识，互联网上各种百科，甚至网民的留言发帖，键盘侠的互喷，都是属于GPT3.0的语料库来源。

可以看看 OpenAI经典paper: Language Models are Few-Shot Learners 里对GPT3.0语料库构成的说明，可以看出大头还是互联网爬取网页，然后有一定量的专业书籍（估计要做文字化处理）

下面截图就是ChatGPT“自己招”的内容了，训练的语料库内容截止2022年12月1日。

改写后：🌟分析显示，语料库以英语为主，占比高达~46%，俄、德、日及中文紧随其后，约为~5%。这正是ChatGPT英文版表现优越的原因——丰富的英语文本为其知识积累提供了雄厚基础。对于国内的LLM模型来说，这也带来了挑战与机遇：我们需要积极搜集并优化高质量的中文语料，以训练出具有竞争力的AI模型。别忘了，中文的世界同样广阔，我们的努力将为LLM注入更强的生命力！📚💪

🌟ChatGPT的强大秘密在于它独特的技术路径：不同于Google的BERT从Encode角度优化理解，OpenAI另辟蹊径，直接从Decode着手，将语义理解和内容生成融为一体。他们的大规模训练和雄心壮志让GPT模型崭露头角，打破了传统的先理解再生成模式。就像我们人类的学习过程，初始阶段建立基本的语言能力，然后通过海量阅读与少量引导（Prompt式），实现了质的飞跃。并非一开始就追求高深的理解，而是从基础开始，不断积累知识，理解和学习相互促进，形成螺旋上升的成长轨迹。SEO优化提示：ChatGPT技术、语义理解、内容生成、学习模式、人类学习过程、知识积累、理解提升

如果要问为什么之前没有出现这样的奇迹，也许就是大佬提到的 “涌现能力（Emergent Ability）”， 所谓“涌现能力”，指的是当模型参数规模未能达到某个阀值时，模型基本不具备解决此类任务的任何能力，体现为其性能和随机选择答案效果相当，但是当模型规模跨过阀值，LLM模型对此类任务的效果就出现突然的性能增长。正是GPT3.0模型高达175B(千亿)的参数规模，突破了某种阈值，从而造就了如此“神迹”。

四。新技术发展曲线的契合

当前的ChatGPT的大热，其实对AI赛道而言并不是大姑娘上轿 —— 头一回，前几年资本把人工智能概念炒到一个很高位置，当时是个软件都往AI概念上靠，好像没有人工智能加持就不是高科技的意思，更别说AI人才在市场的抢手，据说软件培训班都开设人工智能专业。

结果预期超过当时的技术支撑范围，加上概念操作迟迟没有“真”产品落地，最后AI热度迅速回落，AI大军们淹没在无穷无尽的数据标注之中（这里并没有对数据标注的贬低，这个基础工作正是数据训练的基础，但是也有很多“伪”AI就是靠数据标注来应对项目验收或Demo演示）

世事轮转，现在ChatGPT大热必然带动新的一轮资本投入，这对整个人工智能赛道肯定是好事，但是回顾这个过程，就会发现这又是一次经典的新技术发展曲线案例

想想之前的“区块链”，还有当前的“元宇宙”（VR等技术），无一不是在这个曲线上享受巅峰，或低谷爬升中。希望这次ChatGPT的大热开启了人工智能稳步爬升的光明期，从而最终给人类带来实实在在的成果（但愿没有or）

五，咱们中国的ChatGPT会有戏么

师夷长技以制夷，咱中国人每次看到有好东西，第一个念头都是想着怎么学习给自己也弄一个。这次ChatGPT带给国内整个产业界的冲击和反思，肯定是巨大且深刻的。

遇到热点事件，网上从来不缺键盘侠，吹完OpenAI就是例行喷国内这几个互联网或科技巨头。说实话，这些手握国内巨大流量和资源的巨头，真心是恨铁不成钢。如果把算计广告词竞价，砸钱做游戏，惦记网店流量费用的这些劲头，投入实实在在的产业方向研发上，能弄出一个中国的贝尔实验室，就是对咱中国巨大的贡献。回归正题，开始我对国内弄ChatGPT比较没底，特别看到讯飞那个网红副总裁信誓旦旦说2年内能搞出来，就更无语了。

但随着深入查阅资料，看到国内有大量冷静且专业的大佬，对人工智能有深入的理解，看到很多平时宣传不多的企业在踏踏实实的搞投入，就越来越有信心了。查阅那些重磅AI论文，作者栏一水的中式拼写，就是华人的投入和能力的佐证。互联网巨头们对此也还是有大量投入，比如文心一言等产品，随着这次资本的再次发力，相信国内这方面的成果会越来越多。

平心而论，对ChatGPT或NLP领域而言，数据模型训练成本投入是巨大的，比如GTP3.5模型对应的参数规模是175B（如下图，摘自: Language Models are Few-Shot Learners ），众所周知，AI算力是建立在GPU规模之上的，启动一个这样规模的模型至少50万，如果要考虑后续大量训练实际上线等，一年投入以亿级计算。

所以纵然烧钱到手软的OpenAI，拿着微软投资的100亿美元（后续源源不断，不担心钱的事），也要考虑算力分配的问题：OpenAI选择了同时增加训练数据量和模型参数，但是采用早停策略(early stopping)来减少训练步数的方案。这样的投入是在一切都未知的情况下做出的，如果选错了技术路线和模型，可能就像现在的Google大力投入Bert之后，现在却沦为OpenAI的背景板了。所以苛求商业公司花巨资开盲盒并不现实，OpenAI这样的经历纵观全球都是无法复刻的。

好在目前ChatGPT史诗般的成功，已经用事实胜于雄辩了，明确的目标，清晰的路线，巨大的产出，相信这些都是国内AI产业后续追赶的有力推手和保证。短期内国内LLM产品在全语言达到ChatGPT水平不现实，但在中文领域还是有戏的，毕竟咱们不缺训练的中文语料，有强大的资本确保算力投入，国内后续有给力的中文GPT产品推出绝不让人意外。

六，启示与展望

从发展趋势来看，ChatGPT目前是单模式任务的“弱人工智能”，但必然会发展为多模式，最终成为AGI（Artificial General Intelligence 通用人工智能），其实这也是OpenAI的目标，他们从GPT1.0开始，就坚定的把LLM看做通往AGI的必经之路。从GPT2.0开始，OpenAI与Google在发展方向上有了分歧，但是他们坚持这种看似过高的目标，最后在GPT3.0实现了突飞猛进。现在有了巨大成就的OpenAI，必然更加坚定的奔着AGI而去，也会引领更多资源投入，使AGI的成熟和发展更加让人期待。

目前的GPT模型，处于一个模仿学习的过程，这样训练出来的AI可能会“知识渊博”，但是在创新性上必然有欠缺。就好比现在大家都热衷让ChatGPT写诗，写出来的确实平仄押韵，应该是满足了“诗”这种文体的语言规则（人家学过了），属于“熟读唐诗三百首，不会吟诗也会吟”的水平。要想写出李白那种“黄河之水天上来”的意境和风发，还需要一种“灵魂”。

当我们把世界上所有现存的知识都通过模仿学习，让GPT模型学完后，就需要通过强化学习来进一步提升了。就好比阿尔法狗，在模仿学习后开始强化学习，然后水平就吊打李昌镐了。如果按此展望AGI的远景，就不免让人心里打鼓：“就算我们造出了AGI，我们也从来就没有了解它。但它却比我们更了解我们。”这肯定是一件让人后背发冷事情。

所以，人类发展科技的初心，就是为了协助并将其从繁重劳动解放出来。如果真有意外出现，反噬人类的也只能是人类自己的贪欲。有一句很有趣的话：“喜欢是放肆，爱是克制。”用在这里非常契合。但愿我们在前进的道路上，有底线和良知。

最后，作为一个底层搬砖的ToB从业者，在ChatGPT引发的荡气回肠大变革之前夜，脚踏实地不影响仰望星空，加油吧，诸君！

注：本文引用了若干知乎大佬的著述，再次一并表示敬意！并特别推荐张俊林大佬的文章，受益匪浅。

张俊林：通向AGI之路：大型语言模型（LLM）技术精要