ChatGPT：超算时代的人工智能革命？1750亿参数的未来与挑战

ChatGPT前沿资讯 2年前 (2023) lida

56 0 0

文章主题：

ChatGPT来龙去脉

🌟ChatGPT：问答巨轮，对话领域的全能冠军🚀💡技术革新，单一模型引领潮流——超1750亿参数的大规模优化，让复杂任务迎刃而解！💪🔍不同于过去人力密集型的困境，当今世界步入算力为王的时代。🔥以往的产品天花板受限于此，ChatGPT却打破了常规，实现了前所未有的效能提升。📈🏆凭借其强大的单一模型策略，ChatGPT不仅提升了对话体验，更在技术层面上实现了跨越时代的突破，让过去无法想象的成果触手可及。🌟📝无论是寻求高效沟通，还是探索创新路径，ChatGPT都以其无可匹敌的实力，成为现代任务解决方案的新标杆。🏆记得关注我们，获取更多关于这股AI浪潮的深度解析和最新动态！👇

🌟ChatGPT背后的创新引擎是Transformer架构，它具备强大的算力和数据处理能力，使得模型构建更为复杂而精确。🔥GPT3系列的出现，凭借其单向注意力机制，展现出无限可能——只要有足够的计算资源，就能训练出参数庞大的超大规模模型，其规模上限尚未触及，未来潜力无穷。🌍

🌟【2023年展望】AI巨变：ChatGPT之后，谁引领潮流？💡🚀 早在2020年，OpenAI的GPT3犹如科技界的璀璨明星，拥有1750亿参数，其创新力和影响力至今仍让人惊叹。经过两年迭代，GPT3.5横空出世，引领了超大规模模型的新篇章。👀🔍 然而，这并非仅有巨头的独舞，2020至22年间，无数公司竞相追逐万亿参数的梦想，却未能复制GPT3的成功。许多团队在追求技术突破的同时，选择务实前行，而非一味堆砌。🚫📈 2023年，我们期待见证更多创新力量崭露头角，他们或许会宣称打造出类似ChatGPT的模型，参数量甚至超越，但关键在于产品落地与持续优化。🔍👀 虽然短期内不会有公司将模型转化为大规模应用的决心，那些坚持技术研发、不断迭代升级的团队，将成为行业风向标。🌟💡 搜索引擎优化提示：ChatGPT, AI巨变, GPT3.5, 参数竞赛, 产品落地, 技术创新, 长期关注

🌟Chatgpt的广泛应用面临着定制化挑战🌍，每个环境下的产品都需要独特调整以适应需求。虽然ChatGPT堪称知识库之王🔍，但在特定技能如医疗数据分析方面，垂直应用的优势不容忽视💪。专为医疗数据训练的模型在医疗问答领域，往往能提供更精准和专业的服务，超越ChatGPT的普遍能力。定制化与专业深度是未来Chatgpt成功的关键🔑。

🌟提高ChatGPT效能的秘密在于精准定制！📚通过知识深度学习和技能专攻，让AI在特定领域能力爆棚！🔍然而，定制之路并非坦途，高昂的训练成本像一座无形大山。💡不过别担心，从较小规模的中等模型起步，数十亿到数百亿参数足以满足需求，降低了商业化门槛。🎯相较于全能ChatGPT，它们或许功能略逊一筹，但在专业细分市场，专一往往更胜一筹。🚀这就是迈向商业成功的第一步——找到适合的尺寸和定制化路径！🌟

国内的创新格局主要由两类机构主导：专业化研究者和大型企业。诸如百度、阿里、华为、腾讯及浪潮等巨头都在这个领域进行探索，它们拥有庞大的模型实力，然而并未将这些技术转化为实际产品。尽管资源丰富，但在当前市场环境下，他们倾向于聚焦核心业务，对新兴领域的投入相对有限。北京智源和IDEA研究院作为研究机构的代表，分别在大模型研发上有所建树。智源在GPT3之后推出了参数量惊人的模型，展现出其技术实力；而IDEA研究院则通过开源项目，推出了一系列亿到几十亿级别的模型，构建了中文NLP领域的坚实基础。评估一个团队时，关键指标是他们是否具备在大规模计算平台上打造大型模型的能力。大多数团队的专长在于小规模场景下的模型开发，这在很大程度上限制了他们的技术潜力和市场影响力。

展望NLP和AIGC的未来发展，NLP是经历范式革命非常严重的一个领域，从以前需要找关键词到现在Transformer结构的出现，技术在不断地改变，有一个猜想就是NLP领域未来可能会消失，像ChatGPT这样的模型出现，我们有特定需求的时候只需要去调整ChatGPT去实现即可，未来NLP算法工程师是否还有存在的必要是一个值得思考的问题。

专家问答Q：ChatGPT相对于其他竞品来说，主要的创新点和技术壁垒在哪里？A：ChatGPT利用强化学习从人类标注者反馈中学习，可进行问答、阅读理解、头脑风暴等。ChatGPT关键能力来自于基座模型能力（InstructGPT），可真实调动数据并从用户标注中反馈学习。ChatGPT模型结构与InstructGPT几乎相同，InstructGPT基于OpenAI GPT-3.5模型强大的基座能力，其学习主要分为三个阶段：1）第一阶段为冷启动监督策略模型。一开始依靠GPT-3.5，GPT-3.5虽然很优秀但不能理解人类不同指令中所蕴含的不同意图。故人类标注员会对测试用户提交的反馈中，对每个询问做出高质量回答，来使GPT-3.5模型初步具备理解人类意图的模型能力。2）第二阶段为训练回报模型。训练回报模型依然依靠人工标注数据来训练回报模型，对每各问题所对应的K个结果质量进行排序，再通过对比学习方法得到一个激励模型（Reward Model）。3）第三阶段为使用强化学习策略来增强模型预训练能力。此阶段不需要人工标注数据，使用第二阶段模型打分更新预测结果。使用提问对应的随机指令，运用冷启动模型初始化PPO模型参数，进行随机打分，此分数即回答的整体Reward，进而将此Reward回传，由此产生的策略梯度可以更新PPO模型参数。其创新点在于没有涉及多阶段模型训练任务，一般直接通过监督学习或强化学习。其将多个模型、训练方式累加到一起，通过多个模型作用于一个结果。Q：如何展望ChatGPT商业模式，以及对产业链其他公司的影响？A：伴随ChatGPT继续快速发展，ChatGPT作为NLP的一个基础模型，NLP领域包括信息抽取、机器翻译、小样本迁移学习等研究方向将会迎来较大发展。上游来看，数据标注、算力、数据清洗、数据采集等行业将面临蓬勃发展。下游来看，智能客服、聊天机器人等应用领域将蓬勃发展。目前国内电商等行业智能客服多轮对话能力较差，伴随ChatGPT等开放式对话模型升级，智能客服会在人力成本方面有飞跃。在写作等创作领域会有较大突破。NovelAI(diffusion)等绘画AI可提高平均画作质量且降低了成本。ChatGPT素材收集、润色改写、扩充摘要等服务将使创作效率得到提升，AI辅助写作可能成为主流写作方式。虚拟现实领域也是较为重要的领域之一。得益于AI创造能力提升，人类虚拟世界丰富程度将极大提升，将吸引更多客户。在教育领域，ChatGPT可作为专职教师提高获取知识效率。在搜索引擎行业，目前ChatGPT还无法替代搜索引擎功能。首先，其基于大规模模型，新知识接受能力不友好，更新模型的训练成本与经验成本很大。其次，若面向真实搜索引擎的大量用户请求，在线推理成本较高。搜索引擎与ChatGPT模型双结合方式可能会成为搜索引擎主流方向，国外部分厂商已经在逐渐将类似ChatGPT功能嵌入搜索引擎。Q：国内ChatGPT产业链的发展现状？A：国内向ChatGPT以及AIGC领域发展的公司已非常多。百度向ChatGPT领域发展动机十分明确，维护其搜索领域护城河，在下一代搜索引擎市场中抢先占据有利地位。百度ChatGPT业务开展得益于其大量搜索引擎业务问答样本，样本量级足够。京东、阿里、拼多多等公司已经开始在智能客服方向上做出尝试。字节跳动也在逐渐入局AIGC，并将生态场景在内部进行应用，原来今日头条中内容分层依靠于UGC等生产者，现在已逐步往AIGC方向迁移。国内一些创业型公司也已经开始崭露头角。聆心智能推出AI乌托邦，其开放式对话与ChatGPT较为类似。国内大多数公司正在向虚拟人、AIGC等概念靠拢，目前没有ChatGPT替代品问世，还存在着一些技术发展瓶颈。原因在于四点：1）国内缺少基础模型，没有模型迭代积累。ChatGPT依赖于InstructGPT，InstructGPT依赖于GPT-3.5、GPT-3。2）国内缺少真实数据。除百度有天然用户搜索问答训练样本外，对于其他公司较为缺少。3）国内缺少技术积累。ChatGPT发展过程中对于数据处理、清洗、标注、模型训练、推理加速等方面均具有技术难点，且对结果均影响较大。且包括国内大厂在内，强化学习框架仍未出现大规模使用场景。4）国内创新性土壤还需发展。整体商业环境较为急躁，但投入与产出需要花费一些时间。Q：随着ChatGPT的应用群体增加，是否会出于成本考虑对国内的流量使用进行限制？A：目前ChatGPT处于demo阶段，是否会对流量作出限制取决于OpenAI在此阶段预备投入，其是否愿意增加机器、增加服务部署。若国内流量已经完全影响到其在线服务，限制国内流量是有可能的。Q：后续围绕ChatGPT、AI，产业还有哪些值得期待的重大变化？A：短期重要产业变化主要在三个方面。首先，短期内围绕ChatGPT，搜索引擎领域会出现两者结合发展方向。其次，在智能客服领域，若ChatGPT可以实现客服功能，对人力成本降低会有突破。再次，在NLP应用领域，由于其本质上是序列到序列的语言模型，伴随ChatGPT模型能力提升，领域技术上限提升，下游机器翻译等领域也会得到发展。Q：基于ChatGPT的智能客服，是否反而会增加企业成本？A：分情况而定。传统客服成本为人力成本，ChatGPT成本包括在线策略成本、机械成本、离线训练成本、数据采集调度成本等方面。在成本方面，需要对客服对接客户问答数据量进行估算，对小规模公司来说，自研此类工具需要大规模数据训练、采集、清洗等资本花费。对于大规模日均产生用户交互较多的公司来说，长期来说，数据训练、采集、清洗等资本花费只是一次性的，花费更多集中在在线成本上，此时成本会低于人力成本。故新型的ToB服务模式为中小型企业提供智能客服功能也将是未来发展的方向。在质量方面，ChatGPT质量不会低于人工客服，其足以支持代码Debug等精细专业化服务，效率比人工客服高。Q：国内布局ChatGPT公司中，在信息基础设施选择方面，国产设备及云的占比情况如何？A：云计算设施方面，国内大厂例如百度、阿里、字节均使用自研云计算服务。对于中小型企业，阿里云市占率最高，阿里云、京东云排名较为靠前。芯片方面，目前大规模使用英伟达芯片，主要原因在于其性能、服务链路积累及其市占率优势。目前自然语言处理、计算机视觉等领域均会使用英伟达GPU芯片等高性能芯片。针对搜索、推荐等场景，很多公司不采用GPU而采用CPU形式，例如字节在推荐等场景更多使用CPU芯片进行分布式计算环境搭建，成本会有所降低。但对ChatGPT来说，对大规模GPU芯片有所需求，国外大厂目前市占率非常高，国内自研有所推进但在此方面仍有所欠缺。来源：SEVEN调研纪要