文章主题：ChatGPT, AI产业革命, GPT模型, 监督学习
ChatGPT引发范式革命，AI产业发展前景可期
🌟【ChatGPT引领AI革命，国产厂商蓄势待发】🚀🔥OpenAI的ChatGPT以其超凡的人工智能对话能力，正在重塑人工智能领域的游戏规则，掀起一场前所未有的技术革新风暴！🔍📝通过深入剖析，我们揭示了ChatGPT背后的四大关键要素：一、单一模型训练或成主流，引领AI训练新趋势；二、海量语言积累需强大算力支持，底层能力的基石；三、Transformer架构与预训练模型，构建智能大厦的钢筋混凝土；四、商业化前景广阔，标志着技术与市场的双重突破。📈🔍国产厂商们，这无疑是一次机遇与挑战并存的时刻！他们或将加速研发自家的GPT模型，以适应这场AI产业的黄金周期。🌱💡国内相关企业已悄然布局，准备好在这一历史性的转变中抢占先机。从基础技术到应用场景，他们将以创新为驱动，引领行业潮流。🚀记得关注我们，获取更多关于AI产业动态和国产技术崛起的深度分析！💻🌐
❶模型层：百度
❷算力层：景嘉微、寒武纪、海光信息
❸应用层：科大讯飞、金山办公、同花顺
❹工具层：海天瑞声
背景：发源于OpenAI，成名于生成式语言
🌟【OpenAI历程】🚀成立于2015年的硅谷巨头，OpenAI专注于人工智能领域的探索与创新。💡2019年，微软的10亿注资为其Azure业务注入强大动力，AI技术如虎添翼。🔥2020年，GPT-3震撼发布，独家授权于微软，引领行业风向。💬2022年，ChatGPT的诞生进一步强化了其语言交互能力，全球热议不断。💼2023年，微软计划深化合作，对OpenAI注资数十亿，共建生成式AI新时代，资源互补，共创未来。🔥🌟
原理：AI大模型里程碑式的胜利
🌟ChatGPT的语言魔术揭秘🔍：通过创新的监督学习路径，它以奖励模型为核心，实现了语言建模的三大关键步骤：1️⃣ 第一步，策略大师诞生——在ChatGPT的智慧之旅中，监督策略模型由训练者匠心独运的标注引领，形成强大的指导力量。2️⃣ 第二步，价值评判指南针——奖励模型通过人工标签的精准喂养，为优质输出标上了独一无二的标签，让好话更有分量。3️⃣ 第三步，强化学习的飞跃——借助PPO模型优化，ChatGPT不断迭代优化，以最小样本实现最大效能，人类微调与AI智慧交织，效果显著。这样的训练模式不仅展示了AI大模型的强大潜力，也预示着未来主流技术的大模型路线。🏆欲了解更多关于ChatGPT如何颠覆语言学习的细节，敬请关注我们的深度解析文章！📚
模型：三个维度拆解GPT模型特征
ChatGPT的崛起，AI大模型功不可没！得益于微软雄厚的算力支持和精准的算法训练，它展现出超凡的语言流畅度，每一步迭代都在向着自然语言靠拢。首先，单一的大模型设计使其具备强大的通用能力，监督学习的有效运用解决了大模型同质化的问题。其次，预训练语言模型的独特优势不容忽视，无需人工标签，高效、通用且规整，二代的上下文交互更是提升了语义理解。再者，Transformer架构是其能效之源，天生适应大规模并行训练，通过层层编码器构建了稳固的基础结构。这一切，都让ChatGPT在信息海洋中熠熠生辉，SEO优化的词汇让它更容易被搜索引擎找到。🚀
应用：打开AIGC应用新局面
🌟ChatGPT引领AI新时代！🚀🔍作为AIGC（人工智能生成内容）领域的翘楚，它正以独特魅力革新AI领域！📈相比前辈，ChatGPT的升级不仅体现在技术层面，更在应用深度和商业前景上展现出革命性突破。📝首先，技术上的飞跃：ChatGPT凭借超大规模模型及RLHF的人工智能强化学习，实现了语言处理效能的质飞跃。它就像一个语言魔术师，不断超越早期的自然语言技术边界。✨🎨其次，创新的应用领域：生成式AI的ChatGPT打破常规，不再局限于分析，而是勇敢探索文艺创作、代码编写等富有创意的工作场景。它的出现，让想象力无界！🌟💼最后，商业上的势不可挡：用户数的激增和科技巨头如微软的支持，预示着ChatGPT的应用推广将如日中天，商业化潜力巨大。🚀ChatGPT正以它的实力，定义AI新时代，让我们期待它带来更多惊喜！💡
风险提示：宏观经济波动；下游需求不及预期。
背景：发源于OpenAI，成名于生成式语言
OpenAI是一家世界领先的非营利性人工智能研究公司。OpenAI于2015年在旧金山成立，是一家非营利的人工智能研究公司，公司的目标是以最有可能造福全人类的方式推进人工智能，而不受财务回报需求的约束。OpenAI创始人背景深厚，由埃隆·马斯克与硅谷孵化器Y Combinator投资人山姆·阿尔特曼等人联合创立。公司研究人员经验丰富，包括前Google Brain研究科学家伊利亚·苏茨凯弗与前Stripe首席技术官格雷格·布罗克曼等世界一流研究工程师与科学家。
微软持续增资，布局生成式AI技术。2018年，随着特斯拉对AI的应用深入，为避免潜在利益冲突，马斯克主动离任董事会，仅保留捐资人和顾问的身份。由于AI训练花费金额巨大，2019年公司从非营利性公司转向部分盈利公司，成立了OpenAI LP利润上限子公司，即任何对OpenAI LP投资的收益都将统一转移至一家非盈利公司，回报达到投资的100倍后进行利润分配。同年，OpenAI收到微软注资 10亿美元，就Azure业务开发人工智能技术。2020年发布GPT-3语言模型，由微软获得独家授权。2022年发布ChatGPT的自然语言生成式模型，带来更大潜在应用空间。2023年，微软拟对OpenAI追加数十亿美元投资，利用自身算力基础设施资源发挥与OpenAI业务协同效应，深入布局生成式AI技术。
OpenAI产品发布密集，产品涵盖音频制作、图像生成和语言对话人工智能。2016年，推出用于开发和比较强化学习算法的工具包OpenAI Gym，加速公开社会中RL研究进度。同时推出Universe软件平台，用于测试和训练 AI 在全球游戏、网站和其他应用程序中的智能程度。2019年，OpenAI推出深度神经网络MuseNet，可以使用 4 种不同的乐器生成 10 分钟的音乐作品以及最终模型版本的GPT-2。2020年，研发团队在GPT-2的基础上拓展参数，发布了GPT-3语言模型。2021年，发布了转换器语言模型DALL·E，从文本描述生成图像。2022年，OpenAI在GPT-3.5的基础上推出了ChatGPT，强化了人工智能的语言对话能力，引起社会广泛关注。
OpenAI当前盈利主要通过付费API接口，并尝试拓展盈利模式。目前，OpenAI提供GPT-3、Codex以及DALL·E的API数据接口，分别执行用户自然语言任务、自然语言转换为代码的任务以及创建和编辑图像的任务。API接口根据类型不同以流量收费，比如图像模型以分辨率分类按张数收费，语言模型则以基于的子模型型号按字符数收费。OpenAI API盈利情况较好，据路透社数据，OpenAI 2022年收入数千万美元，公司预计2023与2024年收入分别为2亿美元和10亿美元。同时，OpenAI正尝试拓展自身盈利模式，2023年1月试点推出订阅制ChatGPT Plus，收取每月20美元的会员费以得到各类优先服务。
原理：AI大模型里程碑式的胜利
ChatGPT采用监督学习+奖励模型进行语言模型训练。ChatGPT使用来自人类反馈的强化学习 (RLHF) 来训练该模型。首先使用监督微调训练了一个初始模型：人类 AI 训练员提供对话，他们在对话中扮演双方——用户和 AI 助手。其次，ChatGPT让标记者可以访问模型编写的建议，以帮助他们撰写回复。最后，ChatGPT将这个新的对话数据集与原有数据集混合，将其转换为对话格式。具体来看，主要包括三个步骤：
1）第一阶段：训练监督策略模型。在ChatGPT模型的训练过程中，需要标记者的参与监督过程。首先，ChatGPT会从问题数据集中随机抽取若干问题并向模型解释强化学习机制，其次标记者通过给予特定奖励或惩罚引导AI行为，最后通过监督学习将这一条数据用于微调GPT3.5模型。
2）第二阶段：训练奖励模型。这一阶段的主要目标，在于借助标记者的人工标注，训练出合意的奖励模型，为监督策略建立评价标准。训练奖励模型的过程同样可以分为三步：1、抽样出一个问题及其对应的几个模型输出结果；2、标记员将这几个结果按质量排序；3、将排序后的这套数据结果用于训练奖励模型。
3）第三阶段：采用近端策略优化进行强化学习。近端策略优化（Proximal Policy Optimization）是一种强化学习算法，核心思路在于将Policy Gradient中On-policy的训练过程转化为Off-policy，即将在线学习转化为离线学习。具体来说，也就是先通过监督学习策略生成PPO模型，经过奖励机制反馈最优结果后，再将结果用于优化和迭代原有的PPO模型参数。往复多次第二阶段和第三阶段，从而得到参数质量越来越高的ChatGPT模型。
从ChatGPT的训练原理中，我们不难发现，这一训练过程存在几个特点：
1）采用的是单一大模型。在GPT模型兴起之前，大多数AI模型主要是针对特定应用场景需求进行训练的小模型，存在通用性差、训练数据少、适应范围小的弊端。而我们看到，ChatGPT虽然在过程中使用了奖励模型等辅助手段，但最终用于实现自然语言理解和生成式功能的主模型只有一个，但却在语义理解、推理、协作等方面表现出了更强能力。因此，我们认为，ChatGPT的成功，验证了参数增长、训练数据量增大，对AI模型的重要意义。
2）采用的是小样本学习方法。在小样本学习（Few-shot Learning）方法下，AI预训练模型在不必使用大量标记的训练数据，就可以建立起比较通用的泛化能力。简单来说，小样本学习即是在给定有限信息和较少训练数据的情况下，尝试对总体规律进行理解和预测，这一过程类似于“学习如何去学习”。对于小样本学习在ChatGPT中的应用，我们认为，这一方法解决了大模型数据标注工作量巨大的问题，是模型得以迅速迭代的基础。
3）采用人类反馈微调监督学习。ChatGPT是从GPT3.5（即InstructGPT）改进而来的版本，相比于前代，ChatGPT主要变化在于采用了人类反馈机制，对监督学习过程进行微调。本质上来说，无论是大模型还是小样本学习，解决的目标都是提升训练的效率，但真正令ChatGPT实现结果准确、合理的关键技术，还是在于加入了人类反馈。据Long Ouyang等人2022年发表的《Training language models to follow instructions with human feedback》，InstructGPT仅用13亿个参数就实现了比1750亿个参数的GPT-3更优的输出解雇，显著提升了真实性、减少了有害信息的输出。
模型：三个维度拆解GPT模型特征
拆解GPT模型可以帮助理解ChatGPT之所以强大的原因。从前面的讨论中，我们发现，ChatGPT的成功离不开AI大模型的加持，强大的算法训练模型，使得ChatGPT在迭代中获得实现接近自然语言的表达能力。而这一切的核心，都来自一个模型：GPT模型。因此，我们以GPT模型为核心，从三个维度出发去拆解GPT模型，以此进一步挖掘ChatGPT强大背后的原因。
维度一：单一大模型
ChatGPT使用单一大模型，积累强大底层通用能力。对于ChatGPT所用到的训练模型，从模型体量来看，属于AI单一大模型的范畴。对比传统AI训练模型，单一大模型的“大”体现在：1）更多的模型参数量；2）更大的数据处理量；3）更大的训练计算量。模型体量的增大，带来的最直接变化，在于AI模型通用能力的跨越式提升。传统的AI训练方法，大多以单一知识领域的应用为目标，主要使用特定领域有标注的数据进行模型训练，模型通用性差，如果更换使用场景，往往需要进行重新训练。而大模型的训练，一是能使用的数据来源更加广泛，可用数据量更大；二是对标注要求更低，只需要对数据进行微调甚至不调就可以用于训练；三是输出的能力更加泛化通用，在语义理解、逻辑推理、文本表达等方面能力更出众。
从通用到特殊，单一大模性具备丰富的垂直领域应用潜力。基于对底层能力的训练，AI大模型积累了对于数据背后特征和规则的理解，因此在进行垂直领域的时候，可以做到“举一反三”。这一过程，与人类学习知识的过程类似，都是先学习如何去学习，再构建听说读写能力，最后在不同学科深入探索。AI大模型也是一样，在完成通用能力积累之后，可以将学习能力移植到需要应用的特定领域，通过投喂垂直领域数据，可以使模型达到目标场景所需的性能。
大模型训练需要大算力支持，ChatGPT坐拥丰富算力资源。我们认为，从大模型自身的发展过程来看，参数量的变化是一个非常值得关注的指标。从最早的ResNet、Inception等模型，到如今的GPT，模型参数量不断增长。2018年前后OpenAI先后推出Transformer和GPT-1模型，参数量来到1亿级别。随后谷歌提出3亿参数的BERT模型，参数量再次增长。2019、2020年，OpenAI加速追赶，陆续迭代出GPT-2、GPT-3模型，参数量分别为15亿、1750亿，实现模型体量质的飞跃。另一方面，参数运算需要大规模并行计算的支持，核心难点在于内存交换效率，取决于底层GPU内存容量。以英特尔为例，从2017年V100的32GB内存到2020年A100的80GB内存，GPU内存容量的提升量级与模型参数相比显然不在同一量级。而ChatGPT的解决方法，则是与微软联手，借助Azure强大的基础算力设施，为ChatGPT提供训练支持。
AI大模型会带来特性涌现和模型同质化问题。2021年8月，李飞飞等学者于arXiv发表《On the Opportunities and Risk of Foundation Models》，将大模型统一命名为Foundation Models，即基础模型或基石模型。此外，论文还提出基础模型面临的两大问题：1）同质化。尽管基础模型基于标准的深度学习和迁移学习，但其规模导致了新能力的涌现，其在众多任务中的有效性激励了同质化的产生；2）特性涌现。尽管基础模型即将被广泛部署，但目前研究者对其如何工作、何时失效以及其涌现的特性衍生了何种能力尚缺乏清晰的理解。举例来看，如机器学习的引入，使得算法从数据案例中学会了如何执行（自动推断）；深度学习的引入，涌现了用于预测的高级特征；基础模型的引入，涌现了上下文学习等高级功能。但在这一过程中，机器学习使学习算法变得同质化（例如，逻辑回归），深度学习使模型架构同质化（例如，卷积神经网络架构），大模型使得下游模型同质化（例如，下游模型一定会继承上游模型缺陷）。
ChatGPT通过引入监督学习，有效填补了大模型同质化漏洞。从本质上来说，上下游模型同质化的问题无法被完全解决，OpenAI选择的方向是尽可能填补缺陷漏洞。从GPT-3.5版本开始，OpenAI团队在模型中引入了监督学习过程。在监督学习模式下，人类反馈机制开始加入到模型训练过程，从而不断纠正模型生成结果，逐步提升输出结果的准确性和真实性。随着大模型朝着越来越符合人类期望的方向演进，对话逻辑和表达方式逐渐逼近人类水平，才最终达到我们今天所看到的样子。
AI大模型加持下，ChatGPT有望加速迭代。通过拆解单一大模型的原理、特征及发展历程，我们发现单一大模型的引入，是ChatGPT强大语言的根本来源。展望未来，我们认为ChatGPT或将在大模型加持下加速迭代，主要因为：1）大模型训练效果取决于数据量，目前ChatGPT仅使用2021年之前的数据，随着更多数据的加入，模型底层语言能力有望进一步加强；2）大模型具备能力迁移潜力，垂直领域应用或将加速ChatGPT进化；3）OpenAI背靠微软，大算力资源为模型演进提供保障；4）随着软件用户规模持续扩张，用户自身的反馈又会带来类似监督学习的效果，或将带动ChatGPT加速迭代。基于此，我们看好AI大模型及ChatGPT未来应用前景，商业化落地或将加快。
维度二：预训练语言模型
拆解模型来看，主要关注预训练语言模型和Transformer特征抽取器。我们前面讨论了ChatGPT背后所使用的AI大模型及其迭代过程，但如果我们将拆解动作继续深入，在更细颗粒度的视角下，其实可以将训练模型做进一步的拆解。实际上，GPT（General Pre-Training）即通用预训练语言模型，简单来说就是一种利用Transformer作为特征抽取器，基于语言模型进行预训练的模型。因此，接下来我们从模型的两个关键特征出发，分别从预训练语言模型和Transformer特征抽取器的角度来分析GPT模型的迭代过程。
预训练语言模型无需人工标签，为NLP研究带来质变。预训练属于迁移学习的范畴，其思想是在利用标注数据之前，先利用无标注的数据，即纯文本数据训练模型，从而使模型能够学到一些潜在的跟标注无关的知识，最终在具体的任务上，预训练模型就可以利用大量的无标注数据知识，标志着自然语言处理模型进入了大规模复制阶段。从实现原理上来看，预训练语言模型是通过计算某个词句w的出现概率，即p(W)，在给定词句的情况下，可以自行计算出后一个词或句出现的概率。因此，GPT的训练可以在无人工标签的基础上进行，通过连续不断地预测、迭代参数、再预测，模型最终实现语言能力的学习。
预训练语言模型与神经网络语言模型的区别在于初始参数的选取。上一代神经网络语言模型训练思想是基于后向传播（BP）算法：先通过对网络模型参数进行随机初始化，然后通过优化算法去优化模型参数。而预训练语言模型的初始参数并非随机，而是先通过一个任务训练得到一套模型参数，再以这套参数对模型初始化，进而继续反复训练。
预训练语言模型的内生优势：高效性、通用性与正则化。模型初始参数选取方式不同使得预训练语言模型拥有诸多优势：1）训练高效性，神经网络语言模型中随机的初始参数加大训练复杂度，而预训练能得到较好的初始化参数，后续训练更加高效。2）语言通用性，经过预训练的语言模型更接近通用语言表示（Universial Language Representations），适应于多领域实际应用场景。3）提供正则化，由于模型复杂性高，神经网络模型的优化算法易陷入过度拟合，导致实际测试表现远低于样本测试表现。预训练模型相当于一个正则化过程，仅通过几步精修得到模型，很大程度上避免了过度拟合。
预训练语言模型的应用优势：对数据处理程度要求低，可利用海量无标注数据。在大多数基于统计方法和神经网络的自然语言处理模型中都需要大量已标注的数据集来满足模型训练，但并非所有的训练任务都能获取足够的标注信息。同时，随着模型复杂度和参数数量的增加，大多数数据集的大小难以支持训练。而预训练模型能先通过利用无标注的数据训练模型，解决传统模型无法解决的实际问题。而且由于预训练语言模型可以利用现实世界中大量的纯文本数据训练，扩大了其训练范围和规模，拥有发掘大模型（Foundation Models）的潜力。
对比两代预训练语言模型，二代模型具备上下文交互能力。第一代预训练模型是静态词向量模型，经训练给每一个词赋予静态词向量，让相似的词聚集在一起，实现了符号空间到向量空间的映射，经典结构有Continuous Bag-of-Words(CBOW)和Skip-Gram(SG)等。而由于第一代模型的词向量静态性，使其不能结合上下文，进而有无法分辩同义词等缺陷。最新的第二代预训练模型，包括BERT、GPT等则在此基础上允许静态词向量与上下文交互，这种动态词向量优化了同义词问题。目前，第二代预训练模型的标准范式是“预训练+微调”：首先在大量的文本上训练出一个预训练语言模型，再根据实际情况对得到的预训练语言模型进行微调，加强了模型对下游应用场景的契合度。
维度三：Transformer特征抽取器
Transformer是大模型高效运行的根基。前面我们从单一大模型出发，对预训练语言模型进行了拆解。但如果我们继续深入，会发现语言模型仍然不是GPT模型的最底层，语言模型之下还需要有具体的调度架构和运算逻辑，来实现最终的计算。我们认为，Transformer特征抽取器在GPT模型中，就承担了这样的一个角色，直接决定了AI大模型能否实现高效率的运算和学习。
Transformer模型较RNN并行计算能力更强，提升了大模型训练效率。Transformer模型最早由谷歌在2017年提出，属于深度学习模型架构的一种，特点是在学习中引入了注意力机制。对比循环神经网络(RNN)来看，Transformer与RNN均对输入数据，如自然语言等，进行顺序处理，并主要应用于翻译和文本摘要等工作。但Transformer与RNN不同的是，Transformer中的注意机制可以为输入序列中的任何字符提供上下文，因此可以一次处理所有输入，而不是一次只处理一个词。因此，与RNN相比，Transformer可以实现更大规模的并行计算，大大减少了模型训练时间，使得大规模AI模型得以被应用。
Transformer解码模块是GPT模型的核心要件。从Transformer架构细节来看，核心是由编码模块和解码模块构成，而GPT模型只用到了解码模块。拆解模块来看，大致分为三层：前馈神经网络层、编码/解码自注意力机制层（Self-Attention）、自注意力机制掩码层。其中，自注意力机制层主要作用在于计算某个单词对于全部单词的权重（即Attention），掩码层则需要在这一过程中帮助模型屏蔽位于计算位置右侧尚未出现的单词，最后输出的向量结果输入前馈神经网络，完成模型参数计算。
解码模块大量堆叠，最终形成GPT模型完整架构。在GPT模型中，解码模块相当于基本架构单元，通过彼此堆叠的方式，拼凑成最终我们看到的GPT模型底层架构。这里有两个值得关注的要点：1）解码模块的数量决定了模型的规模，GPT-1一般有12个模块，GPT-2有48个，GPT-3则有96个模块；2）针对模块输出的结果还需要进行Finetune（对模型进行调优）。
应用：打开AIGC应用新局面
ChatGPT属于AIGC的具体应用，相比过去的AI产品，在模型类型、应用领域、商业化等层面呈现出新的特点。1）技术方面：ChatGPT属于自然语言处理领域，与早期的自然语言技术相比，ChatGPT采用大模型进行训练，并加入人工反馈增强学习(RLHF)方法，实现了效果的明显提升；2）应用方面：ChatGPT属于生成式AI，相比于分析型AI，不局限于已有的内容，已在文艺创作，代码处理，营销等多个创造性场景内得到应用；3）商业化方面：ChatGPT在商业化方面彰显出强于以往AI应用的潜力，一方面用户数快速增长，另一方面得到了微软为代表的科技巨头的支持，应用有望快速推广。
技术新：Transformer架构+RLHF，NLP领域迎来新突破
Transformer架构逐步成为主流。自然语言处理从技术的发展可分为三个时期：1）一般机器学习模型阶段（2013年前）：自然语言处理多采用机器学习和一般的统计学方法来分析词语或者句子之间的联系；2）深度学习模型阶段（2013-2017年）：深度学习算法被引入NLP领域，在这一阶段内主要通过增加层深和模型容量提升训练效果；3）Transformer架构逐步成为主流（2017至今）：2017年transformer架构面世，使得深度学习对语言的理解更加深入，基于transformer架构的GPT及BERT的陆续发布，影响力进一步扩大。
ChatGPT模型优势在于语言生成。2017年后，应用范围最广的是BERT和GPT模型以及在这些模型基础上做出的改进模型。BERT模型在结构上是一个多层的双向transformer的Encoder模型，GPT是由12个Transformer中的Decoder模块经修改后组成。相比来说，BERT模型的核心优势在于自然语言理解，GPT模型的核心优势在于自然语言生成。BERT的改进模型有RoBERTa、ALBERT等，GPT的改进模型有GPT2、GPT3、ChatGPT等。随着人工反馈增强学习(RLHF)方法的加入，模型能够在与人类标注者互动时通过人类的反馈进行强化学习。人类标注者则可对初始模型生成的结果进行修改、比较和排序，帮助模型进行训练。ChatGPT在效果上取得重大突破，在语言生成领域形成优势。
应用新：生成式AI应用于创造性工作
生成式AI应用于创造性工作。AI可分为生成式AI和分析型AI，其中分析型AI（Analytical AI），主要在给定数据的情况下，通过分析找出规律和关系，并在此基础上生成报告或给出建议。比如通过追踪客户行为以刻画用户画像，并基于此进行个性化推荐，实现精准营销；通过收集城市中传感器的大量数据并分析，预测天气及环境污染情况，从而帮助相关部门进行政策制定。不同于分析型AI局限于分析已有内容，生成式AI（Generative AI）可以通过学习已有数据和信息生成多种形式的新的内容，在创造性工作的领域进行应用，目前生成式AI的应用主要包括生成文本、图像、对话、音视频、代码、3D等。
ChatGPT是典型的生成式AI。ChatGPT通过学习大量语料并通过生成模型生成文本回答，其基础GPT-3是一个大型语言模型。该模型通过对大量语料的预训练，学习了语言的语法、语义、语用等特征，并通过对语言的生成任务进行微调，以适应各种应用场景。目前，除了ChatGPT外，有大量AIGC应用产品基于GPT-3模型。
商业化潜力：巨头纷纷发力，商业化潜力较大
ChatGPT用户突增彰显商业化潜力，内容生成或成ChatGPT重要应用。据各公司官网，ChatGPT从0到100万用户数仅花费5天，速度远超其他平台。从活跃用户角度，据Similarweb，2023年1月期间，ChatGPT平均每天约有1300万独立访客，超出22年12月一倍。用户数量的快速扩大反映了ChatGPT具备较强的商业化潜力。
国内外巨头持续发力布局AIGC。AIGC（AI Generated Content）指由人工智能生成的内容，包括文本、图像、音频、3D等多种类型，具有高效及自动化生产的特点。近年来谷歌、亚马逊、百度等国内外巨头持续布局AIGC。2014年，谷歌以超5亿美元的价格收购人工智能公司DeepMind；2023年3月，谷歌宣布向人工智能初创公司Anthropic投资约3亿美元，建立新的合作伙伴关系；2022年11月，亚马逊宣布与AI制图平台Stability AI合作，成为其首选云合作伙伴，同时为其提供亚马逊Tradium芯片；2021年4月，华为诺亚方舟实验室联合多部门推出首个2000亿参数中文预训练模型盘古α；2023年2月，百度官宣类ChatGPT大模型新项目文心一言（英文名 ERNIE Bot）。
风险提示
宏观经济波动。若宏观经济波动，产业变革及新技术的落地节奏或将受到影响，宏观经济波动还可能对IT投资产生负面影响，从而导致整体行业增长不及预期。
下游需求不及预期。若下游数字化需求不及预期，相关的数字化投入增长或慢于预期，致使行业增长不及预期。
加入知识星球
即时获取各大券商非公开调研纪要
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
相关文章
