《ChatGPT：AI大模型的崛起与未来》

ChatGPT与PPT 1年前 (2023) lida

62 0 0

文章主题：关键词：ChatGPT, AI大模型, NLP技术

（报告出品方：中信证券）

1. ChatGPT通过大模型突破AI瓶颈，GPT-4多模态应用带动商业化加速

概述：ChatGPT为NLP下的AI大模型，性能和使用体验超预期

ChatGPT是一款卓越的自然语言处理(NLP)AI大模型，它通过利用大规模的训练数据和强大的计算能力，成功地在AI领域突破了瓶颈。在2022年的11月份，OpenAI推出了一款名为ChatGPT的新产品，该产品基于GPT-3.5模型，并采用了人类反馈强化学习技术。这款技术的关键在于，它将人类的偏好视为奖励信号，并通过微调模型来实现有逻辑的对话能力。

ChatGPT是一种基于巨大统计语言模型的技术，其主要通过构建词序列的概率分布，并借助上下文信息预测下一个词的出现概率分布。这种技术在算力水平提升的情况下取得了超出预期的表现，表明了大型语言模型技术路线的成功。为了使ChatGPT的语言合成结果更加流畅自然，OpenAI采用了包含45TB数据和近1万亿个单词的大规模未标注文本数据进行训练，每次训练的成本高达千万美元，而每月的运营成本则需要数百万美元。

概述：OpenAI倾力打造ChatGPT，获得微软有力加持

ChatGPT，这个引领AI大模型领域的人工智能助手，源自于美国AI创新公司OpenAI。OpenAI由Sam Altman、Peter Thiel、Reid Hoffman和Elon Musk等多位知名人士于2015年创立。公司自成立以来，就立志实现包括制造“通用”机器人和运用自然语言的聊天机器人在内的多元化发展目标。2019年，OpenAI成功吸引了微软的10亿美元投资，用于开发Azure云端平台服务的AI技术。自2018年开始，OpenAI逐步公开了GPT（Generative Pre-trained Transformer）模型，并在2020年推出了GPT-3，使其具备了回答问题、撰写论文、编写代码等能力，这一突破性成果被视为人工智能竞赛的分水岭，也引发了AI行业的广泛关注，进而推动了ChatGPT的问世，进一步点燃了AI的热情。

在 addition to its expertise in the field of NLP, OpenAI has also achieved success in multi-modality. The company has launched AI image generator DALL-E2 and invested in audio transcription editor Descript and AI note-taking application Mem.

演变：GPT-1—无监督预训练+有监督微调

GPT-1是在2018年6月发布的，其参与数量高达1.17亿，预训练数据量大约为5GB。该模型包括预训练和微调两个阶段。由于在自然语言处理领域，带有标签的语料相对较少，因此GPT-1首先在大规模的无标签数据上进行预训练，以建立语言模型，然后再对下游的具体任务（例如分类、常识推理以及自然语言推理等）的有标签数据集进行微调。在无监督训练阶段，GPT-1采用了Transformer的架构，也就是标准语言模型的目标函数，即预测序列中下一个词语。而在有监督训练阶段，则使用了标准的分类目标函数。对于第一阶段的预训练语言模型，只需要对其进行最小的结构调整，就能够应用到各种下游任务中。

GPT-1采用BooksCorpus数据集进行语言模型的训练，该数据集包含超过7000本尚未出版的书籍。在有监督学习的12个任务中，GPT-1在其中的9个任务上超越了专门训练的受监督模型。这一结果证明了GPT-1在处理广泛领域知识时的优越性，进一步突显了其强大的自然语言处理能力。

演变：GPT-2—无监督预训练+多任务学习

GPT-2是在2019年2月发布的，其参与数量高达15亿，预训练数据量更是达到了约40GB。相较于GPT-1所采用的概率条件模型p(output|input)，GPT-2采用了相同的无监督模型，但在此基础上进行了改进，将其修改为p(output|input, task)。这种修改使得模型能够根据不同的任务，对相同的输入产生不同的输出，从而更好地满足各种实际应用的需求。此外，GPT-2还采用了Zero-shot设定，这一特点使得它无需依赖下游任务的标注信息，而是可以根据给定的指令来理解任务需求，从而在很大程度上提高了其灵活性和适用性。总的来说，GPT-2的核心思想在于多任务学习，这种设计理念使得它在处理各种复杂任务时具有更高的准确性和效率。

GPT-2训练数据的来源为社交新闻平台Reddit，其包含 approximately 800 万篇文章，总体积超过 40GB。在8个语言模型任务中，仅通过零样本学习，GPT-2 在其中7个任务上表现卓越。这一结果暗示着，随着模型容量和数据量的增加，GPT模型的潜力有望进一步挖掘。

展望：GPT-4—此前外界预期参数量变化不大、使用门槛有望降低

GPT-4备受业界期待，训练成本控制有望带动商业潜力的极大增强。ChatGPT的突出表现使得外界对GPT-4十分期待，自2021年以来便有报道称GPT-4“即将推出” ，OpenAI公司CEO Sam Altman今年受StrictlyVC采访时表示GPT-4将在 “有信心可以安全且负责任地运行时”推出。外界此前也曾预期，GPT-4的推出或分阶段进行，例如GPT-3也是先开放给合作伙伴、付费用户和学术机构，才在2022年底开放给公众。

在参数量上，针对有传言称GPT-4参数量将达到百万亿，OpenAI公司CEO Sam Altman予以否定。此外，AI专家Alberto Romero预测，GPT-4的重点在数据处理优化上，因此其使用门槛有望降低，我们预计训练成本的控制将带动其商业潜力的增强。

展望：GPT-4—最新消息称推出在即、支持多模态

最新消息称GPT-4将于下周推出，支持多模态应用，开启通往人工通用智能之路。根据德国科技媒体“heise在线”报道，当地时间3月9日，微软德国公司首席技术官Andreas Braun在名为“AI in Focus – Digital Kickoff”的活动中透露称 “将在下周推出GPT-4，它将是一个多模态模型，会提供完全不同的可能性——例如视频”。这意味着GPT-4可以管理不同语言数据的输入和输出，也能够做到输出图像甚至视频。在活动上，微软AI技术专家对多模态AI的应用案例进行了介绍，例如能够将电话呼叫的语音直接记录成文本，这为微软位于荷兰的一家大型客户节省500个工作小时/天。

GPT-4对多模态的支持使得外界对模型潜力的预期进一步强化，原因在于多模态感知是建立人工通用智能（AGI）的重要一步，基于此能够执行人类水平的一般任务。

商业模式：C端推出订阅制会员，B端提供调用API接口

ChatGPT迅速走红，以订阅制服务B端、C端客户，成本控制下将有效加速商业化落地。ChatGPT自年初以来，持续出圈，截至2023年1月末月活突破1亿，成为史上增长最快的消费者应用。考虑到计算资源所牵涉的庞大训练成本、运行成本，ChatGPT的商业化路径已正在探索、明确中。

商业模式—1）C端：OpenAI发布ChatGPT Plus订阅计划，每月收费20美元，相较于免费版本，即便在高峰时段用户也能正常访问ChatGPT，响应时间更快，可以优先使用新功能，有望引领AI技术变现新模式；2）B端：OpenAI发布 ChatGPT API，开发者可以将ChatGPT集成到产品中，价格为$0.002/1k token，相较于GPT-3.5降低90%，我们预计成本控制后有望快速带动GPT相关应用爆发。根据微信公众号“智东西” ，生鲜电商Instacart、跨境电商Shopify、照片分享应用Snap、单词背诵应用Quizlet等已率先接入ChatGPT API。

2.Transformer架构支撑GPT走向多模态，构筑AIGC领域核心基石

GPT采用的Transformer架构在NLP领域已跻身主流

GPT沿用主流Transformer模型，该模型采用自注意力机制，在NLP上表现优于RNN（循环神经网络）。2017年，谷歌在《Attention is All You Need》中提出Transformer模型，可用于文本摘要、机器翻译等NLP任务。在NLP方面， Transformer模型的自注意力（self-attention）机制可以为输入序列中的任意位置提供上下文，进而模型能够一次性处理所有输入数据，而非RNN一次只处理一个单词的情况，由此模型可以减少训练时间，能够在更大的数据集上进行训练。目前，基于Transformer的预训练语言模型已成为NLP领域的主流。

Transformer也可用于CV领域，相较于CNN实现性能巨大提升

Transformer也可用于CV（计算机视觉）领域，表现出巨大的性能提升。CV领域此前更多由CNN（卷积神经网络）主导，而Transformer凭借着自注意力机制，表现出了巨大的性能提升。根据微软亚洲研究院，Transformer在图像分类、物体检测等任务中刷新了测评记录，例如2020年Transformer被首次应用于图像分类任务，结合海量的预训练数据，ViT在 ImageNet-1K的validation评测集上取得88.55%的准确率。Transformer也在视频动作识别、视觉自监督学习、图像复原、图像分割等视觉任务中取得优异成绩。谷歌提出的ViT-MoE模型目前在参数量上领先，达到了150亿。

Transformer支撑下GPT有望走向多模态，构筑AIGC领域核心基石

GPT有望基于Transformer延伸至多模态，构筑AIGC核心基石，GPT-4或实现领跑。当前，基于Transformer的多模态学习成为AI领域的研究热点，研究者们提出了大量的Transformer变体。鉴于Transformer具有较少的特定于模态的架构假设，以及生成式预训练、大模型&大数据路线的成功，Transformer能够联动CV与NLP，通过联合建模完成，打破CV与 NLP领域之间的壁垒。微软亚洲研究院2022年推出BEiT-3预训练模型，在目标检测、实例分割、语义分割、视觉推理、图片描述生成等任务上取得了SOTA的迁移性能。我们认为，基于Transformer架构，GPT未来有望延伸至多模态，助力内容创作由UGC、PGC全面走向AIGC，赋能通用领域以及金融、教育、医疗、传媒等垂直行业。

3.通用与垂直场景多点开花，GPT变革内容生成与交互方式

通用场景：搜索引擎—GPT+文本&图像&视频重塑搜索结果呈现方式

搜索引擎接入GPT后结果呈现方式大为变化，或影响行业盈利模式与竞争格局。用户使用传统的搜索引擎时，需要手动翻阅搜索结果，判断是否为所需要的信息；而当搜索引擎接入GPT后，用户可直接获得答案集合。尽管受制于训练语料、成本等因素，答案准确性有待商榷，但在结果呈现方式上实现了变革，未来或与传统的搜索引擎相结合。如进一步实现多模态，搜索结果将更加丰富。微软在Bing中上线ChatGPT能力并开启测试，以聊天方式展示搜索结果，并可在对话中推荐广告。微软必应官方博客宣布，目前Bing日活突破1亿，集成搜索+聊天功能的Bing预览版自推出以来总聊天次数已超过4500万次。鉴于微软可能掀起搜索行业的第二次变革并颠覆此前的盈利模式，谷歌在2月初展示由大型语言模型LaMDA 驱动的类ChatGPT应用——Bard，并计划大范围推广。

通用场景：办公软件—GPT+文本&图像打造效率型生产力工具

GPT有望融入办公流程，率先推动办公软件转型为智能办公平台。微软将于3月16日召开名为“Future of Work with AI” 的发布会，预计将展示ChatGPT类技术在Teams、Word、Outlook等生产力套件中的应用。我们认为，在GPT的赋能之下，办公软件作为效率型生产力工具的属性将更加突出，功能上将更加智能化，用户有望享受到智能办公平台所带来的便利性与效率大幅提升。例如，在Word中，GPT将能够帮助用户生成文本，或将文档集汇总为关键点，使得用户快速理解和分析信息；在Outlook中，GPT可以处理收件箱文本，帮助用户更快捷地撰写或回复电子邮件；在Excel中，能够根据提示提取数据，如要求“按照利润列出世界前五大公司”后，生成Excel公式或制作可视化图表。

垂直场景：教育—GPT+文本&对话&翻译催化启发式、个性化教学

GPT有望催化“启发式”教学模式，加快教育领域的个性化、多样化变革探索。ChatGPT可以理解为一名“全能教师” ，即便是小众、冷门的领域，也能够给出相对有逻辑的回答。我们认为，GPT技术将催化“启发式”教学模式，引导学生更加积极主动地进行思考、发问，并与“全能教师”进行对话探讨，这有别于传统的应试教学模式。

垂直场景：金融—GPT+文本&对话赋能客户服务、投研支持

GPT有望对金融行业的经营、管理、产品营销及客户服务等方面产生巨大影响。近年来，金融机构在合规趋严、人力成本上升等因素的影响下，对于数字化建设的意愿强烈。考虑到ChatGPT在内容生成等方面的突出表现，我们认为，GPT 有望率先落地对外的客户服务与对内的投研支持。以银行业为例，电子客服仍处于AB判断阶段，引入GPT将更好地服务于客户需求；在证券、基金业，个人投资者存在的大量疑惑将可通过GPT解决，机构投资者在投研中也将获得来自GPT 的协作。GPT有望重构金融行业客户服务端，也有望进一步增强机构内部的投研能力，助力经营效率提升与成本优化。

垂直场景：医疗—医疗信息化厂商卡位核心系统，助力构建GPT能力

医疗信息化公司作为医疗机构信息化底座提供者，有望助力构建GPT能力。根据复旦大学附属华山医院信息中心主任黄虹在接受第一财经采访时透露的情况，医院内部落地GPT的场景包括：就医导诊，以提升医疗效率；构建内部知识库，以提升临床研究效率；汇集历史病历，辅助医生提升电子病历书写效率。考虑到医院本身在信息化能力上的相对薄弱，我们认为以创业慧康、卫宁健康、医渡等为代表的医疗信息化公司作为医院内部系统的供应商，有望帮助医院构建GPT能力。

互联网医疗平台卡位线上问诊，GPT有望助力问诊效率大幅提升。2020年疫情爆发以来，互联网医院凭借着突破时空限制、免接触等优势，迎来快速发展。平安好医生、阿里健康、京东健康等平台搭建了轻问诊模式，主要通过自有医生、外部签约医生提供问诊服务。我们认为，GPT可以用于在线问诊支持，为用户提供基本的、常规化的问诊服务。这将助力互联网医疗平台实现问诊效率的大幅提升，问诊服务的供给能力将不再受制于链接的医生数量。

垂直场景：图像视频—GPT+图像&视频强化内容智能化生产与处理

GPT有望改变图像视频领域内容生产模式，多模态提高信息输出丰富度。图像视频行业新老业态交织，构成相对多元，以生产和传播文字、图像、艺术、影像、声音等形式存在，包括报纸、图书、广播、电影、电视、动漫等诸多细分领域。从产业链条来看，图像视频行业主要涉及信息采集、制作、分发、传播等，我们认为GPT将主要影响产业链前端的采集、制作。结合中国信通院《AIGC白皮书》，我们预计在GPT赋能之下，特别是对多模态的延伸，图像视频行业有望进一步提高写稿机器人、采访助手、视频智能剪辑、合成主播等新兴应用的供给能力，既改变内容生产模式，也满足信息接收者对丰富内容的需求。