文章主题：AI, 工业技术革命, ChatGPT
导读
THECAPITAL
AI 工业技术革命终将到来。
本文5223字，约7.5分钟
来源 | 上海AI基金/临港科创投
（ID：thecapital）
🌟【AI革命：Diffusion与ChatGPT引领的深度学习浪潮】🚀自2022下半年以来，一股由Diffusion和ChatGPT引领的深度学习风暴席卷全球，标志着人工智能领域的里程碑式突破。这股颠覆性的力量犹如引擎般推动着科技的进步，引领我们步入一个全新的“AI工业时代”🌟。ChatGPT的横空出世，被许多人视为现代科技的标志性事件，它如同19世纪的蒸汽机，开启了智能技术的巨变。深度学习的崛起，不仅改变了我们的工作方式，更在教育、医疗、娱乐等多领域催生了前所未有的创新应用💡。这场AI革命，无疑在全球范围内引发了强烈反响，各国纷纷加快布局，试图抓住这一历史性的机遇。它不仅重塑产业结构，还挑战着我们对知识和智慧的理解边界🔍。让我们期待，在这个深度学习驱动的时代，人工智能将如何继续书写它的辉煌篇章！🏆
🌟上海智汇力量🌟，引领AI未来🔥！作为专注于人工智能领域的旗舰基金，我们紧跟国家战略步伐，致力于打造国际一流的AI“智慧之都”。🔍紧密关注AI产业链的每一次创新与演变，从技术突破到商业模式革新，我们始终洞察其脉动。📊近期深度分析显示，AI正以前所未有的速度推动各行各业变革，从医疗诊断的精准性提升，到智能家居的便捷生活，无处不彰显其强大影响力。SEO优化提示：#上海人工智能基金 #战略部署 #AI产业链 #技术变迁 #产业发展趋势我们坚信，AI不仅是科技的革新，更是社会进步的加速器。🤝通过资金与智慧的双重赋能，我们携手创新企业，共同探索AI无限可能。👩💻如果您对未来的AI世界充满好奇，不妨深入了解我们的投资案例和前沿动态，一起见证这场科技革命的精彩演绎！🌐记得关注我们，获取更多AI领域的深度洞察和行业资讯哦！💪
核心观点：
🌟ChatGPT引领革命，AI研究范式革新！🔍Transformer奠定标准化基础，AI工业化拐点呼之欲出！🎉这款强大的语言模型展示了无与伦比的语义理解力和多轮对话深度，它不仅是技术突破的象征，更是AI路径多元化的明证。尽管路线众多，但ChatGPT以实际行动告诉我们，AI世界并非单一，而是汇聚了多种可能的道路。🚀Transformer架构的标准化趋势预示着一个新时代的到来，我们满怀期待地站在这个转折点上，见证一场席卷全球的技术风暴——AI工业革命即将爆发！🌈毋庸置疑，ChatGPT的成功不仅是对某条路径的成功验证，更是对所有探索者坚持和创新的肯定。它揭示了AI技术在不断演进中找到自己道路的可能性，让我们坚信，一个以科技力量驱动的全新纪元正悄然临近。🌍
🌟自然语言的力量正在革新我们的世界🌍，大语言模型通过无界交互，打破了传统的人机界面束缚，从键盘鼠标到语音触控，每一次创新都引领着信息产业的迭代升级💻📱。AI驱动的语言交换不仅催生了虚拟空间的飞速扩展🌈，还带来了生产力革命性的飞跃🚀，它正深度重塑我们的生产关系，让现实世界的每一个角落都有可能被颠覆和重构。\n🌍💼未来，无论是数字世界还是现实生活，自然语言交互都将成为主流，为各行各业带来前所未有的变革。让我们期待这场人与技术的深度融合，共同见证这一历史进程的壮丽篇章！🌟
🌟随着大数据量的增长，AI 研发正面临计算力和成本的双重挑战。尽管大模型的潜力尚未完全释放，但优化算法适应硬件已是必然趋势，包括芯片定制、数据中心架构革新以及分布式机器学习框架的协同优化。🚀这些算力创新将成为推动 AI 领域突破的关键引擎，驱动AI -应用的产业革命，就像旋转的飞轮一样，不断加速前行。🏆
🌟💡 大型模型参数不仅是知识与资源的密集载体，蕴含着深远的社会、经济和文化价值。在全球政策、企业隐私及数据跨境合规的大背景下，中国自主研发大模型的必要性日益凸显。🚀🌈踏上这条充满挑战的道路，我们亟需探索如何高效利用AI工程化这一关键工具，同时充分利用中国的规模优势，推动大模型迅速普及并优化其迭代过程。这将是我们突破困境的关键路径。🎯👥
01
拐点将至：
大模型研发范式的改变
标志着 AI 真正走向了工业化生产道路
ChatGPT如何能力出众？
相比于之前的 Chatbot，我们可以看到一个惊人的 ChatGPT：极好的理解和把握用户意图， 具有出良好的多轮沟通对话、记忆、归纳和演绎能力，会甄别高水准答案，知道如何一步一步解决用户问题，有逻辑和条理的输出回答结果。
ChatGPT背后的技术突围和能力养成？
任何 AI 技术都不是空中楼阁。在惊叹以 ChatGPT、Diffusion 为代表的 AIGC 所展现的惊人能力的同时，我们看到的是一次深度学习算法、算力提升、数据积累三浪叠加后的“大力 出奇迹”，以及背后长达几十年的酝酿。
大语言模型 (LLM) 标志着 AI 研究范式的改变：拉长 NLP 技术发展时间周期，早期阶段 (2013 年左右) 的 NLP 任务采用传统的“特征提取+机器学习”进行研究，第二阶段转变为“预训练模型+fine tune”范式，均致力于“大练模型”，即根据下游任务调整预训练模型，帮助机器理解人的意图。而在以 ChatGPT 为代表的 GPT3.0 “预训练 模型+Prompt”范式中，通过“练大模型”大幅减小预训练的任务和下游任务之间的统计分布差距，让计算机适配人的习惯命令表达方式，提高整体任务的通用性和用户体验，从而使通用底座模型成为可能。
模型规模激发能力突变：研究表明，大模型许多能力上的惊人突破，并非一个线性的过程，而是在模型尺寸达到一个量级时发生突然的“进化”(Scaling Law 即规模定律)。当 LLM 的参数量达到一定量时(比如 100 亿)，模型的能力将发生突变。GPT 3.0 模型下 1750 亿参数量“涌现”出的强大智能表现，验证 ScalingLaw 生效，由此获得了存在于大模型而非小模型的涌现能力。更深度的人类活动信息变成可用数据，进一步激发模型-数据的飞轮效应。从神经网络角度看，人脑有约 100 万亿神经元。GPT-3 有 1750 亿参数，预计 OpenAI的 GPT-4 模型参数量将变得更大，但距离人脑的 100 万亿神经元尚远。随着算力的进步，参数规模提升能否带来新的特性值得期待，我们相信大语言 模型的新能力会随着参数和模型规模的激增而进一步解锁。
标准化趋势正在加速：在算法层面。大模型的核心 Transformer 有统一算法的趋势，图像、自然语言理解、多模态的主要技术路线基本都基于 Transformer 实现。算法的收敛某种程度上使得硬件收敛成为可能，而 Transformer 加速引擎成为算力必选项。虽然目前算法、软件、硬件尚未实现完全标准化，但我们可以清楚的看到 LLM 标准化进程正在加速，逐渐显现出“通用目的技术”的三个特性即普遍适用性、动态演进性和创新互补性，有望成为驱动工业革命的增长的引擎。
02
革故立新
人机交互方式的改变
引发生产力的工业化变革
产业链将被重构
回顾科技进步和产业变革的历史可以发现，历次科技革命和工业革命都带来了改变人类生产生活的技术、产品和服务。科技革命标志性的科学成就以及工业革命的主导技术往往具有颠覆性特征，无一不对解放生产力、推动人类文明演进产生了深远影响。
大语言模型所推动的本质变革在于改变了人机交互方式。自然语言成为了人机交互媒介，计算机可以理解人类自然语言，而不再依赖固定代码、特定模型等中间层。以手机、平板等为载体的人机交互方式可能在元宇宙场景下以更自然的方式展现，移动互联网时代的人工智能应用可能被重塑。
交互方式的改变将引发各行各业的生产力革命：用以嫁接计算机与人类的软件“中间层”将不复存在，产品形态发生变化，软件可以迅速支持自然语言接口，而不必开发和调用 API 接口。劳动对象、生产关系随之变化，AI 软件开发的门槛降低，用户群扩大，企业内部研发和产品的界限将日益模糊；产品根据用户反馈进行直接调整，产业链进一步缩短，生产效率提高。新的需求、职业、市场空间、商业模式呼之欲出，数据-模型叠加的产业飞轮将彻底改变很多传统行业和产业格局。
规模工业化生产的格局有望体现：生产方式从“农耕时代”走向“工业时代”，AI 产业生态将从过去每个垂直应用领域做各自模型，变成通过大模型做应用，通用性更强。AI 产业链将呈现底层基础设施(芯片/云服务商) – 大模型 – Prompt Engineering Platform – 终端应用的水平化分工。我们大胆推测，由于预训练模型需要耗费大量的成本和技术投入，因此类似台积电之于英伟达，大模型/AI 平台的入门门槛高，一般参与的对象还是以大规模的互联网公司和行业巨头为主，未来可能只有 1-2 家公司是做 大模型底层基础设施。原本期望通过做垂直化、场景化、个性化模型和应用工具扩张成平台型企业的中间层企业们的竞争可能日益激烈；理解行业痛点并在大模型基础上快速抽取生成场景化、定制化、个性化的小模型，从而实现不同行业和领域的工业流水线式 部署的公司才能生存。靠近商业的应用型公司，依托 AI 将落地场景中的真实数据发挥更大价值。这某种程度上体现了规模工业化生产的特质，即产业分工，标准化和规模化。
所有的下游应用都有望被重构：随着基础模型与工具层的崛起，构建应用的成本和难度将大幅降低。对于应用开发者来说，所有的下游应用值得被重构。传统企业(+AI)将享受低成本构建应用模型的便利，利用场景和行业 know-how 优势更快的拥抱数字化转型，大幅提升效率和体验；创业公司(AI+) 聚焦高价值场景，颠覆现有业务，在自己擅长的方向上去做突围，比大厂先一步做出数据飞轮，形成壁垒。
03
超越摩尔定律
算力瓶颈下的软硬件联合调优成为破局关键
新工业革命的主导技术和产业不再呈现单一性特征，很有可能演变为由多个交叉技术组成的技术簇群，不断同步、掣肘、叠加和“纠缠”。回看人工智能产业的发展历史，每一波大发展都是与算力提升和数据爆发相结合。软件与算力供需的失衡、能力的追赶不断催生创新技术需求，一旦关键技术迎来突破，将会带动整个产业群的发展。
受制于摩尔定律，AI 训练成本高企，当前硬件算力的成本和供给远无法满足日益增长的内存和计算需求。不仅仅是语言大模型参数规模呈指数增长。LLM 将更大范围更深度的人类活动信息直接转化为可用数据，引发全球数据量激增。根据 Google 统计，DNN 的内存和计算需求每年约增长 1.5 倍(2016-2020 内存增长 0.97-2.16，算力增长 1.26- 2.16)；而算力供给却达不到。从 2016 至 2023 年，英伟达 GPU 单位美元的算力增长 7.5 倍(P100 4 GFLOPS/$ 到 H100 30 GFLOPS/$)，GPU 算力提升约 69 倍(P100 22T FLOPS 到 H100 1513T FLOPS)，GPU 效率提升约 59 倍(P100 73.3 TFLOPS/kw 到 H100 4322 TFLOPS/kw)。虽然 GPU 在各种效率有明显提升，长期来看，算力需求每年约增长 1.5 倍存在一定的不可持续性，我们预计在最好情况下英伟达 GPU的算力供给每年增长 1 倍，按一般技术渗透规律，算力层面还需要一定程度的优化，否则很难和应用形成较好的正反馈效应，从而提升行业的渗透率。如何在 AI 算力上实现技术突破、降低成本、扩大规模，提升 AI 训练的边际效益，将成为技术创新的焦点。催生的算力创新需求包括：
芯片级优化。过去十年里芯片性能的提升，超过 60%直接或间接受益于半导体工艺的提升，而只有17%来自于芯片架构的升级；而摩尔定律放缓，每 100m 栅极的成本将持续增加(比如从 28nm 的 1.3 美元提升到 7nm 的 1.52 美元)，主要由制造这些芯片的复杂性增加所驱动——即制造步骤的增加，远远达不到经济效益。同时，制造难度增加，也将增加良率带来的损失，需要通过将大芯片分成更小的 Chiplet 提高产量/良率，降低制造成本。
数据中心架构优化。据英伟达估计，到 2030 年数据中心能耗占全社会能耗 3-13%，而数据中心架构也在演进中，从原先的 CPU 作为单一算力来源，引入软件架构定义，再到增加 GPU、DPU，GPU、DPU 的引入使得数据中心三种计算芯片分工明确，从而提升整个数据中心的效率。
机器学习分布式框架。大模型大算力一定需要多机多卡训练，以 ChatGPT 为例，训练一次需要 3.14×E23 FLOPS 算力。但从训练到推理的过程，模型参数数量不变，分布式框架加速优化的帮助显著。以英伟达 A100 为例，A100 早期训练效率只有 20%，经过分布式框架的优化，效率可以提升 30%~40%，整体效率提升至 50%~100%。
04
时不我待：
中国自主大模型的必然、机会和挑战
以 OpenAI 、微软等为代表的发达国家巨头对科技创新和产业升级新一轮密集投入的效果逐步显现，科技革命和工业革命下新一轮“技术—经济范式”变迁也随之逐渐明朗。科技工业革命必然伴随理念、知识、制度，甚至社会价值观和国际话语权的深刻变革，引发新一轮的国际和经济竞争。ChatGPT 的出现意味着 AI 产业水平化分工的条件基本成熟，世界上并不需要很多个大模型，但大模型参数作为社会底层知识、学习资料的承载，具有极高的社会、经济和文化价值。基于全球政治环境、代表中国中大型企业私有化部署的需求、数据跨境的合规风险和安全考虑，我们认为，中国一定会有自己的 LLM (大模型) 。
将构建中国自主的大模型视为在 AI 领域全方位军备竞赛并不为过。这需要超大规模智算平台对芯片、系统、网络、存储到数据进行全盘系统优化，需要一个能自主掌控更多环节从而实现全局调优的方案。虽然目前我们在算力、高质量数据集、顶尖人才资源、应用生态方面与海外存在较大差距，但以百度、腾讯、阿里为代表的中国科技公司们在这个技术周期里所生长出来云、数据、芯片和复杂系统，已初步拥有了参与这场 ChatGPT 竞争的“入场券”。即使目前各环节依然存在不小的代际差，但我们深信基于多年积累的建模、训练和调参，加 大长期的资本和人才投入，深度融合的数据和场景，底层训练数据， 我们自主独立的大模型依然存在商业闭环的机会。
如何追赶？核心能力在于工程化能力和应用规模。作为系统工程，AI 需要依靠庞大的团队支撑。类比搜索引擎公司，搜索引擎壁垒不在于算法本身，而在于工程化的需求， 例如谷歌搜索引擎、头条推荐，都需要强大的工程能力。OpenAI 的 GPT-1 到 GPT-3 再到现在的 ChatGPT ，模型结构没有发生任何变化(transformer decoder)，单一产品仍需要几百名 正式员工、上千名标注员打磨三年——AI 工程化恰是中国的机会。同时，中国基本上所有的互联网公司都是 AI 公司，中国的规模效应，有望让大模型迅速普及化的改进闭环，成为 中国企业迎头追赶的机会。
人工智能有助于经济的自动化、智能化，AI 大模型的最终目标是 AGI(通用人工智能)。AI 大模型对人类传达信息的载体有了更好的学习，在此基础上各个媒介之间的互通成为可能。当这一目标实现的时候，人类各种经济活动产生的信息的生产、传输、分发、消费可实 现编程化，万物智能成本无限降低，人类的生产力与创造力得到进一步的解放。
相信长期的力量。上海人工智能基金秉持长期主义，助力人工智能从业者们这场系统战、持久战中保持定力。上海人工智能产业基金是经上海市政府批准同意，由国盛集团、临港集团联合市区两级财政及市属大型产业集团共同发起，由上海临港科创投资管理有限公司担任 基金管理人，旨在贯彻落实世界人工智能大会成果，加快推进上海人工智能高质量发展。基金聚焦人工智能核心技术和关键应用，同时关注优秀创业者陪护和生态资源的持续积累，致力于打造人工智能产业发展各类要素联通的“一站式”平台，助力建设人工智能“上海高地”，同时为产业升级变革创造长期价值。
ChatGPT 的能力展现为人工智能产业链注入了新活力，即使尚处于萌芽期，其展现的创造能力充满想象空间，有望带动 AIGC 类应用快速爆发。人工智能技术作为驱动数据经济的技术底层，有望迎来新的发展机遇，在数字时代赋能人类生产力与创造力进一步解放和革新。上海人工智能基金将持续通过技术引领与场景赋能双轮驱动，推动人工智能成为驱动新一轮科技革命和产业变革的重要力量。
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
相关文章
