ChatGPT背后的烧钱秘密：科技巨头的大模型竞争，中国能追上吗？🔥
文章主题：ChatGPT,科技巨头,大模型训练成本
GPT1.0和GPT2.0是开源的，目前很多国产大语言模型是用开源软件，加上中文语料处理的，差距和GPT3.5可能并不只相差了一代。而现在GPT3.0没有可靠的开源软件。
“诚然很多国内厂商对ChatGPT有兴趣，但是他们的兴趣点也很多，跟风投机性强，无法像OpenAI那样全力以赴，意志坚定。”
🎉ChatGPT引领潮流，科技巨头与新兴力量竞相追逐！🚀随着其全球爆火，无数企业和创业者犹如春日新绿，迅速崭露头角。🌟近日，前美团联合创始人王慧文的豪言壮语引发热议——他公开招募，开出5000万美元的大手笔，不论职位、薪资还是头衔，只求能组成一支顶尖团队！🚀这样的举动无疑点燃了行业激情，也让大家看到了创新与合作的力量。💼欲共襄盛举者，不妨借此东风，一展所长，共创辉煌！🌟#科技巨头入局# #创业热潮# #王慧文招募
训练通用大模型确实是一项昂贵的科技盛宴，根据国盛证券发布的《ChatGPT背后的算力之谜》报告，我们了解到，仅仅一次GPT-3的训练费用就高达140万美元的天文数字，这对于LLM（大型语言模型）来说，成本更是高昂，区间在200到1200万之间。以ChatGPT一月单日独立访客量破千万的惊人数据为参照，其背后的GPU需求相当于3万多片顶级的NVIDIA A100，初期硬件投资就高达惊人的8亿美元。再加上每日不菲的电力开销，保守估计每天电费也得5万美元左右。这样的成本投入，无疑是对技术与资源的巨大考验。
📊ChatGPT的强大可见一斑——若将其全部部署到谷歌搜索中，所需AI算力堪称天文数字：51,282.05万台A100 HGX服务器及410,256,800个GPU！仅基础设施的初期投资就高达千亿美元之巨。🚀这不仅是技术上的挑战，更是经济领域的震撼。平均每台服务器背后的成本是多少？每颗GPU能支撑多少次搜索？这些数字背后的故事，无疑是科技巨头迈向未来的关键一步。🔍
🌟💡大模型的训练与应用成本高昂，一直是AI领域的挑战，这使得具备构建大型模型能力的企业在全球科技竞争中占据主导地位，形成了难以逾越的壁垒。正如法国里昂商学院人工智能管理学院院长兼全球商业智能中心负责人龚业明博士所言，在接受澎湃科技采访时他提到的那样，这种技术优势形成的“护城河”效应显著，加剧了市场的集中化。🚀
🌟【成本高昂，巨头先发优势明显】随着AI领域的热度飙升，资本纷纷押注初创企业打造大型模型。 IDC中国研究总监卢言霞向澎湃科技透露，短期来看，大厂凭借技术积累和资金实力占据主导地位。未来，或呈现两种格局：一是大厂引领基础模型研发，中小企业紧随其后，基于大模型开发应用；另一种可能是，诞生一批专注于大模型创新的AI初创企业，尽管如此，产业链仍将以提供基础服务的大模型供应商为核心。💡开源化进程加速，头部厂商可能利用开源模型打造行业云，推动AI技术在各领域广泛应用。🚀无论哪种趋势，AI产业的发展脉络清晰可见，创新与合作将共同塑造未来。
“国产大模型与ChatGPT基础模型相差不止一代”
🌟ChatGPT，一款引领潮流的🔥神经网络巨擘，无疑是深度学习架构中的璀璨明珠。它标志着深度学习领域的一次重大飞跃，为自然语言处理的智能化进程开启全新篇章。🚀刘聪博士，作为科大讯飞的高层智者，对ChatGPT的技术潜力深信不疑，认为这无疑为认知智能技术的发展带来了前所未有的发展机遇。🌟#ChatGPT里程碑 #深度学习革命 #认知智能新时代
近期，除了惊艳于ChatGPT的表现之外，AI行业内对于中国能否做出类ChatGPT的产品也有诸多讨论。国内大模型究竟与ChatGPT背后的GPT系列大模型相差多少？
“GPT1.0和GPT2.0是开源的，目前很多国产大语言模型是用开源软件，加上中文语料处理的，差距和GPT3.5可能并不只相差了一代。”龚业明表示。
而现在GPT3.0没有可靠的开源软件了，龚业明说，“但是有理论论文发表，一些国产大语言模型正在根据GPT3.0论文和一些相关的情报开发系统，但是和OpenAI的原创模型会有较大差距。”
据龚业明分析，问题在于GPT3.0比很多目前国产大模型采用的GPT2.0要进化很多，而OpenAI正在一个从GPT3.5到GPT4.0的发展过程中。如果要彻底达到GPT3.5的水平，在短期内是不太可能的，语料库的建立，人工标注，算法的训练都需要时间。
很多国产大模型计划用半年完成追赶，龚业明判断，“半年后市场会出现一批这样的所谓的GPT，但要达到真正实用需要2-3年，那时候OpenAI又进步了。”
差距的背后是什么？
从技术角度来看，龚业明认为，国内的AI领域在基础理论、算法研究、语料库以及技术人才方面相对滞后。
第一，就语料库而言，龚业明具体解释道，“一个装样子的语料库的构建和获取也许不是特别费劲，但是语料的标注与理解工作比较繁复。目前有很多人工智能专家还认为中文语料质量会影响国产大模型的发展。语言学的长期研究告诉我们，语料库的构建最好不能只局限于简体中文语料库，要能理解多种语言，才能构建一流的中文语料库。所以不要认为靠人海战术和低人力成本建一个简中语料库就能解决语言学问题。”
第二是算法。“GPT对算法的要求特别高。算法要能容纳和分析大数据，个别国产大语言模型出现了过载问题，就是算法处理不了更大的数据，或增加了数据后服务质量没提高。”龚业明说。
第三是运算量。“GPT需要高端显卡和高端芯片。在目前的国际环境中，并不是所有我国企业能获取足量的高端显卡和高端芯片。同时运算量也要求较高的投资。”龚业明也聊到当下的现状，“诚然很多国内厂商对ChatGPT有兴趣，但是他们的兴趣点也很多，跟风投机性强，无法像openAI那样全力以赴，意志坚定。”
最后，“短期内很不容易找到GPT的领军人才，在这个领域领军人才几乎全在美国。”龚业明不无遗憾地总结道，“由于这些关键因素，我不认为能够比较容易地在短期内实现追赶。”
另一方面，“国内缺乏明确的前瞻性生态与商业布局。”龚业明从商业模式角度分析，“现在出现了ChatGPT这样的产品，国内也会出现很多的公司、机构，但在技术路径的复制上面，由于缺乏基础模型积累和大量的训练数据来源，所以复制难度较大。OpenAI在很多年前就理解了GPT的价值，我们到现在别人已经做出来，才知道该这样发展，才理解其中的商业价值，就慢了点。”
ChatGPT商业价值几何？“兵家必争之地”
刘聪认为，这次ChatGPT所带来的革命将会深刻地改变当今世界的生产和生活方式，重构产业格局，是人工智能领域推动工业乃至社会变革的重大战略机遇，是未来发展兵家必争之地。
具体而言，刘聪概括了四个方面的变革。
一是改变现有人机交互模式，未来人们可能用自然对话的方式与智能产品交互。二是改变信息分发获取模式，基于认知智能技术可实现更高效的信息整合和知识推荐等。三是革新内容生产模式，提高生产力。“未来ChatGPT被集成到word、excel、ppt等工具软件后，将提升内容生产效率与丰富度，变革人们的办公方式，成为新的全行业生产力工具。”四是加速“AI for Science”的发展，“随着其学习的科研数据越来越多，未来ChatGPT有可能提供专业的研究建议甚至主动探索发现新的理论，带来整个科学研究范式的全新变化。”
卢言霞则认为，ChatGPT短期内不可能颠覆AI行业格局，其对市场真正的影响在于底层大模型对AI开发模式的转变。
这句话包含了两层判断。
为何ChatGPT短期内不可能颠覆AI行业格局？卢言霞认为，基于GPT-3模型已读取的数据，ChatGPT可以回答用户的问题，甚至可以为用户推荐适配的产品、服务。 其所提供的答案在准确性、广泛性方面仍存在局限，因此现阶段无法直接用于企业特定的场景中以替代之前的AI应用，不可能彻底颠覆搜索市场，也不可能改变人工智能市场格局。”
龚业明则持截然相反的观念，“由于内容可信度还不是特别高，交互成本高，很多市场分析人员认为ChatGPT对市场真正的影响有限，这种看法可能对这个技术的商业价值理解不是特别深刻。目前也只是处在ChatGPT发展的早期，内容可信度会随着训练与算法的提高，逐步解决。”
对于另一个AI开发模式转变的判断，卢言霞进一步解释道，“以前很多AI应用都是直接使用通用AI软件，或者通用AI公有云服务。ChatGPT基于大模型的效果被认知到并且重视以后，将会有越来越多的AI应用或是嵌入大模型，或是直接用基于大模型的AI软件替代。也就是说，这会是已经部署的AI应用更新换代的机会。 ”
“之前AI市场很分散，未来如果大模型发展起来，那么产业链可能的分工是：大厂提供大模型，AI应用厂商基于大厂的大模型开发AI应用。这将是上下游的关系，不再是之前的竞合关系。”卢言霞说。
欧科云链研究院高级研究员蒋照生则对澎湃科技谈到一个新的角度，ChatGPT将加速Web 3.0时代的到来。
“以ChatGPT为代表的生成式AI完全有潜力成为Web 3.0时代的生产力工具，通过从包括链上数据在内的新型生产要素中学习和分析，为Web 3.0创作者和贡献者们提供更可靠和更便捷的生产力工具，解决数字世界的数据资产与内容生产难题，补齐Web 3.0发展中的生产力短板。”蒋照生表示。
龚业明也表达了相似的想法。他认为从长期来看，AIGC（人工智能生成内容）将成为元宇宙生产工具。“ChatGPT等AIGC应用程序将显著提升数字人的制造效率，内容生成快、成本低且可定制。AIGC能显著提高数字人多模态交互中的识别感知和分析决策能力，成为元宇宙世界重要的生产工具。AIGC有望成为元宇宙搭建的重要工具，并推动web 3.0的发展。”
在采访的最后，卢言霞说，未来充满想象，不可预测。
<img src=”https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TVBOdxdAcRFObW~noop.image?_iz=58558
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
相关文章
