文章主题:AI, GPU, 英伟达
🎉1849年淘金狂潮兴起!Golden Diggers的故事🌟 东岸与欧陆的勇士们,连同初踏美土的华裔拓荒者,一同涌向这片神秘土地,寻找金色的梦想。一开始,他们将它亲切唤作「金山」,最终定格为永恒的荣耀——旧金山🌍。历史在这里交织,勇气与希望在每一片砂砾中闪耀✨。这里的每一块石头都讲述着一段不平凡的淘金传奇,等待被岁月细细研磨,镌刻进永恒的记忆书页📖。SEO优化词汇:加州黄金热、淘金者、19世纪移民、金山到旧金山的历史变迁
✨来到这片充满机遇的土地,淘金者们的首要任务无疑是解决基本需求——从衣物到住所的全面配备。但别忘了,淘金之旅的核心装备,那把决定成败的“利器”——铲子,就像谚语所说,“欲善其事,必先利其器”。🔥随着对黄金热望的飙升,卖铲人成了炙手可热的人物,他们的店铺不仅是财富交换的场所,更是淘金热潮的象征。
🎉【硅谷新淘金热】🚀100年后的科技革命,旧金山南麓,OpenAI引领AI浪潮,挖掘出智能时代的”金矿”,而NVIDIA紧随其后,成为首批”卖铲者”。👀无数创新者与企业如潮水般涌来,握着革新工具,投身这片新兴土地的淘金盛宴。🔥掘金号角已响,未来在这里等你!🔍 #AI黄金时代 #硅谷新势力
不同的是,过去的铲子几乎不存在什么技术门槛,但今天英伟达的 GPU 却是所有人的选择。今年以来,仅字节跳动一家就向英伟达订购了超过 10 亿美元的 GPU,包括 10 万块 A100 和 H800 加速卡。百度、谷歌、特斯拉、亚马逊、微软……这些大公司今年至少都向英伟达订购了上万块 GPU。
H100 GPU,图/英伟达
🌟【AI需求激增,市场紧俏】🚀面对AI技术的迅猛崛起,行业巨头印奇的言论揭示了当前一个不容忽视的现实:中国的GPU资源,尤其是高端型号A100,正遭遇一场前所未有的“抢手”战!据财新最近的深度报道,目前可用的A100数量仅为可怜的4万块。这可不是小数目,对于训练大型模型来说,每一块都价值连城。与此同时,曾经一度飙升至天价的NVIDIA A100的替代品——A800,其价格也攀升到了令人咋舌的10万元人民币一片。这一现象的背后,反映出AI技术对高性能计算硬件的强烈需求与市场供应的矛盾。GPU价格的上涨,无疑在一定程度上推高了AI项目的成本,挑战着行业的发展速度。面对这样的局面,无论是企业还是研究机构,都必须明智地管理资源,寻找更经济高效的解决方案。技术创新和供应链优化将成为未来AI领域的重要课题。让我们期待看到更多创新技术和服务的出现,以满足这个快速发展的市场需求。
6 月的一场非公开会议上,OpenAI CEO Sam Altman 再次表示,GPU 的严重短缺,导致了很多优化 ChatGPT 的工作被迫推迟。按照技术咨询机构 TrendForce 的测算,OpenAI 需要大约 3 万块 A100 才能支持对 ChatGPT 的持续优化和商业化。
GPU和人工智能算力的短缺问题,自ChatGPT掀起新一轮热潮以来,已困扰行业长达数月之久。尽管如此,各大企业仍面临这方面的挑战,究其原因,背后的供需矛盾不容忽视。首先,AI技术的快速发展对硬件资源提出了更高的要求,GPU作为核心组件,其供应量与需求间的差距日益明显。其次,全球芯片短缺和供应链复杂性也增加了获取难度。再者,企业在研发和应用上可能策略调整,导致现有算力未能充分利用。尽管如此,AI领域的热度不减,企业们正积极寻求解决方案,包括优化资源分配、技术研发以及寻找替代方案,以满足未来技术迭代的需求。
ChatGPT们缺显卡?缺的是英伟达
GPU 领域并非唯独 NVIDIA 独占鳌头,其高端型号的短缺是当前市场的一大焦点。对于AI模型训练来说,A100和H100这两款旗舰产品无疑是首选,而去年禁令后推出的A800与H800系列,虽削减了部分配置,但依然不失为满足需求的有效选项。无论选择哪一款,都需对性能与适用性有清晰认知,以确保训练的高效进行。
AI 的使用包括了训练和推理两个环节,前者可以理解为造出模型,后者可以理解为使用模型。而 AI 大模型的预训练和微调,尤其是预训练环节需要消耗大量的算力,特别看重单块 GPU 提供的性能和多卡间数据传输能力。但在今天能够提供大模型预训练计算效率的 AI 芯片(广义的 AI 芯片仅指面向 AI 使用的芯片):
不能说不多,只能说非常少。
大模型很重要的一个特征是至少千亿级别的参数,背后需要巨量的算力用来训练,多个 GPU 之间的数据传输、同步都会导致部分 GPU 算力闲置,所以单个 GPU 性能越高,数量越少,GPU 的利用效率就高,相应的成本则越低。
英伟达 DGX H100 AI 超级计算机,图/英伟达
而英伟达 2020 年以来发布的 A100 、H100,一方面拥有单卡的高算力,另一方面又有高带宽的优势。A100 的 FP32 算力达到 19.5 TFLOPS(每秒万亿次浮点运算),H100 更是高达 134 TFLOPS。
同时在 NVLink 和 NVSwitch 等通信协议技术上的投入也帮助英伟达建立了更深的护城河。 到 H100 上,第四代 NVLink 可以支持多大 18 个 NVLink 链接,总带宽达 900GB/s,是 PCIe 5.0 带宽的 7 倍。
面向中国市场定制的 A800 和 H800,算力几乎不变,主要是为了避开管制标准,带宽分别削减了四分之一和一半左右。按照彭博社的说法,同样的 AI 任务,H800 要花比 H100 多 10% -30% 的时间。
但即便如此,A800 和 H800 的计算效率依然超过其他 GPU 和 AI 芯片。这也是为什么在 AI 推理市场会出现「百花齐放」的想象,包括各大云计算公司自研的 AI 芯片和其他 GPU 公司都能占据一定的份额,到了对性能要求更高的 AI 训练市场却只有英伟达「一家独大」。
H800「刀」了带宽,图/英伟达
当然,在「一家独大」的背后,软件生态也是英伟达最核心的技术护城河。这方面有很多文章都有提及,但简而言之,最重要的是英伟达从 2007 推出并坚持的 CUDA 统一计算平台,时至今日已经成为了 AI 世界的基础设施,绝大部分 AI 开发者都是以 CUDA 为基础进行开发,就如同 Android、iOS 之于移动应用开发者。
不过照理说,英伟达也明白自己的高端 GPU 非常抢手,春节后就有不少消息指出,英伟达正在追加晶圆代工订单,满足全球市场的旺盛需求,这几个月时间理应能够大幅提高代工产能,毕竟又不是台积电最先进的 3nm 工艺。
然而问题恰恰出在了代工环节。
英伟达的高端 GPU,离不开台积电
众所周知,消费电子的低潮以及还在继续的去库存,导致晶圆代工大厂的产能利用率普遍下滑,但台积电的先进制程属于例外。
由于 ChatGPT 引发的 AI 热潮,基于台积电 7nm 工艺的 A100、4nm 的 H100 都在紧急追加订单,其中台积电 5/4nm 的产线已经接近满载。供应链人士也预估,英伟达大量涌向台积电的 SHR(最急件处理等级)订单将持续 1 年。
换言之,台积电的产能并不足以应付英伟达短期内的旺盛需求。不怪有分析师认为,由于 A100、H100 GPU 始终供不应求,不管从风险控制还是成本降低的角度,在台积电之外寻找三星乃至英特尔进行代工都是题中应有之义。
半导体硅片上造芯片,图/台积电
但事实证明,英伟达至少在短期内没有这个想法,也没有办法离开台积电。就在 Sam Altman 抱怨英伟达 GPU 不够用之前,英伟达创始人兼 CEO 黄仁勋才在 COMPUTEX 上表示,英伟达下一代芯片还是会交由台积电代工。
技术上最核心的原因是,从 V100、A100 到 H100,英伟达的高端加速卡都采用台积电 CoWoS 先进封装技术,用来解决高算力 AI 背景下芯片的存算一体。而 CoWoS 先进封装核心技术:没有台积电不行。
2012 年,台积电推出了独家的 CoWoS 先进封装技术,实现了从晶圆代工到终端封装的一条龙服务,客户包括英伟达、苹果等多家芯片大厂在高端产品上都全线采用。为了满足英伟达的紧急需求,台积电甚至采用部分委外转包的方法,但其中并不包括 CoWoS 制程,台积电仍专注在最有价值的先进封装部分。
按照野村证券预估,2022 年底台积电 CoWoS 年化产能大概在 7-8 万片晶圆,到 2023 年底有望增至 14-15 万片晶圆,到 2024 年底有望挑战 20 万片产能。
但远水解不了近火,台积电先进 CoWoS 封装的产能严重供不应求,去年起台积电 CoWoS 的订单就在翻番,今年来自谷歌、AMD 的需求同样强劲。即便是英伟达,也要通过黄仁勋与台积电创始人张忠谋的私人关系,进一步争取更高的优先级。
台积电,图/ Wikimedia Commons
写在最后
过去几年由于疫情和地缘政治的变化,所有人都意识到了一种建立在沙子之上的尖端技术——芯片是如此重要。ChatGPT 之后,AI 再度举世瞩目,而连带对人工智能和加速算力的渴望,无数芯片订单也纷至沓来。
高端 GPU 的设计和制造都需要很长研发投入和积累,需要面对难以逾越的硬件和软件壁垒,这也导致了在这场「算力的盛宴」之中,英伟达和台积电可以拿到大部分的蛋糕以及话语权。
不管是今天关心生成式 AI,还是上一轮以图像识别为主的深度学习浪潮,中国公司在 AI 软件能力上的追赶速度都有目共睹。然而中国公司花费巨资,调转船头开向 AI 的时候,很少着眼于更底层的硬件。
但 AI 加速背后,最重要的四款 GPU 已经有两款在国内受限,另外两款阉割的 A800、H800 不仅拖慢了中国公司的追赶速度,同时也无法排除受限的风险。比起在大模型上的角逐,或许,我们更需要看到中国公司在更底层的竞争。
AI时代,掌握AI大模型第一手资讯!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
扫码右边公众号,驾驭AI生产力!