将英伟
达拉下马，芯片公司出招

如果您希望可以时(shí)常见面，欢迎标星收藏哦(ó)~

来源：内容编译自IEEE，谢谢(xiè)。

很难夸大英伟达在AI领域的主导地(dì)位。成立(lì)于1993年的 英伟达(dá)最初在个人计算机图形处理单元(yuán)（GPU）领域崭露头角。然而，是公司的AI芯片，而非(fēi)PC图形硬件，推(tuī)动(dòng)英伟达跻身全(quán)球最有价(jià)值公司(sī)之列。事实证(zhèng)明，英伟达的GPU在AI方面 也(yě)表(biǎo)现出色。因此，其股价(jià)自2020年初
以来已经增长了15倍以上，收入(rù)从2019财年约120亿美元跃升至2024年(nián)的600亿美(měi)元(yuán)；这家AI巨头的领(lǐng)先芯片如沙漠中的水一样稀缺且备受追捧。

"获取GPU对AI研究人员(yuán)来说已经成(chéng)了巨大的担忧，以至(zhì)于他们每天都在思考这(zhè)个问题。因为(wèi)没有它们(men)，即使拥有最好的模型，他们(men)也无法尽(jǐn)情发挥，”谷歌DeepMind的AI数据(jù)负责(zé)人(rén)詹(zhān)妮弗·普 伦(lún)德基（Jennifer Prendki）表
示。普伦德基依赖英伟达的程度较(jiào)少，因为谷歌(gē)拥有自己的(de)AI基础(chǔ)设施(shī)。但(dàn)其他科技巨头(tóu)，如微软和亚马逊，是英伟达最大(dà)的客户之一(yī)，并继续以极快的速度
购买其(qí)GPU。据新(xīn)闻报道，美国司法部正(zhèng)在就(jiù)英伟达芯片分配和获取问题进行反垄断调查。

英伟达在AI领域(yù)的主导地位(wèi)，与机器学习的爆发一样(yàng)，是最近的现象。但这种成(chéng)功源自公司数十年来的努力，旨在(zài)将(jiāng)GPU建立为(wèi)除渲染图形外对其他任
务也(yě)有用的通用计算硬件。这一努力(lì)不仅(jǐn)包括(kuò)公司GPU架构的演变，后者 现在拥(yōng)有(yǒu)能够加(jiā)速AI工作负载的“张量核心”，还包括其软件平(píng)台(tái)CUDA，这为(wèi)开发人员利用(yòng)硬件优势提供(gōng)了支持。

“他们(men)确保每个从大学毕业的计算
机科学专业学生都掌握(wò)了CUDA编程，”Moor Insights & Strategy的数据中心首席分析(xī)师Matt Kimball说。“他们提供工具和培训，并在研究上投入了大量资金(jīn)。”

CUDA于2006年发(fā)布，帮助开发人员(yuán)使用英伟达GPU的众多核(hé)心。这在加速高度并 行的计算任务方面至关重要。英伟达在(zài)建立CUDA生态系统上的成功使其硬(yìng)件成(chéng)为AI开发的最小阻力路径。虽然英伟达(dá)芯片供不(bù)应(yīng)求，但比AI硬件更难找到的，可能是经验丰富的AI开发人员——而(ér)许多开(kāi)发人员都熟(shú)悉CUDA。

这给了英伟达(dá)一条深厚且广泛的护城河(hé)来保护其业务，但这并不意味着它缺少准备进攻(gōng)的竞争对手，这些对手的策(cè)略各不(bù)相同。虽然像AMD和英特尔这样的老牌公司正在试图(tú)使用他们(men)自己的GPU来挑战(zhàn)英(yīng)伟达，但(dàn)像Cerebras和SambaNova这样的(de)初创(chuàng)公司已(yǐ)经开发出(chū)能够显著提高生(shēng)成式(shì)AI训练和(hé)推理效率的创新芯片架构(gòu)。它们是最有可能挑战(zhàn)英 伟达的竞争对手。

AMD：另一位GPU制造商

优势：AMD的GPU是说服力十(shí)足的英伟达替代品

劣势：软件(jiàn)生态(tài)系统无法与英伟达的CUDA相抗衡

在图形芯片(piàn)领域，AMD与英伟达的战斗已持(chí)续(xù)了近(jìn)二十年。这是一场有时不(bù)平衡的竞争。在图形处理方(fāng)面，AMD的GPU在销(xiāo)售(shòu)和心智占有率上很少击败英伟达(dá)。然而，AMD的硬件有其优势。公司的广泛GPU产品组合涵盖了从笔记(jì)本电脑(nǎo)的(de)集成图形到(dào)拥有1500亿个晶体管的AI专用数据中心GPU。该公司还早期支持
并采用了高带宽内存（HBM），这是如今全球最先进GPU所必需的一(yī)种内存形(xíng)式。

“如果你看硬件……它与英伟达相比并不逊色，”Kimball说(shuō)道，他指的是AMD的Instinct MI325X，这是一(yī)款英伟(wěi)达H100的竞争对手。“AMD在这款芯片的设计上做得非常出色。”

MI325X计划于(yú)今年年底推出，拥(yōng)有超(chāo)过1500亿个晶体管和288GB的高带宽内存 ，尽管其在实际应用(yòng)中的表现尚待验(yàn)证。MI325X的前身MI300X获得了微软的(de)好评，微软使用(yòng)包括MI300X在内的AMD硬件来处理部分ChatGPT 3.5和4的服务。Meta和戴尔也
部署了MI300X，Meta在其最新的大语言
模型 Llama 3.1的部分(fēn)开发中使用(yòng)了这些(xiē)芯片。

AMD仍有一个 障碍需要克服：软件。AMD提供了一
个
开源(yuán)平台ROCm来帮助开(kāi)发人员为其GPU编程，但它的人气不(bù)如CUDA。AMD意识到了这一弱点(diǎn)，并在2024年(nián)7月(yuè)同意收购欧洲最大(dà)的私
有AI实验室Silo AI，该实验室在使用ROCm和(hé)AMD硬件进行大规模AI训练方(fāng)面有经验。AMD还计划收购ZT Systems，一家在数据中心(xīn)基础设施(shī)方面拥有专长(zhǎng)的公司(sī)，以帮助AMD更好地为部署其硬件的客户服务(wù)。打造(zào)一个能(néng)够与CUDA匹(pǐ)敌的对手绝非易事，但AMD正(zhèng)在全力以赴。

英特尔：软件成功(gōng)

优势：Gaudi 3 AI加速器表 现强劲

劣势：下一款(kuǎn)大 AI芯片要到2025年底才(cái)会(huì)推出

英特尔的 挑战
与(yǔ)AMD相反(fǎn)。英(yīng)特尔缺乏(fá)英伟达的(de)CUDA和AMD的ROCm的直(zhí)接匹配产品(pǐn)，但其于2018年推出了(le)一个开源统一编程平(píng)台OneAPI。与CUDA和ROCm不同，OneAPI涵盖多个类别的硬件，包括CPU、GPU和FPGA。因(yīn)此(cǐ)，它可以帮(bāng)助开发人员在任(rèn)何英特尔硬件上加速AI任务（以(yǐ)及其他任务）。

另一方面，硬件是(shì)一个弱点，至少与 Nvidia 和 AMD 相比是(shì)如此。英特尔的 Gaudi AI 加速器(qì)是英(yīng)特尔2019 年收购 AI 硬件初创公司 Habana Labs的成果，取得了进展，最(zuì)新(xīn)的Gaudi 3 的性能(néng)可与 Nvidia 的 H100 相媲(pì)美。

然而，目前尚不清楚英特尔的下一代硬件版本究
竟会是什么样子(zi)，这引起了一些担忧。Moor Insights & Strategy 创始人帕(pà)特里克(kè)·穆尔黑德 (Patrick Moorhead ) 表示：“Gaudi 3 非常强(qiáng)大。”但(dàn)他(tā)表示，截至 2024 年 7 月，“还没有 Gaudi 4”。

相反，英特尔计划转向(xiàng)一款雄心勃
勃的芯(xīn)片，代号为 Falcon Shores，该(gāi)芯片采用基于区块的模块化(huà)架构，结合了英特尔x 86 CPU 内(nèi)核和 Xe GPU 内核；后者是英特尔最近进军图形硬件(jiàn)领域的一部分。不过(guò)，英特尔尚未透露有关(guān) Falcon Shores 架构和性能的详(xiáng)细信息，预计要到 2025 年底才会发布。

Cerebras：越大越好

优(yōu)点：晶圆级芯片每颗芯(xīn)片提供强(qiáng)大的性能和内(nèi)存

缺点：由(yóu)于尺寸和(hé)成本，应用领域有限

可以肯定的是，AMD和Intel是Nvidia最具可信度的挑战者 。它们在(zài)设计成功芯(xīn)片(piàn)和构建(jiàn)编程平台方面有着悠久的历(lì)史。但在规模(mó)较小、未经验证的玩(wán)家中，有一个脱(tuō)颖而出：Cerebras。

这家公司专注于超(chāo)级计(jì)算(suàn)机的AI，于(yú)2019年(nián)推(tuī)出了Wafer Scale Engine，这是一块巨(jù)大(dà)的晶圆级硅片(piàn)，拥有1.2万亿个晶
体管。最新版本Wafer Scale Engine 3将这一数字提升到了4万亿(yì)个
晶体管。作为比较，Nvidia最新最大的GPU——B200，"仅"拥有2080亿个晶体管。Cerebras围绕这个晶圆级(jí)怪物构(gòu)建的计算机CS-3，正是Condor Galaxy 3的核心，该超级计算机将由64台CS-3组成，处理高达(dá)8 exaflop的AI计算任务。G42，一家总部位(wèi)于阿(ā)布扎比的企业集团，计划使用该(gāi)系统训练(liàn)未来的前沿大型语言模型。

“这有点偏向于特(tè)定的(de)应用，而不是(shì)通用型(xíng)的，”Bernstein Research的高级分析师Stacy Rasgon说。“并不是每个人(rén)都会购买这些计(jì)算机(jī)。但他们(men)有一些客户，比如美国国防部和(hé)Condor Galaxy 3超级(jí)计算机。”

Cerebras的WSC-3在大多数情(qíng)况下不会挑战(zhàn)Nvidia、AMD或Intel的硬(yìng)件；它太大、太(tài)昂贵、太专业(yè)化了。但它可能在超级计算机(jī)领域为Cerebras提供(gōng)独特优势，因为(wèi)没有其他公司设计晶圆规模的芯(xīn)片。

SambaNova：

为Transformer而生的变形架构(gòu)

优点：可配置的架构有助于开发人员优(yōu)化AI模型的效率

缺点：硬(yìng)件还需要证(zhèng)明对大众市场的相关性

成立于2017年的(de)SambaNova是另一家利(lì)用非传统芯片架构(gòu)解决AI训练问题的芯片(piàn)设(shè)计公司。其旗舰产品SN40L采用公司所谓的“可重构数据流架构”，由存储(chǔ)器和计算(suàn)资源的模块组成。这些模块之间的
连接可(kě)以根据(jù)需要进行动态(tài)调整，以促进(jìn)大型(xíng)神经网络的数据快速传输(shū)。

Prendki认为，这种可定(dìng)制的(de)硅片在训练大型(xíng)语言模型时可能(néng)会非常有用，因(yīn)为AI开(kāi)发人员(yuán)可以根据不同的模型来优化硬件。没有其他公司提供这样的(de)功能。

SambaNova还通过其配(pèi)套的软件栈(zhàn)SambaFlow取得了成功。Moorhead说：“在基础设施(shī)层面，SambaNova的平(píng)台表现出色。”SambaFlow可以(yǐ)分(fēn)析机器学习模(mó)型，并帮助开发人(rén)员重新配置SN40L以加速(sù)模型的性能。虽然SambaNova还有很多要证明的地方，但其客户包括软银和模拟器件公司(sī)。

Groq：专注于功(gōng)能

优点：出色的AI推理性能

缺点：目前仅限于推(tuī)理应用

另一家在AI硬件
上有独特创新的公(gōng)司是Groq。Groq的策略是
紧密结合内存和计算资源，以加(jiā)速大型语言模型对(duì)提示的响应速度。

“他们
的架构非常注重内存。内存与处(chù)理器紧密耦合。你需要更(gèng)多的节点，但每个token的价格和性能简直疯狂，”Moorhead说道。“token”是模型处理(lǐ)的基本数(shù)据单位；在大型语言模型中，通 常是一个词或部(bù)分词。更
令人印象深刻(kè)的是，Groq的芯片——语(yǔ)言处理单元推理引擎——采用的(de)是GlobalFoundries的14纳米(mǐ)技术，而这已(yǐ)经是比用(yòng)于制造Nvidia H100的台积电技术落后几代
的工艺。

2023年(nián)7月，Groq展示了其芯片的推理速度，运行Meta的(de)Llama 3 80亿(yì)参数大型语(yǔ)言模型时，每秒超过1250个token。这一表现甚至超过(guò)了SambaNova的(de)演示，其推理(lǐ)速度超(chāo)过每秒1000个token。

高通：功耗至上(shàng)

优点：广泛的AI功能芯片组合

缺点：缺少用(yòng)于AI训(xùn)练的大型前沿芯片

高通以Snapdragon系统级芯片闻名，这款芯片为诸如(rú)三星Galaxy S24 Ultra和OnePlus 12等流行的安卓手机提供动力。高通是一(yī)家可以(yǐ)与(yǔ)AMD、Intel和Nvidia抗衡的(de)巨(jù)头。

但与这些竞争对手不(bù)同，高通将(jiāng)其AI战略更多地集中在(zài)特(tè)定任务的(de)AI推理和(hé)能效上。AI基准(zhǔn)组织MLCommons的创(chuàng)始成员、AI优化公司Krai的(de)CEO Anton Lokhmotov表示，高(gāo)通(tōng)在关键的基准测试中显著提高了其Qualcomm Cloud AI 100服(fú)务器(qì)的推理能力(lì)。在ResNet-50图像分类
基准测试中，这些服务器的性能从180样(yàng)本/瓦(wǎ)提(tí)升至240样本/瓦，使用的硬件基本保持不变。

在设备上处理本地AI任务而无需连接到云端的
高效AI推(tuī)理(lǐ)也(yě)是一个(gè)优势，Lokhmotov说。一个典型例子是微软的Copilot Plus PC。微软和高通与戴尔、惠普和联想等笔记本制造商合作，首批配备高通芯片的
Copilot Plus笔(bǐ)记本电脑已于7月上市。高通还在智能手机和平板电脑市场占据(jù)强(qiáng)大地位，其Snapdragon芯(xīn)片为三(sān)星、OnePlus和摩托罗(luó)拉等设备提供动力。

高通还(hái)是AI驾驶辅助和自动(dòng)驾(jià)驶(shǐ)平台(tái)的主要玩家。2024年初，现(xiàn)代旗下的Mobius部门宣(xuān)布与高通合作，使(shǐ)用Snapdragon Ride平台——该平台是Nvidia Drive平台的竞争对(duì)手——用于高级驾(jià)驶辅助系统。

超大规模数据中(zhōng)心：

为功耗定制智能

优点：垂直整合有助于(yú)设(shè)计

缺(quē)点：超大规(guī)模数据中心(xīn)可能会优先满(mǎn)足自身需(xū)求和(hé)使用

超大规模数据(jù)中心（Hyperscalers）——那(nà)些部署硬件规模庞大的云计算巨头——与“大科技”同义(yì)。亚马逊、苹果、谷歌、Meta和微软都希望尽快部署AI硬件，既用(yòng)于自身使用，也(yě)为(wèi)其云计算客户服务。为加速这一进程，他们都在内部设计芯片。

谷歌比竞争对手更(gèng)早投资于AI处理器(qì)：该公司于2015年首次(cì)宣布的Tensor Processing Units（TPU）如今支撑着其大部分AI基础设施。第六代TPU Trillium于2023年(nián)5月宣布，并成 为谷歌AI超级计算机的一(yī)部分，这(zhè)是一项针对公司处理AI任务的云 服务。

Prendki说(shuō)，谷(gǔ)歌(gē)的TPU为公司(sī)在追求(qiú)AI机会时提供了优势。“我很幸运，不用费心考(kǎo)虑芯片从(cóng)哪里来，”她说。然(rán)而，TPU的(de)使用(yòng)并没有完全消除供应紧张，因为(wèi)谷歌的不同(tóng)部(bù)门仍然需要共享资源。

谷歌已(yǐ)经不再孤单。亚马(mǎ)逊拥有两(liǎng)款自研芯片，Trainium用于(yú)训练，Inferentia用于推理。微(wēi)软拥有Maia，Meta拥(yōng)有MTIA，而据传(chuán)苹果也在开发处(chù)理其云(yún)基础设施中AI任务 的硅片。

这些超大规模数据中心的芯片并
未直接与Nvidia竞争，因为他们不向客户销售硬件，但他(tā)们确
实通过云服务提供硬件访问，比(bǐ)如谷歌的AI超级计算机、亚马逊的AWS和微软(ruǎn)的Azure。在许多情况(kuàng)下，超大规模数(shù)据中心提供的服务既运行在自家硬件上，也运行(xíng)在Nvidia、AMD和Intel的硬件上；而微(wēi)软则(zé)被(bèi)认为是Nvidia的最大客户。

中国芯片：不确(què)定的未(wèi)来(lái)

另一类竞争者的诞生并非(fēi)源自(zì)技术需
求(qiú)，而是地缘政治现(xiàn)实(shí)。美国对AI硬件出(chū)口的(de)限制阻止了芯片制造商向中国公司出售(shòu)最(zuì)新、最强大的芯(xīn)片。作为回应，中国公司正在设计自有AI芯片。

国内科技巨(jù)头所推出的(de)加速器是Nvidia H100的替代品，然而，代工厂的产量问题据称限制了供应，此(cǐ)外，巨头还在销售(shòu)“AI一体机
”解决方案，旨在为中国(guó)企业提供本地化的AI基础设施。

为了绕过美国的出口管(guǎn)制规定，中国行业可能会转向(xiàng)替(tì)代技术。例如，中国研究人(rén)员在光(guāng)子芯片(piàn)方面取得了(le)进展，这种芯片(piàn)利用光(guāng)而不
是(shì)电荷(hé)来进行(xíng)计算。“光束的优(yōu)势在于你(nǐ)可以让两束光交叉，”Prendki说道。“因此，它减少了在硅芯片上通常遇到的限制，不 能交叉(chā)路径。你可以使将英伟达拉下马，芯片公司出招电路更复杂，且成本更低。”虽然光子芯片仍处于非常早期的阶段(duàn)，但中国的投资可能会加速其发展。

更多(duō)空(kōng)间

显然，Nvidia 并不缺乏竞争对手。同样明显的是，在未(wèi)来(lái)几年内，没有一家竞争对手能够(gòu)挑战 Nvidia，更别说击败它了。本文采访的所有人都同意，Nvidia 目(mù)前占据着无与伦比的主导地位(wèi)，但这(zhè)并不意味(wèi)着它将永远排挤竞(jìng)争对手(shǒu)。

“听着，市场 需要选择(zé)，”Moorhead 说。“如果到 2026 年，我无法想(xiǎng)象 AMD 的市场份额(é)会低于 10% 或 20%，英特尔也是如此(cǐ)。通常，市(shì)场喜(xǐ)欢三家公司，而(ér)我(wǒ)们有三(sān)个合理的竞争对手。”Kimball 表示，与此同时(shí)，超大(dà)规模公司(sī)可能(néng)会挑战(zhàn) Nvidia，因为(wèi)他们将(jiāng)更(gèng)多的 AI 服务转移到内部硬件上。

然后还有不确定(dìng)因素。Cerebras、SambaNova 和 Groq 是众多初创公司中的(de)佼佼者，它们将英伟达拉下马，芯片公司出招希望(wàng)通过(guò)新颖的解决方案蚕食 Nvidia 的市场份额(é)。此外(wài)，还有数十家(jiā)其他公司
加入(rù)其中，包括(kuò) d-Matrix、Untether、Tenstorrent和Etched，它们都寄希望于针对生(shēng)成式 AI 优化的新芯片架(jià)构。这些初创公司(sī)中可(kě)能有许多会失败(bài)，但也许下(xià)一个 Nvidia 会从幸存(cún)者中脱颖而出。

https://spectrum.ieee.org/nvidia-ai

专注半导体 领域更多原创内容

关(guān将英伟达拉下马，芯片公司出招)注全球(qiú)半
导体产(chǎn)业动向与趋(qū)势(shì)

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察(chá)转载仅为(wèi)了传(chuán)达一种不(bù)同(tóng)的(de)观点，不代表(biǎo)半导体行业观察(chá)对该(gāi)观点(diǎn)赞同或支持，如(rú)果有任何异议，欢(huān)迎联系半导体行业观察。

今天是《半导体行业观察》为您(nín)分享的第3888内容，欢迎关注。

『半导体第一垂直媒体 』

实时 专(zhuān)业 原创 深度

公众号ID：icbank

喜欢我们的内容(róng)就点“在(zài)看(kàn)”分享给小伙伴哦(ó)

未经允许不得转载：橘子百科-橘子都知道 将英伟达拉下马，芯片公司出招