GPU背后无人言说的战争

英伟达已进军CPU市场。

但似乎没人觉得奇怪。

2025年3月，黄仁勋在GTC舞台上发布Vera CPU时说道：

“我们现在正在构建AI工厂。”

听众们鼓掌。但发布会中被掩埋的真正宣言另有其意。

全球最大的半导体公司，正堂而皇之地踏入数据中心CPU市场——这个几十年来由Intel和AMD垄断的领域。Intel股价次日下跌3.2%，AMD下跌1.8%。仅此而已。几天后，新闻就被其他事情占据了。

然而，有一个安静的数字。

Vera CPU上市第一年，预订额就超过了200亿美元。

考虑到Intel 2024年数据中心部门的年营收为128亿美元，这已不仅仅是新产品发布。有什么东西正在改变。而且是根本性的。

1. 我们未曾看到的瓶颈

过去五年的AI基础设施战争叙事很简单。

GPU很重要。

更多的VRAM，更高的FLOPS，更快的连接。H100，A100，Blackwell。数万亿美元的投资都流向了那个方向。

然而，从2024年开始，一些奇怪的事情开始显现。

数据中心运营商开始测量GPU集群的实际利用率时，得出了一个令人不安的数字。

在Agentic工作流——能够自主规划、调用工具并执行代码的AI系统——中，GPU的实际计算利用率未能达到预期的二分之一。

GPU在空闲。在等待。

等待什么？-> 等待CPU的帮助。

这不仅仅是一个瓶颈。这是架构的裂痕。

-> 而英伟达早已洞悉了这一裂痕，并且已经观察了三年。

想想Agentic AI的运作方式。

当用户输入“分析这份合同，搜索相关判例，并撰写一份摘要报告”时，

AI不仅仅是生成文本。

它会制定计划。-> 选择工具。-> 调用API。-> 解释结果。-> 决定下一步。

所有这些编排工作都发生在CPU上，而非GPU。

问题在于，编排的比例正在不断增加。

在工具调用比例极高的Agent工作流中，有分析指出，总延迟的50%到高达88%来自于CPU处理工具的延迟。

其余的12%到50%是GPU上处理的实际推理。

数万亿美元的GPU集群，超过一半的时间都在空闲等待通用CPU处理完成。

这就是英伟达所看到的。因此，英伟达决定自行填补这一瓶颈。

2. Agentic AI改变了计算的语法

聊天机器人和Agent之间的距离，比你想象的要远得多。

聊天机器人接收输入，通过单向转换输出结果。

其计算本质是巨大的矩阵乘法，这是GPU擅长的事情。

并行处理Token，乘以权重，预测下一个Token。

在这个过程中，CPU的角色被最小化，仅限于传递指令和接收结果的管理者。

Agent则不同。

Agent在处理单个用户请求时，相比聊天机器人，会生成至少15倍以上的Token。

原因很简单。

Agent在每一次决策时都会进行内部“自言自语”。

“当前情况是这样的。下一步要做的是那个。这样调用这个工具。”

这种计划-执行-验证的循环不断重复，导致上下文呈爆炸式增长。

更重要的是，这15倍的增长并非均匀分布。

Agent处理的计算中，许多是顺序的、分支复杂的、不可预测的。

调用哪个API，如何解释其结果，出错时采取哪条路径恢复——所有这些控制流，并非GPU擅长的并行处理，而是CPU擅长复杂分支预测和顺序执行的领域。

这就是计算格局的变化。

AI计算的重心正从***“巨大的并行矩阵运算”转移到“复杂顺序控制+巨大并行运算的重复组合”***。

这为数据中心设计带来了启示。

传统的AI训练和推理数据中心，其结构是每千兆瓦约运行3000万个通用CPU核心。

为了应对Agentic推理的编排负载，分析指出，需要将这一密度提高到每千兆瓦1.2亿个核心的水平——约4倍。

这不仅仅是需要更多的CPU。

CPU所做的工作性质本身已经改变。

从通用计算处理单元，转变为专用于AI编排的高密度控制基础设施。

而为这种角色量身设计的CPU，在此之前并不存在。

3. Olympus：拒绝通用的设计

你还记得英伟达之前制造的Grace CPU吗？

2023年发布。基于Arm Neoverse V2核心。默默发布，默默使用。

Grace采用了Arm现成的设计，通过授权使用已验证的核心，是一种安全的方式。

Vera则不同。

Vera的核心是“Olympus”定制核心。

这是英伟达历史上首次自主设计的CPU核心，兼容Armv9.2指令集，但内部结构是全新设计的。

为何要从头开始？

这个问题的答案，解释了Vera的全部设计理念。

通用CPU核心的设计是为了处理各种工作负载。无论是文字处理器、数据库、游戏还是编译器。为了这种通用性，分支预测器会针对常见的代码模式进行优化。缓存结构的设计是为了应对各种内存访问模式。

Agentic AI执行的代码，则极度偏离了这种“通用”模式。Python虚拟机、虚拟化沙盒工具、分布式数据库查询调度器——这些会产生不规则且扭曲的控制流。

通用分支预测器会更频繁地出错，流水线停顿也会更频繁。

Olympus核心的分支预测器和指令解码流水线，已针对这种模式进行了定制。

旨在以最短的延迟解释和处理不规则的顺序代码流。结果：相比于现有的Grace核心，每时钟指令处理数（IPC）提升了1.5倍。

然而，Olympus更有趣的创新是**“空间多线程（Spatial Multithreading）”**。

如果你了解Intel的超线程技术，就不难理解这是什么，以及它为何不足。

超线程技术通过时间分片共享一个物理核心，当一个线程等待内存时，另一个线程可以执行。

.但当两个线程需要同时进行计算时——例如Agent同时调用并处理两个工具的结果——

就会发生计算单元的竞争。会产生抖动（Jitter），响应时间变得不规则。

Olympus的空间多线程采用了不同的方法。

它在硬件层面将88个物理核心的计算资源永久划分为两个完全独立的区域。

176个虚拟线程无法侵犯彼此的资源。

保证了每个物理线程都能获得一致的性能。

即使数千个独立的Agent同时调用编译器并运行沙盒，

某个Agent的执行延迟也不会阻止其他Agent——乃至整个GPU集群——的处理。

4. 并非Chiplet，而是Monolithic：保守选择的激进原因

Vera CPU采用了单一单片式（Monolithic Die）设计。这在当今是逆潮流而动的选择。

AMD的EPYC处理器采用Chiplet结构。将大的Die切分成小块，然后在封装基板上通过互连器连接。这种方式的优点很明显。

良率提高。

成本下降。

无需增加Die尺寸即可增加核心数量。

-> 这正是AMD追赶并超越Intel的武器。

但Chiplet结构存在隐藏的成本。

数据在不同硅片之间传递时，会产生微小的延迟。

虽然只是纳秒级的延迟，但在Agentic AI编排中，这种延迟累积起来会成为有意义的瓶颈。

单片式设计则没有这个问题。

所有核心都在同一块硅片上。物理距离造成的传输延迟波动得到完美控制。

88个Olympus核心通过**“第二代可扩展一致性互连（SCF）”**连接。

即使核心访问位于Die另一侧的缓存或I/O端口，整个Die的通信也能获得一致的速度，提供3.4TB/s的双向带宽。

然后是内存。在这里，Vera又做出了一个反常识的选择。

现有的服务器CPU使用DDR5。这是标准，经过验证，基础设施已经齐全。

然而，DDR5的带宽限制和功耗在Agentic工作负载中会成为瓶颈。

顶级的x86服务器CPU，为了获得超过12通道的DDR5、约600GB/s的带宽，仅内存总线驱动就需要消耗100W以上。

Vera选择了LPDDR5X。原本是低功耗的移动设备用内存。将其移植到了服务器上。通过一种名为SOCAMM2的新型封装，直接安装在服务器主板上。

结果是1.2TB/s的内存带宽。是DDR5的两倍。功耗低于30W。仅为DDR5的三分之一。

这节省下来的70W可以转化为计算核心的性能。

5. 数字说明一切

基准测试存在争议。

但Phoronix在英伟达总部进行的实际测量数据，在计算机硬件行业引起了巨大波澜。

单路配置，TDP 450W设置。在Linux内核源代码编译测试中：

Vera CPU（88核）：20秒完成。

128核服务器CPU所需时间：40秒。

-> 核心数不到一半，速度却是两倍。这意味着每个核心的计算效率是4倍。

更广泛来看：在几何平均性能上，Vera领先AMD EPYC 9575F（64核，Zen 5）10%，领先Intel Xeon 6980P（128核）55%。

将这些数字转化为功耗效率，画面就更清晰了。

Intel和AMD在消耗500W以上电力的情况下实现此性能。

Vera则在450W加上30W内存功耗下，实现了每瓦性能约2倍的优势。

这直接关系到数据中心的运营成本。

电力是运营成本的核心。同样的

电力，两倍的性能，意味着可以用一半的空间、一半的冷却成本获得相同的性能。

这正是超大规模用户预订200亿美元的原因。

6. 但一个CPU还不够

尽管Vera CPU的性能令人印象深刻，但这本身不足以解决Agentic AI的根本瓶颈。

还有第二个瓶颈：上下文内存。

当Agent执行复杂任务时，上下文会堆积。

之前的对话、执行历史、中间结果——这些被称为“KV缓存（Key-Value Cache）”。

当Agent连续工作几天时，这个KV缓存会膨胀到几十到几百GB。

这些数据存储在哪里？

如果存储在GPU内部的HBM内存中，速度最快。

但HBM昂贵且容量有限。如果用KV缓存填满，实际推理可用的内存就会减少。这是浪费。

如果将其存储在普通SSD中，下次加载时会耗时。快速的对话流程会因此中断。

这就是**“上下文内存存储瓶颈”。**

而英伟达为了解决这个问题，设计了一种名为G3.5的新内存层级。

通常我们这样考虑内存层级：

CPU寄存器 → L1/L2/L3缓存 → DRAM → SSD → HDD。越快越贵，容量越小。

越慢越便宜，容量越大。

G3.5介于这些层级之间。

比DRAM慢，但比普通SSD快得多，是连接在以太网上的专用闪存区域。这就是CMX（Context Memory eXtension）。

当Agent完成工作，GPU处理下一个请求时，之前的KV缓存会自动从HBM转移到CMX。当同一用户再次连接时，在实际推理开始前，CMX会提前将数据加载到GPU内存中。

这种预加载由**NIXL（NVIDIA Inference Transfer Library）**负责。

而选择将请求发送到哪个节点——用户之前的上下文在物理上最接近的节点——则由Grove负载均衡器决定。

这三个组件——CMX + NIXL + Grove——的组合，相比现有基础设施，实时Token生成处理率提高了高达5倍。

5倍是一个令人印象深刻的数字。但更重要的是方向。

英伟达不仅仅是制造更快的芯片，它正在用自己的设计重塑AI基础设施的整个软硬件栈。

7. Vera Rubin NVL72：将数据中心变成一个芯片

Vera CPU可以单独销售，但其真正目的是别处。

“Vera Rubin NVL72”。这个名字已成为2025年AI基础设施行业最常被提及的词汇之一。

NVL72是一个集成的机架。这个机架中包含：

72个Rubin GPU。

36个Vera CPU。

BlueField-4 DPU。

ConnectX-9 SuperNIC。

NVLink 6交换机。

Spectrum-6以太网交换机。

2025年12月，以200亿美元收购的Groq LPU。

总共7种硅片。英伟达称之为**“极端协同设计（Extreme Co-design）”**。

这意味着，并非分别设计和组合芯片，而是从一开始就将整个机架作为一个整体计算机进行设计。

NVLink-C2C互连以1.8TB/s的速度连接CPU和GPU，比PCIe Gen 6快7倍。-> 在这样的带宽下，CPU-GPU之间的数据传输延迟将不再导致GPU空闲。

深入了解Rubin GPU，它采用TSMC 3nm工艺。拥有3360亿个晶体管。288GB HBM4内存，22TB/s带宽。单芯片推理性能达到50 petaflops（PFLOPS）——相比Blackwell提升了5倍。

还有Groq LPU。Groq是一种设计理念独特的芯片。

为了消除GPU与大量HBM内存频繁通信产生的总线瓶颈，它将大部分硅片区域填充了高速SRAM。

约500MB片上SRAM，80TB/s的内存带宽。并且，确定性编译器能够提前完美规划所有计算的时序，从而无需硬件级别复杂的“分支预测”即可执行架构。

这种特性（Token顺序、快速生成解码阶段）擅长什么？

要理解NVL72机架的推理流程，需要将LLM推理分为两个阶段。

**Prefill（预填充）：**一次性处理输入提示的阶段。需要大规模并行矩阵运算。由Rubin GPU负责。

**Decode（解码）：**在生成第一个Token后，逐词顺序生成阶段。顺序性强，对内存带宽敏感。由Groq LPU负责。

-> 当Rubin完成Prefill后，计算上下文会转移到Groq LPU。

Groq的80TB/s SRAM带宽以光速生成Token。

这种分离的结果是，Vera Rubin NVL72在处理万亿参数模型时，每瓦推理输出相比Blackwell提高了35倍。

35倍。这一点，大家都明白，已非简单的代际更新。

8. 2000亿美元的领土宣言

黄仁勋在GTC 2025表示，目前世界上约有10亿台通用PC，每台PC都有CPU。正如人类工作需要CPU一样，AI Agent工作的基础设施也需要CPU。他计算道。

根据黄仁勋的预测，有数百亿AI Agent。每个Agent都需要独立的沙盒计算能力，如果Intel和AMD几十年来垄断的市场格局发生变化，那么这个空白市场的规模将达到2000亿美元。

或许有些夸张，但第一年就收到200亿美元的预订额是事实。

Intel 2024年数据中心及AI部门年营收为128亿美元。Vera CPU第一年的营收已经超过了这个数字。

但这里还有一个更重要的问题。

英伟达制造CPU为何对Intel和AMD构成威胁？

英伟达是GPU公司。制造CPU不过是增加了一个竞争者，不是吗？

这种认知之所以错误，有其原因。

Vera CPU虽然可以单独销售，但

当它集成到NVL72中时，价值主张就完全不同了。

使用该CPU，与GPU的连接速度快7倍，

与CMX的集成得到优化，

DOCA Memos软件栈运行顺畅。

在英伟达生态系统之外，无法获得这些优化带来的好处。

这就是垂直整合的本质。CPU本身并非目的，而是堵塞逃生通道的楔子。

超大规模用户一直以来都有选择权。

GPU即使不得不从英伟达购买，CPU也可以选择AMD或自研。

这是基础设施控制权的最后堡垒。但现在NVL72正直接瞄准了这个堡垒。

9. 三个方向的抵抗

当然，这种攻势也面临三个方向的同时抵抗。

Arm-Meta联盟

Arm的CEO Rene Haas在2025年与Meta基础设施团队联合发布了**“AGI CPU”参考架构**。

（旗舰核心“Neoverse V3”在单个封装中搭载136个。功耗低于300W。在普通风冷机架中，单机架可运行8160个物理核心。）

核心信息：无需英伟达的高温液冷基础设施，即可通过开放架构实现更高的核心密度。

每千兆瓦投资成本降低：最高100亿美元。

这是一种经济独立性的逻辑，而非技术优势。

即，无需被英伟达垂直锁定，也能满足Agentic编排的核心密度需求。

云三大巨头的自研加速

Google的Axion。Amazon的Graviton 5。微软的自研芯片。

它们都在加速将自身服务的编排负载，从外部商用CPU转向自主硅片。

Amazon的Graviton和Nitro混合系统，年营收已达到200亿美元。

Google Axion声称相比现有解决方案，性能性价比提高65%，能效提高60%。

它们的战略很简单。

以自家云服务的规模为武器，削减支付给英伟达的成本，并将这些好处以价格降低的形式回馈给云用户。

地缘政治和监管逆风

黄仁勋在Computex展会上承认，其2000亿美元TAM预测中包含了中国需求。

然而，美国商务部的出口管制阻碍了高规格芯片组向中国的直销通道。

中国正大力推动本土AI生态系统的发展，并加强了对美国半导体进口的暂停政策。

此外，200亿美元收购Groq的方式也引发了争议。

以“许可协议和人员招聘”方式进行的“事实上的合并”，被指责为故意规避FTC的企业合并审查，参议员Edward Markey、Elizabeth Warren等已正式要求进行调查。

这三个阻力因素能在多大程度上减缓英伟达的扩张速度，仍是未知数。

10. 垄断完成时会发生什么

计算历史上存在一种模式。

当垂直整合创造出极致性能时，

-> 面对这种性能，多数会选择依赖。

-> 当这种依赖足够深入时，开放生态系统的反击就会开始。

IBM的巨型机是这样。DEC的VAX是这样。Intel-Microsoft的Wintel是这样。苹果的垂直整合也是如此。

在每一种情况下，垂直整合的帝国都统治了很长时间。然而，在每一种情况下，开放生态系统最终都找到了帝国未能掌控的空间，或者帝国制造得过于昂贵的空间。

英伟达目前正在构建的规模与以往不同。

将CPU、GPU、DPU、网络交换机、内存存储和软件栈同时进行垂直整合，并非单一产品领域的垄断，而是整个计算基础设施层面的垄断。

甚至在OpenAI和Anthropic内部，有报道称正在进行内部讨论，担忧将全球推理算力锁定在特定硬件供应商生态系统中。

这是否是警告还是杞人忧天，时间会给出答案。但这种担忧本身，就是在屈服于性能之前，就已经开始计算依赖成本的重要信号。

英伟达现在卖的不是GPU。

它正试图成为一家设计Agentic AI时代计算基础设施的公司。Vera CPU是这一野心的最明确宣言。

11. 重写基础设施的语法

让我们退一步看看。

我们现在正在目睹什么？

英伟达Vera CPU是一款出色的芯片。但它本身并不能解释这个故事为何重要。更快的CPU总会出现。

这之所以不同，是因为这颗芯片是AI基础设施设计原则本身正在改变的证据。

现有的设计原则是这样的：

在通用CPU之上添加AI加速器。

通过通用互连器连接。

数据存储在通用存储中。

每一层都是独立的、可替换的。

新的设计原则则不同：

根据AI工作负载的特性，将所有层级一起设计。

优先考虑优化，而非可替换性。

并且将这种优化的权力，独占给单一供应商。

这种转变，也是通用性和可替换性——开放系统的原则——与优化和效率——垂直整合的原则——之间长期张力的哲学转变。

这种张力在AI时代迎来了新的局面。

AI所需的性能极限太高了，以至于通用系统无法达到。而第一个达到那个境界的人，就能主宰市场。

Vera CPU是迈向那个境界的举动。

而这个举动，无论成功与否，其开始本身，就在重写计算基础设施的未来。

12. Agent们工作的世界

最后，从一个略微不同的角度。

想象一下黄仁勋所说的“数百亿AI Agent”。

每个Agent都在独立的沙盒中工作，拥有独立的内存，使用独立的工具。

就像人类劳动者一样，承担特定任务，报告结果，等待下一个任务。

在这个世界里，CPU是什么？是为Agent提供思考空间。-> 是提供使用工具的手。是提供存储和调用记忆的路径。

就像人类劳动者需要书桌和电脑一样，AI Agent需要CPU。

英伟达制造Vera CPU，并非为了填补市场空白。

而是宣告：将从零开始设计Agentic AI时代的计算基础设施。

面对这一宣告，Intel和AMD现在身处何地？

Arm、Google和Amazon又在准备什么？

而所有这些斗争的结果，又将如何决定AI Agent的能力和成本？

这，才是GPU背后正在悄然发生的战争的真相。

---

参考资料

1. NVIDIA Corporation, “Vera Rubin Platform Architecture Whitepaper” (Jensen Huang, 2025)
2. Michael Larabel, “NVIDIA Vera CPU Benchmarks on Linux,” Phoronix (2025)
3. Jonathan Ross, “A Software-Defined Tensor Streaming Processor for Large-Scale Machine Learning,” Groq Inc.
4. Arm Editorial Team, “Arm Everywhere: Accelerating Agentic AI in Modern Datacenters” (Rene Haas, 2025)
5. Vincent Hsu, “IBM Storage Scale integration with NVIDIA Dynamo Serving Engines,” IBM Systems Group (2025)
6. NVIDIA Developer Documentation, “DOCA Memos API Reference Guide” (2025)
7. NVIDIA Research, “Agentic AI Orchestration Bottleneck Analysis: CPU vs GPU Latency Distribution” (2024)
8. Tom’s Hardware, “NVIDIA Vera CPU vs Intel Xeon 6980P vs AMD EPYC 9575F: Benchmark Comparison” (2025)
9. IEEE Computer Architecture Letters, “Spatial Multithreading for Agentic Workloads: Design Principles and Performance Analysis” (2025)
10. Semiconductor Engineering, “SOCAMM2 Form Factor: Enabling LPDDR5X in Server Environments” (2025)
11. Next Platform, “Understanding NVIDIA’s CMX Context Memory Extension Architecture” (2025)
12. Hot Chips 37, “NVIDIA Olympus Microarchitecture Deep Dive” (2025)
13. Solidigm Technical Brief, “D7-PS1010 NVMe SSD for AI Inference KV Cache Workloads” (2025)
14. Reuters, “U.S. Senators Request FTC Investigation into NVIDIA-Groq Acquisition Structure” (2025)
15. Dylan Patel, “The Agentic AI Infrastructure Wars: CPU, Memory, and the Battle for the Control Plane,” SemiAnalysis (2025)