NVIDIA × NAVER AI · 模型架构
Nemotron 3 Ultra：混合架构解析
Transformer-Mamba MoE 设计如何在将上下文扩展至 100 万 token 的同时降低推理成本
标准密集型 LLM
密集型 Transformer
激活参数 / Token100% (所有权重)
序列复杂度O(N²) 二次型
最大上下文~128K tokens
推理成本基准
Nemotron 3 Ultra
混合 Mamba-MoE
激活参数 / Token10% (55B / 550B)
序列复杂度O(N) 线性 (Mamba)
最大上下文1,000,000 tokens
推理成本−30% vs. 基准
Nemotron 3 Ultra — 参数路由
550B
总参数 — 每次推理仅激活 55B (10%) 通过 LatentMoE 路由器激活
〰️
Mamba 层
循环序列压缩。以线性时间处理长输入 — 在 100 万 token 上下文中，内存开销比全注意力机制减少 100 倍。
🔀
LatentMoE 路由器
为每个输入 token 动态选择最佳专家权重子集。总计 550B，激活 55B — 消除了无关参数带来的计算浪费。
5×
推理速度
在相同参数规模下，比同类密集模型生成 token 的速度更快
−30%
计算成本
通过 NVFP4 精度和 MoE 稀疏性降低每个 token 的运营支出
1M
Token 上下文
在单次推理中处理 2,000 页报告，无需截断
来源：Nemotron 3 Ultra 技术报告 — NVIDIA AI 研究实验室 · NVFP4 精度，LatentMoE 路由架构