NVIDIA × NAVER AI · モデルアーキテクチャ
Nemotron 3 Ultra: ハイブリッドアーキテクチャの分析
Transformer-Mamba MoE設計が推論コストを削減し、コンテキストを100万トークンまで拡張する方法
標準的な密結合LLM
密結合Transformer
アクティブパラメータ / トークン100% (全ウェイト)
シーケンスの複雑性O(N²) 二次
最大コンテキスト~128K トークン
推論コストベースライン
Nemotron 3 Ultra
ハイブリッド Mamba-MoE
アクティブパラメータ / トークン10% (550B中55B)
シーケンスの複雑性O(N) 線形 (Mamba)
最大コンテキスト1,000,000 トークン
推論コスト−30% vs. ベースライン
Nemotron 3 Ultra — パラメータルーティング
550B
総パラメータ数 — 推論ごとに55B (10%) のみをLatentMoEルーターでアクティブ化
〰️
Mambaレイヤー
再帰的シーケンス圧縮。長い入力を線形時間で処理 — 100万トークンのコンテキストにおいて、フルアテンションと比較してメモリオーバーヘッドを100倍削減。
🔀
LatentMoEルーター
各入力トークンに対して最適なエキスパートウェイトのサブセットを動的に選択。総数550B、アクティブ55B — 無関係なパラメータによる計算の無駄を排除。
5×
推論速度
同等のパラメータ数の密結合モデルと比較してトークン生成が高速
−30%
計算コスト
NVFP4精度とMoEの疎性により、トークンあたりの運用コストを削減
1M
トークンコンテキスト
2,000ページのレポートを切り捨てなしで1回の推論パスで処理
出典: Nemotron 3 Ultra テクニカルレポート — NVIDIA AI Research Lab · NVFP4精度、LatentMoEルーティングアーキテクチャ