データセンターの電力の40%は計算ではなく「待機」に消費されている

2023年、ChatGPTブームが絶頂に達した際、マイクロソフトが発した言葉は予想外のものだった。データセンターの電力が足りないというのだ。

GPUをもっと買わなければならないという話ではなかった。すでに備えているGPUですら、電力を賄いきれないという話だった。

世界中のデータセンターが消費する電力の30〜40%は、計算には使われていない。データをメモリからプロセッサへ、プロセッサから再びメモリへと移動させるそのプロセス自体に費やされている。数千兆円規模のAIインフラが、時間の半分近くを「待機」に費やしているのだ。

エンジンが問題なのではない。道路が詰まっているのだ。

今、あなたが使っているAIチャットボットの応答が遅くなったり、サブスクリプション料金が変動したりする背景には、この無駄が混ざっている。サーバー企業が電気代を節約する方法を見つければ、その削減分の一部は最終的に料金に反映される。データセンターの電力問題は、特定の企業の財務諸表項目ではなく、AIを使うすべての人々のコスト構造にすでに組み込まれている変数だ。

電力が足りないというマイクロソフトの言葉は、単なる愚痴ではなかった。GPUをいくら増やしても電力網が耐えられなければ、そのGPUは起動すらできない。半導体メーカーではなく電力会社の許可が、AIの拡張速度を決定する状況がすでに起きている。ところが、この電力不足のかなりの部分が計算ではなく「待機」で漏れているのなら、問題を解く順序が変わる。発電所を増設する前に、漏れている場所から塞がなければならない。

メモリの壁という古くからの物理法則

1994年、半導体業界はこの現象に名前をつけた。「メモリの壁（Memory Wall）」だ。プロセッサの速度は毎年急激に成長しているが、メモリとプロセッサ間のデータ転送速度はその成長に追いつけないという物理的限界のことである。

30年が過ぎた。壁は消えていない。むしろ高くなった。

NVIDIAのH100 GPUは、1秒間に数千兆回の演算を処理する。しかし、このGPUが実際に推論作業を行う際――ユーザーが次の文章を予測してほしいとリクエストしたとき――演算装置がデータを待ちながら何もしていない時間が全体の半分を超えることがある。

理由は、現在のサーバーの主力メモリであるDDR5の構造にある。DDR5のデータバスは「片側1車線」だ。読み込みと書き込みが同じ物理回線を共有している。データが出ている間は他のデータが入ることができず、方向が変わるたびに信号が安定するのを待たなければならない。

この待ち時間を「バス・ターンアラウンド・ペナルティ（Bus Turnaround Penalty）」と呼ぶ。切り替え1回につき約15〜20クロックサイクル、時間にして11〜15ナノ秒がかかる。

ナノ秒は小さな単位のように聞こえるかもしれない。しかし、GPUが単語を一つ生成する間に、数億回のメモリの読み書きが繰り返される。方向が変わるたびに待つという作業が数億回積み重なれば、それはもはや小さな損失ではない。

さらに深刻な問題がある。待機している間もメモリバスには電気が流れている。データを送っていない間も、回路の寄生容量を充電・放電しながら電力を消費する。AIが考えている間、電気は何の仕事もせずに逃げ出しているのだ。

これがデータセンターの電力危機の実際の構造だ。問題はAIの演算そのものではない。AIが待機する方式にある。

血管が詰まれば心臓は役に立たない

人体には「心臓が強ければ健康である」という直感がある。しかし、動脈が詰まっていれば話は別だ。どんなに強い心臓でも、血液を体の隅々まで送ることはできない。心不全の原因が心臓自体ではないことが多い理由はここにある。

コンピュータアーキテクチャも同じ構造を持っている。プロセッサが強力になるほど、データを供給する通路の問題が浮き彫りになる。心臓は強くなったのに、血管がそれに見合うほど広がっていないからだ。

この比喩が単なる修辞に留まらない理由は、両システムの作動原理が実際に似ているからだ。血液循環において重要なのは、酸素を組織へ送る流れと、二酸化炭素を肺へ持ち帰る流れが同時に行われる点にある。動脈と静脈は完全に分離された経路を使う。だから供給と回収が同時に進行する。

もし動脈と静脈が一つの血管を共有していたら、血液は方向が変わるたびに流れを止めて待たなければならなかっただろう。DDR5は、その仮定の中の血管と同じだ。

CXL（Compute Express Link）は、動脈と静脈を分離した構造に相当する。PCIe（PCI Express）物理層をベースにしているが、PCIeはもともと送信回線と受信回線を物理的に分けた全二重（Full-Duplex）方式で設計されている。読み込みデータが一方の回線を流れる間、書き込みデータは別の回線を同時に移動する。方向転換のペナルティが構造上から消滅するのだ。

実証データがこの違いを数字で示している。読み込みと書き込みが半分ずつ混ざった混合トラフィック環境――実際のAIワークロードは正確にこの条件だ――において、CXLベースシステムの有効帯域幅は、同じクロック速度のDDR5チャネルより55〜61%高い。

もちろんタダではない。PCIeパケット処理と外部コントローラを経由するため、信号遅延時間が増える。DDR5が75〜85ナノ秒であるのに対し、CXLは130〜200ナノ秒レベルだ。信号が到着するのにほぼ2倍かかる。

それならCXLは遅い技術ではないか。ここで「遅延時間（Latency）」と「帯域幅（Bandwidth）」を区別しなければならない。遅延時間は最初のデータが到着するまでにかかる時間であり、帯域幅は単位時間に運べるデータの総量だ。速い電車がたまに来るのと、少し遅い電車が絶え間なく続くのとの違いだ。

GPT-4やLLaMAのような大規模言語モデルが推論を行う際に必要なのは、数千億個のパラメータを途切れることなく供給されることだ。単発的な応答速度よりも、データの供給の持続性が性能を決定する。この条件下では、遅延時間の損失を帯域幅の利得が十分に相殺する。血管が太くなり、心臓はその分だけより力強く動けるようになったのだ。

運動するときに体がすることと似ている。筋肉が酸素をより多く要求すれば、心拍数が上がると同時に血管が拡張する。心拍数だけ上げて血管をそのままにしておけば圧力ばかりが強くなり、実際に組織に届く酸素量は大きく増えない。AI推論も同じだ。プロセッサのクロックを上げる方向にだけ十数年投資してきたが、実はボトルネックは血管側にあった。CXLは血管を広げる選択であり、その選択が遅延時間という小さなコストを甘受する理由は、実際の負荷パターンが瞬間的な反応ではなく持続的な供給を要求しているからだ。

この図がハードウェアのすべてではない。メモリプーリングを実際に使うには、オペレーティングシステムとハイパーバイザーのレベルで異種メモリを認識して配置するソフトウェア階層が共に成熟しなければならない。マルチソケット環境でキャッシュの一貫性を安定的に維持すること、障害が起きたときにどのノードにどれだけのメモリがかかっているかを追跡することは、依然として初期段階のエンジニアリング課題だ。配管を新しく敷いたからといって、すぐに水圧が安定するわけではない。

放置されたメモリが金になる方法

技術的改善よりも即効性のある話がある。金だ。

大手データセンター運営者が長年頭を悩ませてきた現象がある。遊休メモリ、英語では「ストランデッド・メモリ（Stranded Memory）」と呼ぶ。孤立したメモリという意味だ。

現在のサーバー構造では、メモリは各CPUノードに物理的に固定される。ノードAのCPUが仕事を終えて停止すれば、そのノードに刺さった256GBのメモリは何もせずにその場に残る。ノードBがメモリを必要としても、ノードAのメモリを借りる方法はない。物理的な境界が遮断しているからだ。

この状況をデータセンター規模に拡張すると、無駄の大きさが変わる。数千台のサーバーのうち、実際に負荷が高いノードは一部に過ぎない。残りのノードのメモリの大半は電気を食べながら放置されている。理論上は全体の容量は十分なのに、特定のノードではメモリ不足が発生する。だからメモリを買い足す。放置されたメモリをそのままにしたまま。

CXLスイッチはこの構造を解体する。CXLベースのメモリプーリング（Memory Pooling）アーキテクチャでは、物理メモリが仮想化スイッチを経て一つの共有リソースプールとしてまとめられる。ノードBがメモリを必要とすればプールから1GB単位で即座に割り当てられ、作業が終わればメモリは再びプールに戻り、他のノードが使えるようになる。

これがサーバーの容量計画に与える意味は大きい。従来の方式ではピーク負荷を賄うためにメモリを過剰に備えなければならなかった。実際には同時に使わなくても最悪の状況に備えて各ノードに十分なメモリを常時刺しておかなければならず、その過剰分が放置されたメモリの正体だった。

同一の可用メモリを構築する設備費用が、CXLプーリング環境では最大50%まで削減できるという実証データがある。 個別のノードごとに超高密度RDIMMを埋める代わりに、比較的安価な汎用64GB RDIMMを複数、CXL PCIe拡張スロットに分散配置する方式で購買単価を下げることができるからだ。

運営費用の構造も変わる。CXL物理コントローラにはトラフィック密度をマイクロ秒単位で感知する電力管理回路が入っている。データの流れが落ち着けばリンクを超低電力状態に転換し、次のリクエストが来ればナノ秒単位で復旧する。サムスン電子の量産データによると、このメカニズムでメモリモジュールの遊休待機電力を最大50%以上削減する。

ここにインラインハードウェア圧縮技術が加わる。ZeroPoint TechnologiesのDenseMem圧縮IPをCXL 3.1コントローラと同じダイの中にパッケージングすれば、データの圧縮と解凍がハードウェアアクセラレータ側で自動的に処理される。CPU演算リソースを一切使わずに、物理メモリに保存されるデータを最大3対1の比率で圧縮する。

結果はやや逆説的だ。メモリチップの物理的な数を増やさなくても、OSが認識する論理的メモリ容量は3倍になる。バスを通過する信号パケットのサイズも減るため、転送電力ももう一段階下がる。設備投資費と運営費と電力費が同時に減る構造だ。CXLが単なる性能規格にとどまらない理由はここにある。

数字を実感できる単位に置き換えてみるとこうなる。1万台規模のGPUサーバーを運用するハイパースケーラーがあるとする。メモリの設備投資を半分に減らすということは、同じ予算でそれだけ多くのサーバーを増やせるという意味か、同じサーバー規模を半分のメモリ予算で維持できるという意味だ。どちらに使おうと、放置されたメモリに縛られていた資本が解放される。これまではその資本がただ立っているだけで電気を食っていたのだ。

サムスン電子が先に歩んだ道

CXLが学術的な議論から実際の製品へと降りてくる過程で、先駆けて動いた場所がある。

サムスン電子は2021年5月、業界初としてCXL 1.1ベースのCMM-D（CXL Memory Module-DRAM）を開発した。当時、ほとんどのサーバーメーカーはCXLを2025年以降の技術に分類していた。サムスンはその前にすでに実物を作っていた。

2022年5月にはCXL 2.0規格をネイティブで適用した第2世代CMM-D 2.0が量産段階に入った。単一スロットで最大256GBをサポートし、36GB/sの有効帯域幅を安定的に提供する製品だった。

次の段階であるCMM-D 3.1はPCIe 6.0インターフェースをベースに、単一モジュールから1TBのメモリ空間を提供し、帯域幅は毎秒72GBに達する。この数値は単なるスペックアップではない。既存のCPUソケットに直結されたメモリチャネルの総帯域幅の限界を、単一のCXLスロットが超え始めていることを意味する。

SKハイニックスは別の経路を選んだ。2026年3月のグローバル・フラッシュ・サミットで次世代CMM-DDR5モジュール実物を公開すると同時に、HMSDK（Heterogeneous Memory Software Development Kit）をオープンソースで公開した。ハードウェアだけを売るのではないという宣言だった。開発者が異種メモリプールをソフトウェアで直接制御できるエコシステムを先に作ろうという意志だ。

マイクロンは2023年に開発したCXL 2.0互換のCZ120シリーズで、現場のデータセンター検証サイクルを通過し、商用信頼性データを積み上げている。3社がそれぞれ違う方向から同じ山を登っている。

NVIDIAは2026年末発売予定のVera CPU（Vera CPU）にCXL 3.1を基本搭載すると発表した。インテルの第5世代XeonとAMD EPYC TurinはすでにCXL 2.0以上をサポートしており、Googleは世界中のデータセンターにCXL物理インターコネクトを積極的に配置している。

市場が規格を待っていた段階は過ぎた。規格が市場を作り上げていく段階に入った。業界推計によると、グローバルCXL市場は2028年までに約158億ドルへ成長する見通しだ。2024年の推計値は12億ドルだった。4年で13倍だ。

韓国がこの戦いに割って入れる理由

新しい規格は技術地図を塗り替える。既存の有利だった位置が不利になり、既存の閉ざされていた進入口が開かれる。

韓国の半導体産業は長く不均衡な構造を抱えてきた。DRAMの製造能力は世界最高レベルだが、核心的な設計IP（知的財産権）を作るファブレス部門や、高付加価値パッケージングを担当するOSAT領域、精密検査装置分野では自国企業がグローバル上位に名を連ねるのが難しかった。DRAMを上手に作る国ではあっても、半導体エコシステムを主導する国ではなかった。

CXLはこの構造を揺さぶる。新しいインターコネクト標準は新しいチップを要求する。スイッチチップ、コントローラチップ、PHY IP、検査装置、高多層基板。これらの領域で韓国企業が異例なほど先頭の座を占めている。

KAIST（韓国科学技術院）の研究陣を中心に創業したパネシア（Panmnesia）は、世界で初めてポートベースルーティングを完全に実行するCXL 3.2フルスペック・シングルスイッチチップセットを開発した。「PCIe 6.4-CXL 3.2フュージョンスイッチ」という名前のこのチップは、一つの物理半導体の中でCPUとGPU、アクセラレータ、共有メモリ装置を結びつけ、コンポーザブル共有システムへと接続する。スイッチホップを経由する際に発生する遅延オーバーヘッドを2桁ナノ秒未満に減らし、生成AI推論のボトルネックの一つであるKV（キー・バリュー）キャッシュ処理をスイッチ内部のハードウェアアクセラレータ回路として内蔵した。CES 2025で最高革新賞を受賞し、シリーズA投資で800億ウォンを調達し、累計企業価値は3,400億ウォンを超えた。

サムスン電子とSKハイニックスのアーキテクチャ設計本部出身者が集まったメティスエックス（MetisX）は、別の問いから出発した。CPUやGPUへデータを移して計算する代わりに、メモリの中で直接計算すればどうだろうか。「コンピュテーショナル・メモリ（Computational Memory）」と呼ばれるこの概念をCXL 3.0アーキテクチャの上に実現した。CXLメモリモジュールのコントローラチップセットの中にベクトル演算エンジンとデータ圧縮・フィルタリング回路を内蔵し、AIベクトル類似度計算やRAG（検索拡張生成）作業に必要な大規模データフィルタリングがメモリ装置内で終わり、加工された結果値だけがプロセッサへ渡る。バスを往復するデータ量が根本的に減るためプロセッサの発熱も下がり、冷却費用も併せて減る。シリーズAで600億ウォンを調達し、グローバルクラウド企業と共同エンジニアリングを進行中だ。

ディノティシア（DeNoTicia）は生成AIのRAGと長期記憶実装に核心的なベクトルデータベース作業――テキストと画像、音声を高次元数値ベクトルに変えて類似度を計算する作業――を専用で処理するVDPU（Vector Data Processing Unit）を設計した。これをクラウドで制御する「シーホース（Seahorse）」プラットフォームを商用化中で、VDPUをCXLインターコネクトロジックと整列させ、多国籍SoCメーカーや基板設計企業を対象にIPライセンス営業を展開している。

チップを売らずともエコシステムの恩恵を受ける方法もある。設計資産（IP）を売ることだ。オープンエッジテクノロジーは、オンチップ・インターコネクトIP、メモリコントローラIP、PHY IPをグローバル市場に供給する上場IP専門企業だ。CXLベースのコントローラチップセットを量産しようとする国内外のファウンドリ顧客なら必ずライセンスしなければならないDDR5・LPDDR5X IPを保有している。チップが作られるたびにロイヤリティが積み上がる構造であり、2025〜2026年がその臨界点と分析される。

検査する者が品質を統制する

チップを作ることと同じくらい重要な仕事がある。作られたチップが実際に正しく作動するかを確認することだ。

新しい規格が出るたびに検査装置市場も新たに開かれる。既存のDDR5検査装置ではCXLモジュールを正しく見ることができない。プロトコルが違い、速度が違い、要求されるテスト条件が違うからだ。

ネオセム（Neosem）はこの空白を先に埋めた会社だ。2023年に業界初としてCXL 1.1標準検査プラットフォームを商用化し、続いてCXL 2.0規格に対応する高速高温バーンイン（Burn-in）検査装置の国産化を完了し、サムスン電子に商用1号装置を独占納品した。

ネオセムの検査方式が違う理由は、動作条件の極端さにある。メモリが実際に稼働している間、チャンバー内部の温度を極限まで上げ下げする熱ストレスを連続して与えながら、リアルタイムで欠陥を追跡する。常温では正常動作するが、温度変化でだけエラーを露呈するチップがあるが、そのエラーを出荷前に捕まえる作業だ。

世界の半導体検査市場は長く、米国のテラダイン（Teradyne）と日本のアドバンテスト（Advantest）が掌握してきた。両社はDDR世代ごとに検査標準を事実上先に定義してきた場所だ。ネオセムはCXLという新しい規格で、この2つの巨人より先に量産検査装置を納品することに成功した。標準が変わる短い隙間に順序がひっくり返ったのだ。

エクシコン（Exicon）はサムスン電子ファウンドリの4ナノ工程を適用したCXL 3.0特化メモリモジュールおよびプロトコル分析装置の開発に集中し、PCIeインターフェース分析特許をベースにシリコンバレー支社を設立して顧客多角化を推進している。パドゥ（Fadu）はCXL物理プロトコルと互換性のあるコントローラチップセットとFPGAベースの概念実証カードのフィールドテストを進行中だ。クオリタス半導体（Qualitas Semiconductor）は64GT/s以上の速度を物理ノイズなしで伝達するPCIe 6.0・CXL 3.1互換PHY設計資産を確保し、グローバルシステム半導体メーカーと早期検証を行っている。

基板がなければチップは浮いてしまう

半導体チップはそれ自体で完成品ではない。基板（Substrate）という土台の上に載って初めて作動する。CXL高速信号は基板に特別な条件を要求する。64GT/s以上の信号が歪みなく通過するには、基板素材と積層設計が一般的なサーバー基板とは異なっていなければならない。

TLBはCXLモジュール用の高周波動作無損失信号伝送層設計と、次世代低電力LPCAMM専用モジュール基板工程技術を先に確保した会社だ。急増するグローバル需要に対応してベトナムに第2工場を早期稼働させ、AI制御自動化ロボットで一桁ppmの歩留まりを達成した。サムスン電子とSKハイニックスの同時核心協力会社でもある。

大徳電子（Daeduck Electronics）はFC-BGA（Flip-Chip Ball Grid Array）大型パッケージング基板増設投資を終えたパッケージングボードメーカーだ。バンプ接合密度が微細化され多層化が進むほど製品単価が跳ね上がる構造なので、技術障壁が高まるほどむしろ恩恵が大きくなる位置にいる。

こうして並べると完結したバリューチェーンのように見える。スイッチがあり、コントローラがあり、検査装置があり、基板がある。しかし、これらの断片が実際に噛み合って回るには、まだ一段階残っている。

本当の戦いはここから始まる

技術はすでに備わっているように見える。チップもスイッチも検査装置も基板もある。標準も決まっている。

ところが、CXLはなぜまだサーバー市場の主流ではないのか。いくつもの理由があるが、意外な一点が引っかかる。ソフトウェア設計ツールの費用だ。

SynopsysやCadenceのような多国籍企業が独占するEDA（Electronic Design Automation）ソフトウェアは、半導体設計の必須ツールだ。ライセンス費用は年間数億から数十億ウォンに及ぶ。パネシア、メティスエックス、ディノティシアのようなスタートアップが世界初の技術を作り上げたとしても、次世代チップを設計するにはこのソフトウェアを使い続けなければならない。有意義な量産売上が出る前のスタートアップにとって、この費用は財務的な首を絞める。

世界初の技術を開発したチームが、いざ次のチップを描く道具を借りる金がなく止まる。

これは技術の問題ではない。構造の問題だ。

科学技術情報通信部と中小ベンチャー企業部が今すべきことは、国策補助金を細分化して配る方式ではない。EDAソフトウェア調達費用に対する税額控除の限度を大幅に増やし、長期リース支援保証基金を常時運営しなければならない。サムスン電子・SKハイニックスファウンドリのMPW（マルチプロジェクトウェーハー）スロットを国内の強小ファブレスに優先配分する制度的装置も必要だ。

それがなければ、世界初の技術を開発したチームが量産段階で外国資本に売られたり、外国ファブレスに吸収されたりする事態が繰り返される。スイッチチップを初めて作った国が、そのチップを量産する段階では名前が消えることが起きる。

人類がAIインフラをどう設計するかをめぐり、新しいルールが今書かれている最中だ。そのルールを書くテーブルに、韓国企業が初めて座っている。

この戦いを会社単位だけで見ると半分しか見えない。データセンター一か所の電力消費は今や中小都市一つと匹敵する規模に大きくなり、新規データセンター建設の許認可において電力網の接続可否が敷地選定より優先される条件となるケースが増えている。電力会社と地方政府がAIインフラの拡張速度を事実上調整する位置に立たされたのだ。

この図においてCXLの位置は微妙だ。メモリのボトルネックを減らして同じ演算をより少ない電力で処理させる技術は、発電所を新設するより速く実行できる数少ない解法だ。半導体設計の問題が国家電力計画の変数に連結される地点がまさにここだ。マイクロソフトが電力不足を初めて言及したとき、その言葉はGPUメーカーの問題ではなく、電力網運営者の問題へと広がっていた。

メモリの壁の向こう側

30年前に名前がつけられた問題があった。「メモリの壁」。その壁を越えようとする試みは絶えずあった。より速いDRAMを作り、より多くのチャネルを連結し、より高密度にチップを積んだ。壁は消えなかった。

アーキテクチャ自体がその壁を作っていたからだ。

CXLはアーキテクチャを変える試みだ。メモリとプロセッサの境界を崩し、読み込みと書き込みが同時に流れる物理回線を作り、固定されたノードに縛られて放置されていたメモリを共有リソースに変える。

この変化が完成したときにもたらされるのは、より速いAIではない。より少ない電力でより多くのAIを使える世界だ。

今、AIインフラ拡張の真の障壁が敷地ではなく電力網であり、その電力の無駄のかなりの部分がデータが待つ時間から来ているのなら、CXLが解く問題は技術の問題ではなくエネルギーの問題だ。

データをより効率的に運べるなら、AIをより少ないコストでより多くの人に届けられる。今あなたが使っているAIサービスの応答速度とサブスクリプション料金の一部は、このメモリバスの方向転換ペナルティから漏れ出ている。

30年間、業界はより強いプロセッサを目指して走ってきた。壁は毎回違う場所に現れた。

次の壁はどこにあるだろうか。そしてその壁に気づくのに、私たちはまたどれだけかかるのだろうか。

---