아무도 말하지 않은 GPU 뒤의 전쟁

엔비디아가 CPU 시장에 진입했다.

그런데 아무도 이상하다고 생각하지 않는다.

2025년 3월, 젠슨 황은 GTC 무대에서 Vera CPU를 발표하며 이렇게 말했다.

“우리는 이제 AI 팩토리를 만든다.”

청중은 박수를 쳤다. 하지만 그 발표 안에 묻혀 있던 진짜 선언은 따로 있었다.

세계에서 가장 큰 반도체 회사가, 수십 년간 인텔과 AMD의 독점 영토였던 데이터센터 CPU 시장을 향해 정면으로 걸어 들어갔다는 것. 인텔의 주가는 다음 날 3.2% 빠졌다. AMD는 1.8% 하락했다. 그것으로 끝이었다. 며칠 후 뉴스는 다른 것들로 채워졌다.

그러나 조용한 수치가 하나 있다.

Vera CPU 출시 첫 해, 선주문액이 200억 달러를 넘어섰다.

인텔의 2024년 데이터센터 부문 연간 매출이 128억 달러였다는 점을 감안하면, 이것은 단순한 신제품 출시가 아니었다. 무언가가 바뀌고 있었다. 그것도 근본적으로.

1. 우리가 보지 못한 병목

지난 5년간 AI 인프라 전쟁의 서사는 단순했다.

**GPU가 중요하다. **

더 많은 VRAM, 더 높은 FLOPS, 더 빠른 연결. H100, A100, 블랙웰. 수십조 원의 투자가 그 방향으로만 흘렀다.

그러나 2024년부터 무언가 이상한 일이 관측되기 시작했다.

데이터센터 운영자들이 GPU 클러스터의 실제 가동률을 측정하기 시작하자, 불편한 숫자가 나왔다.

에이전틱 워크플로우—여러 단계를 스스로 계획하고 도구를 호출하며 코드를 실행하는 AI 시스템—에서 GPU의 실질 연산 활용률이 기대치의 절반에도 미치지 못한다는 것이었다.

GPU는 쉬고 있었다. 기다리면서.

무엇을 기다리는가. -> CPU의 도움을 기다리고 있다. .

이것은 단순한 병목이 아니었다. 아키텍처의 균열이었다.

-> 그리고 엔비디아는 이 균열을 3년 전부터 보고 있었다.

에이전틱 AI가 작동하는 방식을 생각해보자.

사용자가 “이 계약서를 분석하고, 관련 판례를 검색하고, 요약 보고서를 작성해줘"라고 입력하면,

AI는 단순히 텍스트를 생성하지 않는다.

계획을 세운다. -> 도구를 선택한다. -» API를 호출한다. -> 결과를 해석한다. -0> 다음 단계를 결정한다.

이 모든 오케스트레이션은 GPU가 아닌 CPU에서 일어난다.

문제는 이 오케스트레이션의 비중이 점점 커지고 있다는 것이다.

도구 호출 비중이 극단적으로 높은 에이전트 워크플로우에서, 전체 지연 시간의 50%에서 최대 88%까지가 CPU의 도구 처리 지연에서 발생한다는 분석이 나왔다.

나머지 12%에서 50%가 GPU에서 처리되는 실제 추론이다.

수조 원짜리 GPU 클러스터가 절반 이상의 시간을 범용 CPU의 처리 완료를 기다리며 유휴 상태로 보내고 있었다.

이것이 엔비디아가 보고 있던 것이었다. 그리고 엔비디아는 그 병목을 자신들이 채우기로 했다.

2. 에이전틱 AI가 바꾼 연산의 문법

챗봇과 에이전트 사이의 거리는 생각보다 훨씬 멀다.

챗봇은 입력을 받아 단방향 변환으로 출력을 내놓는다.

그 연산의 본질은 거대한 행렬 곱셈이고, 이것은 GPU가 잘하는 일이다.

토큰을 병렬로 처리하고, 가중치를 곱하고, 다음 토큰을 예측한다.

이 과정에서 CPU의 역할은 지시를 전달하고, 결과를 받는 관리자 정도로 최소화된다.

에이전트는 다르다.

에이전트가 단일 사용자 요청을 처리하는 동안, **챗봇 대비 최소 15배 이상의 토큰이 생성된다. **

이유는 간단하다.

에이전트는 매 결정마다 내부 독백을 작성한다.

**“현재 상황은 이렇다. 다음에 해야 할 일은 저것이다. 이 도구를 이렇게 호출한다.” **

이 계획-실행-검증의 루프가 반복되며 컨텍스트가 폭발적으로 늘어난다.

더 중요한 것은 그 15배가 균일하지 않다는 점이다.

에이전트가 처리하는 연산 중 다수는 순차적이고, 분기가 복잡하고, 예측 불가능하다.

어느 API를 호출할지, 그 결과를 어떻게 해석할지, 오류가 나면 어떤 경로로 복구할지—이 모든 제어 흐름은 병렬 처리에 최적화된 GPU가 아니라 복잡한 분기 예측과 순차 실행에 강한 CPU의 영역이다.

이것이 연산 지형의 변화다.

AI 연산의 중심이 ‘거대한 병렬 행렬 연산’에서 ‘복잡한 순차 제어 + 거대한 병렬 연산의 반복적 조합’으로 이동하고 있다.

여기서 데이터센터 설계에 함의가 생긴다.

기존 AI 학습 및 추론 데이터센터는 기가와트당 약 3,000만 개의 범용 CPU 코어로 운용하는 구조였다.

에이전틱 추론의 오케스트레이션 부하를 감당하려면 이 밀도를 기가와트당 1억 2,000만 코어 수준으로—약 4배—높여야 한다는 분석이 나왔다.

단순히 더 많은 CPU가 필요한 것이 아니다.

CPU가 하는 일의 성격 자체가 달라진 것이다.

범용 연산 처리 장치에서, AI 오케스트레이션에 특화된 고밀도 제어 인프라로.

그리고 그 역할에 맞게 설계된 CPU는, 기존에 없었다.

3. 올림푸스: 범용을 거부한 설계

엔비디아가 이전에 만들었던 그레이스(Grace) CPU를 기억하는가.

2023년 출시. Arm 네오버스 V2 코어 기반. 조용히 나왔고, 조용히 쓰였다.

그레이스는 이미 검증된 코어를 가져다 쓰는 안전한 방식인 Arm의 기성 설계를 라이선스해서 탑재했다. .

Vera는 다르다.

Vera의 핵심은 ‘올림푸스(Olympus)’ 커스텀 코어다.

엔비디아 역사상 처음으로 자체 설계한 CPU 코어로 Armv9.2 명령어 집합과 호환되지만, 내부 구조는 완전히 새로 짰다.

**왜 처음부터 다시 만들었는가. **

이 질문의 답이 Vera의 설계 철학 전체를 설명한다.

범용 CPU 코어는 다양한 워크로드를 처리할 수 있도록 설계된다. 워드프로세서도, 데이터베이스도, 게임도, 컴파일러도. 이 범용성을 위해 분기 예측기는 일반적인 코드 패턴에 최적화된다. 캐시 구조는 다양한 메모리 접근 패턴에 대응하도록 설계된다.

에이전틱 AI가 실행하는 코드는 이 ‘일반적인’ 패턴에서 극단적으로 벗어난다. 파이썬 가상 머신, 가상화 샌드박싱 도구, 분산 데이터베이스 쿼리 스케줄러—이것들은 불규칙하고 심하게 뒤틀린 제어 흐름을 만들어낸다.

범용 분기 예측기가 틀리는 빈도가 높아지고, 파이프라인 스톨이 빈번해진다.

올림푸스 코어의 분기 예측기와 명령어 디코더 파이프라인은 이 패턴에 맞게 커스터마이징되었다.

불규칙한 순차 코드 흐름을 최단 레이턴시로 해석하고 처리하도록. 결과: 기존 그레이스 코어 대비 클록당 명령어 처리 횟수(IPC)가 1.5배 향상되었다.

그러나 올림푸스의 더 흥미로운 혁신은 **‘공간적 멀티스레딩(Spatial Multithreading)’**이다.

인텔의 하이퍼스레딩을 알고 있다면, 이것이 무엇인지 이해하기 쉽다. 그리고 왜 그것이 부족한지도 이해 가능하다.

하이퍼스레딩은 하나의 물리 코어를 한 스레드가 메모리를 기다리는 동안 다른 스레드가 실행되는 방식의 두 개의 논리 스레드가 시분할로 공유한다.

. 그러나 두 스레드가 동시에 계산이 필요한 상황—에이전트가 동시에 두 개의 도구를 호출하고 결과를 처리하는 것과 같은—이 되면,

연산 유닛을 두고 경쟁이 벌어진다. 지터(Jitter)가 발생한다. 응답 시간이 불규칙해진다.

올림푸스의 공간적 멀티스레딩은 다른 접근을 택했다.

88개의 물리 코어 내부 연산 자원을 하드웨어 수준에서 두 개의 완전히 독립된 구획으로 영구 분할한다.

176개의 가상 스레드는 서로의 자원을 침범할 수 없다.

개별 물리 스레드 수준의 성능을 일관되게 보장받는다.

수천 개의 독립적인 에이전트가 동시에 컴파일러를 호출하고 샌드박스를 구동하더라도,

특정 에이전트의 실행 지연이 다른 에이전트—더 나아가 GPU 클러스터 전체—의 처리를 막지 않는다.

Extreme close-up macro photograph of a silicon die surface

4. 칩렛이 아닌 모놀리식: 보수적 선택의 급진적 이유

Vera CPU는 단일 모놀리식 다이(Monolithic Die) 설계를 채택했다. 이것은 요즘 유행에 역행하는 선택이다.

AMD의 에픽(EPYC) 프로세서는 칩렛 구조다. 큰 다이를 작게 쪼개어 패키지 기판 위에서 인터커넥트로 묶는다. 이 방식의 장점은 명확하다.

수율이 높아진다.

단가가 내려간다.

다이 크기를 키우지 않고도 코어 수를 늘릴 수 있다.

-> AMD가 인텔을 추격하고 추월한 무기가 바로 이것이었다.

그런데 칩렛 구조에는 숨겨진 비용이 있다.

서로 다른 실리콘 조각 사이를 데이터가 건너갈 때마다 미세한 지연이 발생한다.

나노초 단위의 지연이지만, 에이전틱 AI 오케스트레이션에서 이것이 누적되면 의미 있는 병목이 된다.

모놀리식 다이에서는 이 문제가 없다.

모든 코어가 같은 실리콘 위에 있다. 물리적 거리에 따른 전송 지연 변동폭이 완벽히 통제된다.

88개의 올림푸스 코어는** ‘2세대 스케일러블 코히어런시 패브릭(SCF)’**으로 연결된다.

코어가 다이 반대편의 캐시나 입출력 단자에 접근해도 다이 전체를 가로지르는 통신에 일관된 속도인 초당 3.4TB의 이분할 대역폭을 부여한다.

그리고 메모리. 여기서 Vera는 또 하나의 반상식적 선택을 한다.

기존 서버 CPU들은 DDR5를 쓴다. 표준이고, 검증되었고, 인프라가 갖춰져 있다.

그러나 DDR5의 대역폭 한계와 전력 소모는 에이전틱 워크로드에서 병목이 된다.

최상위 x86 서버 CPU들이 12채널 이상의 DDR5로 초당 600GB 수준의 대역폭을 얻기 위해 메모리 버스 구동에만 100W 이상을 소모한다.

Vera는 LPDDR5X를 선택했다. 원래 저전력이 장점인 모바일 기기용 메모리다. 그것을 서버에 이식했다. SOCAMM2라는 새로운 폼팩터로 서버 마더보드에 직접 탑재했다.

결과적으로 초당 1.2TB의 메모리 대역폭. DDR5의 두 배. 전력 소모는 30W 미만. DDR5의 1/3 수준.

이 절감된 70W가 연산 코어의 성능으로 환원된다.

5. 숫자가 말하는 것

벤치마크는 논쟁의 여지가 있다.

그러나 포로닉스(Phoronix)가 엔비디아 본사에서 실측한 데이터는 컴퓨터 하드웨어 업계에 상당한 파장을 일으켰다.

단일 소켓 구성, TDP 450W 설정. 리눅스 커널 소스 코드 컴파일 테스트에서

Vera CPU(88코어): 20초 완료.

128코어 서버 CPU들이 소요한 시간: 40초.

-> 코어 수는 절반에도 못 미치는데 속도는 두 배. 코어당 연산 효율이 4배라는 의미다.

더 넓게 보면: 기하평균 성능에서 Vera는 AMD EPYC 9575F(64코어, 젠5)를 10% 앞섰고, 인텔 제온 6980P(128코어)를 55% 앞섰다.

이 숫자들을 전력 효율로 환산하면 그림이 더 명확해진다.

인텔과 AMD는 500W 이상의 전력을 소비하면서 이 성능을 낸다.

Vera는 단위 전력당 성능에서 약 2배의 우위인 450W에 메모리 전력 30W인 성능을 보인다.

그리고 이것이 데이터센터 운영 비용에 직접 연결된다.

전력은 운영 비용의 핵심이다. 같

은 전력으로 두 배의 성능이라면, 동일한 성능을 절반의 공간에서, 절반의 냉각 비용으로 얻을 수 있다는 의미다.

하이퍼스케일러들이 200억 달러를 선주문한 이유가 여기 있다.

6. 그런데 CPU 하나로는 부족하다

Vera CPU의 성능이 인상적이더라도, 그것만으로는 에이전틱 AI의 근본적인 병목을 해결하지 못한다.

두 번째 병목이 있다. 컨텍스트 메모리.

에이전트가 복잡한 작업을 수행하면 컨텍스트가 쌓인다.

이전 대화, 실행 이력, 중간 결과물*—이것들을 ‘KV 캐시(Key-Value Cache)’*라고 부른다.

에이전트가 며칠에 걸쳐 작업을 이어가면 이 KV 캐시는 수십에서 수백 기가바이트로 부풀어 오른다.

이것을 어디에 보관하는가.

GPU 내부 HBM 메모리에 두면 가장 빠르다.

그러나 HBM은 비싸고 용량이 제한적이다. 그 공간을 KV 캐시로 채우면 실제 추론에 쓸 메모리가 줄어든다. 낭비다.

그렇다고 일반 SSD에 내리면 다음에 불러올 때 시간이 걸린다. 빠른 대화 흐름이 뚝 끊긴다.

이것이 **‘컨텍스트 메모리 스토리지 장벽’**이다.

그리고 엔비디아는 이것을 해결하기 위해 G3.5라고 부르는 새로운 메모리 계층을 설계했다.

메모리 계층을 보통 이렇게 생각한다.

CPU 레지스터 → L1/L2/L3 캐시 → DRAM → SSD → HDD. 빠를수록 비싸고 용량이 작다.

느릴수록 싸고 크다.

G3.5는 이 계층 사이 어딘가에 끼어든다.

DRAM보다는 느리고 일반 SSD보다는 훨씬 빠른, 이더넷으로 연결된 전용 플래시 메모리 영역. 이것이 **CMX(Context Memory eXtension)**다.

에이전트가 작업을 끝내고 GPU가 다음 요청을 처리하는 동안, 이전 KV 캐시는 HBM에서 자동으로 CMX로 옮겨진다. 같은 사용자가 다시 연결하면, 실제 추론이 시작되기 직전에 CMX에서 GPU 메모리로 선제적으로 불러온다.

이 선제 로딩은 **NIXL(NVIDIA Inference Transfer Library)**이 담당한다.

그리고 어느 노드로 요청을 보낼지—사용자의 이전 컨텍스트가 물리적으로 가장 가까운 노드—는** Grove 로드밸런서**가 결정한다.

이 세 요소—CMX + NIXL + Grove—의 조합이 기존 인프라 대비 실시간 토큰 생성 처리율을 최대 5배 향상시킨다는 측정이 나왔다.

5배는 인상적인 숫자다. 그러나 더 중요한 것은 방향이다.

엔비디아가 단순히 더 빠른 칩을 만든 것이 아니라, AI 인프라의 소프트웨어와 하드웨어 스택 전체를 자사의 설계로 교체하고 있다는 것.

7. 베라 루빈 NVL72: 데이터센터를 하나의 칩처럼

Vera CPU는 홀로 팔리기도 하지만, 진짜 목적은 다른 데 있다.

‘베라 루빈(Vera Rubin) NVL72’. 이 이름이 2025년 AI 인프라 업계에서 가장 많이 거론되는 단어 중 하나가 되었다.

NVL72는 단일 통합 랙이다. 이 랙 안에 들어가는 것들은

72개의 루빈(Rubin) GPU.

36개의 Vera CPU.

BlueField-4 DPU.

ConnectX-9 SuperNIC.

NVLink 6 스위치.

Spectrum-6 이더넷 스위치.

2025년 12월, 200억 달러에 인수한 그록(Groq)의 LPU.

총 7가지 실리콘. 이것들을 엔비디아는 **‘극단적 공동 설계(Extreme Co-design)’**라고 부른다.

각각의 칩을 설계하고 조합하는 것이 아니라, 랙 전체를 단일 컴퓨터처럼 처음부터 함께 설계한다는 의미다.

NVLink-C2C 인터커넥트가 CPU와 GPU를 PCIe Gen 6보다 7배 빠른 초당 1.8TB의 속도로 연결한다. -> 이 대역폭에서 CPU-GPU 간 데이터 전송 지연이 GPU를 유휴 상태로 두는 일이 없어진다.

루빈 GPU를 들여다보면 TSMC 3나노 공정. 3,360억 개의 트랜지스터. 288GB HBM4 메모리, 초당 22TB 대역폭. 단일 칩 추론 성능 50페타플롭스(PFLOPS)—블랙웰 대비 5배의 성능을 보인다.

그리고 그록 LPU. 그록은 독특한 철학으로 설계된 칩이다.

GPU가 대용량 HBM 메모리와 잦은 통신을 하면서 발생하는 버스 병목을 없애기 위해, 실리콘 다이 대부분을 고속 SRAM으로 채웠다.

약 500MB의 온칩 SRAM, 초당 80TB의 메모리 대역폭. 그리고 결정론적 컴파일러가 모든 연산의 타이밍을 사전에 완벽히 계획하여 하드웨어 수준의 복잡한 분기 예측을 불필요하게 만드는 아키텍처를 실행한다.

이 특성(토큰을 순차적으로, 빠르게 생성하는 디코드 단계)이 무엇에 강한가.

NVL72 랙의 추론 흐름을 이해하려면 LLM 추론을 두 단계로 나눠야 한다.

**프리필(Prefill): **입력 프롬프트를 한꺼번에 처리하는 단계. 대규모 병렬 행렬 연산이 필요하다. 루빈 GPU가 담당한다.

디코드(Decode): 첫 토큰이 나온 후 단어를 하나씩 순차적으로 생성하는 단계. 순차적이고 메모리 대역폭에 민감하다. 그록 LPU가 담당한다.

-> 루빈이 프리필을 끝내면, 연산 컨텍스트가 그록 LPU로 이관된다.

그록의 80TB/s SRAM 대역폭이 토큰을 빛의 속도로 생성해낸다.

이 분리의 결과로 베라 루빈 NVL72는 블랙웰 대비 트릴리언 파라미터 모델에서 전력당 추론 출력이 35배 향상되었다.

35배. 이것이 단순한 세대 교체 수준의 수치가 아니라는 것은 누구나 안다.

Wide-angle photograph of a fully populated NVL72-style server rack in a data center environment

8. 2,000억 달러 영토 선언

젠슨 황은 GTC 2025에서 현재 세상에는 약 10억 대의 범용 PC가 있다. 각각의 PC에는 CPU가 있다. 인간이 일하는 기기에 CPU가 있듯, AI 에이전트가 일하는 인프라에도 CPU가 필요하다라고 계산을 했다. .

젠슨 황의 선언에 따르면 수백억 개의 AI 에이전트. 각각에 독립된 샌드박싱 연산을 제공할 CPU., 인텔과 AMD가 수십 년간 독점해온 시장의 구조가 변한다면, 그 빈 공간의 크기는 2,000억 달러다.

어쩌면 과장일수도 있지만 그러나 200억 달러의 선주문이 첫 해에 들어온 것은 사실이다.

인텔의 2024년 데이터센터 및 AI 부문 연간 매출은 128억 달러였다. vera cpu 는 첫 해에 이미 그것을 넘어섰다.

그러나 여기서 더 중요한 질문이 생긴다.

엔비디아가 CPU를 만드는 것이 왜 인텔과 AMD에게 위협인가?

엔비디아는 GPU 회사다. CPU를 새로 만들어봤자 또 하나의 경쟁자가 추가되는 것 아닌가.

그 인식은 잘못된 이유가 있다.

엔비디아의 Vera CPU는 단독으로 팔려도 되지만,

***그것이 NVL72 안에 통합될 때 완전히 다른 가치 제안이 된다. ***

그 CPU를 쓰면 GPU와의 연결이 7배 빠르고,

CMX와의 연동이 최적화되며,

DOCA Memos 소프트웨어 스택이 매끄럽게 작동한다.

엔비디아 생태계 밖에서는 이 최적화의 혜택을 얻을 수 없다.

이것이 수직 통합의 본질이다. CPU 자체가 목적이 아니라, CPU가 탈출구를 막는 쐐기다.

하이퍼스케일러들은 지금까지 선택권이 있었다.

GPU는 어쩔 수 없이 엔비디아에서 사더라도, CPU는 AMD나 자체 설계로 써왔다.

이것이 인프라 통제권의 마지막 보루였다. 그런데 지금 NVL72가 그 보루를 정면으로 겨냥한다.

9. 세 방향의 저항

당연히 이 공세에 세 방향에서 동시에 저항이 따른다.

Arm-메타 동맹

Arm의 CEO 르네 하스는 2025년, 메타 인프라 팀과 공동으로** ‘AGI CPU’ 레퍼런스 아키텍처**를 발표했다.

(플래그십 코어 ‘네오버스 V3’를 단일 패키지에 136개 탑재. 전력 300W 이하. 일반 공랭식 랙에서 단일 랙 기준 8,160개의 물리 코어를 운용 가능.)

핵심 메시지: 엔비디아의 고온 액체 냉각 인프라 없이도, 오픈 아키텍처로 더 높은 코어 밀도를 달성할 수 있다.

기가와트당 투자 비용 절감: 최대 100억 달러.

이것은 기술적 우위보다 경제적 독립성의 논리다.

엔비디아의 수직 락인 없이도, 에이전틱 오케스트레이션의 코어 밀도 요구를 충족할 수 있다는 것.

클라우드 빅3의 내재화 가속

구글의 엑시온(Axion). 아마존의 그라비톤(Graviton) 5. 마이크로소프트의 자체 설계 칩.

이들은 모두 자사 서비스의 오케스트레이션 부하를 외부 상용 CPU 대신 자체 실리콘으로 처리하는 방향으로 가속 중이다.

아마존 그라비톤과 니트로 하이브리드 시스템은 이미 연간 200억 달러 매출 런레이트를 기록했다.

구글 엑시온은 기존 솔루션 대비 성능 가성비 65% 향상, 에너지 효율 60% 개선을 주장한다.

이들의 전략은 간단하다.

자사 클라우드 서비스의 규모를 무기로 삼아, 엔비디아에 지불해야 할 비용을 절감하고 그 혜택을 클라우드 사용자에게 가격 인하로 돌린다.

지정학과 규제의 역풍

젠슨 황은 컴퓨텍스 행사에서 2,000억 달러 TAM 예측에 중국 수요가 포함되어 있음을 인정했다.

그러나 미 상무부의 수출 통제는 고사양 칩셋의 중국 직수출 통로를 막고 있다.

중국은 내수 AI 생태계 육성을 밀어붙이며 미국산 반도체 수입 유예 기조를 강화하고 있다.

더불어 200억 달러 그록 인수 방식이 논란이 됐다.

‘라이선싱 협약과 인력 채용 방식’을 통한 사실상의 인수합병이 FTC의 기업결합 심사를 의도적으로 우회한 것 아니냐는 의혹으로, 에드워드 마키, 엘리자베스 워런 등 상원 의원들이 공식 조사를 요구했다.

이 세 가지 저항이 엔비디아의 팽창 속도를 얼마나 늦출 수 있는지는 아직 열려 있는 질문이다.

10. 독점이 완성될 때 일어나는 일

컴퓨팅 역사에는 패턴이 있다.

수직 통합이 극한의 성능을 만들어내면,

-> 그 성능 앞에서 다수는 종속을 선택한다.

-> 그리고 그 종속이 충분히 깊어지면, 오픈 생태계의 역습이 시작된다.

IBM의 메인프레임이 그랬다. DEC의 VAX가 그랬다. 인텔-마이크로소프트의 Wintel이 그랬다. 애플의 수직 통합이 그랬다.

각각의 경우, 수직 통합 제국은 오랫동안 지배했다. 그러나 각각의 경우, 제국이 장악하지 못한 공간을, 또는 제국이 너무 비싸게 만들어 버린 공간을 오픈 에코시스템은 결국 찾아냈다.

엔비디아가 지금 만들고 있는 것의 규모는 이전과 다르다.

CPU와 GPU와 DPU와 네트워크 스위치와 메모리 스토리지와 소프트웨어 스택을 동시에 수직 통합하는 것은 단일 제품 영역의 독점이 아니라 컴퓨팅 인프라의 전체 레이어 독점이다.

오픈AI와 앤트로픽 내부에서조차, 특정 하드웨어 벤더 생태계에 전 세계 추론 연산력을 락인하는 것에 대한 우려가 내부 논의로 진행 중이라는 보도가 나왔다.

그것이 경고인지 기우인지는 시간이 말해줄 것이다. 그러나 이 우려 자체가 성능 앞에 무릎 꿇기 전에 먼저 종속의 비용을 계산하고 있다는 것을 의미하는 중요한 신호다.

엔비디아는 지금 GPU를 파는 회사가 아니다.

에이전틱 AI 시대의 컴퓨팅 인프라 전체를 설계하는 회사가 되려 하고 있다. Vera CPU는 그 야망의 가장 명시적인 선언이다.

11. 새로 쓰이는 인프라의 문법

잠깐 한 걸음 물러서 보자.

우리는 지금 무엇의 목격자인가.

엔비디아 Vera CPU는 훌륭한 칩이다. 그러나 그것만으로는 이 이야기가 중요한 이유를 설명하지 못한다. 더 빠른 CPU는 항상 나온다.

이것이 다른 이유는, 이 칩이 AI 인프라의 설계 원칙 자체가 바뀌고 있다는 증거이기 때문이다.

기존의 설계 원칙은 이랬다.

범용 CPU 위에 AI 가속기를 추가한다.

범용 인터커넥트로 연결한다.

범용 스토리지에 데이터를 저장한다.

각 레이어는 독립적이고 교체 가능하다.

새로운 설계 원칙은 다르다.

AI 워크로드의 특성에 맞게 모든 레이어를 함께 설계한다.

교체 가능성보다 최적화를 우선한다.

그리고 그 최적화의 권한을 단일 공급자가 독점한다.

이 전환은 컴퓨팅 인프라의 범용성과 교체 가능성이라는 오픈 시스템의 원칙과, 최적화와 효율이라는 수직 통합의 원칙 사이의 오래된 긴장이라는 철학적 전환이기도 하다.

그 긴장이 AI의 시대에 새로운 국면을 맞았다.

AI가 필요로 하는 성능의 극한이 너무 높아서, 범용 시스템으로는 도달할 수 없는 경지가 생겼다. 그리고 그 경지에 먼저 도달한 자가 시장을 장악할 수 있는 시대가 도래했다.

Vera CPU가 그 경지를 향한 움직임이다.

그리고 그 움직임이 성공하느냐 실패하느냐보다, 그 움직임이 시작되었다는 사실 자체가 컴퓨팅 인프라의 미래를 다시 쓰고 있다.

12. 에이전트들이 일하는 세계

마지막으로, 약간 다른 각도에서.

젠슨 황이 말한 “수백억 개의 AI 에이전트"를 상상해보자.

각각이 독립된 샌드박스에서, 독립된 메모리를 갖고, 독립된 도구를 사용하며 일한다.

인간 노동자처럼 특정 태스크를 맡아 진행하고, 결과를 보고하고, 다음 태스크를 기다린다.

이 세계에서 CPU는 무엇인가. 에이전트에게 생각할 공간을 제공하는 것이다. -> 도구를 쓸 손을 제공하는 것이다. 기억을 저장하고 불러올 경로를 제공하는 것이다.

인간 노동자에게 책상과 컴퓨터가 필요하듯, AI 에이전트에게 CPU가 필요하다.

엔비디아가 Vera CPU를 만든 것은 시장의 빈 공간을 채우기 위해서가 아니다.

에이전틱 AI 시대의 컴퓨팅 인프라를 처음부터 설계하겠다는 선언이다.

그 선언 앞에서 인텔과 AMD는 지금 어디에 있는가.

Arm과 구글과 아마존은 무엇을 준비하고 있는가.

그리고 이 모든 싸움의 결과가 AI 에이전트의 능력과 비용을 어떻게 결정하는가.

그것이 GPU 뒤에서 지금 조용히 벌어지고 있는 전쟁의 실체다.

A single empty office desk at dusk, seen through floor-to-ceiling glass

참고 문헌

NVIDIA Corporation, “Vera Rubin Platform Architecture Whitepaper” (Jensen Huang, 2025)
Michael Larabel, “NVIDIA Vera CPU Benchmarks on Linux,” Phoronix (2025)
Jonathan Ross, “A Software-Defined Tensor Streaming Processor for Large-Scale Machine Learning,” Groq Inc.
Arm Editorial Team, “Arm Everywhere: Accelerating Agentic AI in Modern Datacenters” (Rene Haas, 2025)
Vincent Hsu, “IBM Storage Scale integration with NVIDIA Dynamo Serving Engines,” IBM Systems Group (2025)
NVIDIA Developer Documentation, “DOCA Memos API Reference Guide” (2025)
NVIDIA Research, “Agentic AI Orchestration Bottleneck Analysis: CPU vs GPU Latency Distribution” (2024)
Tom’s Hardware, “NVIDIA Vera CPU vs Intel Xeon 6980P vs AMD EPYC 9575F: Benchmark Comparison” (2025)
IEEE Computer Architecture Letters, “Spatial Multithreading for Agentic Workloads: Design Principles and Performance Analysis” (2025)
Semiconductor Engineering, “SOCAMM2 Form Factor: Enabling LPDDR5X in Server Environments” (2025)
Next Platform, “Understanding NVIDIA’s CMX Context Memory Extension Architecture” (2025)
Hot Chips 37, “NVIDIA Olympus Microarchitecture Deep Dive” (2025)
Solidigm Technical Brief, “D7-PS1010 NVMe SSD for AI Inference KV Cache Workloads” (2025)
Reuters, “U.S. Senators Request FTC Investigation into NVIDIA-Groq Acquisition Structure” (2025)
Dylan Patel, “The Agentic AI Infrastructure Wars: CPU, Memory, and the Battle for the Control Plane,” SemiAnalysis (2025)