지능을 제조하는 공장: 엔비디아 AI 팩토리와 베라 루빈 아키텍처가 당기어 올 글로벌 공급망의 지각변동
세상에 존재하는 공장은 세 종류다.
첫 번째는 석탄을 태워 물리적인 제품을 찍어냈다.
두 번째는 전기를 써서 규격화된 부품을 조립했다.
그리고 지금 인류는 세 번째 공장과 마주하고 있다.
이 공장은 전력과 데이터를 집어넣어 ‘지능’을 연속 생산한다.
-> 제품은 보이지 않는다. 무게도 없다. 그러나 가격은 존재하며, 그 가격이 세계 경제의 지형을 바꾸고 있다.
이것이 엔비디아(NVIDIA)가 말하는 AI 팩토리(AI Factory)의 정체다.
2026년 6월 타이베이에서 열린 Computex 무대에서 젠슨 황(Jensen Huang)은 차세대 플랫폼 베라 루빈(Vera Rubin) NVL72를 공개하며 선언했다.
***컴퓨팅의 목적이 바뀌었다고. ***
***-> ****데이터를 저장하고 웹 페이지를 띄우던 수동적 창고의 시대는 끝났다고. *
-> 이제 컴퓨터는 실시간으로 추론하고, 판단하고, 행동하는 지능을 쉼 없이 제조하는 발전소여야 한다고.
이 선언 앞에서 두 가지 반응이 공존한다.
하나는 주가 차트를 보는 투자자의 눈빛이고,
다른 하나는 수십 년간 쌓아온 인프라 패러다임이 무너지는 소리를 듣는 엔지니어의 귀다.
이 글은 두 번째 귀(숫자 뒤에 있는 물리학을, 사양서 뒤에 있는 공급망을, 그리고 그 공급망 뒤에서 조용히 지형을 바꾸고 있는 권력의 이동)에 닿으려 한다.
그 이야기를 시작하려면 가장 기초적인 곳(전기가 어떻게 열이 되는지, 그리고 그 열이 왜 이 모든 것을 바꾸는지)으로 내려가야 한다.
1장. 공장이 무너지는 이유: 전압과 열의 공학
기존 데이터센터를 이해하려면 한 가지 핵심 전제를 기억해야 한다.
그것은 ‘예측 가능한 정적 부하’의 세계였다.
수만 명의 사용자가 동시에 웹사이트를 클릭해도, 서버들은 밀리초 단위로 잘게 쪼개진 스케줄에 따라 조용히 열을 방출했다.
랙 하나가 먹는 전력은 10킬로와트(kW)에서 15kW 수준. 실내 냉방기와 이중 바닥 아래로 흐르는 냉기 흐름만으로도 충분했다.
그러나 그 조용한 세계의 전제를 에이전트 AI가 파괴했다.
자율적으로 판단하고 도구를 사용하는 AI 에이전트는 유휴 상태에서 거의 전력을 소모하지 않다가,
-> 대규모 추론 명령이 떨어지는 순간 즉각 최대 전압으로 전력을 빨아들인다. 이것을 엔지니어들은 **‘동적 급증 전력 패턴(Transient Spiky Load Profile)’**이라 부른다.
이 격렬한 전류의 요동은 기존 전력 분배 장치(PDU)의 소자를 순식간에 물리적으로 파괴할 수 있는 전압 스파이크를 만들어낸다.
기존 발전소와 전력 계통망(Grid)은 이러한 불규칙하고 파괴적인 순간 부하 급증에 반응하도록 설계되지 않았다.
문제는 전압만이 아니다.
열역학 법칙이 한 단계 더 냉혹한 제약을 부과한다.
랙 하나가 소모하는 전력이 200kW에 육박한다는 것은, 그 자리에 산업용 전기 난로를 상시 가동하는 것과 열역학적으로 동일하다.
공기는 열을 흡수하는 능력, 즉 비열 용량이 액체에 비해 치명적으로 낮다.
물의 비열(약 4,184 J/kg·K)은 공기의 비열(약 1,005 J/kg·K)보다 4배 이상 높고, 밀도는 800배를 넘는다.
동일한 부피로 냉각할 수 있는 열량에서 물은 공기를 수천 배 압도한다.
구체적인 숫자로 내려가면 더 선명해진다.
냉각 공학의 기본 방정식은 이렇다.* 방출해야 하는 열부하(Q)는 유체의 질량 유량(m)과 비열(Cp)과 출입구 온도 차이(ΔT)의 곱으로 결정된다. *
공랭식 냉각 장치로 100kW 이상의 열을 강제로 식히려면 팬의 회전 속도를 제트기 엔진 소음 수준으로 올려야 하고, 그 팬이 먹는 전력이 서버가 연산에 쓰는 전력보다 커지는 ‘냉각 효율 역전 현상’에 도달한다. 이것은 억지로 해결할 수 없는 물리적 한계다. 냉방 시스템이 냉방 자체를 위해 더 많은 열을 생성하는, 에너지 낭비의 블랙홀이다.
그래서 AI 팩토리는 수냉(Liquid Cooling)으로 전환한다. 선택이 아니라 물리가 강제하는 결론이다.
그런데 수냉이 들어오는 순간 새로운 위험이 생긴다.
냉각 배관에서 물 한 방울이라도 누수되면, 800볼트(V) 고전압이 흐르는 서버 장비는 즉각 전기적 아크(Arc) 폭발을 일으키며 수십억 원짜리 인프라를 잿더미로 만든다.
이 때문에 퀵 디스커넥트(QD) 무누수 밸브와 1마이크로미터 미만의 오차로 제어되는 금속 콜드플레이트는 항공우주 공학 수준의 정밀 제조 능력을 요구한다.
전력 공급 방식도 근본부터 바뀐다.
기존 데이터센터는 발전소에서 내려오는 고압 교류(AC) 전력을 변압기를 통해 낮추고, 이것을 다시 여러 단계의 변환을 거쳐 서버에 공급했다.
각 변환 단계마다 에너지가 손실되고, 이 손실이 다시 열로 바뀌어 냉각 부하를 늘렸다.
AI 팩토리는 이 문제를 800볼트 고전압 직류(HVDC, High-Voltage Direct Current) 버스바 아키텍처로 해결한다.
-> 변환 단계를 줄이고, **디지털 통제가 가능한 고체 상태 변압기(SST, Solid State Transformer)**를 통하여 전압 레벨을 높여서 동일한 전력을 더 얇은 배선으로 더 효율적으로 전달한다.
기존 데이터센터 운영자들이 직면한 현실은 이렇다.
***전력 시스템을 교체해야 한다. ***
***냉각 계통 전체를 뜯어내야 한다. ***
***그 과정에서 단 한 건의 누수 사고도 허용되지 않는다. ***
그리고 이 모든 작업이 완료되더라도, 그들이 사용할 하드웨어를 만들어낼 수 있는 공급망은 지구상에 몇 곳뿐이다.
2장. 에이전트 AI의 뇌파: 왜 기존 가속기로는 부족한가
인간이 바둑을 둘 때, 직관적인 한 수만 두지 않는다.
-> 머릿속에서 수십 가지 미래 시나리오를 나뭇가지처럼 펼쳐보고, 각 분기의 결말을 시뮬레이션한 뒤 최선을 고른다.
에이전트 AI도 마찬가지다.
-> 단순한 질문 하나에도 끝없는 내부 추론 루프를 가동한다.
이것을 소프트웨어 공학계에서는 *‘테스트 타임 확장(Test-Time Scaling)’, 또는 ‘추론 단계 생각의 고리(Chain of Thought)’*라고 부른다.
이 추론 루프는 비대칭적인 두 단계로 나뉜다.
첫 번째는 ‘프리필(Prefill)’ 단계다.
사용자의 방대한 입력 문서를 한꺼번에 해석하는 구간으로, GPU의 병렬 행렬 연산 능력이 최고조로 가동된다.
수천 개의 텐서 코어가 동시에 행렬 곱셈을 수행하며, 이 단계에서 GPU의 연산 장치들은 설계 최대 효율로 가동된다.
두 번째는** ‘디코드(Decode)’ 단계**다.
단어(토큰)를 한 글자씩 순서대로 생성하는 구간인데, 여기서 구조적 병목이 터진다.
-> 매번 새로운 단어를 생성할 때마다 이전에 생성한 모든 단어들의 연산 캐시 정보, 즉 KV 캐시(Key-Value Cache)를 메모리에서 다시 읽어야 한다. GPU의 강력한 연산 장치들은 이 메모리 데이터를 기다리는 동안 90% 이상 유휴 상태로 놀고 있다.
수천억 원짜리 가속기가 대부분의 시간을 연산이 아닌 대기에 소비하는 것이다.
-> 컴퓨터 구조론에서는 이것을*** ****‘메모리 대역폭 한계 병목(Memory-Bound Bottleneck)’*이라 부른다.
이 병목은 모델이 길고 복잡한 대화 맥락을 다룰수록 기하급수적으로 심화된다.
-> 사용자와 100번의 대화를 주고받은 에이전트는 그 100번의 대화 전체를 KV 캐시에 보존하고, 매 응답마다 이 전체 캐시를 다시 읽어야 한다.
-> 캐시의 크기가 곧 메모리 대역폭 요구량이 된다.
여기에 혼합 전문가(MoE, Mixture of Experts) 아키텍처가 더해지면 병목은 네트워크 전체로 번진다.
거대한 모델을 여러 전문 영역으로 쪼개어 각 부분이 서로 다른 GPU 노드에 분산 배치되므로,
매 단어마다 수만 개의 토큰이 각기 다른 노드로 전달되고 다시 취합되는 ‘올투올(All-to-All)’ 트래픽 폭풍이 발생한다.
단 1마이크로초의 패킷 전송 지연이 전체 분산 시스템을 멈추게 만든다.
MoE가 중요한 이유는 따로 있다.
트랜스포머 모델의 전체 규모를 늘리지 않고 전문성을 높일 수 있는 유일한 방법이기 때문이다.
-> 예를 들어 1조 개의 매개변수를 가진 모델을 단일 덴스(Dense) 구조로 만들면 추론 시마다 1조 개 전체를 연산해야 하지만,
MoE 구조로 만들면 각 추론마다 전체의 일부, 예를 들어 10%에서 20%만 활성화할 수 있다.
연산 효율은 올라가지만 노드 간 통신 트래픽이 폭증한다.
이 트래픽을 나노초 단위로 제어하지 못하면 MoE 아키텍처의 이점이 모두 통신 지연 비용으로 잠식된다.
**결론은 단순하다. **
에이전트 AI 시대의 연산 시스템은 개별 칩 하나의 속도가 아니라,
메모리와 메모리 사이,
서버와 서버 사이의 통신 병목을 나노초 단위로 극복하는 통합 설계로만 해결된다.
이것이 엔비디아가 칩 단품이 아닌** ‘완성형 랙 시스템’**을 판매하기 시작한 이유다.
->** 개별 부품의 최고 스펙이 아니라, 전체 시스템의 최저 병목이 성능을 결정하는 세계로 이동**한 것이다.
3장. 베라 루빈 NVL72: 괴물 랙의 해부
Computex 2026의 주인공은 단연 베라 루빈(Vera Rubin) NVL72다.
이름은 은하 회전 속도 이상현상을 통해 암흑물질의 존재를 밝혀낸 천문학자 베라 루빈에서 왔다.
눈에 보이지 않는 것이 세상을 움직인다는 은유가, 보이지 않는 추론 결과물을 제조하는 이 기계에 붙었다.
루빈 NVL72는 개별 칩셋을 판매하는 기존 반도체 소매 모델을 무덤으로 보낸다.
단일 랙 자체가 72개의 가속기와 36개의 CPU가 용접된 하나의 가상 단일 프로세서로 가동된다.
무게는 약 1.3톤. 전력 소비는 최대 230kW. 가격은 공개되지 않았으나 시장 추정치는 랙당 수백만 달러를 상회한다.
내부 구조를 해부하면 이렇다.
18개의 연산 트레이(Compute Tray)와 9개의 NVLink 6 스위치 트레이가 교번 배치되어 있다.
각 연산 트레이 안에는 2개의 베라 CPU와 4개의 루빈 GPU가 탑재된다.
케이블 배선으로 인한 전압 강하를 막기 위해 트레이 뒷면이 구리 백플레인에 직접 맞물리는 케이블리스(Cableless) 방식을 채택했다.
무게가 수십 킬로그램에 달하는 케이블 묶음들이 사라지면서 물리적 공간 효율뿐 아니라 신호 품질도 근본적으로 개선되었다.
성능 수치는 도발적이다.
**추론 성능은 3,600 PFLOPS(페타플롭스)로 전 세대 Blackwell 대비 5배 높다. **
**메모리 대역폭은 GPU당 22 TB/s로 Blackwell(8 TB/s)의 2.75배다. **
그러나 가장 충격적인 숫자는 이것이다.
**토큰당 연산 단가가 전 세대의 10분의 1 수준으로 떨어진다. **
-> 같은 추론 결과를 내기 위해 필요한 하드웨어가 4분의 1로 줄어든다는 뜻이다.
이 수치들이 의미하는 바를 현실의 단위로 환산해 보면,
클라우드 기업이 GPT-4급 모델 추론을 현재 수준의 비용으로 운영한다면,
루빈 세대에서는 같은 비용으로 10배 많은 사용자를 서비스하거나, 같은 사용자에게 10배 더 복잡한 추론을 제공할 수 있다.
에이전트가 수행하는 다단계 추론의 비용이 현재 수준의 10분의 1이 된다면, **에이전트 서비스의 경제성이 근본적으로 바뀐다. **
지금은 비용 때문에 쓰지 못하는 에이전트 기능들이 상용화될 수 있는 문턱이 낮아진다.
랙을 구성하는 일곱 개의 칩셋
루빈 플랫폼은 단일 칩의 성능 경쟁이 아니다.
일곱 개의 전용 칩셋이 각자의 병목 하나씩을 맡아 사라지게 만드는 시스템이다.
각 칩셋의 존재 이유를 순서대로 따라가면, 에이전트 AI 시스템의 연산 구조가 선명해진다.
루빈 GPU. 3나노미터 미세공정, 3,360억 개의 트랜지스터. HBM4 메모리를 통해 초당 22TB의 데이터를 칩 내부로 유입시킨다.
이전 세대에서 메모리 대역폭이 병목이었음을 기억하라. 22 TB/s는 그 병목을 직접 공격하는 숫자다.
3세대 트랜스포머 엔진은 연산 정밀도를 실시간으로 가변 변환하는 하드웨어 가속 압축 알고리즘을 내장해 초대형 멀티모달 모델의 전개 속도를 극대화한다.
베라 CPU. 88개의 Olympus 코어. 범용 운영체제가 아닌 AI 에이전트 워크플로우 전담 사령탑이다.
기존 Grace CPU(72코어)에서 성능을 높이면서 동시에 아키텍처의 목적 자체를 바꿨다.
파이썬 코드와 가상화 컨테이너를 하드웨어 명령어로 즉시 번역하며, KV 캐시의 흐름을 네트워크로 던져주는 중재자 역할을 맡는다.
AI 에이전트 워크플로우에서 CPU가 병목이 되는 것을 구조적으로 제거하기 위한 설계다.
엔비디아 Groq 3 LPU. 128GB 초고속 SRAM을 바탕으로 디코드 작업을 독점 분담한다.
앞서 설명한 메모리 대역폭 병목, 즉 KV 캐시 읽기 지연의 전담 처리 장치다.
루빈 GPU가 100% 가동률을 유지하도록 방패 역할을 한다. GPU는 연산만 하고, LPU는 메모리 공급만 한다는 분업이다.
NVLink 6 스위치. 랙 안 72개의 GPU가 서로의 데이터를 물리적 거리 장벽 없이 공유하게 한다.
양방향 3.6 TB/s의 대역폭은 전 세대(1.8 TB/s)의 2배다.
스위치 내부에서 동기화 연산을 통신 중에 완료하는 SHARP(Scalable Hierarchical Aggregation and Reduction Protocol) 아키텍처로 통신 오버헤드를 제로화한다. -> All-to-All 트래픽 폭풍 문제를 네트워크 계층에서 흡수하는 구조다.
ConnectX-9 SuperNIC. 랙 외부 클러스터로 통신을 확장할 때 1.6Tbps 대역폭과 하드웨어 RDMA(Remote Direct Memory Access) 엔진을 제공.
대형 스위치와의 가상 터널 병목을 소거한다. 단일 랙을 넘어 수천 개의 랙으로 구성된 대규모 AI 팩토리 클러스터를 구성할 때 필요한 연결 고리다.
BlueField-4 DPU. 가상화 제어, 암호화, 스토리지 입출력 오버헤드를 주 컴퓨터에서 완전히 분리해 처리한다.
전용 BlueField-4 STX 플래시 어레이 스위치 랙과 연동해 에이전트의 KV 캐시 데이터를 주 메모리 밖으로 초고속 오프로드한다.
결과적으로 랙의 토큰 처리 효율이 최대 5배 이상 확장된다.
보안과 스토리지 오버헤드를 CPU와 GPU에서 걷어냄으로써 이 두 칩이 순수 연산에만 집중할 수 있게 한다.
스펙트럼-6 이더넷 스위치. 102.4Tbps의 전송 성능. 다음 챕터에서 설명할 CPO 광학 기술의 완전한 전개를 가능하게 하는 백본 게이트웨이 역할을 완수한다.
이 일곱 개는 모두 엔비디아가 설계한다. 구매자가 다른 회사 제품을 섞는 것이 물리적으로 불가능한 것은 아니지만,** 각 칩셋의 성능이 나머지 여섯 칩셋과의 협력을 전제로 최적화되어 있어 최고 성능을 내려면 사실상 전체를 엔비디아로 채워야 한다. **이것이 플랫폼 독점의 실체다.
강요가 아니라 설계로 만들어진 종속 구조다.
4장. 구리의 죽음: CPO와 광학 네트워킹의 혁명
AI 팩토리의 서버들은 나노초 단위로 동기화 신호를 주고받는다.
이 신호를 전달하는 매체가 구리선이라면 두 가지 문제가 터진다.
**첫째, 고주파 전기 신호는 표피 효과(Skin Effect)로 인해 열로 방출되며 신호 전압이 급격히 내려앉는다. **
고주파에서는 전자들이 도체의 표면 부근에만 집중되어 흐르는데, 이것은 실효 단면적이 줄어드는 것과 같아서 저항이 급격히 올라간다.
전력 손실은 저항의 제곱에 비례하므로, 주파수가 높아질수록 구리선의 에너지 효율은 기하급수적으로 나빠진다.
둘째, 수십만 개의 GPU가 내뿜는 강력한 전자기장은 주변 배선에 전자기 간섭(EMI) 노이즈를 퍼부어 비트 에러율을 끌어올린다.
1,000개의 비트 중 1개가 뒤집혀도 데이터는 오염된다. 수조 개의 비트가 나노초마다 흐르는 AI 팩토리에서 이 에러율이 쌓이면 통신 재전송과 오류 수정 비용이 연산 비용만큼 커진다.
-> 엔비디아의 해답은 **스펙트럼-X 이더넷 포토닉스(Spectrum-X Ethernet Photonics)**다.
네트워킹 백본의 금속 배선을 걷어내고 **실리콘 포토닉스(Silicon Photonics)**로 대체한다. 전기 신호를 빛으로 변환하는 것이다.
이 기술의 핵심은** Co-Packaged Optics(CPO) 아키텍처**다.
기존 방식에서는 스위치 칩에서 발생한 전기 신호가 메인보드 구리 패턴을 타고 기기 바깥의 탈착식 광트랜시버 모듈까지 이동한 뒤, 그 안의 DSP(Digital Signal Processor) 리타이머 칩을 거쳐 빛으로 변환되었다. 이 여정은 10센티미터에서 15센티미터에 달했고, 각 단계마다 열과 신호 왜곡이 쌓였다.
CPO는 스위치 반도체 패키지 바로 옆 1밀리미터 이내에서 전기 신호를 즉시 빛으로 바꾼다. 신호 증폭용 DSP 칩 자체가 필요 없어진다.
-> 결과는 포트당 에너지 소모 5배 이상 절감이다.
-> 단순히 에너지가 절약된다는 의미를 넘어서, 열 방출이 줄어들어 추가 냉각 부하가 감소하고, 그 공간에 더 많은 포트를 집적할 수 있어 전체 네트워크 밀도가 올라간다.
빛의 물리적 특성은 두 가지 추가 이점을 준다.
**신호 감쇠가 사실상 없어 수 킬로미터 거리를 단 1마이크로초 수준으로 가로지른다. **
이것은 AI 팩토리의 물리적 배치 자유도를 바꾼다.
지금까지는 가속기들이 낮은 지연시간 통신을 위해 물리적으로 가까이 배치되어야 했다.
CPO가 보급되면 수 킬로미터 떨어진 건물에 분산 배치된 랙들이 동일한 지연시간으로 협력할 수 있다.
-> 데이터센터 캠퍼스의 설계 자유도가 달라진다.
**고압 전력선 옆에 있어도 전자기 노이즈에 완전 무반응이다. **
빛은 전자기장의 영향을 받지 않는다.
AI 팩토리의 가장 흔한 고장 원인이었던 네트워크 모듈 장애로 인한 분산 훈련 중단이 구조적으로 사라진다.
분산 훈련은 수천 개의 GPU가 동기화된 상태로 수주에서 수개월을 가동해야 하는데, 그 과정에서 단 한 번의 네트워크 링크 장애가 전체 훈련을 멈추게 만들었다.
-> CPO는 이 장애 원인을 물리적으로 제거한다.
인프라 상시 가동 주기가 5배 이상 늘어난다는 숫자는 이 문맥에서 나온다.
5장. 소프트웨어의 영혼: DSX OS와 FOX 블루프린트
하드웨어를 조립했다고 지능 공장이 완성되지 않는다.
수만 장의 가속 카드가 단 한 마이크로초의 지연도 없이 움직이게 하는 소프트웨어가 없으면, 그것은 가동되지 않는 금속 덩어리다.
DSX OS: 랙을 하나의 뇌로 만드는 운영체제
전통적인 운영체제는 자원을 공평하게 나눠주는 관리자다.
여러 애플리케이션이 CPU 시간을 순번대로 쪼개어 쓴다.
그러나 AI 팩토리에 이 정적 배분 방식을 도입하면,
-> 수천 개의 가속 카드가 서로의 중간 연산 값이 도착하기를 기다리며 정지하는 동기화 지연이 누적된다.
**DSX OS는 개별 애플리케이션의 관점이 아닌, 랙 전체를 하나의 단일 프로세서로 바라보는 완전 분산 제어 구조를 취한다. **
-> 네트워크 패킷이 언제 칩 내부에 도착하는지, 다음 디코드 토큰이 어떤 HBM 메모리 뱅크에 있어야 가장 짧은 경로를 탈 수 있는지를 실시간으로 계산하고 미리 길을 닦아둔다.
이것은 수동 스케줄링이 아니다. 칩 레벨의 텔레메트리 데이터를 실시간으로 수집하고 예측 모델을 통해 병목이 발생하기 전에 트래픽을 재배분하는 자율 제어 루프다.
장애 처리 방식이 가장 극적으로 바뀐다.
특정 GPU 코어에서 메모리 비트 뒤집힘(Soft Error) 장애가 감지되는 순간, 기존 방식이라면 전체 연산 노드를 멈춰 세운다. -> 조 단위 매개변수 모델 훈련 중 칩 하나의 고장이 일주일치 연산 자산을 날리는 시나리오가 빈번했다. 이 ‘훈련 중단’ 문제는 대규모 AI 연구를 운영하는 기업들이 가장 두려워하는 장애 유형이었다.
DSX OS는 오류가 발생한 연산 유닛의 작업 상태만 가상 컨테이너로 캡처해 1밀리초 만에 옆 여유 유닛으로 이관한다.
전체 시스템은 멈추지 않는다. 사용자는 장애가 발생했는지조차 모른다. 이것이 자가 치유(Self-Healing) 자동화 엔진이다.
FOX 블루프린트: 물리 공장을 디지털 트윈으로 봉합하다
FOX(Factory Operations Blueprint)는 범위가 더 넓다.
실제 제조 공장의 모든 센서, 자율 로봇, 품질 계측 기기를
엔비디아의 디지털 트윈 플랫폼인 Omniverse 환경과 실시간으로 연동하는 참조 설계 사상이다.
*-> 실물 공장에서 발생하는 데이터가 가상 공장으로 흘러가고, 가상 공장에서 시뮬레이션한 결과가 실물 공장의 로봇 제어에 피드백된다. *
소프트웨어 로봇이 실제 기계 동작을 미리 연습하고, 불량 검사 모델이 실제로 발생하기 전에 가상의 결함 이미지를 수만 장 학습하는 구조다.
이 개념이 추상적으로 들릴 수 있으므로, 실제 사례 세 가지가 이것을 현실로 가져온다.
페가트론(Pegatron). NemoClaw 프레임워크를 기반으로 지능형 자율 물류 로봇, AI 비전 불량 검사 장치, 여러 하위 에이전트를 상위 마스터 에이전트가 조율하는 계층 구조를 완성했다.
여러 에이전트가 각각 물류, 품질, 안전, 에너지 관리 영역을 담당하고, 마스터 에이전트가 이들의 판단을 통합해 공장 전체의 자원 배분을 실시간으로 최적화한다.
유휴 예비 설비를 퇴출시켜 물리 자산 중복 투자 비용을 15% 이상 감축했다.
암페놀(Amphenol). 300종 이상의 미세 커넥터 불량 검사 라인에 엔비디아 생성형 AI 플랫폼 Cosmos를 결합했다.
신제품 생산 초기의 불량 데이터 부족 문제는 모든 제조업체가 공통으로 직면하는 벽이다. 아직 생산되지 않은 제품에는 불량 데이터가 없으므로, 불량 검사 모델을 사전에 학습시킬 수 없다.
암페놀은 이 문제를 가상의 불량 이미지를 대량 합성 생성해 해결했다.
AI가 ‘아직 발생하지 않은 불량’을 가상으로 만들어 학습 데이터로 사용하는 것이다.
불량 검사 모델 구축 속도가 12배 단축되었고, 신제품 출시 초기의 수율 안정화 기간이 몇 주에서 몇 시간으로 줄었다.
폭스콘(Foxconn). 제조 현장을 넘어 종합 병원 내부에 NemoClaw 기반 CoDoctor AI 설루션을 배치했다.
의료진 협업 간호 로봇 Nurabot과 연동해 환자 바이탈 데이터를 실시간 차트에 자동 기록하고, 약제 불일치 원인을 90% 이상의 정밀도로 추적했다.
제조 공장을 운영하는 기업이 병원 AI 솔루션을 개발하는 것이 낯설어 보이지만, FOX 블루프린트의 논리는 동일하다.
복잡한 환경에서 다수의 에이전트가 협력해 실시간 데이터를 처리하고, 중앙 마스터 에이전트가 전체를 조율하는 구조이다.
이 세 사례가 공통적으로 보여주는 것이 있다.
FOX 블루프린트의 가치는 새로운 기계를 사는 것이 아니라, 기존 기계들이 만들어내는 데이터를 지능적으로 엮는 것에서 나온다.
플랫폼의 침투 방식이 하드웨어 판매가 아닌 데이터 흐름의 표준화라는 점이 중요하다.
일단 FOX 블루프린트 기반으로 공장이 운영되기 시작하면,
그 공장이 다른 플랫폼으로 전환하는 비용은 하드웨어 교체 비용이 아니라 수년간 축적된 프로세스 데이터와 에이전트 학습 자산의 재구축 비용이 된다.
6장. 공급망의 전쟁: 대만과 한국의 지도
베라 루빈의 설계는 미국 캘리포니아 산타클라라에서 나온다.
그러나 그 설계를 만져지고 작동하는 230kW짜리 금속 캐비닛으로 만들어낼 수 있는 능력은, 지구상에서 몇 곳뿐이다.
대만: 실리콘 제국의 실질적 지배자
TSMC. 엔비디아와 TSMC의 관계는 이제 고객-공급사를 넘어 운명 공동체다.
2026년 기준 엔비디아가 TSMC 전체 매출에서 차지하는 비중은 20% 돌파를 정조준하고 있다.
루빈의 3나노미터 미세 가공 라인을 조기 예약 가동 중이며, HBM4와 로직 다이를 단일 기판 위에 결합하는 CoWoS(Chip on Wafer on Substrate), SoIC(System on Integrated Chips) 첨단 패키징 기술로 전 세계 공급 쇼티지의 통제권을 장악하고 있다.
TSMC가 공급에 문제를 겪으면, 엔비디아의 제품 출시 일정은 그대로 멈춘다.
2023년부터 2024년에 걸쳐 H100 공급 부족 사태가 이 구조의 취약성을 전 세계에 실시간으로 시연했다.
그러나 TSMC는 동시에 이 의존성이 자신에게 주는 협상력을 잘 알고 있다.** TSMC 없이 루빈은 없고, 루빈 없이 AI 팩토리는 없다.**
ODM 삼총사. 폭스콘(Foxconn), 광달(Quanta Computer), 위스트론(Wistron)은 엔비디아의 청사진을 바탕으로 1.3톤짜리 완성형 수냉 랙을 물리적으로 조립한다.
폭스콘은 세계 최대의 생산 설비 동원 능력을 바탕으로 루빈 NVL72 완성형 랙 납품 계약의 핵심 지분을 선점했다.
Omniverse 플랫폼을 자사 라인에 투입해 설계 오차율을 절반으로 낮추고 있으며, 이 경험이 다시 FOX 블루프린트의 레퍼런스 케이스가 된다.
폭스콘이 엔비디아의 고객이자 엔비디아의 마케팅 도구가 되는 순환 구조다.
광달은 산하 QCT(Quanta Cloud Technology)를 통해 하이퍼스케일러 고객 맞춤형 네트워크와 랙 레이아웃을 가장 신속하게 설계하고 납품하는 강자 위치를 굳혔다.
표준화된 루빈 NVL72 랙이 기본이지만, 구글, 마이크로소프트, 아마존 같은 대형 클라우드 사업자들은 자사의 데이터센터 설계에 맞는 커스텀 변형을 요구한다. 이 변형 설계 속도가 차별화 포인트다.
위스트론은 중국 본토 인력 의존도를 끊고 대만 자국 내 자동화 엔지니어링 체계로 전환을 완수해 공급망 신뢰 리스크를 제거했다.
미중 지정학적 긴장이 고조되는 상황에서 대만 본토 생산 역량 확보는 단순한 효율 문제가 아니라 고객들의 공급망 안전 요구에 대한 전략적 응답이다.
에너지 변환의 지배자들. 랙당 220kW가 소비된다는 것은, 전압 변환 과정의 1% 효율 손실만으로도 2kW가 넘는 무임승차 열이 추가 발생한다는 뜻이다. 이 열을 냉각하는 데 또 에너지가 들고, 그 에너지가 또 열을 만든다. 전력 변환 효율 1퍼센트의 차이가 냉각 설비 규모와 전기요금에 연쇄적 영향을 미친다.
델타 일렉트로닉스(Delta Electronics)는 800V HVDC 변환 버스바 아키텍처와 고속 디지털 고체 변압기(SST) 설루션을 개발해 실전 검증 단계에 진입시켰다.
자사 SmartDesign 설계 플랫폼에 AI 가속 설루션을 결합해 설계 주기를 절반으로 단축했다.
라이트온(Lite-On)은 전력 계통 흔들림 시에도 연산 데이터가 증발하지 않도록 고출력 배터리 백업 전력 팩(BBU)을 맞춤 공급한다.
수냉 루프의 장인들. AVC와 Auras Technology는 냉각 배관의 수압을 정밀 제어하는 매니폴드와 무누수 밸브 모듈을 장악하고 있다.
쿨러마스터(Cooler Master)는 33년의 열 제어 설계 노하우를 바탕으로 MGX 기반 랙 구조물의 전용 구리 콜드플레이트와 펌프 장치를 자동화 라인에서 대량 생산한다.
이들이 제공하는 부품들은 단가는 낮지만, 이 부품들 없이는 루빈 NVL72가 작동하지 않는다.
공급망에서 가장 조용하지만 가장 필수적인 연결 고리들이다.
한국: HBM4 파트너십의 의미
Computex 2026 직전, 타이베이에서 엔비디아가 처음으로 한국 협력사만을 위한 단독 행사를 열었다.** ‘Korea Partner Night’. **
이 행사가 의미하는 것은 의전이 아니다. 엔비디아가 처음으로 대만 밖의 제조 파트너들에게 별도의 플랫폼을 제공했다는 신호다.
SK하이닉스와 삼성전자. 베라 루빈의 핵심 성능을 결정짓는 HBM4(6세대 고대역폭 메모리)를 만드는 나라다. GPU당 22 TB/s의 대역폭은 HBM4 없이는 불가능하다.
HBM의 구조는 독특하다. 여러 개의 D램 다이를 수직으로 쌓아 올리고,
이를 기판(베이스 다이) 위에 얹어 GPU와 2.5D 방식으로 나란히 배치한다.
메모리와 프로세서 사이의 물리적 거리가 극도로 짧아지므로 대역폭이 급증한다.
HBM4 세대부터는 이 베이스 다이의 제조 공정이 달라진다.
기존 메모리 공정으로는 베이스 다이의 내부 로직을 구현하기 어렵기 때문에, 최첨단 파운드리 미세 공정으로 전환해야 한다. 이것이 핵심이다.
SK하이닉스와 삼성전자가 메모리 스택을 설계하고 생산하지만, 베이스 다이는 TSMC의 고급 공정에서 나온다.
두 나라의 기술이 문자 그대로 한 패키지 안에 봉합된다.
한국의 메모리 공학 없이는 HBM4가 없고, 대만의 파운드리 공정 없이는 HBM4 베이스 다이가 없으며, 이 둘 없이는 루빈 GPU가 없다. 세 나라의 기술 종속 구조가 루빈 하나의 패키지 안에 집약되어 있다.
이 메모리 동맹 외에도 한국의 기술 생태계는 넓게 연결된다.
**네이버 클라우드(Naver Cloud)**는 한국어 특화 모델을 기반으로 자국 데이터를 해외 클라우드에 의존하지 않겠다는 소버린 AI(Sovereign AI) 전략을 실행 중이다.
두산(Doosan)과 LG전자는 자율 제조 공정의 핵심 제어 기술 확보와 스마트 팩토리 전환을 추진하고 있다.
이들은 단순 칩 구매자가 아니다.
인공지능이 물리적 현장을 정밀 제어하는 자율 물리 공장(Autonomous Physical Factory) 시대의 최우선 기술 동맹으로 포지셔닝하고 있다.
Korea Partner Night는 이 포지셔닝에 대한 엔비디아의 공식 인정이었다.
7장. 주머니 속의 작은 거인: RTX Spark와 온디바이스 에이전트
엔비디아는 데이터센터 시장을 장악한 뒤 개인용 기기 시장에도 쐐기를 박는다. 그 도구가 RTX Spark(RTX 스파크)다.
RTX Spark는 단일 실리콘 위에 20코어 Arm Olympus CPU와 6,144개의 CUDA 코어를 품은 Blackwell 세대 가속기를 하나로 합친 칩셋이다.
마이크로소프트와 협업하여 개인용 AI PC 시장을 겨냥했다.
결정적 혁신은 128GB 통합 단일 메모리(Unified Memory)다.
-> CPU와 GPU가 동일한 메모리 공간을 공유한다. 기존 개인용 그래픽 카드는 VRAM이 16GB에서 24GB 수준으로 제한되어 매개변수가 천억 개를 넘는 대형 모델은 실행 자체가 불가능했다. 모델을 VRAM에 통째로 올릴 수 없으면, 연산할 때마다 필요한 부분을 시스템 메모리에서 불러오는 작업이 반복되어 속도가 10배에서 100배까지 느려진다.
RTX Spark는 이 경계를 허물어 1,200억 개의 매개변수를 가진 모델을 네트워크 없는 환경에서 로컬 단독으로 초당 수십 토큰 속도로 구동한다.
비행기 안, 지하실, 인터넷이 차단된 기업 내부망 환경에서도 프론티어급 AI 추론이 가능해진다.
실용적 함의는 세 가지다.
**첫째, 비용이다. **
클라우드 AI 서비스는 질문을 던질 때마다 토큰 단위로 비용이 청구된다.
로컬에서 모델을 구동하면 이 비용이 사라진다.
-> 개인 사용자에게는 사소해 보이지만, 에이전트가 수천 번의 서브태스크를 수행하는 기업 환경에서는 비용 구조가 근본적으로 바뀐다.
하루에 수백만 토큰을 소비하는 에이전트 서비스를 클라우드로 운영하면 월 수천만 원이 넘는 API 비용이 발생하지만, 온디바이스로 전환하면 이 비용이 하드웨어 구매 비용으로 일회성 처리된다.
**둘째, 프라이버시다. **
사용자의 모든 데이터가 기기 내부에서만 처리된다. 외부 서버로 전송되지 않는다. 기
업 대외비 문서, 개인 의료 기록, 금융 데이터 — 이 모두가 온디바이스에서만 다뤄진다.
클라우드 AI 사용을 금지하는 규제 환경(금융, 의료, 법률, 국방)에서도 AI 기능을 도입할 수 있는 길이 열린다.
셋째, 엔비디아의 전략적 계산이다.
전 세계 소프트웨어 개발자들이 RTX Spark가 장착된 랩톱 위에서 AI 서비스를 개발하기 시작하면, 그들은 오랫동안 엔비디아가 다듬어온 CUDA 라이브러리에 익숙해진다.
이들이 만든 서비스를 클라우드에 배포하는 순간, 그들은 이미 엔비디아의 가속 하드웨어 생태계 안에 있다.
개발자를 로컬에서 길들이고, 배포 단계에서 데이터센터 고객으로 전환하는 파이프라인이다. 하드웨어 판매와 개발자 생태계를 단일 제품으로 엮는 구조적 설계다.
8장. 전환점: 우리가 목격하는 것의 정체
이쯤에서 한 발 물러서야 한다.
엔비디아가 공개한 수치들은 압도적이다.
베라 루빈의 토큰 생산 효율은 전 세대의 10분의 1이고, 성능은 5배다.
FOX 블루프린트를 도입한 공장들은 두 자릿수 비용 절감을 달성했다. RTX Spark는 대형 모델을 랩톱에서 돌린다.
그러나 이 수치들이 가리키는 진짜 의미는 숫자 자체에 있지 않다.
첫번째 변화는 컴퓨팅의 가치 측정 기준이 바뀌고 있다.
‘코어당 가격(Cores per Dollar)‘이나 ‘기가플롭스당 가격’이 아니라 ‘달러당 토큰(Tokens per Dollar)‘이다.
이것은 컴퓨팅 인프라를 제조업의 언어로 재정의하는 것이다.
단위 시간당 산출량, 단위 비용당 생산량, 불량률, 가동률 — 이 공장의 KPI는 데이터센터의 언어가 아니라 제조 현장의 언어다.
컴퓨팅 업계가 IT 서비스업에서 제조업으로 자신을 재정의하는 순간이다.
**두 번째 변화는 병목의 위치 이동이다. **
지난 3년간 AI 인프라의 병목은 GPU 칩셋 자체였다. H100은 수요가 공급을 압도해 수십 주 대기 시간이 일상이었다.
지금 이 병목은 서서히 해소되고 있다. 그러나 새로운 병목이 나타나고 있다.
전력망 연동 지연, 초고압 변압기 리드타임 증가, 수냉 배관 정밀 제어 능력의 부족이다.
이것을 달리 말하면
이제 AI 팩토리의 확장 속도를 제한하는 것은 칩을 설계하고 생산하는 역량이 아니라, 칩에 전력을 공급하고 그 열을 식히는 역량이다.
새로운 변전소를 건설하는 데 수년이 걸린다. 초고압 변압기의 글로벌 리드타임은 이미 1년에서 2년을 넘겼다.
정밀 수냉 부품을 양산할 수 있는 제조사는 전 세계에 손에 꼽을 만큼 적다.
세 번째 변화는 지리적 집중도의 역설이다.
AI 팩토리 시대의 인프라는 대만과 한국의 반도체 제조 생태계에 그 어느 때보다 깊이 의존한다.
이것은 동시에 가장 강력한 성능과 가장 높은 지정학적 리스크를 함께 안는 구조다.
각국의 소버린 AI 흐름은 이 리스크를 분산하려는 반응이다.
그러나 핵심 반도체의 제조 능력은 단기간에 분산되지 않는다. 수십 년간 축적된 공정 노하우와 인재 생태계는 지도 위에 다른 장소를 그린다고 복제되지 않는다.
이 세 가지 변화가 수렴하는 지점에서 하나의 결론이 나온다.
**AI 팩토리 시대의 진입 장벽은 더 이상 AI 알고리즘 개발 역량이 아니다. **
전력을 공급하고, 열을 식히고, 광학으로 연결하고, 메모리 대역폭을 확보하는 물리적 인프라의 통제권이 다음 경쟁의 고지다.
9장. 마지막 질문: 지능 공장 이후의 세계
2026년 여름, 세계는 단 몇 개의 랙 캐비닛을 운영할 수 있는 기업과 그렇지 못한 기업으로 나뉘기 시작하고 있다.
이것은 처음 있는 일이 아니다.
1970년대에 메인프레임 컴퓨터를 가진 기업과 없는 기업이 나뉘었다.
1990년대에 인터넷에 연결된 기업과 연결되지 않은 기업이 나뉘었다.
2000년대에 클라우드를 사용하는 기업과 자체 서버를 유지하는 기업이 나뉘었다.
-> 매번 그 전환은 ‘그것도 결국 도구일 뿐’이라는 회의와 함께 왔고, 매번 그 도구를 먼저 장악한 쪽이 다음 10년을 지배했다.
지금 일어나는 일의 범위는 이전 전환들보다 넓다.
그것이 단지 하나의 산업이나 하나의 직군에 국한되지 않기 때문이다.
**에이전트 AI는 병원, 공장, 금융, 물류, 법률 서비스, 교육 — 어떤 분야에서든 ‘판단’과 ‘실행’ 사이의 속도를 바꾼다. **
반도체와 네트워킹이 어떤 건물에서만 사용되는 것이 아니라, 어디서나 생산되는 지능의 인프라가 된다.
남는 질문은 이것이다.
지능의 제조 비용이 10분의 1로 떨어지고, 지능의 공급이 무한에 가까워질 때, 지능 자체의 가치는 어떻게 재정의되는가.
공장이 대량 생산을 시작하면, 희소성이 사라지고 설계가 남는다.
**첫 번째 산업혁명이 수공예 장인의 손을 대체했을 때, 살아남은 가치는 기계가 모방할 수 없는 디자인 감각과 맥락 이해였다. **
두 번째 산업혁명이 규격화된 제품을 쏟아냈을 때, 살아남은 가치는 그 제품들의 쓰임을 상상하는 능력이었다.
세 번째 공장이 지능을 대량 생산하기 시작했다. 추론 능력, 언어 생성, 패턴 인식 — 이것들이 공장에서 나오기 시작하면, 다음에 희소해지는 것은 무엇인가.
이 질문에 대한 답은, 기계가 제공하지 않는다.
참고 문헌
- NVIDIA Factory Operations Blueprint Gives Factories a New AI Brain — Esther Lee (NVIDIA Blog)
- NVIDIA Vera Rubin Ramps Into Full Production to Power Agentic AI — NVIDIA News Room
- Nvidia’s Big Bet: Entering the AI Personal Computer Chip Market — Financial Times
- AI Factories: The New Infrastructure of Intelligence — NVIDIA Developer Blog
- AI Infrastructure Boom Puts NVIDIA and Taiwan at the Heart of Computex — Indian Express
- Nvidia enters Windows AI PC race with new RTX Spark chip — Indian Express
- TSMC Expands Use of NVIDIA AI Technologies Across Chip Production Operations — SemiWiki
- What Are the Differences Between AI Factories and Traditional Data Centers — Fortanix Blog
- AI Factory vs AI Data Center Design Requirements — Giga Energy
- What Makes an AI Factory Structurally Different — CtrlS Data Center Blog
- NVIDIA Unveils Vera, the CPU for Agents — NVIDIA News Room
- CoreWeave Becomes First to Deploy NVIDIA’s Vera Rubin NVL72 System — StreetInsider News
- Supermicro Reveals DCBBS blueprints for NVIDIA Vera Rubin NVL72 and HGX Rubin — Supermicro Press
- Silicon Photonics for AI Clusters: Performance and Reliability Metrics — Lambda Labs Blog
- Korea Emerges as a Core Nvidia Partner Beyond HBM at Computex — Choi Hyo-jung (Chosun Biz)