역사는 종종 아주 사소한, 때로는 하찮아 보이는 제약 조건에서 거대한 물줄기를 틀어버리곤 합니다.
만약 당신에게 2025년 현재 세계 시가총액 1위를 다투는 기업, 엔비디아(NVIDIA)가 오늘날의 영광을 누리게 된 결정적인 계기가 무엇이냐고 묻다면 무엇이라 답하시겠습니까?
많은 이들이 최신 칩인 H100이나 챗GPT의 등장을 떠올릴지 모릅니다.
하지만 그 시작점은 훨씬 더 초라하고, 극적인 순간에 있었습니다.
바로 2012년, 용산 전자상가에서도 흔히 볼 수 있었던 ‘GTX 580’ 그래픽카드 단 두 장이 쏘아 올린 작은 공이었습니다.
이 글은 수조 원의 슈퍼컴퓨터가 해결하지 못한 난제를 ‘가성비’ 장비로 해결하며 **‘딥러닝의 빅뱅(The Big Bang of Deep Learning)’**을 일으킨 알렉스넷(AlexNet)의 이야기이자,
그 불꽃을 놓치지 않고 숲 전체를 태우는 거대한 화염으로 키워낸 엔비디아의 위대한 공생에 관한 기록입니다.
1. 프롤로그: 2012년 피렌체, 6일간의 혁명
2012년 9월 30일, 이탈리아 피렌체에서 열린 컴퓨터 비전 학회(ECCV) 워크숍. 이곳의 공기는 평소와 달랐습니다.
당시 인공지능 학계는 수십 년간 지속된 ‘AI의 겨울(AI Winter)’ 속에 갇혀 있었습니다.
컴퓨터가 고양이 사진을 보고 “고양이"라고 맞추는 일조차 버거워하던 시절이었죠.
이미지넷(ImageNet) 경진대회에서 경쟁자들은 오류율 26%라는 통곡의 벽 앞에서 좌절하고 있었습니다.
그런데 토론토 대학의 **제프리 힌튼 교수팀(SuperVision)**이 내놓은 결과는 충격 그 자체였습니다.
오류율 15.3%.
기존 기록을 단숨에 10%포인트 이상 앞당긴 압도적인 수치였습니다.
더 놀라운 것은 이들이 사용한 장비였습니다.
수백억 원을 호가하는 대학의 슈퍼컴퓨터가 아니라, _단 6일간 두 개의 소비자용 GPU(GTX 580)를 돌려 얻은 결과_였기 때문입니다.
이 순간은 훗날 젠슨 황에 의해 “AI의 빅뱅"이라 명명됩니다.
2. 암흑기: ‘고양이’를 알아보지 못하던 슈퍼컴퓨터
2012년 이전으로 시계를 잠시 돌려봅시다.
당시 컴퓨터 비전 기술은 인간의 직관에 의존하는 ‘수작업 특징(Hand-crafted Features)’ 방식이 주류였습니다.
“고양이는 귀가 뾰족하다.”
“눈은 타원형이다.”
“수염이 있다.”
연구자들은 이런 규칙을 수학적으로 정의(SIFT, HOG 등)하려 애썼습니다. 하지만 현실은 냉혹했습니다.
웅크린 고양이, 뒷모습만 보이는 고양이, 어둠 속에 숨은 고양이… 인간이 미리 입력하지 않은 변수 앞에서 알고리즘은 속수무책이었습니다.
전문가들은 이를 0과 1로 된 데이터와 실제 개념 사이의 건널 수 없는 강, **‘의미론적 격차(Semantic Gap)’**라 불렀습니다.
구글조차 16,000개의 CPU 코어를 동원해 고양이 얼굴 찾기 실험을 했지만, 비용 대비 효율은 처참했습니다.
엔비디아 역시 답답하긴 마찬가지였습니다.
2006년 야심 차게 GPU를 범용 연산에 쓸 수 있는 CUDA(쿠다) 플랫폼을 내놓았지만, 이를 제대로 써먹을 ‘킬러 앱’이 없었기 때문입니다.
시장은 그들을 그저 ‘게임용 부품 회사’로만 취급했습니다.
3. 결핍이 만든 천재성: 3GB 메모리의 한계를 넘어서
알렉스넷의 주저자 알렉스 크리제브스키(Alex Krizhevsky)는 **심층 신경망(Deep Neural Networks)**만이 정답임을 직감했습니다.
문제는 연산량이었습니다. 가난한 대학원생이 가진 무기는 연구실에 굴러다니는 GTX 580 두 장뿐이었습니다.
여기서 역사적인 ‘결핍’이 발생합니다. GTX 580의 비디오 메모리(VRAM)는 고작 3GB였습니다.
6,000만 개의 파라미터와 65만 개의 뉴런을 가진 거대 신경망을 담기에는 턱없이 부족한 용량이었습니다.
보통 사람이라면 “장비가 안 좋아서 못 해"라고 포기했을 상황입니다. 하지만 이들은 이 제약 조건을 공학적 천재성으로 승화시킵니다.
“뇌를 두 개로 쪼개자”
그들은 신경망을 절반으로 뚝 잘라 두 개의 GPU에 나눠 담았습니다.
이것이 바로 **그룹 합성곱(Grouped Convolutions)**과 **모델 병렬화(Model Parallelism)**의 시초가 됩니다.
병렬 처리의 극대화: 두 GPU는 각자 열심히 계산하다가, 정보 교환이 반드시 필요한 층(Layer)에서만 데이터를 주고받았습니다. 통신 병목을 최소화한 것입니다.
가속된 피드백: CPU로 몇 달이 걸릴 학습을 6일로 단축시키며, 실험과 실패를 미친 듯이 반복할 수 있게 되었습니다.
ReLU의 도입: 복잡한 함수 대신 $f(x)=max(0,x)$라는 단순 무식해 보이는 ReLU 함수를 도입해 학습 속도를 6배 더 가속했습니다.
아이러니하게도, _‘메모리 부족’이라는 하드웨어의 한계를 극복하려는 ‘꼼수’가 현대 AI 아키텍처의 표준을 만들어버린 것_입니다.
!(https://nvidianews.nvidia.com/flickr/images/72157714138767988/original.jpg ‘AI 시대를 선포하며 로드맵을 발표하는 젠슨 황 CEO’)
4. 젠슨 황의 도박: “회사를 건 베팅 (Bet the Company)”
알렉스넷의 성공을 본 엔비디아의 CEO 젠슨 황은 전율했습니다.
그는 본능적으로 깨달았습니다.
“앞으로의 소프트웨어는 인간이 코딩하는 것이 아니라, 데이터가 코딩하게 될 것이다.”
2013년, 그는 엔비디아의 모든 자원을 AI에 쏟아붓는 결단을 내립니다.
사내에서는 이를 **“회사를 건 베팅(Bet the Company)”**이라고 불렀습니다.
당시 잘나가는 게임 수익을 불확실한 AI라는 블랙홀에 쏟아붓는 것은 미친 도박처럼 보였습니다.
하지만 그는 흔들리지 않고 세 가지 변화를 주도했습니다.
하드웨어의 재정의: GPU 아키텍처를 그래픽 렌더링(그리기) 중심에서 행렬 연산(계산하기) 중심으로 완전히 뜯어고쳤습니다.
생태계 구축 (Moat): 연구자들이 하드웨어를 몰라도 딥러닝을 할 수 있도록 cuDNN이라는 라이브러리를 배포했습니다. 이는 **텐서플로우나 파이토치가 엔비디아 위에서만 돌아가게 만드는 강력한 해자(Moat)**가 되었습니다.
시스템 기업으로의 진화: 2016년, 세계 최초 AI 슈퍼컴퓨터 DGX-1을 만들어 OpenAI에 직접 배달했습니다. 단순 부품사가 아닌 **‘AI 인프라 기업’**이 되겠다는 선언이었습니다.
5. 공진화(Co-evolution): 소프트웨어가 하드웨어를 조각하다
알렉스넷 이후 지난 10년은 소프트웨어와 하드웨어의 완벽한 2인무(Pas de deux)였습니다.
이를 **‘소프트웨어 정의 하드웨어(Software-Defined Hardware)’**라고 부릅니다.
AI 모델이 진화하면, 칩도 그에 맞춰 진화했습니다.
Pascal (2016): 알렉스넷 때 겪었던 통신 병목을 없애기 위해 NVLink라는 초고속 도로를 뚫었습니다. 이제 GPU 8개가 마치 하나의 거대한 칩처럼 움직입니다.
Volta (2017): 딥러닝의 핵심인 행렬 곱셈만을 미친 듯이 처리하는 **‘텐서 코어(Tensor Core)’**를 칩 안에 심었습니다.
Hopper (2022) & Blackwell (2024): 트랜스포머(Transformer)와 LLM을 위해 8비트(FP8), 4비트(FP4) 연산까지 지원하며 메모리 대역폭을 극단적으로 늘렸습니다.
12년 전 3GB 메모리에 허덕이던 그 기술은, 이제 수조 개의 파라미터를 삼키는 192GB HBM3e 메모리를 탑재한 괴물(B200)로 진화했습니다.
6. 게이머의 장난감에서 ‘지능 공장(AI Factory)‘으로
이러한 기술적 진보는 경제 지형도를 송두리째 바꿨습니다.
2012년 시가총액 8조 원에 불과했던 엔비디아는 2025년 4조 달러(약 5,500조 원) 기업이 되었습니다.
더 놀라운 건 매출 구조의 변화입니다.
과거 엔비디아의 돈줄은 PC방과 게이머였습니다.
하지만 지금은 매출의 80% 이상이 데이터센터에서 나옵니다.
아마존, 구글, 마이크로소프트가 엔비디아 GPU를 사려고 줄을 섭니다.
젠슨 황의 표현대로, 데이터센터는 이제 데이터를 저장하는 창고가 아니라,
**데이터를 태워서 ‘지능(Intelligence)‘이라는 새로운 재화를 생산하는 “AI 팩토리”**가 되었습니다.
이 과정에서 SK하이닉스와 삼성전자 역시 HBM(고대역폭 메모리)이라는 고성능 연료를 공급하며 이 거대한 생태계의 필수 파트너로 자리 잡았습니다.
7. Next Wave: 죽었던 물리 엔진의 부활과 ‘물리적 AI’
이제 엔비디아는 _알렉스넷이 열었던 ‘인식’의 시대, 챗GPT가 연 ‘생성’의 시대를 넘어 새로운 전선을 준비 중_입니다.
바로 ‘물리적 AI(Physical AI)‘와 로보틱스입니다.
여기서 정말 흥미로운 기술의 재활용이 일어납니다.
혹시 옛날 게임을 좋아하시던 분들은 ‘PhysX’를 기억하시나요?
2008년 엔비디아가 인수했던, 게임 속에서 벽이 부서지고 망토가 펄럭이게 하던 물리 엔진입니다.
한동안은 “그래픽 좀 예쁘게 만드는” 부가 기능 취급을 받았습니다.
그런데 AI 시대가 도래하자 이 기술이 화려하게 부활했습니다.
로봇을 현실에서 학습시키면 넘어지고 부서지기 일쑤입니다. _그래서 가상 공간(Sim-to-Real)에서 학습시켜야 하는데, 이때 중력, 마찰, 충돌을 완벽하게 계산해 줄 시뮬레이터가 필요해진 것입_니다.
엔비디아의 로보틱스 플랫폼 ‘아이작(Isaac)’은 옛날 게임용 물리 엔진 기술을 기반으로 수천만 대의 로봇을 가상 세계에서 동시에 훈련시킵니다.
20년 전 게이머를 즐겁게 하던 기술이, 이제는 휴머노이드 로봇의 소뇌(Cerebellum)를 만드는 핵심 인프라가 된 것입니다.
8. 에필로그: 인식을 넘어 행동하는 지성으로
정리해 봅시다.
2012년 알렉스넷: 컴퓨터에게 **‘눈(Vision)’**을 달아주었습니다.
2022년 ChatGPT: 컴퓨터에게 **‘입(Language)’**을 달아주었습니다.
Next NVIDIA: 이제 컴퓨터에게 **‘몸(Body)’**을 달아주려 합니다.
학습(Training)에서 추론(Inference)으로, 가상의 지능에서 물리적 지능으로 나아가는 이 여정의 중심에는 언제나 하드웨어와 소프트웨어의 치열한 공생이 있었습니다.
만약 그때 GTX 580의 메모리가 넉넉했다면 어땠을까요?
어쩌면 ‘병렬 처리’라는 혁명적 아이디어는 나오지 않았을지도 모릅니다.
혁신은 풍요 속에서 나오기도 하지만, 때로는 “결핍을 극복하려는 처절한 시도” 속에서 가장 빛나는 모습으로 탄생합니다.
우리는 지금 그 결핍이 만들어낸 4조 달러짜리 불꽃놀이의 한가운데 서 있습니다.
다음 불꽃은 어디서 튀어 오를까요? 그것은 또 다른 누군가의 ‘결핍’ 속에 숨어 있을지도 모릅니다.
참고자료
- ImageNet Classification with Deep Convolutional Neural Networks \[AlexNet Paper\]
2. NVIDIA: The Complete History and Strategy
\[Acquired Podcast\]3. Jensen Huang on the future of physical AI and robotics
\[The Economist\]4. The Intelligent Industrial Revolution: How AI Transforms Manufacturing
\[NVIDIA Blog\]