지난 글에서 생성형 AI 시대를 위해 NVIDIA가 무엇을 준비하고 있는지 살펴봤다. Blackwell을 앞세운 AI 인프라에 더해 NIM과 Omniverse, 그리고 휴머노이드 로봇까지. NVIDIA의 미래는 마냥 창창해 보인다. 그런데 일각에서는 이러한 NVIDIA의 독주를 우려하는 목소리도 나온다. 그 이야길 해보려 한다.
AI 파운드리를 선언한 NVIDIA의 미래는 어떻게 흘러갈까?
지금까지 살펴본 내용을 토대로 생각해보면, NVIDIA의 앞날은 여전히 장미빛인 것 같다. 지금이라도 NVIDIA 주식을 사야 할까? 설마 지금이 바닥인가? 라고 생각하는 이들도 있을거다. 그런데 너무 NVIDIA가 잘나가서 NVIDIA를 시기하는 것인지, 아니면 정말 NVIDIA가 이제 슬슬 한계에 다다르고 있다고 여기는 것인지는 잘 모르겠지만, NVIDIA도 마냥 안심하고 있을 수는 없는 상황이라는 목소리도 있다.
NVIDIA의 대안, 반 NVIDIA 연합이 물꼬를 트기 시작했다
ChatGPT 출시 이후 생성형 AI에 대한 관심이 폭발적으로 증가하면서 NVIDIA의 데이터센터 GPU, 특히 H100의 수요가 폭증했고, AI 반도체 시장에서 NVIDIA의 점유율은 90%가 넘는 독점 체제를 공고히 다지고 있다. 그러면서 전 세계 시가총액 3위의 자리까지 올라왔다. 그런데 이 구조를 깨야 한다는 목소리들이 나오기 시작했다.
‘생성형 AI가 중요한 것은 인정, 그런데 꼭 NVIDIA의 GPU를 써야 해? 좀 더 생성형 AI에 최적화된 AI 전용 반도체가 더 낫지 않을까?’ 라는 움직임의 일환으로 생성형 AI 훈련에 활용할 전용 반도체, NVIDIA의 대안을 찾아야 한다는 목소리가 나오고 있다는 것이다. NVIDIA H100 GPU가 참 좋은데 너무 비싸고 공급이 원활하지 않은 것도 이러한 움직임을 뒷받침하는 주요 요인이다.
그래서 주목받고 있는 것이 NPU(Neural network Processing Unit), 인공 신경망 프로세싱 유닛이다. 생성형 AI 학습쪽은 NVIDIA가 꽉 잡고 있으니, 상대적으로 적은 컴퓨팅 자원이 요구되는 AI 추론 영역에 NVIDIA GPU가 아닌 NPU를 활용하는 것이 다 낫다라는 것이 다양한 미디어를 비롯해 AI 반도체 스타트업들이 주장하고 있다.
그런데 이 그래프를 보면, AI 추론에 집중해서 NVIDIA의 아성에 도전하려는 NPU 업체들은 아직 갈 길이 먼 것 같다고 느낄 수 있을 것 같다. NVIDIA는 이번 Blackwell 아키텍처를 발표하면서 FP4 연산과 GB200에 적용된 2세대 트랜스포머 엔진을 발표했는데, 여기에 NVLink Switch까지 가세하면서 추론 성능이 엄청나게 증가했다. 생성형 AI의 추론 성능에서 매우 중요한 지표인 초당 토큰 생성량이 H200 FP8 성능보다 GB200 FP4 성능이 무려 30배나 더 뛰어나다고 한다.
그렇다면 왜 갑자기 NVIDIA는 FP4를 제시한 것일까? 2022년 9월, NVIDIA는 AI 추론에 있어 메모리 사용량을 줄이고 AI 추론에서 더 빠른 성능을 확보하기 위해 FP8을 표준으로 제안했다. 일반적으로 AI 학습 및 추론에 많이 활용되는 FP16보다 속도를 대폭 향상시킬 수 있다는 것이 그 이유인데, 이번 GB200을 발표하면서 FP4도 지원한다고 발표했다..
이렇게 FP 연산 단계가 낮아질 수록 메모리 사용량은 줄어들고 AI 추론 성능은 향상시킬 수 있지만 정확도는 그만큼 희생된다. 그럼에도 불구하고 NVIDIA가 FP4와 같은 낮은 단계의 FP연산을 AI 추론에 활용하려는 것은 결국 작은 규모의 AI 모델들을 위한 추론 성능 효율성까지 잡으려는 것으로 볼 수 있다. NPU 업체들의 공격에 충분히 대응할 수 있는 포석이라는 생각이 든다.
NVIDIA의 미래를 위협하는 또 다른 움직임, 경량화된 AI 모델 수요의 증가
NPU 말고 업계의 AI 업계의 또 다른 커다란 움직임은 온디아비스 AI다. 2023년 출시된 Google의 Pixel 8 Pro, 그리고 2024년 초 출시된 갤럭시 S24의 AI 기능 덕분에 올해 AI 업계에 가장 큰 화두로 떠오른 것은 온디바이스 AI라고 봐도 될 듯 하다. 게다가 이미 Intel과 AMD는 자사의 CPU에 NPU를 탑재한 새로운 프로세서를 발표하면서 노트북에서 직접 구동하는 AI를 강조하고 있다. 이처럼 AI 모델을 별도의 데이터센터 인프라가 아닌 내가 가지고 있는 기기, 내 손안에 있는 기기에서 구동할 수 있는 온디바이스 AI가 중요해 질 것이다는 목소리가 점점 커지는 중이다.
그리고 이러한 온디바이스 AI를 위해서는 AI 모델의 경량화가 필수고, 이를 위한 다양한 기술들이 주목받고 있다. 게다가 LLM의 파라미터 수를 줄여 비용을 아끼고, 파인튜닝을 통해 성능을 끌어 올린, NVIDIA GPU 기반의 슈퍼 컴퓨팅 인프라가 없어도 되는 sLLM 역시 업계의 관심도가 점점 올라가고 있는 추세다.
하지만, 업계의 이러한 더 효율적인 AI 반도체, 온디바이스 AI와 sLLM과 같은 생성형 AI의 경량화 추세에도 불구하고, 소보로빵은 NVIDIA의 미래는 여전히 창창하다고 생각한다. 2세대 트랜스포머 엔진과 FP4 연산 지원으로 효율적인 AI 학습 및 추론 성능을 제공할 수 있는 Blackwell 아키텍처 GPU도 있지만, 더 중요한 것은 NVIDIA가 그리는 그림의 크기가 아닐까? NVIDIA가 매우 거대한 그림을 그리고 있는 것 같다.
영화에서 많이 접했듯이 미래는 결국 로봇이 대세가 될 것이고, 이 로봇의 두뇌에 해당하는 AI는 여러 분야에서 사용되는 로봇 마다 각기 다를 것이다. NVIDIA는 로봇의 두뇌가 될 생성형 AI가 새로운 산업혁명이라고 보고 있고, 그 산업혁명의 기반을 닦을 거대한 인프라와, 그 인프라에서 많은 사람들이 물고 뜯고 씹고 즐길 수 있는 NIM이라는 AI 모델 개발의 대중화를 가져올 서비스를 발표했다.
이번 GTC 2024 핵심정리 시리즈 첫 번째 글의 시작을 장식한 문장, 기억 하는가? ‘미래에는 데이터센터가 AI 공장이 될 것입니다.’ ‘TSMC는 반도체 파운드리, NVIDIA는 AI 파운드리입니다.’ 라는 문장 말이다. GTC 2024 키노트 세션에서 등장한 가장 인상적인 문장이라고 생각하는데, 이러한 NVIDIA 여정의 마지막 단계에는 휴머노이드 로봇이 있다. 거대한 AI 공장에서 끊임없이 생산되는 로봇, SF영화와 애니메이션에서나 보던 그 광경이 NVIDIA를 통해 실현 될 가능성이 점점 커져가는 것 같다.
물론 NVIDIA가 그 역할을 독점할 것이라고 보지는 않는다. 다만, NVIDIA의 한발 앞선 발걸음이 업계의 다른 기업들을 자극시키고, 함께 AI 분야를 발전시켜 나갈 것은 확실해 보인다. 이것이 소보로빵이 NVIDIA의 앞으로의 여정을, 미래를 긍정적으로 바라보고 있는 이유다. 진짜 NVIDIA가 다시 전세계 시총 1위 회사가 될 수 있을까? 될 수 있다고 본다. 정말 그런 미래가 다가올 지, 함께 지켜보자.
끝!
