AI 기술이 데이터 센터와 클라우드 운영에 있어 중요한 기술로 자리잡으면서, AI 인프라 시장에서 NVIDIA의 지배적 위치는 많은 기업에게 또 다른 고민거리를 안겨주었다. NVIDIA의 고가 정책과 시장 독점은 NVIDIA를 전 세계 시총 1위 기업으로 올려놨지만, 기업들의 AI 인프라 비용의 급증을 초래했기 때문인데, 이로 인해 기업들은 AI 인프라 구축에 있어 비용 효율성을 따질 수 밖에 없게 됐다. NVIDIA가 좋은 건 알겠는데, 해도해도 너무 한다는 인식이 확산된 탓이다. 이 때문에 AI 인프라 시장에는 탈 NVIDIA라는 바람이 감지되고 있다. 과연 Intel의 미래는 어찌 될까? 그 얘기를 해보려 한다.
NVIDIA GPU의 수요 폭발에 따른 부작용
NVIDIA가 GPU 가격을 올리고 있다
출시된 지 2년차지만 여전히 NVIDIA AI 가속기의 주력인 H100 GPU는 수요가 공급을 웃도는 현상을 보여주고 있다. 이 때문에 NVIDIA H100 GPU의 가격이 폭등, 최근에는 대당 6천만원에 달한다는 기사가 나온바 있다. 게다가 곧 본격적으로 출하될 것으로 예상되는 신제품 B200은 아예 NVIDIA가 공식적으로 이전 세대 대비 가격을 20% 이상 인상했는데, 최근 공개된 서버 공급 업체의 가격에 따르면 NVIDIA B200 8개를 장착한 NVIDIA HGX-B200 1대의 가격은 51만 달러, 한화 약 7억원 수준으로 밝혀졌다. 이 가격은 전 세대 HGX-H100의 40만 달러보다 20% 이상 비싼 금액이다.
이러한 가격 인상에도 NVIDIA가 배짱을 부릴 수 있는 이유는 역시나 엄청난 대기수요 덕분. AI 경쟁에서 살아남기 위해, 빅테크 기업과 하이퍼스케일러들은 보유 중인 NVIDIA GPU를 계속해서 늘려나가는 중이다. LLM의 파라미터 수 = AI 성능 수준이라는 세간의 인식이 여전히 존재하고 있기에, GPT와 같은 LLM 학습에 최적화된 성능을 자랑하는 NVIDIA GPU는 여전히 초 인기 제품인 것이다. 하지만, 가격 인상 폭이 도를 넘은 것 같다. 하이퍼스케일러들조차 다른 방향을 찾아야 하는거 아니냐고 입을 모으고 있는데, 일반 기업은 오죽 할까.NVIDIA의 대안이 그 어느때보다 주목받고 있는 시기가 됐다.
하이퍼스케일러의 자체 칩 개발 시도
AWS, Google과 같은 하이퍼스케일러 기업들은 NVIDIA의 의존도를 줄이고, 비용 효율적인 AI 인프라를 구축하기 위해 자체 AI 칩 개발에 주력하고 있다. AWS는 자체 개발한 추론 용 Inferentia, 고성능 딥러닝 및 LLM 모델 학습 용 Trainium 칩을 통해 AI 추론과 학습 작업에서 비용 절감과 성능 최적화를 동시에 실현하기 위해 노력 중이다.
그리고 Google은 2016년에 TPU(Tensor Processing Unit)을 출시, 2024년 5월 기준 V6e 까지 발전시킬 정도로 일찌감치 AI 학습 및 추론 성능 확보를 위해 많은 노력을 기울여 왔다. 사실 Google은 Gemini라는 자체 LLM 모델 훈련을 위해 이미 NVIDIA A100과 H100을 2만대 넘게 보유하고 있다고 알려져있지만, 점차적으로 자사의 TPU 비중을 높여 NVIDIA 비중을 낮추려는 시도를 꾸준히 할 것으로 보인다.
Meta 역시 자체 AI 학습 및 추론 칩인 MTIA(Meta Training and Inference Accelerator) 2세대를 2024년 4월에 발표했는데, 1세대가 아닌 2세대인 것을 보면 앞으로도 지속적으로 발전시켜 나갈 것으로 예상된다. Meta는 전 세계에서 NVIDIA GPU를 가장 많이 보유한 것으로(2024년까지 35만대 보유 계획 발표) 알려져 있지만, 이렇게 자체 칩 개발을 포기하지 않는 것을 보면, 미래는 결국 탈 NVIDIA라고 인식하고 있는 것이 아닌가 싶다.
반(反) NVIDIA 공감대 형성과 Intel의 부상
NVIDIA의 가격 정책과 독점적 생태계에 대한 불만이 커지고 있지만, 그럼에도 불구하고 NVIDIA GPU에 대한 수요는 매우 높은 것이 사실이다. 그래서 NVIDIA의 최신 데이터 센터 GPU인 B200도 본격적으로 출하가 시작되면 모두 하이퍼스케일러에게 가버려서 일반 기업들은 당분간 이전 세대인 H100을 구입해야 하는 상황으로 알려져있다. 그런데 이 H100 마저도 앞서 언급한 대로 가격이 꽤 올라버렸다.
그래서, 어차피 NVIDIA의 신제품 수혜를 받지 못하는 기업들, NVIDIA의 고 비용 정책이 부담스러운 기업들은 NVIDIA가 아닌 대안을 찾기 시작했는데, 현재 시점에서 NVIDIA의 좋은 대체제로 각광받고 있는 곳 중 하나가 바로 Intel이다.
Gaudi 3는 은 지난 2024년 4월에 발표되어 3분기부터 고객에게 인도되고 있다. 지난 글에서 Gaudi 3의 성능이 어느 정도인지, 가격은 얼마나 되는지 자세히 소개했었다. AI 가속기 시장은 여전히 NVIDIA가 가장 앞서나가고 있긴 하지만, 인텔도 충분히 대체제로써 자리매김할 수 있는 가능성이 있다고 봐도 될 것 같다. 어쨌든 하이퍼스케일러들은 NVIDIA의 최 우선 고객이니 NVIDIA로부터 GPU를 공급받는 데에 큰 문제는 없을테니 말이다.
하지만 중견 이하의 기업들은 상황이 다르다. 그들은 NVIDIA GPU가 너무 비싸서 도입하기 어려운 문제를 가지고 있지만, 웃돈을 주더라도 사지 못하는 안타까운 상황에 놓인 것도 사실이다. 그래서 이들에게는 NVIDIA를 대체하면서, 비용과 성능 두 마리 토끼를 모두 잡을 수 있는 또 다른 옵션이 필요하다. AI를 개발하기 위해 마냥 손놓고 NVIDIA가 GPU 줄 때까지 기다릴 수는 없는 노릇. 그 옵션으로 Intel Gaudi 3가 선택받을 수 있지 않을까?
그래서, Intel Gaudi를 기업들이 많이 쓰고 있을까?
GPU 기반의 AI 인프라 구축은 규모가 매우 큰, 비용이 많이 드는 프로젝트다. 그래서 IT 담당자 입장에서는 추진하는 데에 신중할 수밖에 없을 텐데, 그렇기 때문에 이들은 검증된 NVIDIA를 도입하고 싶어 할 것이다. 하지만 가격이 너무 비싸 경영진의 승인을 받기 매우 어렵다. 그렇다고 AI 인프라 구축을 계속 미룰 수도 없는 노릇. 대체재로 Intel Gaudi를 선택하자니 사례가 별로 없는 것 같아 불안할 수 있다. 그래서 두 가지 사례를 가져왔다.
Intel Gaudi 2를 테스트하고 있는 네이버
2024년 4월, 네이버와 Intel은 AI 반도체 분야에서 협력을 발표했다. 네이버클라우드는 가우디를 활용해 자사의 LLM ‘하이퍼클로바X’의 학습 및 추론에 활용, AI 사업의 수익화를 자신하고 있다고 한다. 네이버는 Intel Vision 2024 행사에서 연사로 나와 하이퍼클로바X를 탑재한 유료 클라우드 제품의 납품이 순조롭게 진행 중이며, 한국은행, 한국수력원자력, HD현대 등과의 협력을 통해 연내 사업적 성과를 발표할 계획이라고 밝혔다.
네이버는 현재 Gaudi 2를 테스트하고 있는데, 기대보다 성능이 뛰어나다는 피드백을 줬다고 한다. AI 모델 학습 및 추론을 위해 GPU를 활용할 때 중요한 것은 메모리 사용률인데, 내부 테스트 결과 가우디의 메모리 사용 효율이 매우 높아 성능이 잘 나왔다는 후문이다. 이런 기조가 유지된다면 조만간 가우디 3로 넘어가지 않을까?
또한, Intel과의 AI 칩 개발 협력이 차질 없이 진행되고 있으며, 이와 관련된 첫 매출도 발생했다고 한다. 사실 네이버는 2024년 1월 삼성전자와 협력해 AI칩 ‘마하 1’ 개발을 추진했었다가 9월 즈음 개발 중단을 발표했다. 이번 Intel과의 협력을 통해 네이버 자체 AI 칩 개발은 삼성전자가 아닌 Intel쪽으로 방향을 튼 것이 아닌가 싶다.
네이버, Intel, KAIST가 협력해 AI 공동연구센터 설립
2024년 5월에 네이버와 Intel은 KAIST와 함께 ‘네이버 – Intel – KAIST AI 공동연구센터(NIK AI Research Center)’를 설립하기로 합의했다. 이 센터는 AI 반도체와 서버, 데이터센터의 성능 개선을 위한 오픈소스 소프트웨어 개발을 목표로 하고 있다. KAIST 내부적으로도 AI 연구 수요가 많을텐데, 이를 위한 AI 모델 학습 및 추론 GPU로 Gaudi를 선택한 것이다.
단, KAIST가 Gaudi를 사용해 AI 인프라를 직접 구축하는 것은 아니고, 네이버가 자사의 데이터 센터에 Gaudi 기반의 AI 인프라를 구현 후 KAIST에 제공하는 형태로 진행된다고 한다. KAIST가 네이버 클라우드 플랫폼에 접속해 Gaudi를 사용해서 AI 연구를 하는 셈이다. 어쨌든 이번 협력 덕분에 KAIST의 AI 및 소프트웨어 전공 교수진과 대학원생들이 한국의 AI 반도체 생태계 구축에 크게 기여할 수 있을 것으로 기대된다.
이번 3자 협력을 통해, 네이버는 AI 서비스의 품질과 효율성을 높일 수 있고, Intel은 AI 반도체 시장에서 Gaudi의 입지를 강화할 수 있다. KAIST는 AI 연구 성과의 산업화를 촉진하고, 학생들에게 실질적인 연구 경험을 제공할 수 있게 될거다. 이번 협력이 성공적으로 마무리된다면 국내의 다양한 AI 스타트업과 연구기관들도 네이버-Intel이 제공하는 Gaudi 인프라를 활용할 수 있는 길이 열리지 않을까?
Intel의 미래는 장미빛일까? Intel에게 조금씩 열리는 AI 가속기 시장이지만, 아직 멀었다
Intel Gaudi 3는 AI 가속기 시장에서 NVIDIA와 경쟁하며 주목받고 있지만, 그래도 아직 갈 길이 멀다. 위 표처럼, 여전히 NVIDIA는 저 꼭대기에 있고 Intel은 AMD보다도 점유율이 낮은 수준이다. Microsoft 기술 연구원 Eric Flaningam에 따르면 2023년 기준 NVIDIA의 데이터센터 GPU 매출은 약 50조원으로 AMD의 약 6,454억원, 인텔의 약 4,200억원을 아득히 앞서고 있다. 2024년 실적 역시 3사가 고르게 성장하고 점유율도 AMD와 Intel의 비중이 살짝 높아지는 정도인데, 이 정도 차이면 사실 NVIDIA는 Intel을, 심지어 AMD도 경쟁 상대로 여기지 않을 것 같다.
그럼에도 불구하고 AI 가속기 시장은 앞으로 더 커질 것이고, NVIDIA는 계속 가격을 올릴 것이고, 반 NVIDIA 연대의 목소리를 더욱 커질질 전망이다. Intel 입장에서는 절호의 기회를 잡은 셈인데, 그 기회를 놓치지 않기 위해서는 각고의 노력이 필요할거다. 그 노력의 일환으로 고려해야 할 것들을 짚어보자.
Gaudi 보급의 성공 열쇠, SynapseAI에 대한 지속적인 투자
Intel의 SynapseAI 소프트웨어 스택은 Gaudi GPU를 AI 연구에 활용하기 위해 설계된 필수 도구로, GPU 성능 최적화와 AI 개발자들의 워크로드 처리를 돕는다. SynapseAI는 NVIDIA의 CUDA와 마찬가지로, AI 프레임워크와 GPU 하드웨어 간의 상호작용을 지원하고 있다.
그러나, NVIDIA GPU에서 Gaudi GPU로 전환할 경우, CUDA 기반 코드의 일부를 수정해야 한다. 하지만 SynapseAI는 TensorFlow, PyTorch와 같은 주요 AI 프레임워크는 물론, Hugging Face와 같은 플랫폼과도 호환되기에, CUDA 기반 개발자들도 기존 코드를 상당 부분 재활용할 수 있어, GPU 전환 부담이 점차 줄어들고 있다.
자료의 해상도가 다소 떨어져 잘 안보이는데, 중요한 것은 CUDA 기반 코드의 전부를 다시 짤 필요가 없다는 것이다. 3-5줄 정도만 수정하면 되는데, PyTorch 프레임워크 기반에서 Python으로 개발한 코드의 경우 torch.cuda, torch.randn(device=”cuda”)와 같은 항목을 바꿔주면 된다. API를 호출할 때에도 심플하게 import habana framework.torch.gpu.migration을 추가하는 것 만으로 CUDA 코드를 SynanpseAI로 손쉽게 가져올 수 있다. 그리고 PyTorch에서 코드를 처음 짤 때에도 가우디를 사용하기 위해 단 4줄의 간단한 코드만 추가하면 된다.
하지만 Intel은 2024년 3분기 실적 발표에서 2024년 Gaudi 매출 목표인 5억 달러를 달성하지 못할 것이라고 CEO가 언급했다. 2024년 하반기 Gaudi 3의 출시에도 불구하고 실적이 부진한 것은 Intel 내부적으로, 그리고 Intel 주주들 입장에서도 다소 충격적인 결과라고 볼 수 있지 않을까? 그리고 Intel의 가우디 3 AI 가속기의 보급이 지연되는 주요 원인 중 하나로, SynapseAI 소프트웨어 스택이 가우디 3 아키텍처와의 호환성 문제를 겪고 있다는 지적이 있다.
Gaudi 3가 새롭게 출시되면서 Gaudi 2 대비 새로운 아키텍처와 기능이 대거 추가되었는데, 기존 SynapseAI의 업데이트와 최적화가 지연되어 Gaudi 3에 호환되지 않는 문제가 발생한 것으로 보인다는 국내외 미디어의 기사가 공개됐었다.(국내 미디어 디일렉의 기사) 이러한 호환성 문제는 개발자들이 Gaudi 3를 활용하는 데 어려움을 초래할 수 있고, 이는 곧 Gaudi 3의 보급에 부정적인 영향을 미칠것이다. GPU만 바꾸면 되는게 아니니까 말이다.
앞서 첫 번째 글에서 다뤘듯이, CUDA는 AI 시대에 NVIDIA의 데이터센터 시장 독주 체제를 완성시킨 장본인이다. SynapseAI도 Gaudi 3 보급의 선봉장 역할을 하려면 이러한 문제가 반복되어서는 안된다. 아마 Intel 내부적으로도 발빠르게 대응하고 있지 않을까 싶다.
차세대 제품들의 차질없는 출시
Intel은 2025년 말, 차세대 GPU인 Falcon Shores의 출시를 계획하고 있다. Falcon Shores는 본래 CPU와 GPU를 합친 XPU 아키텍처로 개발되고 있었다. HPC 전용 GPU로 출시된 Ponte Vecchio의 후속제품으로 개발되던 Falcon Shores는 생성형 AI의 기반이 되는 LLM이 예상보다 큰 주목을 받게 되자 방향을 선회, GPU 전용 제품으로 개발하고 있는 것으로 알려져있다.
그래서 Falcon Shores는 Gaudi 3가 지원하지 못하는 FP64와 같은 고정밀도 연산까지 지원해 HPC와 AI를 모두 아우를 수 있는 차세대 GPU로 개발되고 있다. Gaudi는 AI 가속기라는 명칭을 달고 나온, 명확하게 AI에만 집중하는 가속기다. 그리고 Falcon Shores는 2025년 말을 목표로 Intel의 차세대 GPU로 개발되고 있는 모양새인데, Gaudi 3로 살려놓은 AI 가속기 시장에서의 불씨를 Falcon Shores가 이어받으려면 일단 예정된 로드맵대로 개발이 완료되어 출시하는 것이 무엇 보다 중요할 것이다. 당연히 성능이 중요하겠지만 출시 시기가 지연된다면 경쟁사에게 고객을 빼앗길 수도 있을테니까 말이다.
그런데 아쉽게도, 이 Falcon Shores의 개발이 취소된 모양이다. Intel 내부적으로 데이터 센터 실리콘 전략이 대폭 수정된 것 같은데, 새로운 제품인 Jaguar Shores가 출시될 예정이라고 한다. 이것 마저 취소되면 진짜 Intel의 GPU는 어떻게 되는 걸까. 일단 기대를 갖고 기다려보자.
지금까지 총 3회에 걸쳐 Intel의 AI 가속기, Gaudi에 대해 자세히 알아봤다. 국내외 많은 미디어에서는 NVIDIA의 독주가 얼마 남지 않았다고, 앞으로는 추론이 대세라서 비싼 NVIDIA GPU를 사용할 필요가 없다고, 결국 폐쇄적인 생태계를 지향하는 NVIDIA는 마치 Apple처럼 1위 자리는 놓치지 않겠으나 점유율은 절반 이하로 줄어들 것이라고 이야기한다.
하지만 스마트폰 시장에서 30% 남짓한 점유율을 차지하는 Apple은 엄청난 매출과 이익률로 다른 기업들을 멀찌감치 따돌리고 오랫동안 스마트폰 시장의 최강자로 군림하고 있다. NVIDIA의 데이터센터 GPU 시장에서의 지위는 Apple보다 더하다. 이런 상황에서, 오픈 생태계를 추구하는 반 NVIDIA 진영이 NVIDIA의 점유율을 얼마나 잡아먹을 수 있을까? 그리고 그 역할을 주도하는 곳이 Intel이 될 수 있을까요?
Intel은 이제 막 Gaudi로 시장에 진입한 만큼, 아직은 가야 할 길이 까마득하다. 하지만 국내외에서 Gaudi를 활용한 AI 프로젝트가 활발하게 진행 중에 있기에, 향후 전망은 밝아보인다. 독점 체제가 오래되면 결국 소비자들만 피해를 본다는 것을 독자 여러분도 잘 알고 있을 것이다. 그동안은 NVIDIA의 점유율이 매우 높았으니, 이제 좀 나눠 가질 때도 된 것 같다. 반 NVIDIA 진영에서 Intel의 입지가 현 상태를 유지할 지, AMD를 제치고 의미있는 숫자를 만들어 낼 지 함께 지켜보자. 안타깝게도 가능성은 별로 높아보이지 않지만 말이다.
끝!
