← 목록으로

[美 서울상륙작전 ②] 엔비디아 개방 전략의 명과암…분리형 추론의 선결과제

요약
  • 엔비디아, SK텔레콤, 리벨리온은 한국형 소버린 AI 인프라 구축을 위해 GPU와 NPU를 결합한 통합 시스템 개발 업무협약을 체결했다.
  • 이들은 연산 집약적인 프리필은 엔비디아 GPU가, 메모리 대역폭 중심의 디코드는 리벨리온 NPU가 담당하는 '분리형 추론' 방식을 핵심 기술로 채택했다.
  • 이를 통해 엔비디아는 생태계 지배력을 강화하고, 국내 기업들은 글로벌 표준 내에서 국산 AI 반도체의 실질적 상용화를 추진할 계획이다.
[인더스트리 AI] 프리필은 GPU, 디코드는 국산 NPU글로벌 AI 반도체 주요 4개사인 엔비디아, AMD, 인텔, 퀄컴이 이달을 기점으로 방한해 AI 생태계와의 접점을 일제히 확대하고 있습니다. 대형 컨퍼런스와 업무협약(MOU), 얼라이언스 출범이 잇따르는 이면에는 각사의 아키텍처 전략과 공급망 환경 변화가 자리하고 있습니다. 이에 <디지털데일리>는 올여름 미국 실리콘밸리에서 시작된 협력 구도의 변화부터 최근 국내 주요 협약의 실질적 배경, 업무협약이 실제 사업 성과로 이어지기 위한 과제까지 짚어봅니다. [편집자주]

디푸 탈라(Deepu Talla) 엔비디아 로보틱스 및 엣지 AI 총괄 부사장. [사진=배태용 기자] 디푸 탈라(Deepu Talla) 엔비디아 로보틱스 및 엣지 AI 총괄 부사장. [사진=배태용 기자]

[디지털데일리 김문기기자] 지난 9일 서울 코엑스에서 열린 '엔비디아 AI 데이 서울' 현장에서 가장 주목받은 장면은 엔비디아와 SK텔레콤, 리벨리온이 체결한 '한국형 소버린 AI 인프라 구축을 위한 GPU·NPU 통합 시스템 개발 업무협약(MOU)'이었다.

그동안 엔비디아는 자사 그래픽처리장치(GPU) 간의 초고속 데이터 연결 기술인 'NVLink'를 외부 기업에 개방하지 않는 폐쇄적 생태계 전략을 고수해 왔다. 그러나 이번 협약에서는 엔비디아 GPU와 리벨리온이 개발 중인 차세대 신경망처리장치(NPU) '리벨(Rebel) R200'을 확장형 인터커넥트 기술인 'NVLink 퓨전'으로 연결하고, 여기에 엔비디아의 모듈형 서버 설계 표준인 'MGX' 규격을 적용해 랙(Rack) 단위의 통합 시스템을 구축하겠다는 청사진을 제시했다.

외형상으로는 글로벌 시장 지배자인 엔비디아가 국산 AI 반도체의 기술력을 인정하고 자사 시스템의 일원으로 포용하는 모양새다. 하지만 이같은 협력은 사실상 이해관계와 계산이 맞물려 있는 판단이다.

정석근 SK텔레콤 최고기술책임자(CTO)겸 사내독립기업(CIC)장이 11월 9일 서울 코엑스에서 열린 '엔비디아 AI 데이' 미디어라운드 테이블에 참석해 발언하는 모습 정석근 SK텔레콤 최고기술책임자(CTO)겸 사내독립기업(CIC)장이 11월 9일 서울 코엑스에서 열린 '엔비디아 AI 데이' 미디어라운드 테이블에 참석해 발언하는 모습

◆ '분리형 추론'을 통한 전력·비용 효율 극대화

3사가 내세운 기술적 핵심은 AI 추론 공정을 두 단계로 쪼개 서로 다른 반도체에 배분하는 '분리형 추론'이다.

최근 에이전틱 AI와 초거대 전문가 혼합(MoE) 모델이 확산하면서 AI 데이터센터의 무게중심이 모델 학습에서 실시간 추론 서비스 운영으로 이동하고 있다. 추론 과정은 크게 사용자의 입력 프롬프트 전체를 한꺼번에 분석하는 '프리필(Prefill)' 단계와, 분석된 결과를 바탕으로 답변을 한 토큰씩 순차적으로 생성하는 '디코드(Decode)' 단계로 나뉜다.

프리필 단계는 대규모 병렬 연산량이 집중되므로 고성능 연산 유닛을 갖춘 엔비디아 GPU가 유리하다. 반면 디코드 단계는 단순 연산력보다 메모리 대역폭에서 필요한 데이터를 얼마나 빠르고 저전력으로 읽어오느냐가 응답 속도와 운영 비용을 좌우한다.

3사의 구상은 연산 집약적인 프리필은 엔비디아 GPU에 맡기고, 메모리 대역폭 중심의 디코드는 전력 효율이 높은 리벨리온의 '리벨 R200' NPU가 전담하도록 역할 분담을 하겠다는 것이다. 이때 프리필 단계에서 생성된 방대한 키-값(KV) 캐시 데이터를 지연 없이 NPU로 넘겨주기 위해 초고속 연결망인 'NVLink 퓨전'이 매개체로 투입된다는 구조다.

정석근 SK텔레콤 CTO 겸 AI CIC장은 협약 발표를 통해 “이번 협력은 엔비디아 GPU와 리벨리온 NPU의 강점을 결합해 추론 성능과 전력 효율을 높일 수 있는 한국형 소버린 AI 인프라의 가능성을 검증하는 데 의미가 있다”며 “SKT는 AI DC 구축·운영 경험과 독자 AI 모델 A.X K2, '모두의 AI' 서비스를 연계해 풀스택 소버린 AI를 강화할 것”이라고 밝혔다.

박성현 리벨리온 대표가 11월 9일 서울 코엑스에서 열린 '엔비디아 AI 데이' 미디어라운드 테이블에 참석해 소버린AI 구축을 위한 엔비디아와의 협력 필요성을 강조하고 있다 박성현 리벨리온 대표가 11월 9일 서울 코엑스에서 열린 '엔비디아 AI 데이' 미디어라운드 테이블에 참석해 소버린AI 구축을 위한 엔비디아와의 협력 필요성을 강조하고 있다

◆ 엔비디아의 '생태계 편입'과 리벨리온의 '현실론'

문제는 이러한 결합 구조가 장기적으로 어느 쪽에 더 유리한 지형을 만드느냐다.

엔비디아 입장에서 NVLink 퓨전의 개방은 손해 보는 장사가 아닐 수 있다. 오히려 경쟁 진영인 AMD·인텔과 국산 NPU 기업들이 손잡고 '탈(脫)엔비디아' 독자 서버 표준을 만드는 것을 사전에 차단하는 방어 전략으로 쓰일 수 있다. 국산 NPU가 엔비디아의 NVLink 퓨전 칩렛 인터페이스를 채택하고 엔비디아 MGX 랙 표준 안에 들어오는 순간, 해당 시스템의 제어권과 데이터센터 설계 표준이 자연스럽게 엔비디아 플랫폼에 종속될 수 있기 때문이다.

또한 엔비디아 입장에서는 차세대 대형 랙 아키텍처 전환 과정에서 겪고 있는 전력 밀도 한계와 고다층 인쇄회로기판(PCB) 등 하드웨어 공급망 부담을 외부 주문형 반도체(ASIC·NPU)와의 하이브리드 구성으로 일부 분산시키는 효과도 기대할 수 있다.

반면 리벨리온과 SK텔레콤에게는 과제가 남아 있다. 지난 7월 미국 실리콘밸리에서 리벨리온과 SK텔레콤이 언급했듯, "100% 국산 하드웨어·소프트웨어만으로 글로벌 표준을 대체하겠다"는 목표는 사실상 기업과 공공기관이 이미 엔비디아 기반 인프라 위에서 서비스를 운영하고 있는 상황에서, 기존 시스템과 매끄럽게 연동되는 대안을 제시해야만 성립될 수 있는 주장이다. 실제 데이터센터 수주와 해외 시장 레퍼런스 확보가 가능해야 한다.

박성현 리벨리온 대표는 “오늘의 발표는 한국의 AI 반도체와 모델을 글로벌 기술과 결합해 대한민국의 소버린 AI 생태계를 확장하는 중요한 전환점”이라고 의미를 부여하면서, “100% 국산화라는 극단적 접근보다 글로벌 스탠더드 안에서 핵심 기술력을 확보하는 방식이 필요하다”며 “엔비디아 생태계와 SK텔레콤의 오퍼레이션을 결합해 확실한 컴퓨트 스탠더드를 정립하겠다”고 밝혔다.

제시 클레이튼 엔비디아 AI 인프라 부문 수석 제품 마케팅 매니저가 11월 9일 코엑스 '엔비디아 AI 데이' 라운드테이블 사전 질의응답에서 답변하는 모습. 가운데는 박성현 리벨리온 대표, 우측 정석근 SK텔레콤 최 제시 클레이튼 엔비디아 AI 인프라 부문 수석 제품 마케팅 매니저가 11월 9일 코엑스 '엔비디아 AI 데이' 라운드테이블 사전 질의응답에서 답변하는 모습. 가운데는 박성현 리벨리온 대표, 우측 정석근 SK텔레콤 최고기술책임자(CTO) 겸 AI CIC장

◆ 선언을 넘어 상용화로… 2028년까지 넘어야 할 검증 과제

물론, 이번 3자 협약은 구체적인 하드웨어 아키텍처와 역할 분담을 명시했다는 점에서 여타 선언적 MOU보다 진일보한 측면이 있다. 하지만 실제 상용 AI 데이터센터에서 안정적으로 가동되기까지는 넘어야 할 과제가 적지 않다.

우선 2028년 목표 시점까지의 타임라인 간극이다. 리벨리온의 차세대 NPU '리벨 R200' 시스템의 목표 공급 시점은 2028년으로 잡혀 있다. AI 반도체 세대교체 주기가 1년 단위로 단축된 시장 환경에서, 향후 2년간 엔비디아 차세대 GPU 아키텍처의 추론 성능과 전력 효율 역시 빠르게 진화할 전망이다. 2028년 시점에서도 'GPU+NPU 분리형 추론'이 단일 최신 GPU 랙 대비 뚜렷한 총소유비용(TCO) 우위를 유지할 수 있을지 지속적인 경제성 검증이 필요하다는 지적이다.

또한, 이기종 칩 간 물리적·논리적 연결의 완성도 역시 중요하다. 서로 다른 설계 구조를 가진 GPU와 NPU가 NVLink 퓨전을 통해 하나의 시스템처럼 작동하려면, 단순한 물리적 결선을 넘어 메모리 일관성 유지와 오류 제어, 열 설계 등 고난도 시스템 엔지니어링이 뒷받침되어야 한다. 개념검증(PoC) 단계의 실험실 수치를 넘어 수천 대의 서버가 24시간 가동되는 대규모 데이터센터 환경에서 동일한 안정성을 입증해야 한다.

마지막으로, 소프트웨어 오케스트레이션 주도권이다. 분리형 추론의 성패는 소프트웨어에서 갈린다. 들어오는 수많은 AI 추론 요청의 길이를 실시간으로 판단해 프리필은 GPU로, 디코드는 NPU로 최적 배분하는 스케줄링 런타임과 컴파일러 기술이 핵심이다. 이 소프트웨어 제어 계층이 엔비디아의 소프트웨어 스택에 전적으로 의존하게 될 경우, 국산 NPU는 단순 연산 보조 부품으로 머물 위험이 있다.

정석근 SK텔레콤 CTO가 “고객이 물리적 하드웨어 부담 없이 API로 '소버린 토큰'을 꺼내 쓸 수 있는 환경을 만들겠다”며 “국내에서 의미 있는 실증 레퍼런스를 확보해 NPU를 적극 활용하는 생태계를 조성하겠다”고 밝힌 만큼, 향후 SK텔레콤 AI DC 실증 과정에서 국산 NPU의 소프트웨어 자립도와 실질적인 상용 발주 물량을 얼마나 구체화하느냐가 이번 3자 동맹이 '지켜진 약속'으로 남을지 가를 관건이 될 전망이다.

그냥 목록으로
원문 보기 ↗