← 목록으로

질문은 엔비디아 GPU, 답변은 리벨리온 NPU로…SKT 데이터센터서 실증까지

요약
  • 엔비디아, SK텔레콤, 리벨리온은 GPU와 NPU를 결합해 성능과 전력 효율을 높이는 AI 인프라 구축을 위한 업무협약을 체결했다.
  • 질문 분석은 GPU가, 답변 생성은 NPU가 담당하는 분리형 추론 방식을 도입하며, SK텔레콤은 자체 데이터센터에서 이 시스템의 성능을 실증할 계획이다.
엔비디아·SKT·리벨리온 3자 협약
반도체별 강점 살린 분리형 추론
SKT AI데이터센터서 성능 실증
NPU 글로벌 AI 인프라 진입 노려

K반도체 스타트업 리벨리온의 국산 신경망처리장치(NPU)와 엔비디아 그래픽처리장치(GPU)를 하나의 시스템에서 함께 사용하는 인공지능(AI) 인프라 구축이 추진된다. 질문을 분석하는 작업은 GPU가 맡고 답변 생성은 NPU가 처리하는 방식으로, SK텔레콤 AI 데이터센터에서 성능과 전력 효율을 검증한다.

9일 엔비디아·SK텔레콤·리벨리온은 서울 삼성동 코엑스에서 열린 ‘엔비디아 AI 데이 서울’에서 GPU·NPU 통합 시스템 개발을 위한 업무협약(MOU)을 체결했다. 이번 협약은 과학기술정보통신부와 엔비디아가 추진해온 국산 NPU 연계 협력의 일환이다.

핵심은 엔비디아의 ‘NV링크 퓨전’이다. 이는 엔비디아 GPU끼리 데이터를 주고받는 연결 기술인 NV링크를 타 회사 AI 반도체에도 사용할 수 있도록 확장한 기술이다. 해당 기술을 활용해 리벨리온 NPU를 엔비디아의 AI 컴퓨팅 시스템에 연결한다.

3사는 리벨리온이 개발 중인 차세대 NPU ‘R200’을 NV링크 퓨전으로 엔비디아 플랫폼에 연결한다. 여기에 엔비디아 서버 랙의 표준 설계인 MGX를 적용해 랙 단위의 GPU·NPU 통합 시스템을 개발할 계획이다.

GPU와 NPU가 같은 일을 하는 것은 아니다. AI가 답변을 만드는 추론 과정은 크게 프리필과 디코드로 나뉜다. 프리필은 사용자가 입력한 질문과 문서를 분석하는 단계로, 대규모 연산에 강한 GPU가 맡는다. 이후 답변을 한 단어씩 만들어내는 디코드 단계는 리벨리온 NPU가 처리한다.

각 반도체가 잘하는 작업을 나눠 맡기는 분리형 추론 방식이다. AI 서비스 이용이 늘어날수록 반복적으로 발생하는 추론 작업을 NPU에 분담해 전체 처리량을 높이고, 전력 소모와 총소유비용(TCO)을 낮추는 것이 목표다.

SK텔레콤은 GPU·NPU 통합 시스템을 실제 AI 데이터센터 환경에 도입해 성능과 안정성을 검증한다. 이후 실제 서비스 적용과 상용화 가능성을 살펴볼 계획이다. 자체 AI 모델 ‘A.X K2’와 대국민 AI 서비스 ‘모두의 AI’와 연계도 추진한다.

국산 NPU 입장에서는 엔비디아 생태계에 진입할 수 있는 통로가 열린다는 의미도 있다. 지금까지 NPU의 성능을 높이는 데 집중했다면 앞으로는 엔비디아 AI 인프라 안에서 GPU와 함께 활용할 수 있게 된다. 과기정통부는 이번 협력을 다른 국내 NPU 기업으로도 확대해 실증과 사업화, 수출로 연결한다는 계획이다.

정석근 SK텔레콤 최고기술책임자(CTO) 겸 AI CIC장은 “이번 협력은 엔비디아 GPU와 리벨리온 NPU의 강점을 결합해 추론 성능과 전력 효율을 높일 수 있는 한국형 소버린 AI 인프라의 가능성을 검증하는 데 의미가 있다”고 설명했다.

 박성현 리벨리온 대표, 정석근 SK텔레콤 최고기술책임자(CTO), 아쉬시 카란디카르 엔비디아 NV링크 퓨전 부문 부사장(왼쪽부터)이 9일 서울 삼성동 코엑스에서 열린 엔비디아와 SK텔레콤·리벨리온의 엔비링크(NVL 박성현 리벨리온 대표, 정석근 SK텔레콤 최고기술책임자(CTO), 아쉬시 카란디카르 엔비디아 NV링크 퓨전 부문 부사장(왼쪽부터)이 9일 서울 삼성동 코엑스에서 열린 엔비디아와 SK텔레콤·리벨리온의 엔비링크(NVLink) 업무협약(MOU) 체결식에서 기념촬영을 하고 있다. <연합뉴스>

그냥 목록으로
원문 보기 ↗