삼성전자의 6세대 고대역폭메모리 HBM4. 삼성전자 제공 |
에이전트 AI 시대에는 HBM 중요성 커져우선 에이전트가 기존 생성형 AI와 다른 점을 잘 살펴봐야 한다. 기존 생성형 AI는 질문 하나를 받고 답변 하나를 생성한다. 반면 에이전트는 하나의 일을 완료하기 위해 여러 차례 생각하면서 외부 자료를 찾고 다른 소프트웨어를 호출해 그 결과를 검토한다. 가령 출장 계획을 세우는 에이전트는 일정표와 이메일, 항공편, 숙박 일정을 확인한 뒤 회사의 출장 규정과 예산에 따라 계획을 수립한다. 사용자가 “출장 계획을 마련해”라고 한 번 지시하면 에이전트 내부에서 수십 번의 AI 추론과 데이터 조회가 일어나는 것이다.
이 과정에서 AI가 사용하는 메모리가 많아진다. AI는 앞서 읽고 판단한 내용을 매번 처음부터 계산하지 않으려고 ‘KV 캐시’라는 임시 작업 정보를 메모리에 저장한다. 비유하면 책상 위에 펼쳐둔 자료나 메모지에 해당한다. 에이전트가 과거 대화나 사용자의 취향을 기억할 때 모든 내용을 비싼 HBM에 저장하지는 않는다. 당장 계산에 필요한 정보만 HBM이나 D램에 두고, 잠시 뒤에 사용할 정보는 SSD에 저장하며, 장기간 보관할 업무 기록과 원본 데이터는 대용량 스토리지에 둔다. 사람이 바로 읽을 문서는 책상에 놓고, 자주 참고하는 자료는 서랍에 넣으며, 오래된 문서는 창고에 보관하는 것과 같다. 에이전트도 각종 데이터를 여러 계층에 나눠서 보관한다.
에이전트가 발전할수록 HBM의 중요성은 커질 것이다. 모델의 핵심 데이터와 당장 계산에 필요한 KV 캐시는 가능한 한 GPU 가까이에서 빠르게 공급돼야 하기 때문이다. 5세대 HBM인 HBM3E에 이어 6세대 HBM인 HBM4가 주목받는 이유다. 문제는 HBM이 비싼 데다 용량을 무한정 늘릴 수 없다는 것이다.
이러한 한계를 보완하는 기술이 CXL(Compute Express Link)이다. CXL은 CPU와 GPU, 외부 메모리를 고속으로 연결하는 통로다. 서버 내부에 꽂을 수 있는 D램 수가 부족하면 CXL을 이용해 별도 메모리 장치를 추가하거나 여러 서버가 하나의 대용량 메모리를 나눠 사용할 수 있다. 쉽게 말해 CXL은 각 직원의 책상을 무작정 크게 만드는 대신 사무실 중앙에 공용 자료실을 설치하는 것과 같다. 필요할 때만 메모리를 할당할 수 있어 서버마다 남는 D램을 줄이고 특정 AI 작업에 수백GB(기가바이트)에서 수TB(테라바이트)에 이르는 메모리를 유연하게 제공할 수 있다. 앞으로는 데이터를 언제 HBM에 올리고, 언제 CXL 메모리나 SSD로 내릴지 판단하는 메모리 관리 소프트웨어가 중요해질 것이다.
SSD 역할도 달라진다. 과거 SSD는 운영체제와 프로그램, 완성된 파일을 보관하는 저장장치였다. AI 시대에는 모델 파일과 기업 데이터, 에이전트의 작업 기록, KV 캐시까지 저장한다. 계산이 끝난 결과를 보관하던 창고에서 AI가 작업 도중 계속 열어보는 자료실로 바뀌는 것이다. AI 서비스가 생성하는 영상과 음성, 로그, 백업 데이터 중 즉시 읽을 필요가 없는 부분들은 HDD에 저장하는 것이 경제적이다.
D램보다 용량 작지만 빠른 S램온디바이스 AI도 변화를 만들어낸다. 스마트폰이나 노트북에서 AI를 직접 실행하려면 모델 파일을 낸드플래시 기반의 UFS(Universal Flash Storage)나 NVMe SSD(초고속 SSD)에 저장했다가 실행 시 LPDDR(저전력 D램)로 불러와야 한다. 이제 스마트폰 메모리는 애플리케이션(앱)을 여러 개 실행하기 위한 공간일 뿐 아니라, 전자기기 내 에이전트가 기억을 저장해두는 작업 공간이 된다. 온디바이스 AI에서는 낮은 전력 소비도 중요하다. 스마트폰과 노트북의 제한된 배터리로 작동해야 하기 때문이다. 이 때문에 기존 DDR보다 전력 소비가 적은 LPDDR5X와 LPDDR6가 주목받는다.
온 칩(On Chip) S램의 역할도 커진다. S램은 D램보다 용량은 작지만 훨씬 빨라 CPU와 GPU의 캐시로 사용된다. 온디바이스 AI의 NPU(신경망처리장치)에 S램을 넣어 현재 계산할 데이터와 중간 결과를 연산기 바로 옆에 보관할 수 있다. 그럼 외부 LPDDR까지 데이터를 가지러 가는 횟수가 줄어 응답 속도가 빨라지고 전력 소비도 낮아진다. 다만 S램은 면적을 많이 차지하고 가격이 비싸 LPDDR을 완전히 대체하기보다 NPU가 자주 쓰는 데이터를 임시 보관하는 초고속 작업대로 사용될 것이다.
필요한 데이터를 적절한 순간에 적합한 메모리로 이동하는 능력이 갈수록 중요해지고 있다. 이제 저장장치는 컴퓨터 부품을 넘어 AI 핵심 인프라로 자리 잡아가고 있다.
|