더 큰 메모리 만들기→똑똑한 메모리 운영
미 캘리포니아주 샌타클래라에서 열린 메모리 최대 행사 FMS 마지막 날인 6일 메모리업계 대표주자들이 인공지능(AI) 시대 다음 승부처를 주제로 열띤 토론을 벌이고 있다. 샌타클래라=박지연 특파원"과거에 당신은 이런 질문을 한 적 있습니다."
챗GPT와 긴 대화를 이어갈 수 있는 이유는 인공지능(AI)이 이전 대화 내용을 잠시 저장하는 'KV(Key-Value) 캐시' 덕분이다. 책을 영구 보관하는 도서관이 아니라, 당장 필요한 내용을 펼쳐놓은 책상 위 메모장에 가깝다. AI가 발전하고 처리해야 할 데이터가 폭증하면서 업계의 고민은 '어떻게 더 많은 메모리를 확보하는가'에서 '이 임시 기억을 언제 어디에 배치하고 얼마나 효율적으로 활용할 것인가'로 이동하고 있다.
엔비디아와 삼성전자, 마이크론, 키옥시아 등 글로벌 반도체 기업들은 6일(현지시간) 미 캘리포니아 샌타클래라에서 열린 '퓨처 오브 메모리 앤드 스토리지(FMS) 2026' 특별 패널 세션에서 AI 시대의 새로운 승부처로 '메모리 지휘(memory orchestration)'를 제시했다. 행사 첫날 삼성전자와 SK하이닉스가 "AI 시대의 새 병목은 그래픽처리장치(GPU)가 아니라 메모리"라고 진단했다면, 마지막 날에는 한 단계 더 나아가 "늘어난 데이터를 어떤 메모리에 저장하고 어떻게 이동시킬 것인가"를 핵심 과제로 다뤘다.
더 큰 메모리 만들기 → 수많은 메모리 똑똑하게 운영
메모리업계 최대 행사인 FMS 마지막 날인 6일 미 캘리포니아주 샌타클래라컨벤션센터 앞에 FMS 로고가 놓여있다. 샌타클래라=박지연 특파원메모리 지휘는 쉽게 말해 AI 데이터를 목적에 맞는 메모리에 배치하는 '관제 시스템'이다. 공항 관제탑이 항공기마다 활주로와 게이트를 배정하듯, AI 데이터도 상황에 따라 가장 속도가 빠른 메모리인 고대역폭메모리(HBM), 범용 메모리인 D램, 대용량 저장장치인 솔리드스테이트드라이브(SSD) 등 적합한 공간으로 이동시키는 개념이다. 자주 사용하는 데이터는 HBM에, 곧 활용할 데이터는 D램에, 대용량 데이터는 SSD에 저장해 전체 시스템 효율을 높일 수 있다.
GPU를 앞세워 생성형 AI 시대를 주도해온 엔비디아조차 이제는 연산 성능만으로 AI 발전을 이끌 수 없다고 내다봤다. 비크람 샤르마 말리토디 엔비디아 선임 연구과학자는 "현재 소프트웨어는 다양한 메모리 계층을 제대로 관리하지 못하고 있다"며 "앞으로 필요한 것은 데이터를 어떤 메모리에 둘지 결정하는 소프트웨어"라고 강조했다. 그는 특히 여러 GPU가 같은 KV 캐시를 중복 저장하는 비효율을 줄이고, HBM·D램·SSD 등 서로 다른 메모리를 하나의 거대한 자원처럼 활용하는 방향으로 시스템이 발전해야 한다고 설명했다.
미 캘리포니아주 샌타클래라에서 열린 메모리 최대 행사 FMS 마지막 날인 6일 메모리업계 대표주자들이 인공지능(AI) 시대 다음 승부처를 주제로 열띤 토론을 벌이고 있다. 샌타클래라=박지연 특파원메모리 지휘는 단순히 데이터를 옮기는 기술이 아닌, 데이터의 특성을 판단하고 최적의 위치를 찾아주는 '관리 능력'에 가깝다. 피터 커크패트릭 에버퓨어(옛 퓨어스토리지) 하드웨어 아키텍처 부사장은 "앞으로는 데이터의 특성을 분류하고, 언제 어디로 이동시킬지 효율적으로 스케줄링하는 능력이 중요해질 것"이라며 "그래야 메모리와 스토리지의 지연시간을 줄이고 AI 시스템 효율을 높일 수 있다"고 말했다.
저장장치 업계도 같은 방향을 바라보고 있다. 키옥시아 수석연구원 로리 볼트는 "AI 시대에는 저장해야 하는 데이터의 성격 자체가 달라지고 있다"고 진단했다. 그는 "스토리지 업계는 지금까지 모든 데이터를 영원히 보존하는 일을 해왔다"며 "그러나 컨텍스트 메모리 캐시는 다시 계산할 수 있는 데이터"라고 말했다. AI 시대에는 모든 데이터를 동일하게 저장하기보다, 재사용 빈도와 중요도에 따라 빠르게 접근 가능한 공간과 장기 저장 공간을 구분하는 전략이 필요하다는 의미다.
삼성전자는 클라우드와 온디바이스 AI가 함께 발전하는 흐름을 강조했다. 기양석 삼성전자 상무는 "비싼 클라우드 AI는 꼭 필요한 작업에만 쓰고, 나머지는 로컬 오픈소스 모델이 처리하는 흐름이 시작됐다"며 "앞으로는 두 시스템이 끊김 없이 함께 작동해야 한다"고 말했다. 마이크론도 대용량 데이터 처리에서 낸드플래시의 역할 확대를 전망했다. 제러미 워너 마이크론 코어 데이터센터 사업부 부사장은 "컨텍스트 윈도가 커질수록 결국 일부 데이터는 낸드플래시로 넘어갈 수밖에 없다"며 "앞으로는 AI가 그 소프트웨어도 만들어줄 것"이라고 말했다.