← 목록으로

AI가 영리해지는 만큼 메모리 몸값 치솟을 것

D램 품귀에 갑이 된 제조사, 애플마저 무릎 꿇려

삼성전자가 세계 최초로 출하한 7세대 고대역폭메모리(HBM) HBM4E 12단 제품. 뉴시스

챗GPT가 묻는 말에 답하는 데는 몇 초가 걸리지만, 사실 이 과정에는 엄청난 양의 메모리가 필요하다. 인공지능(AI)은 방대한 모델 데이터를 메모리에 올려두고, 사용자가 입력한 프롬프트에 맞춰 필요한 데이터를 불러와 연산한다. 데이터를 많이 올리려면 메모리 용량이 커야 하고, 이를 빠르게 처리하려면 그래픽처리장치(GPU)와 메모리 사이 데이터 이동도 빨라야 한다. 고대역폭메모리(HBM)가 필요한 이유다. HBM은 D램 칩 여러 개를 수직으로 쌓아 만든 메모리로, AI 가속기(GPU) 바로 옆에 붙어 작동한다.

AI와 나눈 대화가 많을수록 AI가 답을 내기 위해 참고해야 할 정보도 늘어난다. 그만큼 HBM에 담아둬야 할 데이터도 커진다. 2023년 엔비디아의 주력 GPU였던 H100에는 8단으로 쌓은 HBM 5개가 붙어 있었다. 용량은 80GB(기가바이트), 전송 속도는 초당 약 3TB(테라바이트)였다. 엔비디아의 최신 GPU인 ‘베라 루빈’에는 12단 HBM 8개가 연결돼 용량은 288GB, 전송 속도는 초당 22TB가 됐다. GPU 1개에 필요한 HBM 용량이 3년 사이 3.6배 늘어난 것이다. 엔비디아는 GPU 생산량도 늘리고 있다. 이처럼 GPU 1개에 들어가는 메모리 수와 GPU 수요가 함께 늘고 있으니, 메모리 수요는 GPU보다 더 가파르게 증가할 수밖에 없다.

문제는 D램 생산능력이 한정돼 있다는 점이다. HBM 1개에 들어가는 D램 개수가 늘면서 정작 스마트폰이나 PC(개인용 컴퓨터)에 넣을 범용 D램이 부족해졌다. 게다가 스마트폰 1대에 들어가는 D램 용량은 지난 10년간 2~4GB에서 8~12GB로 3배 넘게 늘었다. 그 결과 D램은 부르는 게 값이 됐다. 메모리 품귀 덕에 SK하이닉스의 올해 2분기 영업이익률은 76%를 기록했다. 2022년 영업이익률이 16% 안팎이던 점을 감안하면 가파른 상승세다.

큰손 애플도 피하지 못한 메모리 품귀이 여파는 메모리업계의 큰손 애플에까지 미쳤다. 세계 3위 메모리 업체 마이크론의 수밋 사다나 최고사업책임자(CBO)는 6월 25일 실적 발표 직후 “최근 공급 부족은 메모리 불황기에 가격을 매우 공격적으로 낮추려 한 일부 고객 탓”이라며 “수익성이 약해진 메모리 기업이 증설 투자를 할 수 없었다”고 말했다. 2023년 메모리 마진이 나쁠 때 일부 고객사가 낮은 가격을 요구하면서 메모리업계가 투자를 멈췄고, 그 결과 지금 같은 HBM 호황기에 공급이 달리게 됐다는 얘기다. 특정 기업을 지목하지는 않았지만, 업계 최대 단일 구매자인 애플을 겨냥한 발언으로 해석된다.

물건이 없어서 못 파는 상황에서 메모리 업체가 애플에 물량을 먼저 챙겨줄 이유는 없다. 가격 협상 주도권도 메모리업계로 넘어갔다. 6월 26일에는 애플이 중국에서 파는 제품에 들어갈 메모리를 중국 D램 간판 기업 창신메모리테크놀로지(CXMT)로부터 조달하는 방안을 검토했다는 사실이 알려졌다. 미국의 대중(對中) 규제 리스크와 CXMT의 공급 능력 문제로 실제 계약까지 가지는 않았지만, 애플조차 메모리 부족에 시달리고 있음을 알 수 있는 대목이다.

메모리 호황, 2030년까지 희망적그렇다면 메모리 품귀는 언제까지 이어질까. 지난해 10월 1일 한국을 찾은 샘 올트먼 오픈AI 최고경영자(CEO)는 이재명 대통령, 이재용 삼성전자 회장, 최태원 SK그룹 회장을 잇달아 만났다. 이 자리에서 오픈AI는 삼성전자·SK하이닉스와 메모리 공급 협력 의향서(LOI)를 맺었다. 오픈AI의 초대형 AI 데이터센터 프로젝트 ‘스타게이트’에 들어갈 고성능 D램을 한국 두 기업에 요청한 것이다. 이때 제시된 목표는 웨이퍼 기준 월 90만 장의 D램을 공급하는 것이다. 1년으로 따지면 1000만 장이 넘는다. 당시 전 세계 HBM 웨이퍼 생산능력의 2배가 넘고, 전 세계 D램 웨이퍼 생산량의 40%에 해당하는 규모다.

D램은 안 그래도 HBM 때문에 공급이 빠듯하다. 이 협력이 실제 계약으로 이어지면 AI 기업 한 곳의 장기 수요만으로도 D램 공급과 가격이 계속 흔들릴 수밖에 없다. 게다가 오픈AI만의 일도 아니다. 앤트로픽 같은 AI 기업부터 대규모 AI 데이터센터를 구축하는 마이크로소프트·구글·아마존·메타 등 큰손 하이퍼스케일러까지 메모리를 사들이고 있다.

AI만 메모리를 찾는 것도 아니다. 스마트폰, PC, 자동차처럼 원래 쓰던 기기에 들어가는 D램도 해마다 늘고 있다. 샤오미·레노버 등 중국 기업들도 한국산 메모리를 사간다. 업계에서는 이런 수요에 힘입어 메모리 호황이 적어도 2년은 이어지고, 2030년까지도 희망적이라고 본다.

AI가 진화하고 있다는 점 역시 변수다. 묻는 말에 답만 내놓던 AI가 이제는 사용자 대신 일까지 처리하는 ‘에이전트’로 발전하고 있다. AI가 내 의도와 기대를 정확히 읽으려면 그동안 나눈 대화 맥락을 더 많이 알아야 한다. 그러기 위해서는 메모리에 올려둬야 할 데이터가 어제보다 오늘, 오늘보다 내일 더 많아질 수밖에 없다. AI가 영리해지는 만큼, 메모리 몸값은 치솟을 것이다.

*유튜브와 포털에서 각각 ‘매거진동아’와 ‘투벤저스’를 검색해 팔로잉하시면 기사 외에도 동영상 등 다채로운 투자 정보를 만나보실 수 있습니다.