남는 서버의 메모리 활용, 서버 용량 초과 해소
448GB 서버로 1.8TB 유전체 분석 실증 성공
EMP 기반 메모리 확장 개념도. ETRI 제공.인공지능(AI) 확산으로 메모리 공급 부족 현상이 가중되는 가운데 국내 연구진이 데이터센터 서버의 유휴 메모리를 모아 쓸 수 있는 기술이 개발됐다.
대규모 AI 학습과 과학계산에 필요한 메모리 자원을 효율적으로 활용해 메모리 부족 해소에 기여할 전망이다.
한국전자통신연구원(ETRI)은 데이터센터 내 여러 서버의 유휴 메모리를 모아 필요한 서버에 제공하는 메모리 시스템 소프트웨어 ‘EMP’(Elastic Memory Platform)’를 개발했다고 19일 밝혔다.
최근 생성형 AI서비스가 확산되면서 학습과 추론에 필요한 서버 메모리 수요가 폭발적으로 늘고 있다. 빠르게 늘어나는 메모리 수요를 따라가지 못해 공급 부족과 함께 가격 상승까지 이어지고 있다.
이로 인해 데이터센터 운영기업은 추가 구매나 고가의 대용량 서버 추가 구축 등으로 막대한 비용 부담을 안고 있다.
EMP 기술은 서버마다 고정돼 있는 메모리를 데이터센터가 공유하는 자원으로 활용하는 것으로, 메모리가 부족한 서버가 다른 서버의 남는 메모리를 가져와 대규모 AI 연산 작업을 수행한다.
즉, 여러 서버에 분산돼 있는 메모리를 초고속 네트워크로 연결해 필요한 기존 서버의 물리적 용량을 초과하는 서버에 확장 메모리로 제공한다.
연구팀은 EMP를 미국 서던캘리포니아대학교(USC) 첨단연구컴퓨팅센터(CARC)의 500노드 규모 고성능컴퓨팅(HPC) 클러스터에 적용해 성능을 검증했다.
성능 시험에서는 기존 시스템 대비 단위 메모리당 최대 2.3배 높은 성능을 달성했다. 이를 토대로 약 1.8테라바이트(TB)의 메모리가 필요한 유전체 분석 작업을 448기가바이트(GB) 용량의 메모리를 갖춘 서버에서 실행하는 데 성공했다.
서버 자체 메모리는 전체 용량의 25%에 불과했지만, 초고속 네트워크로 연결된 다른 서버의 메모리를 활용해 부족한 용량을 확보, 유전체 분석 작업을 진행한 것이라고 연구팀은 설명했다.
기존 서버와 데이터센터의 유휴 자원을 활용해 대규모 연산을 수행할 수 있음을 보여준 것이다.
ETRI 연구진이 EMP가 적용된 서버의 메모리 사용 현황을 점검하고 있다. ETRI 제공.EMP는 기존 응용 프로그램의 소스코드를 수정하지 않고도 적용할 수 있다.
연구팀은 HPC 분야의 표준 작업 스케줄러 ‘슬럼’(SLURM)과 EMP의 연동을 완료해 연구자들은 기존 방식으로 연산 작업을 수행하면서 필요에 따라 확장된 메모리를 활용할 수 있다.
웹 기반 HPC 사용자 인터페이스인 ‘오픈온디맨드’(Open OnDemand)와의 연동도 추진하고 있다.
연구팀은 USC CARC에서 메타유전체 데이터 분석, 단백질 분석, 기상 예측 등 대규모 과학계산에 대한 기술 성능과 활용성을 추가 검증할 계획이다.
아울러 국내 HPC센터와 대학·연구기관으로 기술 활용을 확대하고 사업화도 추진할 방침이다.
고광원 ETRI AIDC연구본부장은 “EMP는 기존 서버의 유휴 메모리를 공유해 개별 서버의 메모리 용량 한계를 극복하고 대규모 연산을 수행할 수 있도록 하는 기술”이라며 “AI 데이터센터의 메모리를 새로 증설하지 않고 보유한 메모리 자원을 효율적으로 활용하는 핵심 시스템 소프트웨어로 발전시키겠다”고 말했다.