온프레미스 데이터센터 다시 주목받아
보안, 피지컬AI, 소버린AI 중요성 커져
미국 캘리포니아주 새너제이에 있는 에퀴닉스 데이터센터 ‘SV11’의 서버 랙 모습. 에퀴닉스인공지능(AI) 열풍으로 클라우드 컴퓨팅 수요가 치솟고 있다. 시장조사업체 시너지리서치그룹이 올해 4월 공개한 자료에 따르면 지난해말 기준 전세계 데이터센터 용량에서 자체 건설, 임대, 코로케이션(colocation: 공간과 기본 인프라만 제공하는 형태)을 합한 오프프레미스(Off premise) 데이터센터가 차지하는 비중은 68%에 달했다. 이중 48%가 아마존웹서비스(AWS), 마이크로소프트(MS) 애저, 구글 클라우드 등 하이퍼스케일러(대형 컴퓨팅 인프라 운영사)가 차지하고 20%는 에퀴닉스와 같은 코로케이션 데이터센터 기업 몫이다.하이퍼스케일러 클라우드 컴퓨팅 데이터센터 비중은 2018년 20%를 조금 웃도는 수준이었지만 2020년 이후 코로나19 팬데믹에 따른 원격 근무 확산, 2022년 11월 오픈AI의 챗GPT 공개 이후 AI 개발 수요 급증으로 7년 만에 2배 넘게 뛰었다. 데이터센터 구축 및 운영 비용 부담이 커지고 하이퍼스케일러들이 막강한 자본력을 앞세워 전세계 최첨단 그래픽처리장치(GPU)를 싹쓸이하면서 기업 입장에서 클라우드 컴퓨팅 데이터센터를 쓰는 편이 낫다고 판단한 것이다.
그 사이 온프레미스(On premise)는 클라우드 컴퓨팅에 데이터센터 시장 주도권을 넘겨줬다. 2018년 데이터센터 용량에서 온프레미스가 차지하는 비중이 56%였으나 지난해에는 32%로 쪼그라들었다. 2031년에는 하이퍼스케일 사업자가 전체 용량의 67%를 차지하고 온프레미스는 19%로 감소할 것으로 예상된다. 온프레미스 데이터센터 용량 점유율은 앞으로 연간 2%포인트씩 감소할 전망이다.
클라우드 데이터센터는 기업 외부에 설치된 시설을 인터넷망으로 연결해 사용하는 형태인 반면 온프레미스는 기업이 자체적으로 내부에 구축한 시설을 말한다. 온프레미스 데이터센터를 로컬(local) 또는 엣지(edge) 컴퓨팅 시설로 부르기도 한다. 과거에는 기업들이 직접 데이터센터를 구축해 사용했지만 점점 비용 효율화, 운영 관리 전문화가 중요해지면서 자체적으로 운영하지 않고 전문 클라우드 컴퓨팅 기업 인프라 의존도를 높이고 있다.
하지만 클라우드 컴퓨팅이 데이터센터 시장을 주도한다고 해서 온프레미스 중요성이 떨어진 것은 결코 아니다. 그동안 클라우드 성장세가 워낙 가팔라서 클라우드에 가려졌을 뿐 온프레미스도 성장하고 있다. 시장조사기관 포천비즈니스인사이츠에 따르면 전세계 엣지 컴퓨팅 시장 규모는 지난해 186억 4000만 달러에서 올해 2026년 256억 3000만 달러로 증가하고, 2034년에는 2674억 2000만 달러로 가파른 성장세를 이어갈 전망이다. 2030년 2~3조 달러대로 예상되는 클라우드 컴퓨팅 시장보다는 작지만 성장 속도로 따지면 뒤지지 않는다는 평가다.
실제로 기업들도 점점 온프레미스의 중요성을 인식하고 있다. 데이터센터 전문기관 업타임 인스티튜트가 지난해 기업들을 상대로 인식 조사를 진행한 결과 IT 기업의 워크로드(업무)의 45%가 기업 소유 인프라에서 진행됐고, 오프프레미스 비중은 55%를 기록하며 1년 전과 비교해 차이가 없었다. 클라우드 컴퓨팅 시장이 매년 커지는 상황임에도 기업들이 클라우드와 온프레미스 사이에 업무 배분 균형을 잡고 있다는 의미다. 온프레미스에서 클라우드로 갈아타던 기업들이 왜 온프레미스를 다시 찾고 있는 것일까.
클라우드 치명적 단점...취약한 보안
카말 하티 스플렁크 수석부사장(SVP) 겸 총괄이 지난 14일(현지 시간) 미국 콜로라도주 덴버에서 열린 닷컨프26 무대에 올라 기조연설을 하고 있다. 스플렁크온프레미스가 재평가받고 있는 가장 큰 이유는 보안에 강점이 있기 때문이다. 클라우드는 기업 고객이 외부 데이터센터와 인터넷망으로 연결해 컴퓨팅 인프라를 사용하기 때문에 해킹 등 외부 공격에 취약하다. 오픈AI와 앤트로픽과 같은 AI 기업들은 클라우드에서 AI 모델을 개발하고 애플리케이션(앱)을 구동한다. 최근 오픈AI의 AI 에이전트(비서)가 개발사의 통제된 환경을 벗어나 외부 데이터를 해킹하고 정부와 유엔 웹사이트까지 드나든 것으로 드러나면서 클라우드 기반 AI의 위험성이 부각됐다.반면 엣지 컴퓨팅은 엣지라는 단어대로 네트워크 가장자리에서 데이터를 처리하는 것을 의미한다. 외부로 데이터를 보내지 않고도 디바이스(기기) 자체적으로 또는 로컬 서버에서 해결할 수 있다. 데이터를 전송하는 과정에서 외부에 기밀이 유출되거나 해킹에 따른 보안 사고 걱정을 덜 수 있다.
AI 소프트웨어 기업들은 사이버 보안을 중시하는 기업 수요를 적극 공략하고 있다. AI 데이터관리 플랫폼 운영사인 스플렁크는 지난 14일(현지 시간) 미국 콜로라도주 덴버에서 개최한 ‘닷컨프26’ 컨퍼런스에서 ‘시스코 AI 포드 포 스플렁크(Cisco AI POD for Splunk)’를 공개했다. 모회사인 시스코 인프라에 기반한 온프레미스 AI로 데이터를 외부로 옮기지 않고도 빠른 처리가 가능하다. 스플렁크는 데이터 주권을 침해하지 않고 대규모로 고성능 모델 추론을 원하는 고객들을 위해 세계 1위 AI 가속기 기업인 엔비디아와 협력한다. 내부 인프라는 보안에 강하지만 초대형 컴퓨팅을 갖춘 외부 클라우드(대형 저장 공간)에 비해 AI 처리 속도가 느리다. 이를 보완하기 위해 스플렁크는 엔비디아 하드웨어와 소프트웨어를 활용해 온프레미스 가속 컴퓨팅을 도입한다.
스플렁크는 사람의 수동 작업 없이 소프트웨어가 자동으로 생성하는 기계 데이터를 수집·분류·분석하는 AI 플랫폼 운영사다. 스플렁크의 고객인 공공기관, 규제 기업, 글로벌 기업들은 그동안 보안을 위해 자체적으로 구축한 온프레미스에 데이터를 보관해왔다. 데이터를 내부망에서 외부 클라우드로 보내면 해킹에 노출될 수 있기 때문이다. 카말 하티 스플렁크 수석부사장은 시스코 AI 포드 포 스플렁크에 대해 “데이터 주권을 희생하지 않고도 온프레미스, 프라이빗(사적) 클라우드에서 민감한 머신 데이터를 대상으로 관리형 AI를 구현할 수 있게 됐다”고 설명했다.
한순간에 목숨 잃을 수도...피지컬AI 필수
테슬라 자율주행 택시 사이버캡. AFP연합뉴스피지컬AI가 발전하면서 온프레미스의 중요성도 커지고 있다. 피지컬AI는 물리적 현실에 AI를 접목한 영역으로 자율주행차, 휴머노이드(인간을 닮은 로봇), 로봇 의료 기기 등이 대표적이다. 피지컬AI는 사람의 생명과 직결되거나 안전 사고와 관련성이 높은 영역이므로 온프레미스에 기반한 개발·운영이 중요하다. 클라우드는 아무리 네트워크 속도가 빠르더라도 외부 데이터센터를 오가는 시간이 걸리기 때문에 저지연 능력에서 온프레미스를 따라갈 수 없다.피지컬AI는 온프레미스 AI, 즉 엣지 AI가 실현되는 대표적인 AI 분야다. 최대한 최종 사용자와 가까운 곳에 데이터센터 역할을 하는 컴퓨팅 장치나 디바이스를 구축한다. 엣지 AI는 데이터가 발생하는 곳에서 AI를 구동시키고, 디바이스가 인터넷 연결 없이도 밀리초(1000분의 1초) 단위로 의사 결정을 내릴 수 있도록 돕는다. 로컬 처리를 통해 전송 지연을 최소화하고 대역폭 소비를 줄이며 민감한 데이터를 보호하고 운영 대응력을 향상시킬 수 있다.
자율주행차는 온프레미스에 기반한 대표적인 분야다. 자율주행차는 사람이 아닌 기계가 운전하기 때문에 사고 위험이 발생할 경우 인간의 순간적인 판단력과 같은 결정을 순식간에 내려야 한다. 내비게이션, 장애물 감지 등 대부분의 처리가 차량 내부에서 이뤄진다. 인간의 개입이 전혀 없는 완전 자율주행 단계에서는 기계 판단이 밀리초 단위로 늦어지더라도 대형 사고로 이어질 수 있기 때문에 온프레미스 기반으로 기계가 신속하게 처리해야 한다.
의료용 로봇이나 휴머노이드도 마찬가지다. 예를 들어 수술실에서 점점 더 많이 사용되는 스마트 분석 및 로봇 제어 기능에서 저지연, 네트워크 안정성, 대역폭(단위 시간당 데이터 전송량) 유지는 핵심이다. 여기에서 한치의 오차라도 발생할 경우 환자의 생사가 오갈 수 있기 때문에 엣지 컴퓨팅이 필수적이다.
AI 주권 갖는 소버린 AI 시대
이재명 대통령과 젠슨 황 엔비디아 최고경영자가 지난 7월 24일(현지 시간) 미국 샌프란시스코 더 미드웨이에서 샌프란시스코 AI 서밋에서 기념 촬영 후 악수하고 있다. 연합뉴스기업과 정부마다 AI 주권을 의미하는 소버린(sovereign) AI를 강조하고 있는 점도 온프레미스 중요성이 부각되는 배경이다. 소버린 AI는 소수의 하이퍼스케일러나 AI 모델 개발사에 의존하지 않도록 AI 인프라와 모델을 자체적으로 확보하려는 움직임이다. AI 시장이 미국과 중국 중심으로, 앤트로픽·오픈AI·구글·앤비디아 등 빅테크 위주로 흘러가면서 한국은 물론 각국에서 AI 주권을 확보하려는 노력이 이어지고 있다.하이퍼스케일러조차 클라우드의 한계를 보완하기 위해 온프레미스 환경을 지원하는 상황이다. MS는 올해 3월 엣지 컴퓨팅 기업인 아르마다와 손잡고 엣지 컴퓨팅 솔루션을 발표했다. MS가 클라우드와 엣지 컴퓨팅의 장점을 결합해 소버린 프라이빗 클라우드(Sovereign Private Cloud)를 구현하려는 전략적인 시도다. 더글라스 필립스 MS 최고기술책임자(CTO)는 보도자료에서 “조직들이 디지털 전환을 가속화하면서 소버린 클라우드 능력은 선택이 아닌 필수가 됐다”며 “애저 로컬은 엣지 컴퓨팅이라는 새로운 영역으로 확장해 정부와 기업이 주권과 핵심 요구 사항을 충족하면서 독립적으로 운영하는 데 필요한 보안을 제공할 것”이라고 말했다.
※실리콘밸리Look을 구독하시면 실리콘밸리 기술·투자·창업 정보는 물론 재미있는 읽을거리도 받아보실 수 있습니다. https://media.naver.com/hotissue/main?sid1=163&cid=1088902