← 목록으로
지난 소식
Replit, microVM으로 샌드박스 엔진 재구축
요약
- Replit은 자율 에이전트의 보안과 격리를 강화하기 위해 기존의 공유 커널 방식 대신 각 샌드박스마다 자체 커널을 가진 microVM 기반의 샌드박스 엔진을 구축했습니다.
- 이 엔진은 가상화 경계를 통해 호스트 접근을 차단하고 eBPF 등을 활용해 활동을 모니터링하며, 수억 개의 프로젝트를 중단 없이 이전했습니다.
- Replit은 자율 에이전트가 코드를 실행하는 환경의 격리를 강화하기 위해 샌드박스 엔진을 전면 재작성. 수억 개 프로젝트를 데이터 손실과 서비스 중단 없이 이전함
- 기존에는 샌드박스들이 호스트의 Linux 커널을 공유했지만, 이제는 샌드박스마다 자체 커널을 가진 microVM을 사용함. 게스트 커널이 뚫려도 호스트에 접근하려면 가상화 경계를 한 번 더 넘어야 함
- VM 내부에서는 컨테이너별로 권한을 제한. eBPF로 프로세스, 파일, 네트워크 활동을 관찰하고 Linux 보안 모듈로 금지된 동작을 차단함
- 외부 통신 규칙과 서비스 자격 증명은 VM 밖에서 관리함. 샌드박스에 API 키를 넘기지 않고도 GitHub 같은 서비스에 연결할 수 있으며, npm과 pip에서 알려진 악성 패키지 설치도 막음
- 미리 띄워 둔 VM에 고객 디스크를 연결해 약 500ms에 샌드박스를 내줌. 이 시간에는 디스크 마운트와 지원 서비스 설정이 포함되며, 파일시스템 데이터는 원격 스토리지에서 필요한 만큼 읽어옴
자율 에이전트에 맞춘 인프라 재구축
- Replit은 거의 10년 동안 온라인 코딩용 샌드박스 인프라를 운영했으며, 이제는 Agent가 같은 환경에서 사용자의 코딩 없이 애플리케이션을 구축함
- 자율 에이전트가 의도한 범위를 넘어 실제 시스템에 접근하고 피해를 줄 수 있다는 점이 OpenAI의 Hugging Face 사건과 Anthropic 평가 사건에서 드러남
- 해당 평가에서는 모델 안전장치가 완화됐을 가능성이 있지만, Replit은 AI 시대에 기존 보안 경계만으로는 충분하지 않다고 판단함
- NIST의 에이전트 표준화 이니셔티브와 의회의 검토도 격리, 신원, 모니터링을 업계 의제로 끌어올림
- 탄력적인 샌드박스 컴퓨팅 수요는 DeepSeek DSec, Kubernetes Agent Sandbox, Google AX와 Agent Substrate에서도 확인됨
- 연초 집계 기준, 2025년 이후 발표된 Daytona, E2B, Runloop, Blaxel의 일부 투자 라운드 합계는 5,930만 달러였음
- 2025년 11월 더 높은 자율성, 영속 작업 공간, 훨씬 높은 동시성을 목표로 재구축을 시작해 2월부터 내부에서 사용했으며, 이후 수개월 동안 안정화와 배포를 진행함
- 새 엔진은 보안과 기능뿐 아니라 클라우드 간 이식성도 개선함
- Bring Your Own Cloud는 고객의 AWS, Google Cloud, Azure 환경에 Replit을 제공함
- 수억 개 프로젝트를 데이터 손실과 서비스 중단 없이 이전했으며, 새 시스템은 수개월째 프로덕션에서 안정적으로 운영 중임
Docker에서 Cloud Hypervisor 기반 microVM으로
- 기존 엔진은 Google Compute Engine VM에 분산된 Docker 기반 무상태 코드 실행으로 출발함
- 이후 영속 작업 공간, 공개 엔드포인트, Nix 패키지 캐시, 리전별 클러스터, 즉시 디스크 포크가 가능한 스토리지를 추가함
- 기존 런타임을 이식하는 대신 새로 구축해, 운영 중인 시스템을 위험에 노출하지 않고 빠르게 시제품을 만들고 개발함
- microVM은 자체 Linux 커널과 최소한의 가상 장치를 가진 경량 가상 머신임
- KVM이 샌드박스를 호스트 및 다른 고객 워크로드와 분리함
- 샌드박스 내부 프로세스는 여전히 컨테이너로 분리하지만, 샌드박스 간 경계는 하드웨어 지원 가상화가 담당함
- 가상 머신 모니터인 VMM으로 Cloud Hypervisor를 선택함
- Firecracker와 재사용 가능한 rust-vmm 구성 요소를 공유하며, virtiofs, 투명한 대형 페이지, 장치 핫플러그, 라이브 마이그레이션을 지원함
- 중첩 가상화로 개발 환경 내부에서 별도 VM을 실행할 수 있음
- 핫플러그와 메모리 스냅샷을 활용해 실행 중인 웜 풀 VM에 고객 디스크를 필요할 때 연결함
- 지원하는 베어메탈 및 가상화 환경 사이의 스냅샷 이식성을 높이기 위해 Cloud Hypervisor를 수정함
- 게스트의 최소 init 프로세스가 컨테이너 시작, 종료, 모니터링을 담당함
- 호스트는 IP 네트워크가 필요 없는 호스트-게스트 채널인 vsock 위에서 gRPC로 통신함
- 단일 감독 프로세스가 microVM 시작, 네트워크 설정, 컨테이너 실행, river 프로토콜 기반 클라이언트 연결 서버 실행을 조율함
- 이 기반은 특정 앱 제작 흐름에 묶이지 않은 범용 Linux VM임
- 내부 에이전트는 장애 조사, 코드 리뷰, 비즈니스 데이터 분석, 지원 티켓 분류에도 활용됨
- 1월 말에는 microVM 및 원격 파일시스템에 접근 정책, 토큰 프록시, 감사 로그, ZeroTrust 네트워크를 결합해 실제 업무 시스템을 대상으로 에이전트를 병렬 실행하도록 함
격리 경계와 최소 권한
- 지난 1년간 로컬 권한 상승(LPE) 으로 이어질 수 있는 Linux 커널 취약점이 다수 발견됐으며, AI 발전으로 오래된 버그의 발견 속도도 빨라짐
- 사례에는 Copy Fail, Dirty Frag(xfrm-ESP 및 RxRPC), Fragnesia, DirtyClone, epoll 경쟁 상태 권한 상승 버그, Bad Epoll, GhostLock, FUSE 파일시스템 드라이버 결함이 있음
- 기존 컨테이너 런타임은 호스트 커널을 공유했으므로, 접근 가능한 커널 취약점을 악용하면 다른 워크로드, 자격 증명, 호스트 네트워크 엔드포인트까지 도달할 수 있었음
- 모든 커널 CVE가 모든 구성에서 악용 가능한 것은 아니지만, 커널 공유는 탈출 성공 시 피해 범위를 키움
- microVM에서는 게스트 커널을 침해해도 호스트에 접근하려면 가상화 경계를 추가로 넘어야 함
- 샌드박스별 커널 덕분에 기존 공유 커널 환경에서 안전하게 제공할 수 없었던 권한을 요구하는 Docker도 지원할 수 있음
- 각 microVM에서는 최소 runc 컨테이너로 개발 환경과 PostgreSQL, git 백업, 보안 요청 프록시 등의 지원 서비스를 실행함
- 구성 요소마다 별도 microVM을 두는 방안은 추가 비용에 비해 테넌트 격리 모델을 유의미하게 바꾸지 않아 채택하지 않음
- 내부 컨테이너는 별도 네임스페이스, 자원 제한, 역할별 권한을 유지함
- 네임스페이스, seccomp, 장치 접근, Linux 케이퍼빌리티(capabilities) 를 역할별로 설정해 사용자 프로세스가 모니터링 에이전트 권한을 물려받지 않도록 함
- Docker에 필요한 추가 권한은 게스트 내부에만 부여하며 물리 호스트에는 접근하지 못함
- VMM 자체도 Linux 케이퍼빌리티가 없는 비특권 계정으로 실행함
작은 커널과 지속적인 취약점 대응
- 게스트 커널은 배포판 기본 설정 대신 tinyconfig 에서 시작함
- microVM에 필요 없는 Bluetooth, 무선, USB, 디스플레이 드라이버 등을 제외함
- 필요한 드라이버는 커널에 내장하고, 게스트 초기화 시 모듈 로딩을 비활성화함
- 일일 자동화와 Replit 기반 자율 에이전트가 커널 업데이트 절차를 처리함
- CVEProject와 kernel.org 기록을 이용해 2026년 6월 1일부터 11월 4일까지 공개된 Linux-CNA CVE 6,211건을 감사함
- 신속한 업스트림 수정 반영 또는 영향받는 코드 제외로 5,969건, 96.1% 를 회피함
- 4,375건, 70.4%는 공개 전에 수정했고, 추가 676건, 10.9%는 구성에서 해당 코드를 제외함
- 이 가운데 최소 15건은 Linux CNA 또는 Red Hat이 LPE를 가능하게 하거나 그 가능성이 있다고 명시함
- Anthropic이 원격 공격자의 root 권한 획득 가능성을 시연한 Linux TCP 취약점 CVE-2026-98432도 대응 사례에 포함됨
- Replit은 CVE 공개 전이자 Anthropic의 익스플로잇 설명보다 2주 이상 앞선 10월 12일에 수정 커널을 반영함
워크로드를 신뢰하지 않는 런타임 감시
- eBPF가 샌드박스 내부의 프로세스 실행, 파일 접근, 네트워크 활동을 관찰하고, Linux Security Modules(LSM)가 커널 경계에서 제한을 강제함
- 두 메커니즘으로 상세한 런타임 가시성을 확보하고 특정 금지 동작을 탐지 및 차단함
- 런타임 원격 측정 데이터는 자율 에이전트에 전달돼 기존 탐지와 금지 패턴을 지속적으로 개선하는 데 쓰임
- 샌드박스마다 호스트와 게스트 양쪽에서 작동하는 보안 모니터를 둠
- 감독 프로세스가 충돌, 변조, 새 버전 배포 시 모니터를 복구하고 재시작함
- 변경 병합 후 15분 이내에 전체 프로덕션 샌드박스의 보안 구성 요소를 업데이트하고 핫 리로드할 수 있음
- 커널 수준의 eBPF와 LSM을 활용해 메인라인 수정이 나오기 전에도 제로데이 커널 익스플로잇에 대한 임시 대응을 적용할 수 있음
- eMudhra의 중간 CA 키가 침해됐을 때는 샌드박스 하네스가 실행 중인 모든 샌드박스에 갱신된 CA 번들을 자동 주입함
- 고객이 각 환경을 직접 업데이트하도록 요구하지 않고 기존 제어 경로로 대응함
- 자동화된 보안 연구와 대응 방식은 후속 글에서 추가 공개할 예정임
게스트 외부의 네트워크 통제
- 샌드박스마다 네트워크 네임스페이스와 라우팅 테이블이 있어 같은 사설 IP 주소를 재사용할 수 있음
- Linux VRF가 중첩된 네트워크를 분리하고, 연결 추적이 송수신 트래픽의 라우팅 식별 정보를 유지함
- 기본 방화벽은 클라우드 메타데이터와 인프라 주소 대역 접근을 제한하며, 사설 연결이 필요한 경우 명시적으로 허용함
- 아웃바운드 정책은 게스트 외부에서 집행함
- 호스트 프록시가 애플리케이션 페이로드를 복호화하지 않고 TLS 핸드셰이크의 호스트명을 확인하며, DNS를 필터링하고 허용 경로 밖의 트래픽을 거부함
- 게스트는 이 규칙을 비활성화할 수 없음
- 사설 엔드포인트 터널은 워크로드에 로컬 소켓을 제공하되 자격 증명은 호스트에 보관함
- 가상 NIC 속도 제한기도 게스트 외부에서 인바운드 및 아웃바운드 대역폭 제한을 적용함
- 제한된 순간 버스트는 허용하면서 지속 트래픽을 제한하며, 게스트 네트워크 설정을 바꿔도 VMM 제한기는 제거되지 않음
- 대역폭 제한은 자원 남용을 억제하는 장치이며, 허용 목적지를 결정하는 정책과는 별개임
자격 증명과 소프트웨어 공급망 보호
- 관리형 커넥터는 자격 증명 브로커를 통해 GitHub, Google Docs 같은 업스트림 서비스로 요청을 전달함
- 브로커가 인가 후 업스트림 자격 증명을 붙이므로 워크로드는 계정 API 키를 받지 않고 서비스를 사용할 수 있음
- 호출자가 보낸 인증 헤더를 제거하고, 응답의 민감한 헤더와 트레일러도 제거함
- npm과 pip 등의 요청은 레지스트리 방화벽을 거침
- 알려진 악성 의존성과 패키지의 설치를 즉시 차단함
- 코딩 에이전트는 차단 사실을 인식하고 해당 의존성을 자율적으로 교체하거나 제거함
원격 블록 스토리지와 빠른 디스크 포크
- 각 샌드박스의 파일시스템은 원격 블록 스토리지 서비스에 저장되며 필요한 데이터를 요청 시 가져옴
- 큰 작업 공간을 시작할 때도 전체 파일시스템을 먼저 내려받을 필요가 없음
- 자체 블록 장치 서비스와 연결하기 위해 vhost-user virtio-blk 백엔드를 구현함
- Cloud Hypervisor 옆에서 실행되는 프로세스가 게스트 블록 I/O를 처리해 원격 디스크를 일반 가상 블록 장치로 노출함
- 과거에는 호스트 커널 하나에서 수백 개 네트워크 블록 장치를 관리하면서 예기치 않은 교착 상태와 노드 장애를 겪었으며, 새 구조는 이 방식에서 벗어남
- Claude Sonnet 4 시기에 완전히 AI로 작성한 초기 구성 요소 중 하나로, 5~7회 반복 개발을 거쳐 현재의 동기/비동기 혼합 모델로 정착함
- 이 모델이 낮은 지연을 유지하면서 처리량을 최대화했음
- 쓰기 시 복사(copy-on-write) 로 새 디스크가 기존 블록을 참조하고 쓰기가 발생한 부분만 달라지도록 해 포크 비용을 낮춤
- 스토리지 재연결 기능은 배포 시 진행 중인 I/O를 마무리하고 디스크를 영속화한 뒤, 게스트 재시작 없이 다시 연결할 수 있음
웜 풀로 약 500ms에 샌드박스 인계
- 샌드박스 시작에는 Linux 커널 부팅, 이미지 가져오기, 컨테이너 시작, 게스트 에이전트 실행이 필요함
- 최소 게스트 커널로 부팅을 빠르게 하고, 웜 풀로 나머지 작업 대부분을 미리 수행함
- 고객 볼륨 연결 및 마운트와 지원 서비스 병렬 설정을 포함한 샌드박스 인계 시간은 약 500ms임
- 수만 개 샌드박스를 동시에 운영하려면 웜 풀 이상의 조율이 필요함
- 후속 2부에서는 Kubernetes 기반 microVM 오케스트레이션을 다룰 예정임
- Replit은 이번 전환으로 부팅 시간 단축, 격리 강화, 보안 기능 개선을 달성했으며 보안 투자를 계속할 계획임
키워드
ReplitmicroVM샌드박스자율 에이전트