← 목록으로

JVM 시작 시간, 330초에서 3초로 줄이기

요약
  • CRaC 기술을 활용해 워밍업을 마친 JVM의 프로세스 상태를 체크포인트로 저장하고 복원함으로써 파드 준비 시간을 330초에서 3초로 대폭 단축했습니다.
  • 이를 통해 배포 시간과 CPU 사용량을 획기적으로 줄였으며, 실질적인 오토스케일링과 스팟 인스턴스 활용이 가능해졌습니다.
  • CRaC으로 워밍업을 마친 JVM의 프로세스 상태를 저장하고 새 파드에서 복원해, 파드 준비 시간을 약 330초에서 2~3초로 줄임
  • 기존에는 파드마다 부팅과 JIT 워밍업을 반복해 CPU 여유 용량을 상시 확보해야 했고, 장애 복구와 오토스케일링도 5분 넘는 준비 시간에 제약받았음
  • 적용 후 전체 배포 시간은 약 20분에서 4분, 정상 상태 파드 CPU는 기존 기준의 약 20% 로 줄었으며 오토스케일링이 가능해짐
  • 실제 운영에서는 CPU 명령어 기능 불일치로 여러 파드의 JVM이 시작하지 못했으며, CRaC 적용 전 정상 이미지로 빠르게 롤백해 트래픽을 복구함
  • 동적 오토스케일러 아래에서는 같은 노드 그룹이나 인스턴스 유형도 하드웨어 동일성을 보장하지 않으므로, 체크포인트 생성 시 기준 CPU 기능 집합을 명시적으로 고정해 복원 호환성을 확보함
JVM 워밍업을 매번 반복하는 비용
  • Java 프로세스는 처음에 바이트코드 인터프리터로 코드를 실행하고, JIT 컴파일러가 자주 실행되는 코드를 관찰해 점점 더 적극적인 최적화 단계의 네이티브 기계어로 컴파일함
    • 워밍업은 JVM이 이런 최적화를 통해 실행 속도를 확보하는 과정이며, 실제 시간과 CPU를 소비함
    • 배포, 오토스케일링, 파드 교체, 공격으로 인한 재시작 때마다 이 비용을 처음부터 다시 부담함
  • 해당 서비스는 파드 부팅에 약 75초, 실제 트래픽을 맡길 수 있을 때까지 워밍업에 약 245초가 걸렸고, 전체 준비 시간을 약 330초로 잡았음
    • 파드를 몇 개씩 순차 교체하므로 전체 배포에는 약 20분이 필요했음
    • 단순 재시작도 배포만큼 느렸음
  • 워밍업의 CPU 급증이 프로덕션 트래픽과 겹칠 수 있어, 파드 수명 동안 한 번 발생하는 비용을 감당하려고 CPU 여유 용량을 하루 종일 유지했음
  • 공격이나 트래픽 급증으로 파드가 종료되면 대체 파드도 약 330초를 기다려야 해, 가장 중요한 순간에 평균 복구 시간(MTTR) 이 악화됐음
  • 새 파드가 유용해지기까지 5분 넘게 걸려 부하에 대응하는 오토스케일링이 실질적인 도움이 되지 않았으며, 새벽 3시에도 고정 규모와 충분한 용량을 유지했음
대안의 한계와 CRaC의 작동 방식
  • GraalVM 네이티브 이미지는 거의 즉각적인 시작을 제공하지만, 해당 접근에서는 상당한 재작성과 워밍업 이후 JIT의 최대 처리량 포기가 대가였음
  • AppCDS는 더 작고 안전한 변경으로 클래스 로딩을 가속하지만, 주요 비용인 JIT 단계별 최적화, 인라인 캐시, GC 휴리스틱 안정화는 해결하지 못함
  • CRaC(Coordinated Restore at Checkpoint) 는 실행 중인 프로세스를 디스크에 동결했다가 같은 상태로 되살리는 Linux의 CRIU(Checkpoint/Restore In Userspace) 를 기반으로 하는 OpenJDK 프로젝트임
    • 한 실행 환경에서 JVM을 충분히 워밍업한 뒤 전체 프로세스 상태를 체크포인트로 저장함
    • 이후 파드는 부팅과 워밍업을 반복하지 않고, 이미 워밍업된 이미지를 약 2~3초 안에 복원함
  • 핵심은 부팅을 가속하는 대신 부팅 자체를 반복하지 않는 것이며, 비싼 작업은 한 번만 수행하고 이후 파드는 이미 실행 중이던 JVM을 복제함
측정 결과와 운영 비용 변화
  • 적용 전후 준비 시간과 CPU 지표가 크게 달라졌음
    • 파드 준비 시간: 약 330초에서 약 2~3초로 단축됨
    • 전체 배포 시간: 약 20분에서 약 4분으로 단축됨
    • 정상 상태 파드 CPU: 기존 기준의 약 20%로 줄어듦
    • 오토스케일링: 실용적이지 않았던 상태에서 사용 가능한 상태가 됨
  • 상시 예약 용량도 줄일 수 있게 됨
    • 기존에는 실제 부하와 무관하게 각 파드의 워밍업 급증을 감당할 CPU를 확보했음
    • 정상 상태 CPU가 기존의 약 20%로 줄면서 전체 파드의 상시 예약 용량도 대략 같은 비율로 축소할 수 있음
  • 비혼잡 시간대 축소가 실용적이 됨
    • 수분 안에 안전하게 용량을 추가하지 못하면 용량을 줄이는 것도 신뢰하기 어려워, 기존에는 하루 종일 최대 부하 기준으로 운영했음
    • 새 파드가 2~3초 만에 준비되면서 실제 비혼잡 시간대에 규모를 줄일 수 있게 됨
  • 스팟 인스턴스를 활용할 여지가 커짐
    • 스팟 용량은 짧은 사전 통지 후 회수될 수 있어 저렴하지만, 대체에 330초가 걸리는 지연 민감 서비스에서는 사용 부담이 컸음
    • 대체 시간이 2~3초로 줄면서 회수 대응이 쉬워지고 더 저렴한 컴퓨팅을 이용할 수 있게 됨
  • 배포 시간 단축이 가장 먼저 눈에 띄지만, 예약 용량 축소, 오토스케일링, 스팟 활용에 따른 비용 절감이 함께 누적되어 구현에 투입한 엔지니어링 비용을 회수함
CPU 기능 불일치로 실패한 복원과 롤백
  • 같은 날 여러 파드에서 cpu.features 비트맵 불일치로 복원이 실패함
    • /var/checkpoint에서 CRaC 엔진이 오류 -1로 복원에 실패했음
    • 로그에는 CPU 기능이 호환되지 않거나 없다는 오류와 Could not create the Java Virtual Machine이 나타났음
    • 요청 처리 중 종료된 것이 아니라 JVM 자체가 시작을 거부했음
  • 즉시 CRaC을 적용하지 않은 마지막 정상 이미지로 롤백함
    • 파드가 기존 시작 경로로 복구되면서 트래픽이 회복됐고, 다운타임을 최소화해 장애를 수습함
    • 복구 성공과 원인 규명은 별개였으며, 복원 실패 원인을 이해하기 전까지 CRaC을 다시 프로덕션에 투입하지 않기로 함
하드웨어 불일치의 원인과 수정
  • 체크포인트 생성 시 JVM의 JIT는 CPU가 지원하는 명령어 확장을 확인하고 이를 사용하는 기계어를 생성함
    • 복원 대상 호스트에 필요한 명령어가 하나라도 없으면 요청 처리 중 잘못된 명령어 실행으로 실패할 수 있음
    • CRaC은 복원 전에 CPU 기능 비트맵을 검사해 조기에 실패하도록 함
    • 이번 시작 거부는 오작동이 아니라 안전 검사가 정상 작동한 결과였음
  • 동일해 보이던 노드 그룹에 서로 다른 하드웨어가 섞인 데는 두 조건이 겹쳤음
    • 같은 AWS 인스턴스 유형도 내부적으로 여러 하드웨어 세대에 걸칠 수 있어, 유형명이 같은 노드끼리도 CPU 기능이 다를 수 있음
    • 노드 그룹은 정적으로 고정되지 않고 동적으로 프로비저닝됐으며, 오토스케일러가 확장 시점에 사용 가능한 인스턴스 유형과 세대를 선택할 수 있었음
  • 시작 스크립트가 환경 변수를 읽어 체크포인트 생성에 사용할 기준 CPU 기능 집합을 고정하도록 수정함
    • 가능한 최대 성능의 일부를 포기하는 대신, 명목상 노드 그룹 구성이 아니라 실제 전체 하드웨어 조합에서 복원 가능한 체크포인트를 확보함
복구와 원인 분석을 분리하기
  • 장애 시에는 검증된 정상 이미지로 빠르게 롤백하는 것이 우선임
    • 원인 분석 때문에 복구를 늦추지 않고 먼저 가동 상태를 회복한 뒤 안전한 상태에서 조사해야 함
  • 동적 오토스케일러 환경에서 노드 그룹 레이블은 하드웨어 보증이 아님
    • 같은 레이블 아래 서로 다른 하드웨어 세대에 파드가 배치될 수 있다면, 설정하지 않은 균일성을 가정하지 말고 실제로 중요한 조건을 명시적으로 고정해야 함
  • 워밍업된 JVM 복제로 준비 시간을 330초에서 2~3초로 줄였지만, 안전한 운영에 도달하려면 장애를 수습할 롤백과 이후의 정확한 원인 규명이 함께 필요했음
그냥 목록으로
원문 보기 ↗