← 목록으로

Revolut, 개발자 2,000명에 자체 호스팅 GLM 제공…AI 비용을 기존의 10분의 1로 절감

요약
  • Revolut은 약 2,000명의 엔지니어에게 자체 호스팅 GLM을 제공하여 AI 운영 비용을 기존 대비 약 10분의 1로 절감했습니다.
  • 이를 통해 코딩 시간과 리드타임을 대폭 개선했으며, 추론 설정 최적화로 GPU 증설 없이도 처리 성능을 높였습니다.
  • 또한 토큰 제한을 없애 코딩 외에도 메일, Jira 등 다양한 업무에 AI 활용을 확대했습니다.
  • 엔지니어 약 2,000명에게 자체 호스팅 GLM을 기본 제공하고, Claude Code와 Codex는 예외적으로 활용
  • NVIDIA B200 GPU 56개로 GLM-5.3을 운영하며, 혼합 기준 비용은 100만 토큰당 0.30달러임
  • Anthropic과 OpenAI에 내던 비용을 약 10분의 1로 줄였으며, 내부 지표에서 코딩 시간 60%, 리드타임 70% 개선을 기록
  • 토큰 제한을 없애자 어려운 코딩 작업뿐 아니라 메일, Jira, Confluence 관련 업무에도 AI 활용이 확대됨
  • GPU 증설 없이 추론 설정을 조정해, 요청량이 76% 증가하는 동안 첫 토큰 대기시간을 88% 단축함
자체 호스팅 GLM을 기본값으로 전환
  • Revolut은 엔지니어 약 2,000명의 코딩 작업에 자체 호스팅 GLM을 기본 제공함
    • Claude Code와 Codex도 계속 사용하지만 예외적으로 활용함
  • 2026년 4월경 GLM-5.1 자체 호스팅을 시작했으며, 발표 시점에는 GLM-5.3을 NVIDIA B200 GPU 56개로 운영함
  • 혼합 기준 비용은 100만 토큰당 0.30달러이며, Anthropic과 OpenAI에 지불하던 비용의 약 10분의 1임
  • 이 운영 규모와 성과는 AI 운영 책임자 David Abitbol이 AI Engineer NYC에서 공개한 수치임
토큰 제한 해제와 업무 방식 변화
  • 초기 Claude Code 도입 당시 일부 엔지니어의 월간 사용액이 1,000~10,000달러에 달했으나 투자 대비 효과가 뚜렷하지 않아 엄격한 예산 제한을 적용함
  • 이후 자체 호스팅으로 토큰 사용 제한을 없애고 비용의 예측 가능성을 높임
    • 엔지니어들은 어려운 작업이나 분기 말에 대비해 토큰을 아끼는 대신 업무 전반에 AI를 활용하기 시작함
    • 코드 작성 외에도 메일 확인, Jira와 Confluence를 오가는 업무에 활용함
  • 엔지니어링의 병목은 코드 작성에만 있지 않으며, 주변 업무의 시간을 줄이는 효과도 나타남
코딩 시간과 리드타임 개선
  • 엔지니어 약 2,000명의 도입 단계별 내부 지표에서 코딩 시간 60%, 엔지니어링 리드타임 70% 개선을 기록함
  • 리드타임은 기능 개발에 착수한 시점부터 병합을 마치고 배포할 준비가 되기까지의 시간임
    • 코딩 시간은 시간 단위, 리드타임은 일 단위로 추적함
  • 토큰 제한 해제와 GLM 도입 시기에 개선이 나타났으며, 다른 요인을 분리한 대조 실험 결과는 아님
GPU 증설보다 추론 설정 최적화
  • 같은 B200 GPU 56개를 유지하면서 요청량 76% 증가와 첫 토큰 대기시간 88% 단축을 달성함
  • 대화형 사용에서는 첫 토큰까지 3초 미만, 생성 속도는 초당 약 200토큰을 기준으로 삼음
  • 주요 조정 항목은 문맥 길이, FP4 양자화, 텐서 병렬화와 KV 캐시임
    • 최대 문맥 길이를 그대로 적용하기보다 실제 업무에 맞춰 조정함
    • 모델 가중치가 GPU 4개에 들어가더라도 KV 캐시 공간 때문에 8개 구성이 더 적합할 수 있음
  • 캐시 적중률, 추측 디코딩과 입력 처리 및 토큰 생성 단계의 분리도 최적화 대상으로 다룸
에이전트 연결과 운영 통제
  • OpenAI 호환 API와 Responses API로 OpenCode, Codex와 Codex 앱 등에서 자체 호스팅 모델을 활용함
  • 텍스트 중심 코딩 모델을 주 작업에 사용하고, 이미지 인식은 별도 모델로 연결하는 구성을 제시함
  • 샌드박스와 작업별 승인 규칙으로 사람의 개입이 필요한 작업을 통제함
    • 내부자의 오용과 프롬프트 인젝션도 통제 대상으로 다룸
  • 사고 발생 시 원인을 추적할 수 있도록 텔레메트리와 로그를 확보하며, 이를 운영 분석에도 활용함

발표 영상 : Everyon has AI, Who has the Advantage
발표 내용 : 전체 자막과 자료

오픈 웨이트 모델과 프런티어 서비스의 가격 경쟁
  • 이 사례를 공유한 Guillermo Flor의 게시물은 오픈 웨이트 모델이 기본값이고 프런티어 모델이 예외가 되는 전환에 주목
  • 이러한 흐름이 IPO를 준비하는 AI 연구소들에 가격 책정 문제를 안길 수 있다는 전망을 제시

비용이 90% 줄어든다면 팀을 프런티어 API에서 다른 방식으로 옮기겠는가?

그냥 목록으로
원문 보기 ↗