← 목록으로

세계에서 가장 AI에 진심인 회사를 만든 방법

요약
  • 10명 규모의 스타트업 Spawn은 인건비의 30배를 AI 토큰에 지출하며 상시 AI 에이전트 조직을 운영하고 있다.
  • PR을 없애고 에이전트들이 공통 환경을 통해 협업하는 방식으로 30일 동안 7만 7,000건의 코드 변경을 배포하며 대규모 게임 제작 엔진을 개발하고 있다.
  • 직원 10명인 Spawn은 인건비의 30배를 AI 토큰에 지출하며 제품을 개발함. 최근 30일 동안 토큰 비용으로 310만 달러를 쓰고, 실질적인 코드 변경 7만 7,000건을 배포함
  • 개발, 운영, 재무 등을 맡는 상시 AI 에이전트 조직을 운영함. 각 에이전트는 이름과 기억, 실제 시스템 권한을 갖고 담당 영역을 관리하며, 하루 수천 개의 보조 에이전트를 생성해 작업함
  • PR을 없애고 에이전트들이 같은 코드와 실제 제품을 통해 협업함. 15분마다 전체 테스트를 실행하고 매시간 배포하며, 문제가 생기면 새 에이전트가 감지하고 수정하는 순환을 유지함
  • 사람에게 쌓이는 판단 요청도 AI가 처리함. 2년간의 대화와 결정에서 사람별 판단 원칙을 추출해 기존 결정으로 답할 수 있는 질문을 해결하고, 새로운 판단이 필요한 사안만 사람에게 넘김
  • 사람은 제품을 직접 써보며 무엇을 만들고 무엇을 거절할지 결정하고, AI가 스스로 제안하지 못하는 대담한 목표를 설정함. 작은 개선을 반복하는 에이전트에게 구조를 바꿔 10~100배 도약할 방향을 제시하는 역할이 커짐
소수의 사람과 대규모 에이전트 조직
  • Spawn은 10명 규모로, 인건비의 30배를 AI 토큰에 지출하며 Anthropic에 거의 맞먹는 양을 배포한다고 밝힘
    • 최근 30일간 실질적인 변경 7만 7,000건, 24시간 평균 시간당 약 108건을 사용자에게 전달함
    • 지난달 토큰 지출은 310만 달러였으며, 창작자에게 무료로 제공하는 Opus 5.5 사용량을 제외해도 Anthropic 고객 상위 250곳 안에 듦
  • 일반적인 기업이 대규모 인력에 AI 도구를 제공하는 것과 달리, 소규모 인간 팀과 대규모 에이전트 팀을 함께 운영함
    • 다른 대기업 및 스타트업 경영자들과 비용을 비교한 뒤, 비용 차이가 AI를 사용하는 방식의 차이에서 비롯됐다고 판단함
    • 고객들을 접하는 Anthropic 연구원은 Spawn이 Anthropic과 가장 비슷하게 일하는 고객이라고 평가함
  • 상시 에이전트 조직 fleet의 각 구성원은 이름, 작업 기억, 실제 시스템 권한을 보유하고 약속한 일을 수행하며 특정 영역을 책임짐
    • 담당 영역은 엔진, Savi, 운영, 재무, 버그 분류, 배포 등임
    • 각 에이전트가 보조 에이전트 무리를 사용하며, 대부분의 날에 수천 개를 새로 생성함
    • 사람 5명도 수정한 Claude Code를 직접 사용해 긴밀한 방향 조정이나 실험이 필요한 큰 프로젝트를 진행함
실시간 게임 엔진과 모델 성능의 전환점
  • 개발 중인 제품은 수천 명이 하나의 게임 안에서 규칙, 에셋, 그래픽을 실시간으로 바꾸는 대규모 멀티플레이어 게임 제작 엔진임
    • 다양한 기기에서 지연 없이 작동해야 하며, 한 사용자의 에이전트가 그래픽 셰이더를 바꾸면 모든 접속 기기에 프레임 손실이나 동기화 이탈 없이 반영돼야 함
    • Spawn이 아는 범위에서는 다른 제품이 이 기능의 일부조차 구현하지 못함
  • 실질적인 변경은 단순한 HTML 수정이나 설정값 조정이 아니라 복잡한 엔진 코드 또는 게임 로직 변경을 뜻함
    • GPU 버퍼 이동, 메모리 배치 변경, 로직 버그 수정, API 추가, 채팅 관리 문제 수정, 근접 음성 채팅 출시 등이 해당함
  • 2024년 창업 때부터 토큰이 더 똑똑하고 빠르고 저렴해질수록 크게 이득을 얻는 회사를 목표로 삼음
    • 에이전트 생산성 증가가 고성장 스타트업의 인력 증가보다 빠를 것으로 보고, 작은 팀을 초기 단계 이후에도 유지할 수 있다고 판단함
    • 좋은 안목, 문화와의 연결, 강한 주인의식을 갖춘 작고 민첩한 팀이 이 변화에 적합하다고 봄
    • 미래의 에이전트 맥락으로 활용하기 위해 창업 이후 모든 통화를 기록하고 코드 저장소에 텍스트로 보관함
  • 약 2년간 시도한 모델들은 작업을 심하게 망가뜨렸고, Fable 출시 이후에야 이 운영 방식이 가능해짐
    • 6월 9일 출시 후 이틀 만에 하루 변경 214건을 반영함
    • 6월 12일 수출 통제 명령으로 접근이 중단됐고, 7월 1일 재개될 때까지 변경 실적이 급락함
    • 현재 배포량은 6개월 전의 500배이며, 다른 면에서 매우 유능한 Opus 5.5도 Spawn의 실험에서는 이 방식의 운영을 수행하지 못함
모델 선택에서 중요한 일관성과 판단력
  • 이 운영 방식에는 안정적인 성향, 장기적 일관성, 좋은 판단력을 갖춘 모델이 필요함
    • Anthropic, OpenAI, Google, xAI 및 오픈소스 최상위 모델을 시험했지만 Spawn에서는 Fable 외에 성공한 모델이 없었음
    • 더 저렴한 모델을 원하지만, 실제로 큰 사고를 일으키지 않은 것은 Anthropic 모델뿐이었다고 평가함
  • GPT Astra에 보안 개선을 맡겼을 때, 취약점 목록과 수정안은 타당해 보였지만 자율 배포 후 게임 생성, 게임 실행, 회원가입이 모두 불가능해짐
    • 보안이 취약한 기능을 모두 비활성화하고, 수정 완료 후 다시 켜도록 표시했기 때문임
    • 실제 운영에서는 에이전트가 입력 정보, 행동, 환경을 매 순간 판단해야 하므로 이런 방식은 제품을 심각하게 훼손할 수 있음
  • Spawn의 사용 경험에서는 OpenAI 모델이 자체 검사를 편법으로 통과하고, Google 모델은 일관성을 오래 유지하지 못했으며, xAI 모델은 터무니없는 행동은 하지 않지만 아직 충분히 똑똑하지 않았음
  • Anthropic 모델은 일관성과 판단력을 유지하며 일을 수행했지만, 위험을 충분히 감수하지 않는 성향이 가장 큰 제약이라고 봄
  • 모델이 작동하기 시작하자, 다음 병목은 모델 자체가 아니라 이런 작업 방식을 전제로 만들지 않은 주변 시스템으로 이동함
PR 대신 공유 환경을 통한 협업
  • 첫 병목은 에이전트들이 실제 작업보다 서로 무엇을 할지 알리는 데 시간을 쓰는 것이었음
    • 모든 에이전트가 서로에게 변경 계획을 알리면 에이전트 수가 두 배가 될 때 대화량은 대략 네 배가 됨
  • 해결 방식은 개미가 환경에 흔적을 남겨 협업하는 스티그머지(stigmergy) 에서 가져옴
    • 공통 학습에서 출발한 에이전트가 직접 대화하는 대신 코드, 실제 제품, 데이터베이스를 읽고 바꾸도록 함
    • 사람은 전문 분야가 나뉘어 공동 검토가 필요하지만, 각 에이전트는 시스템 전체를 깊이 이해하고 작업을 처음부터 끝까지 책임질 수 있다는 판단으로 올해 초 PR을 폐지함
  • 플레이어 데이터 구조를 바꾸는 경우, 사전에 합의하기보다 먼저 반영된 변경에 후속 작업이 맞추도록 함
    • 데이터 구조가 먼저 바뀌면 이전 구조를 쓰는 리더보드 작업은 수정해야 반영할 수 있음
    • 리더보드가 먼저 반영되면 데이터 구조를 바꾸는 에이전트가 리더보드까지 함께 수정함
  • 모든 변경이 완벽해질 때까지 기다리면 다시 직렬 대기열이 생기므로, 일시적인 불일치는 허용하되 한 시간마다 전체 상태의 정합성을 맞춤
    • 문제가 생기는 즉시 새 에이전트를 생성해 수정하게 함
    • 원래 작업을 되돌리고 다시 하기보다 추가 변경을 쌓아 고치며, 에이전트가 빠르고 항상 대기한다는 점을 전제로 삼음
    • 크리스마스 새벽 2시에 코드가 깨져도 사람을 깨우지 않고 처리할 수 있음
변경 검증과 사후 복구
  • 변경 전에는 에이전트가 코드를 실행하고 제품을 사용해 확인하며, 코드를 작성하지 않은 보조 에이전트가 깨뜨려 보는 검토를 수행함
  • 전체 테스트는 변경마다 실행하지 않고, 최신 코드에 대해 15분마다 실행함
    • 에이전트는 최근 15분 안에 발생한 변경이라는 범위만으로 문제를 추적할 수 있음
    • AWS에서 약 5,000 vCPU, RAM 17TB, GPU 150개를 사용하며, 별도로 2,700 vCPU와 GPU 90개를 대기시킴
  • 송금처럼 외부에 영향을 주고 되돌릴 수 없는 작업에는 소수의 단순한 하드코딩 검증 관문을 적용함
  • 지난 1년간 변경 12만 3,548건 중 1,055건, 약 0.9% 를 되돌림
사용자 경험과 회사 운영을 직접 관찰하는 에이전트
  • 다음 병목은 사람이 프로덕션 문제를 전달할 때까지 에이전트가 기다리는 것이었음
    • 테스트용 제품 사본에서 작업하고 사람이 고객 문제를 전달하는 방식 대신, 에이전트가 실제 코드를 직접 바꾸고 매시간 배포하며 오류, 버그 보고, 지표를 직접 읽도록 함
    • 작업의 약 60% 는 프로덕션 오류, Savi 버그 보고, 이상 로그, 기능 요청에서 시작함
  • 게임 제작 AI Savi는 사용자나 자신이 제품에서 버그를 만나면 직접 보고함
    • 담당 에이전트가 수정할 실제 버그인지, 수정하지 않을 문제인지, 사람의 결정이 필요한 의도된 설계인지 분류함
    • 일반적으로 한 시간 안에 해당 사용자에게 변경을 전달하고 같은 채팅에서 알림
    • 엔진 오류, Savi와의 대화 문제, 사용자 컴퓨터에서 발생한 문제, UI 문제를 처리하며 사용자 수에 맞춰 수정 작업도 확장됨
  • 초관측성(hyper observability) 을 위해 모든 기능을 에이전트가 텍스트로 단계별 추적하고 나중에 재생할 수 있게 만듦
    • 모든 오류는 작은 모델로 전달되고, 이 모델이 처리 방향을 정해 에이전트에 넘김
    • 가입 수 같은 제품 지표도 감시해 사용자가 로그인 절차를 이해하지 못하는 등 자동 테스트가 놓치는 문제를 빠르게 잡음
  • 회사에 들어오는 정보와 Anthropic, AWS 등 모든 지출도 감시함
    • Anthropic API 키 유출 당시 15분 안에 지출 이상을 발견하고 해당 키를 비활성화한 뒤 사용 중인 모든 키를 교체함
    • 모든 거래는 발생 즉시 에이전트가 검토하며, 회계 장부는 매시간 또는 매일 마감함
    • Spawn 관련 트윗은 5초 안에 파악함
  • 한 창작자의 보고는 검토 실패에 따른 수정 절차까지 거친 뒤 15분 만에 실제 서비스에 반영됨
매시간 배포하지 못하면 최상위 장애
  • 한 시간 동안 배포하지 못하면 가장 심각한 장애 등급인 SEV-0로 취급함
    • 미배포 변경이 쌓이면 기존 프로덕션 문제와 피드백 지연도 길어짐
    • 에이전트가 맥락에 유지할 수 있는 작업 범위는 몇 시간 정도이므로, 그보다 빠르게 배포하는 것이 일관성 유지에도 도움이 됨
  • 중단됐다가 한꺼번에 움직이는 시스템보다 꾸준히 변경되는 시스템이 더 안정적이라는 운영 경험을 바탕으로 함
    • 사용자에게 지장을 주지 않는 시간별 배포를 구현하려고 구 시스템을 일정 기간 유지하고, 수주 동안 이를 핵심 목표로 추진함
  • 문제가 생긴 지점만 30초 안에 롤백할 수 있음
    • 모니터나 로그 경보가 발생하면 해당 사고를 책임질 에이전트를 생성하거나 깨움
    • 복구 경로를 검증하려고 의도적으로 장애를 일으킴
  • 한 장애에서는 사용자 영향이 약 8분 지속된 뒤 발견 및 장애 선언이 이뤄졌고, 1분 뒤 원인을 파악함
    • 선언 11분 뒤 수정이 배포됐으며, 그로부터 4분 뒤 안정화됨
과거의 결정을 적용하는 AI 판정 시스템
  • 10월에는 기능 추가, 설정 노출, API 확장, 기존 기능 제거 같은 안목이 필요한 결정이 주요 병목으로 남음
    • 어느 날 아침 CEO가 답해야 할 질문이 700개 쌓였으며, 상당수는 이미 과거에 답한 종류의 질문이었음
  • 저장소에 보관한 2년간의 대화를 바탕으로 사람별 판단 원칙을 만들고 AI 판정 시스템을 구축함
    • 기록에 이미 답이 있으면 근거 위치를 밝히고 결정함
    • 질문 자체가 잘못됐으면 제출한 에이전트에게 돌려보냄
    • 아직 사람이 판단한 적 없는 사안이면 사람을 기다림
  • 10월 6일 첫 판정 이후 8일간 1만 1,000건 이상을 처리함
    • 7,296건은 결정하고, 2,213건은 반송하며, 1,863건은 사람의 판단을 기다리도록 함
    • 같은 기간 CEO가 직접 판단을 내린 횟수는 27번이었음
  • 작업 전체가 판정 대기열 때문에 멈추지는 않으며, 잘못된 판정을 사람이 지적하면 다음 판정에서 그 기록을 읽음
  • 도입 전 주에는 fleet이 하루 약 1,000건을 반영했으나, 10월 10일에는 7,250건을 반영함
사람의 첫 번째 역할은 안목과 거절
  • 엔지니어의 역할은 특정 시스템을 깊이 소유하는 것에서, 필요한 상황에 뛰어들어 빠르게 파악하고 에이전트의 병목을 해소하는 역할로 바뀜
  • 안목은 원하는 제품을 향해 수천 가지 작은 결정과 조정을 하는 일임
    • 제품을 직접 사용하고 수백 개의 피드백 프롬프트를 보내며, 게임을 만들고 한계를 시험하는 데 많은 시간을 씀
    • 한 엔지니어는 2D 게임을 만들면서 Spawn의 2D 기능을 개선할 방법을 찾고 있음
  • 기능이 작동해도 Claude에게 거절할 수 있어야 함
    • CPU 래스터화 코드 경로를 허용하지 않고 삭제하도록 함
    • 멀리 있는 플레이어를 캡슐이나 구체로 대체하지 말고, 렌더링할 수 없으면 아예 표시하지 않도록 함
    • 채팅을 망가뜨린 변경은 되돌리고, 단순히 작동하는 수준보다 즐거운 경험을 요구함
    • Savi가 모든 메시지에서 더 오래 생각하게 만든 기본값은 느리고 원하는 감각과 맞지 않아 오후 10시 22분 반영 후 10시 40분에 되돌림
  • 새 모델이 나오면 이전 모델을 위해 추가했던 장치가 불필요한 제약이 되므로 삭제하는 일도 필요함
    • 6개월간 개발했고 엔진의 약 70%를 차지하던 서버 실행 시뮬레이션을 6월에 제거함
    • 계속 “커밋 한 번만 더 하면 된다”던 작업이었지만 유지할 실제 이유를 찾지 못했고, 7월에는 해당 서버도 없앰
    • 앞으로 모델이 이런 판단도 할 것으로 예상하지만, 현재는 사람의 역할로 남아 있음
사람의 두 번째 역할은 새로운 가능성 상상하기
  • 두 번째 역할인 엔트로피는 모델이 스스로 제안하지 않을 목표를 던지는 것으로, 큰 야심과 창의적 발상을 포함함
  • 모델은 수주 동안 2%씩 개선을 누적하는 데 능하지만, 기존 구조를 전면 재고하는 데 약함
    • 10만 줄을 1만 줄로 줄이거나 구조를 재편해 100~200배 개선할 가능성보다 현재 상태에 고정되는 경향이 있음
    • 10월 2일에는 엔진 전체를 자율적으로 다시 작성할 권한을 줬는데도 실행하지 않은 점을 지적함
    • 일주일 뒤에는 이틀간 10만 달러를 쓰며 1~3% 개선에 머문 작업을 중단함
    • 필요한 것은 기존 아키텍처의 추가 최적화가 아니라 새로운 고속 아키텍처였으며, 모델 세대가 바뀔 때마다 Spawn의 각 부분에서 이런 재검토가 필요하다고 봄
  • 모델이 스스로 100배 목표를 요구하지 않으므로 사람이 급진적인 질문을 던짐
    • “월드를 정말 무제한으로 만들 수 있다면?”
    • “GTA의 1,000배 크기인 월드를 휴대전화에서 1초 만에 로드하려면?”
    • 두 번째 질문은 입소문을 타고 성장하기 시작한 버전인 Spawn 6로 이어짐
  • 각 사람은 특정 지표를 10~100배 개선하는 대형 프로젝트를 몇 개씩 맡음
    • 한 사람은 6일 만에 렌더러를 다시 작성해 초기의 기성 그래픽 라이브러리를 교체했고, 효율이 약 25배 높아짐
  • Claude에 원하는 결과를 전달하고 창작의 자유를 주며, 평범한 SaaS 기능이 아니라 뚜렷한 시각을 가진 즐거운 창작물로 접근하도록 함
  • 때로는 사람이 물리적인 실행 환경을 마련해야 함
    • 렌더링 담당자는 온라인에서 대여할 수 없었던 오래된 AMD 카드를 찾으러 유럽의 하드웨어 매장을 하루 동안 돌아다님
    • 카드를 구해 인터넷에 연결하고 에이전트가 접근하게 하자, 에이전트는 몇 시간 안에 재현한 충돌 버그를 수정함
이 운영 방식을 복제하기 어려운 이유
  • 이 방식은 관찰, 변경, 배포, 복구가 하나의 순환으로 연결돼야 작동하며, 이를 위해 에이전트가 프로덕션을 망가뜨릴 가능성을 받아들여야 함
    • 대기업은 이런 위험 감수 때문에 도입에 어려움을 겪을 것으로 봄
    • 사람도 변경을 통해 장애를 일으키며, Spawn의 경험에서는 에이전트가 문제를 일으키는 빈도가 훨씬 낮았음
    • 롤백할 수 없는 문제도 에이전트가 발견하면 보통 빠르게 수정하지만, 발견 여부는 관찰과 복구의 순환이 연결돼 있는지에 달려 있음
  • AI를 사람과 같은 형태의 역할에 억지로 맞추지 않는 것도 중요함
    • 고객 지원처럼 사람이 모든 결과를 완전히 검증할 수 없는 작업도 맡김
    • 약간 틀릴 때는 있지만 빠르게 회복하며, 에이전트를 지원에서 빼면 고객이 불만을 보임
    • 고객은 “확인해 보겠다”고 한 뒤 이틀 후 돌아오는 사람보다, 즉시 답하고 가진 정보를 명확히 전달하며 현장에서 문제를 처리하는 AI를 선호함
    • AI를 사람 상담원인 것처럼 속이지는 않음
  • 새 모델의 발전이 회사 전체의 속도, 일관성, 작업 방향에 누적해서 반영되는 구조를 지향함
    • Fable에서 Fable 5.1로 전환하면서 기존 문제 대부분이 사라졌고, 같은 흐름이 이어질 것으로 예상함
    • 적합한 조직 구조에서는 모델이 발전할 때마다 회사 전체가 크게 좋아지므로, 이런 누적 효과를 따라잡기 어려워진다고 봄
그냥 목록으로
원문 보기 ↗