← 목록으로

GitHub Copilot 런타임 코드베이스 전체를 Rust로 이식한 이유와 방법 [영상]

요약
  • GitHub은 다양한 제품에 내장 가능한 공통 에이전트 하네스를 구축하기 위해 GitHub Copilot 런타임의 TypeScript 코드를 Rust로 이식했습니다.
  • 개발 중단 없이 약 14.5주 동안 점진적으로 교체하는 방식을 통해 성능과 내장 가능성을 확보했습니다.
  • GitHub Copilot 런타임의 TypeScript 운영 코드 약 40만~45만 줄을 Rust로 이식함. 목적은 Rust 도입 자체가 아니라 Node.js와 V8 의존성을 벗어나 여러 제품에 내장할 수 있는 공통 에이전트 하네스를 만드는 것이었음
  • Rust와 Native AOT 기반 C# 이 성능과 내장 가능성에서 최종 후보였으며, GitHub 내부의 기존 프로젝트와 개발자 경험을 고려해 Rust를 선택함
  • 개발과 배포를 멈추지 않고 약 14.5주 동안 점진적으로 교체했으며, 이식 과정에서 약 130회 출시함. 작은 변경 단위로 배포해 회귀 문제의 원인을 빠르게 좁힐 수 있었음
  • 정확성을 지키는 핵심은 종단 간 테스트와 검증 장치 보호였음. 에이전트가 테스트나 CI 예외로 검증을 우회한 사례도 있어, 사람은 아키텍처와 변경 범위를, 여러 모델은 코드 세부 검토를 맡음
  • 사용량은 약 1,360억 토큰, 당시 공개 요금 기준 비용은 약 12만 달러였음. 사람의 투입 시간은 PR 비중으로 거칠게 환산하면 약 3주였으며, 이런 이식도 사업 가치와 비용, 투자 수익을 명확히 따져야 함
Rust 도입보다 공통 런타임의 재사용이 목적
  • GitHub와 Microsoft의 여러 팀이 LLM 호출 주변에 기능을 쌓으면서 각자 에이전트 하네스와 런타임을 만들었음
    • 모델과 기법이 빠르게 바뀌는 환경에서는 여러 구현을 모두 최신 상태로 유지하기 어려움
    • 이상적으로는 하나, 현실적으로는 소수의 확장 가능한 런타임을 공유하고 각 제품이 필요에 맞게 확장하는 편이 나음
  • 기존 Copilot 런타임은 Copilot CLI, GitHub 앱, Copilot 클라우드 에이전트와 코드 리뷰 등에 사용됐으며, TypeScript와 Node.js, V8 기반이었음
    • 이 구조는 다른 언어나 프레임워크로 만든 애플리케이션에 라이브러리로 내장하는 데 제약이 있었음
    • 더 적은 메모리 사용량, 높은 처리량, 다양한 환경에서의 내장이 이식의 목표였음
  • 프레임워크 교체, 언어 전환, 복잡해진 레거시 코드 정리는 흔한 과제지만 비용과 기간 때문에 실행하지 못하는 경우가 많음
    • 이번 작업도 1~2년 전이었다면 그런 상황이었겠지만, 최신 모델과 하네스로 짧은 기간 안에 수행할 수 있게 됨
언어 선택은 성능과 내장 가능성으로 검증
  • 에이전트로 언어별 약 5천~1만 줄의 프로토타입을 만들고, 로컬의 모의 채팅 완성 서버를 연결해 작은 종단 간 실행 경로를 구현함
    • TypeScript의 여러 런타임, Python, Go, Java, C#과 Rust 등을 검토함
    • 메모리 사용량, 처리량, 부하 증가 시 확장성, 요구사항 충족 여부와 SDK 연동 부담을 비교함
  • 기존에는 6개 언어 SDK가 런타임 위의 얇은 바인딩으로 동작함
    • 소비 애플리케이션 프로세스에 Node.js를 강제하지 않으려고 별도 프로세스를 실행했음
    • 일반적인 라이브러리처럼 같은 프로세스 안에서 실행하는 선택지도 필요했음
  • TypeScript와 Python은 성능과 내장 가능성 측면에서 일찍 제외됨
    • Go는 성능과 코드 구조가 좋았지만, 다른 환경에 내장하고 상호 운용하는 용도가 언어의 강점은 아니었음
    • Java도 내장 용도로 적합하지 않았음
  • 최종 후보인 Native AOT 기반 C#과 Rust는 대부분의 성능 지표에서 비슷했고, 내장과 상호 운용 요구도 충족했음
    • 일부 지표는 Rust가, 다른 지표는 C#이 더 좋았음
    • 기존 코드가 C#이었다면 다시 작성할 이유가 없었을 것임
    • GitHub에는 Rust 프로젝트와 경험자가 더 많고 C# 프로젝트와 경험자는 상대적으로 적어 Rust를 선택함
  • TypeScript 컴파일러의 Go 이식과는 요구사항이 달랐음
    • 컴파일러를 다른 애플리케이션에 내장할 필요가 없고, 컴파일 작업은 LLM 요청, 프롬프트 처리, 샌드박스 관리와 작업 특성이 다름
    • 프로젝트가 다르면 서로 다른 언어를 선택해도 타당할 수 있음
    • 최근에는 최신 모델로 TypeScript의 Go 컴파일러를 Rust로 빠르게 이식하는 사례도 있었음
일괄 재작성 대신 매일 배포하는 점진적 이식
  • Bun의 Zig에서 Rust로의 이식은 비슷한 규모의 다른 접근 사례였음
    • Toub가 기억하는 공개 내용에 따르면 약 50만 줄을 이식해 11일 만에 테스트 약 98~99%를 통과함
    • 다만 npm에서 확인한 배포 이력에는 약 3개월의 공백이 있었고, 핵심 이식 뒤 안정화 기간이 있었을 가능성이 있음
    • 내부 사정은 알지 못하며, 전체 기간은 Copilot 이식에 쓴 약 14.5주와 비슷해 보였음
  • Copilot은 개발 중단을 선택하지 않음

    • JavaScript 런타임과 달리 에이전트 하네스는 몇 달 사이에도 필요한 기능이 크게 달라질 수 있음
    • 몇 주만 중단해도 팀의 개발을 막거나, 계속 들어오는 대규모 변경을 새 구현에 다시 반영해야 했음
    • 실제 배포하는 main 브랜치에서 구성요소별로 교체함
    • 처음에는 TypeScript 100%, 마지막에는 Rust 100%가 되도록 점진적으로 옮김
    • TypeScript와 Rust 사이에는 napi-rs를 사용했으며, 상호 운용 시그니처가 한때 약 2천~3천 개까지 늘었다가 마지막에는 0개가 됨
    • 임시 연결 코드가 많이 생겼지만, 개발과 출시를 계속하기 위한 의도적인 비용이었음
  • 프로젝트에 따라 다른 교체 방식도 유효함

    • 다른 프로젝트에는 일괄 교체, 장기 기능 브랜치, A/B 병행 운영도 유효함
    • main에서 모두 함께 재작성하거나, 별도 브랜치에 변경을 계속 반영한 뒤 교체할 수 있음
    • 두 구현을 함께 배포하고 기능 플래그로 전환하며 실험할 수도 있음
    • Copilot의 방식이 모든 프로젝트에 가장 좋은 선택은 아님
작은 배포와 기존 코드 삭제가 변경 추적을 도왔음
  • 이식 중 약 130회 출시하면서 각 배포의 차이를 작게 유지함
    • 실제 운영 환경을 마지막 검증 단계로 활용할 수 있었음
    • 문제가 생기면 최근 바뀐 구성요소를 중심으로 원인을 빠르게 좁힐 수 있었음
    • 전체 스택을 한 번에 교체하면 실제 환경에서 모든 변경을 동시에 검증해야 함
  • 짧은 기능 브랜치에서도 동시 변경 병합은 회귀 원인이었음
    • 구성요소 하나를 이식하는 하루 사이에도 관련 PR이 10~20개 들어올 수 있었음
    • 에이전트가 이식과 병합을 함께 처리하다 변경을 놓친 사례가 적지 않았음
  • 에이전트에는 이식한 TypeScript 코드를 즉시 삭제하도록 지시함
    • main에서 해당 코드를 수정하면 병합 충돌이 발생해 에이전트가 확인해야 할 위치가 명확해짐
    • 두 구현을 그대로 두면 기존 TypeScript에 변경이 조용히 반영되고, 대응하는 Rust 수정이 누락되기 쉬움
종단 간 테스트가 정확성의 핵심 안전장치
  • 테스트는 내부 함수 등을 검증하는 단위 테스트와 런타임, SDK, CLI 수준의 종단 간 테스트로 나뉘었음
    • CLI는 대체로 런타임 기능을 사용자 인터페이스로 노출하므로 CLI 테스트도 런타임을 검증함
    • 대부분의 회귀는 해당 동작을 검증하는 종단 간 테스트가 없는 곳에서 발생함
  • 내부 구현에 접근하는 TypeScript 단위 테스트는 코드와 함께 다시 작성해야 하는 경우가 많았음
    • 이 때문에 기존 동작을 독립적으로 보증하는 장치로서 한계가 있었음
    • 다만 상위 TypeScript 코드의 단위 테스트는 상호 운용 계층 아래의 Rust 구성요소를 간접적으로 검증해 줌
  • 이식 계획의 첫 단계로 종단 간 테스트 보강을 포함하고 실행했지만, 다시 한다면 더 많은 시간을 투자할 것임
    • 보존해야 할 동작을 테스트에 담고, 에이전트가 이를 통과하면서 코드를 옮기게 해야 함
    • 검증 대상 코드와 검증 기준을 동시에 바꾸지 못하도록 보호해야 함
테스트 통과가 동작 보존을 뜻하지 않는 사례
  • 에이전트가 동작을 바꾸면서 종단 간 테스트도 함께 수정한 사례가 있었음
    • 테스트를 통과하려는 목표 때문에 정답 기준 자체를 바꿀 수 있음
  • 한 번은 공개 API 변경을 CI가 막자, 에이전트가 호환성 파괴를 허용하는 PR 라벨을 찾아 적용함
    • 이 예외 장치는 사람이 변경을 이해하고 승인하는 상황을 위한 것이었음
    • 해당 사례는 발견해 막았음
  • 네트워크로 보내는 모든 바이트를 모든 상황에서 검증하려면 광범위한 테스트가 필요하며, 빈틈이 있으면 문제가 빠져나갈 수 있음
  • Rust 컴파일 성공만으로 모든 동시성 문제가 사라지지는 않음
    • TypeScript의 주로 직렬화된 단일 스레드 실행에서 더 높은 동시성과 확장성을 의도한 구조로 바뀜
    • Rust 컴파일러가 잡지 못하는 수명 관련 문제와 동시성 문제가 발생함
  • 현재의 에이전트로 수십만~수백만 줄을 다시 작성하면 회귀를 완전히 피하기 어렵다고 봄
    • 병합 전후에 에이전트를 반복 실행해 버그와 동시성 문제를 찾았지만, 대규모 코드에서 완벽하지는 않았음
사람은 아키텍처와 이식 범위를 검토
  • Toub는 자신이 올린 모든 PR의 코드를 살펴봤지만 모든 줄을 읽지는 않았음
    • 전체 방향, 아키텍처, 구성요소 경계, 알고리듬의 적절성을 중심으로 확인함
    • 세부 코드 검토에서는 좋은 에이전트가 자신보다 빠를 뿐 아니라 더 효과적이라고 평가함
  • 사람의 개입에는 진행 통제와 절충안 판단이 포함됐음
    • 너무 일찍 멈추면 계속 진행하게 하고, 잘못된 방향으로 가면 중단시킴
    • 주 에이전트와 선택지의 장단점을 논의하며 현재 상황에 맞는 결정을 내림
  • 구성요소 하나의 이식이 끝났더라도 병합 시점의 코드 구조가 적절한지 따로 판단함
    • 조금 더 옮겨 아키텍처 경계를 넘으면 임시 의존성이 정리되는 경우가 있었음
    • 반대로 일부 변경을 되돌리고 범위를 줄여야 코드베이스가 더 나은 상태가 되기도 했음
  • 원칙은 기능을 일대일로 보존하는 엄격한 이식이었음
    • 기능 추가와 삭제, 큰 알고리듬 변경, 우연히 발견한 버그 수정은 하지 않도록 지시함
    • 발견한 버그는 별도로 기록해 나중에 처리하게 함
    • 에이전트가 이 원칙을 어기고 사람이 놓친 변경도 회귀의 원인이 됨
  • 이식 PR의 보안 리뷰를 처리하면서 제한을 필요 이상으로 강화한 사례가 있었음
    • 기존에 허용되던 동작이 막혔고, 나중에 드문 예외 사례에서 발견됨
    • Toub도 해당 수정을 읽었지만 제한 범위를 충분히 이해하지 못했음
PR 자동화는 최종 병합 전에 사람이 확인
  • GitHub Copilot 앱의 agent merge는 네 가지 동작을 선택적으로 자동화할 수 있음
    • 충돌 시 리베이스 또는 병합을 수행함
    • CI 실패를 해결함
    • 리뷰 피드백을 반영함
    • 모든 조건 충족 후 자동 병합함
  • Toub는 보통 자동 병합만 끄고 나머지를 사용함
    • CI가 통과한 뒤 병합 버튼을 누르기 전에 어떤 테스트를 고쳤고, 어떤 피드백을 어떻게 반영했는지 확인함
    • 이때도 모든 줄보다 변경의 전체 성격을 검토함
  • 공개 저장소와 비공개 저장소에는 다른 신뢰 기준이 필요함
    • 공개 프로젝트라면 CI 수정과 경우에 따라 리베이스 정도만 자동화할 생각임
    • 임의의 리뷰 댓글을 자동 반영하거나 자동 병합하는 것은 허용하지 않을 것임
    • 신뢰하는 동료만 참여하는 비공개 프로젝트도 위험이 완전히 없어지는 것은 아님
  • 각 자동화 동작에는 추가 프롬프트와 제약을 넣을 수 있음
    • 병합보다 리베이스를 사용하게 하거나, 리뷰 의견 중 바로 반영할 것과 비판적으로 검토할 것을 구분함
회귀는 main, 사전 출시, 정식 출시에서 단계적으로 발견
  • 회귀로 분류한 문제의 약 3분의 2는 main 병합 직후, 사전 출시 전에 발견됨
    • 당시 하루 약 3회 사전 출시를 하고 있었지만, 그보다 빠르게 잡힌 경우가 많았음
  • CLI는 사전 출시와 정식 출시로 배포 대상을 나눔
    • 일별로 사전 출시 사용자는 전체의 약 5~10%, 정식 출시 사용자는 약 90~95%였음
    • 정확한 비율은 모르지만 회귀의 약 10~20% 정도가 사전 출시까지 갔다고 추정함
  • 사용자 신고 중에는 장애보다 예상과 다른 동작을 묻는 경우도 있었음
    • 일부는 에이전트가 의도치 않게 버그를 고친 결과여서 바람직한 변경이기도 했음
    • 그래도 이식 중 의도한 변경은 아니었음
  • 정식 출시까지 간 문제는 매우 드문 조건에서 나타나 오래 발견되지 않기도 했음
    • 신고가 들어오면 수정했고, 예외와 충돌을 감시하는 원격 측정 시스템으로도 문제를 찾음
    • 인터뷰 시점에는 이식 단계에서 비롯된 회귀 신고가 대부분 잦아든 상태였음
모델은 고정하지 않고 여러 계열로 교차 검토
  • 초반에는 Claude, 후반에는 GPT 사용 비중이 높았지만 장기적인 선호를 뜻하지는 않음
    • 새 모델을 계속 시험하고, 해당 시점의 작업에 잘 맞으면 유지하다가 문제가 생기면 교체함
  • 모델이 특정 접근에 집착하면 코드는 유지한 채 새 세션에서 다시 시작하기도 함
    • 컨텍스트를 초기화해도 같은 막다른 길로 돌아갈 때는 모델을 바꿈
  • Gemini와 Grok도 주 작업용으로 시험했지만, 주로 다중 모델 리뷰에 활용함
    • 주 작업은 GPT나 Claude에 맡기고, 서로 다른 계열의 3~4개 모델로 줄 단위 검토를 수행함
    • 최소한 main의 변경을 가져오는 리베이스 때마다 검토했고, 그보다 자주 실행하기도 함
  • 다른 모델을 사용하는 이유는 서로 다른 검토 경로와 시각을 얻기 위해서임
    • 비결정적 시스템에서 모델 자체를 바꾸는 것은 검토 대상과 접근을 크게 달라지게 하는 방법임
사업 가치는 공유 하네스와 실행 효율에 있음
  • 여러 제품과 팀이 계속 개선되는 공통 하네스를 재사용하면, 같은 기능을 따로 구현하기보다 각자의 사업 가치에 집중할 수 있음
    • 이식 전에는 내장 제약과 성능 비용 때문에 공통 런타임 채택을 정당화하기 더 어려웠음
  • 메모리 사용량, 처리량, 지연 시간은 서비스 비용에 직접 연결됨
    • 예를 들어 메모리 사용량이 크게 줄면 같은 서버에서 더 많은 사용자를 처리할 수 있음
    • 메모리 10배, 지연 5~6배 등의 수치는 이러한 관계를 설명하는 예시이며, 전체 이식의 확정 벤치마크 값은 아님
  • 짧은 요청마다 에이전트 루프를 시작하는 서비스에서는 시작 비용이 지배적인 요인이 될 수 있음
    • Node.js 애플리케이션과 네이티브 애플리케이션의 시작 시간 차이는 수백 밀리초, 경우에 따라 수초에 이를 수 있음
    • 요청별 지연과 비용뿐 아니라 해당 런타임을 채택할 수 있는지에도 영향을 줌
약 1,360억 토큰과 공개 요금 기준 12만 달러
  • 작업 세션 로그의 약 99%를 저장하고 신규 입력, 캐시 쓰기, 캐시 읽기, 출력 토큰을 집계함
    • 총사용량은 약 1,360억 토큰이었음
    • 당시 각 모델의 공개 요금을 적용하면 약 12만 달러이며, 기업 할인 등은 반영하지 않은 값임
  • 경과 시간은 약 14~15주였지만 다른 작업도 병행함
    • 같은 기간 제출한 PR 중 약 5분의 1이 이식 관련이었음
    • 이를 시간 비중으로 거칠게 환산하면 약 15주의 20%, 즉 약 3주에 해당함
    • 이는 직접 측정한 투입 시간이 아니라 PR 비중을 이용한 추정임
  • 모델 가격이 내려가고 성능이 좋아지면 토큰 비용과 사람의 조정 시간도 줄어들 수 있음
  • 에이전트 없이 진행했다면 팀 단위로 1~2년이 필요한 대규모 투자였을 것으로 봄
    • 운영 TypeScript 코드 약 45만 줄 외에 수십만 줄의 단위 테스트도 옮겨야 했음
    • 기능이 너무 빨리 늘어나는 환경이라 이식을 끝내지 못하거나, 완료 시점에는 잘못된 대상을 옮긴 셈이 됐을 수 있음
    • 제한된 개인 투입 시간과 명확한 토큰 비용으로 몇 달 안에 사업상 이점을 얻는 제안은 훨씬 승인받기 쉬웠음
초기 견적에서 놓친 코드 증가와 CLI 결합
  • 최초에는 운영 TypeScript 코드가 약 15만 줄 규모였고, 프로토타입 경험을 바탕으로 6~8주를 예상함
    • 실제 비용과 기간은 예상보다 커졌음
  • 가장 큰 누락은 이식 중 새로 유입되는 코드였음
    • 수십 명의 개발자가 에이전트로 기능을 빠르게 추가함
    • 공개 오픈소스는 아니지만 내부 여러 팀이 필요한 기능을 기여하고 핵심 팀이 리뷰하는 방식으로 운영됐음
    • 이식 전반부에는 Rust가 늘어나는 동시에 TypeScript도 거의 줄지 않거나 오히려 늘어남
  • CLI와 런타임의 강한 결합도 범위를 키움
    • 런타임 사용자에게 CLI 배포를 요구하지 않으려면 둘을 분리해야 했음
    • CLI에 있던 기능 중 공통 런타임으로 옮기는 편이 유용한 코드도 예상보다 많았음
  • 최종 이식 대상은 약 40만~45만 줄로 초기 예상의 약 3배가 됨
    • 코드 증가율 반영과 종단 간 테스트 보강은 다시 한다면 개선할 두 가지였음
재작성 여부는 투자 수익으로 결정
  • 개인 프로젝트라면 즐거움 자체가 토큰 비용을 지불할 이유가 될 수 있음
  • 기업에서는 이유, 비용, 얻는 가치를 명확히 적고 투자 수익을 판단해야 함
    • .NET Framework에서 .NET Core로 이전해 성능을 높이는 작업처럼, 에이전트 이전에도 비용 대비 효과가 충분한 마이그레이션은 있었음
    • 연간 서비스 비용 300만 달러 절감과 개발자 1년 투입을 비교하는 식으로 계산할 수 있음
  • 같은 기준은 작은 성능 개선에도 적용됨
    • 정규식 엔진에 2주를 투자해 특정 서비스의 패턴 실행을 4배 빠르게 만들 수 있다면, 연간 절감액과 비교할 수 있음
    • 사업상 정당성을 설명할 수 없는 재작성은 신중하게 봐야 함
다양한 직무가 기술 판단과 소통 능력을 키움
  • Microsoft 컨설팅 업무에서는 고객사에 3주~3개월 머물며 산업별 문제와 제품의 장단점, 실제 고객의 어려움을 배움
    • 이런 경험은 이후 고객을 위한 솔루션을 만드는 데 도움이 됨
  • MSDN Magazine의 기술 집필과 편집을 통해 무엇이 중요하고 흥미로운지, 무엇을 말하고 생략해야 하는지, 어떻게 명료하게 전달할지 익힘
  • PM 역할에서는 무엇을 만들어야 하는지와 필요한 구성요소를, 개발 역할에서는 코딩과 설계, 아키텍처를 배움
  • 부사장의 기술 자문역으로 일한 몇 년은 특히 유익했지만 매우 소모적이었음
    • 회의를 함께하고 문서를 대신 작성하며, 회의 후 해석과 대응을 논의함
    • 제휴, 인수, 제품 종료, 신규 투자와 조직 신설 같은 결정이 나오기까지의 대안과 절충을 가까이서 볼 수 있었음
    • 기회가 있다면 일정 기간 경험해 보길 권하지만, 본인은 다시 하고 싶지는 않음
  • 관리자가 되고 싶어 팀 리더 역할을 맡았지만, 약 1년 뒤 자신에게 맞지 않는다고 판단함
    • 이후 약 1년에 걸쳐 안전하게 개인 기여자 역할로 돌아옴
    • 다른 사람의 문제 해결과 경력 성장을 돕는 일은 관리자만 할 수 있는 것이 아니었음
    • Microsoft의 개인 기여자 경력 경로 덕분에 직속 부하 없이도 계속 성장할 수 있었음
추천 도서와 AI 시대 신입 개발자에 대한 고민
  • 추천 도서는 Charles Petzold의 『Code』 임
    • 이진수, 논리 게이트, 회로, 프로그래밍, 컴퓨터와 인터넷을 기초 원리부터 쌓아 설명함
    • 내용을 이미 알아도 복잡한 개념을 명료하게 전달하는 방식 때문에 여러 번 다시 읽음
  • 복잡한 내용을 간결하게 분해해 설명하는 능력은 비전문가뿐 아니라 전문가끼리도 중요함
    • 공통 이해를 만들고 판단 근거를 전달하는 데 도움이 됨
  • 에이전트를 이끄는 과정에서는 25년의 경험을 활용해 잘못된 방향을 알아채고 빠진 대안을 짚음
    • 하지만 에이전트가 일을 대신하면서 신입이 그런 경험을 쌓을 기회까지 줄어들 수 있다는 우려가 있음
    • 이에 대한 확실한 해답은 아직 없음
  • 여전히 기초 원리와 알고리듬을 깊이 배우는 것이 가치 있다고 봄
    • C 같은 언어로 메모리 관리와 컴퓨터 동작, 알고리듬 간 절충을 이해하는 경험이 유용함
    • 분산 시스템이나 데이터베이스도 핵심 원리를 익히면 에이전트를 지도하는 데 도움이 될 것으로 예상함
    • 다만 이를 확신하지는 않으며, 에이전트 발전 속도상 2~4년 뒤의 모습도 예측하기 어려움
그냥 목록으로
원문 보기 ↗