- GitButler 팀이 운영하는 vc-bench에서 Claude Code와 Codex에 같은 버전 관리 작업을 맡기고 Git, Jujutsu, GitButler를 비교함
- 전체 360회 중 359회 성공. 기본 Git과 GitButler는 각각 120회 모두 통과했고, Jujutsu에서 한 번 실패함
- GitButler는 이 실험에서 Git보다 작업 시간이 약 65% 짧고, 실행한 명령은 약 78% 적었음
- 어떤 명령을 썼는지가 아니라 최종 Git 이력과 작업 트리가 요구사항에 맞는지로 성공 여부를 판정함
- 미리 준비된 저장소에서 버전 관리 작업만 측정했으며, 코드 작성이나 작업 환경 준비, 여러 에이전트의 동시 작업은 비교하지 않음
- Claude Code와 Codex가 미리 구성된 Git 저장소에서 같은 자연어 지시를 받아 작업함
- 도구 3종 × 에이전트 2종 × 시나리오 6개를 각각 10회 반복해 총 360회 실행
- 시나리오는 실제 버전 관리에서 자주 만나는 이력 편집 작업으로 구성
- 여러 변경이 섞인 작업 트리에서 필요한 부분만 골라 커밋
- 새 커밋을 만들지 않고 변경을 기존 커밋 여러 개에 나눠 반영
- 중간 커밋을 목적별로 분리하거나, 커밋 순서를 바꾸거나, 지정된 커밋끼리 합치기
- main이 바뀐 뒤 충돌을 해결하면서 기존 커밋과 미커밋 변경을 보존
- Git 120/120, GitButler 120/120, Jujutsu 119/120 통과
- 기본 Git도 모든 작업을 완료했으므로, 이 실험에서 GitButler의 차이는 성공률보다 작업 시간과 명령 수에 있었음
- Jujutsu는 전체 집계에서 Git보다 오래 걸렸지만, 이 결과만으로 다른 작업에서도 일관되게 느리다고 볼 수는 없음
- Codex에서는 세 도구가 각각 60회 모두 통과함. 위의 360회 전체 결과와는 다른 집계
- 평균 작업 시간과 명령 수는 다음과 같음
- Git: 92.2초 / 20.4개
- Jujutsu: 110초 / 21.0개
- GitButler: 34.0초 / 4.5개
- 시나리오별로 Git과 비교한 작업 시간 차이의 95% 신뢰구간은 GitButler가 −106~−10.7초, Jujutsu가 −23.3~+58.6초였음
- 이 시나리오에서는 GitButler가 더 짧은 시간에 작업을 마쳤고, Jujutsu는 시간 차이의 신뢰구간이 0을 포함해 어느 쪽이 더 빠른지 확정하기 어려움
- 자동 채점기가 커밋 경계, 브랜치 구조, 남겨야 할 미커밋 변경을 검사함. 명령 순서가 달라도 올바른 상태를 만들면 통과
- GitButler와 Jujutsu를 쓰는 실험에서는 에이전트가 Git 쓰기 명령을 직접 실행하지 못하게 했으며, 도구가 내부적으로 Git을 호출하는 것은 허용함
- 저장소 구성, 작업 공간 준비, 스킬 설치는 측정 전에 완료함. 기록된 시간은 준비된 환경에서 에이전트가 지시받은 작업을 끝내는 데 걸린 시간
- GitButler 팀이 자사 도구를 포함해 진행한 비교이며, 실험 코드와 결과 데이터를 공개함
- 이 결과는 정해진 이력 편집 작업에서 도구에 따라 에이전트가 거치는 단계와 시간이 달라질 수 있음을 보여줌. 실제 코드 작성부터 리뷰·병합까지 걸리는 전체 개발 시간을 비교한 것은 아님