- FurtherAI는 코드 작성부터 테스트, 리뷰, CI, 버그 접수, 병합까지 개발 과정 전체를 개선해 1월 이후 엔지니어당 하루 병합 건수를 약 5배 늘렸으며, 변경 되돌림 비율은 0.5% 미만으로 유지함
- 엔지니어만 알던 규칙을 자동 검사로 전환하고 테스트와 AI 리뷰를 결합해, 이제 전체 변경의 최대 3분의 1이 사람의 개입 없이 병합됨
- 여름 동안 테스트와 도구에 상당한 개발 역량을 투자한 뒤, 엔지니어당 월간 고객 대면 기능 변경이 17~30건에서 9월 45건으로 증가함
- 코드 작성이 빨라지면서 무엇을 만들지 결정하는 과정이 새 병목이 됨에 따라, 관리 계층을 늘리기보다 엔지니어가 계획, 실행, 리뷰를 더 많이 맡는 방식을 추진함
- 엔지니어의 성장 기준을 문제의 처음부터 끝까지 책임지는 범위로 보고, 관리자에게는 직접 제품을 사용하며 판단하고 엔지니어의 제품 판단력을 키우는 역할을 기대함
- FurtherAI의 지난 9개월 경험에서, 1월 이후 엔지니어당 하루 코드 변경 병합 건수는 약 5배 증가했고 되돌림 비율은 0.5% 미만을 유지함
- 코딩 에이전트를 제공하는 것만으로 얻은 결과는 아님
- 한 단계를 가속할 때마다 다음 단계에 일이 쌓였고, 소프트웨어를 출시하는 과정 전체를 단계별로 검토하며 개선함
- 코드 작성, 3월: 에이전트가 코드를 작성하고 엔지니어가 방향을 잡는 방식의 비율이 현재 거의 100%에 이름
- 초기에는 도구 사용 흔적이 변경에 간헐적으로만 남아 출발점의 정확한 수치는 없음
- 테스트, 4월: 에이전트가 코드와 함께 테스트를 작성하며, 테스트를 포함한 변경 비율이 15%에서 91% 로 증가함
- 리뷰, 5월: 사람이 검토하기 전에 AI가 리뷰하는 변경 비율이 60%에서 99% 로 증가함
- 사람은 판단이 필요한 부분에 집중할 수 있음
- CI, 6월: 테스트를 병렬화하고 변경의 영향을 받는 테스트만 실행하도록 개선함
- 동일한 17분 안에 이전보다 20배 많은 테스트를 실행함
- 버그 접수, 7월: Slack에 누구나 버그를 신고하면 ClaudeTag가 중복 여부를 확인하고 티켓을 생성해 담당자에게 배정함
- 현재 버그 티켓의 60% 를 생성함
- 규칙, 8월: 버그나 리뷰 의견을 통해 드러난 엔지니어의 암묵지를 작은 Python 검사로 전환함
- 모든 커밋과 PR에서 실행되며, 위반 시 빌드를 실패시키고 수정 방법을 출력함
- 에이전트는 검사에 걸리면 자신의 코드를 고치고 다음 작업으로 진행함
- 규칙이 0개에서 21개로 늘었으며, 저위험 변경을 사람 없이 병합할 수 있게 된 중요한 요인임
- 자동 병합, 8월: 테스트, 자동 검사, AI 리뷰를 통과한 저위험 변경은 자동으로 병합됨
- 전체 변경의 최대 3분의 1이 사람의 개입 없이 병합됨
- 코드 채널, 9월: 누구나 Slack 채널을 열고 에이전트에게 변경을 설명해 PR을 만들게 할 수 있음
- 아직 정확한 사용 수치는 없지만, 여러 사람이 한 채널에서 같은 에이전트에 맥락을 추가하고 방향을 조정하며 협업함
- 팀 협업에 Devin 클라우드 세션도 적극 활용함
- 사내 에이전트 Poirot와 Sherlock은 프로덕션과 스테이징의 문제를 조사하고 해결함
- 로그, 지표, 실행 추적, 읽기 전용 데이터베이스 접근 등 필요한 도구와 맥락을 갖춤
- 에이전트 간 협업에서는 ClaudeTag가 요청을 분류하고, Devin이 작업하며, Poirot가 필요한 내부 데이터를 가져오는 식으로 정보를 주고받음
- 비엔지니어도 코드를 배포하기 시작함
- 디자이너는 8월 이후 디자인 시스템 구축을 포함해 약 50건의 변경을 병합함
- 배포 및 고객 대면 역할의 구성원도 Slack에서 직접 UI를 수정할 수 있음
- 여름 동안 엔지니어링 역량의 상당 부분을 테스트와 도구에 투입했으며, 엔지니어당 고객 대면 기능 변경은 월 17~30건에 머물렀음
- 이 수치는 9월 45건으로 뛰었고, 10월은 48건에 도달할 추세임
- 코드 작성은 크게 빨라졌지만, 무엇을 만들지 결정하는 속도는 그만큼 빨라지지 않음
- 단순화한 예에서 기능 개발이 계획 3일, 구현 6일, 리뷰 1일로 총 10일 걸린다고 가정함
- 에이전트로 구현만 3.5배 빨라지고 계획과 리뷰 시간이 그대로면, 전체 속도 향상은 1.75배에 그침
- 계획과 리뷰가 차지하는 시간 비중은 40%에서 70%로 증가함
- 기존에는 많은 결정이 엔지니어링 관리자, PM, 디자이너를 거쳤지만, 엔지니어가 빨라질수록 이런 방식은 유지하기 어려워짐
- FurtherAI는 관리 계층을 늘리기보다 엔지니어의 책임 범위를 확대해 계획, 실행, 리뷰를 더 많이 직접 맡기는 방식을 추진함
- 엔지니어의 경력을 문제를 처음부터 끝까지 책임질 수 있는 범위로 보기 시작함
- 주니어 엔지니어: 에이전트와 함께 구현하고 에이전트가 틀렸을 때 알아챌 수 있음
- 시니어 엔지니어: 자신의 작업을 계획하고 리뷰함
- 스태프 엔지니어: 모호한 문제를 구체화하고 절충점을 결정하며 성공 여부를 나타내는 지표를 책임짐
- 엔지니어가 고객과 더 가까워져야 함
- 고객 문제 이해부터 해결책 배포, 성공 검증, 프로덕션 회귀 문제 대응까지 전 과정을 더 많이 책임지도록 권한을 확대함
- 실제 작업에 관여하며 무엇을 왜 만드는지, 올바른 해결책인지 이해해야 함
- 코드 리뷰 완료 여부만 확인하지 않고, 최종 사용자처럼 스테이징에서 기능을 직접 사용해야 함
- 제품을 실제로 사용하면 다른 종류의 문제를 발견할 수 있음
- 목표는 관리자가 리뷰를 더 많이 하는 것이 아니라, 엔지니어가 스스로 올바르게 결정하도록 성장시켜 관리자의 판단이 필요한 경우에만 개입하는 것임
- 제품 판단력이 더욱 중요해짐
- 코드 작성 비용이 낮아질수록 무엇을 만들지 결정하는 일이 더 중요함
- 관리자는 고객을 이해하고 제품에 대한 뚜렷한 생각을 가지며, 기술적 결정뿐 아니라 제품 결정도 내릴 수 있어야 함
- 엔지니어에게도 이런 판단력을 길러줘야 하며, 모든 작은 제품 결정을 PM이나 디자이너에게 의존해서는 안 됨
- 올해 대부분을 엔지니어의 속도를 높이는 데 썼고, 이제는 조직 전체가 그 속도로 움직이게 하는 방법을 찾고 있음
- FurtherAI는 이 과제가 코드, 테스트, 리뷰 자동화보다 더 어려울 수 있다고 보며, 아직 초기 단계로 해결하지 못한 문제가 많음