- 한 엔지니어의 월간 PR 수가 AI 도입 이전 약 19개에서 207개로 11배 늘어남. AI 코딩 에이전트뿐 아니라 담당자의 자율성, 선택적 사람 리뷰, 제품 의사결정 방식이 함께 바뀐 결과임
- 코드 작성이 빨라지면서 협업과 승인 대기가 새로운 병목이 됨. Tano에서는 한 사람이 기능 전체를 맡고, 코드베이스에 익숙해진 뒤에는 대부분의 PR을 자동 리뷰만 거쳐 병합함
- 빠른 변경에는 장애를 감수하고 신속히 수정하는 절충이 따름. 통화 계산 오류, 쓰기를 막는 데이터베이스 마이그레이션, 중복 지급이 실제로 발생했으며, 발견한 실패 유형은 리뷰 에이전트의 검사 항목에 추가함
- 병목은 사라지기보다 사람의 주의력과 맥락 관리로 이동함. 여러 에이전트를 동시에 운영하면서 피로, 잦은 작업 전환, 팀 내 지식 고립이 커졌고, 동시 작업 제한과 퇴근 후 업무 차단이 중요해짐
- PR 증가가 사업 성과를 뜻하지는 않음. 제품 시장 적합성, 매출, 건전한 단위 경제성을 함께 봐야 하며, 이미 사업이 잘 돌아가는 기업은 도구와 프로세스를 바꾸는 데 더 신중할 필요가 있음
- 이 경험담은 The Pragmatic Engineer의 에세이 공모에 접수된 125편 중 우승작이며, 우승 상금은 1만 달러였음
- 비교 대상은 한 엔지니어가 경험한 규모와 운영 방식이 다른 세 조직임
- Bloomberg에서는 약 2만 명 규모의 조직과 명확한 프로세스 안에서 경력 초기 3년을 보냄
- PostHog에서는 약 4년을 일했으며, 회사는 합류 당시 약 10명에서 현재 약 200명으로 성장함
- Tano에는 첫 엔지니어로 합류해 8개월간 일했으며, 현재 전체 인원은 약 10명임
- 개인의 PR 생산량은 Bloomberg에서 PostHog로 옮긴 뒤 2.4배, PostHog에서 Tano로 옮긴 뒤 11배 증가함
- PostHog와 Tano는 상세한 업무 통계를 사용했고, Bloomberg 수치는 대략적인 값임
- PR 수는 조작하기 쉬운 지표지만, 이 사례에서는 수치를 높이려는 의도로 작업하지 않았음
- 경력 수준, 회사 규모, 문화도 달라졌으므로 AI만의 효과를 분리한 비교는 아님
- PostHog 수치는 AI 도입 이전의 우수한 엔지니어링 기준선임. 현재 PostHog도 AI를 적극 도입하고 있으며 생산량이 크게 늘고 있음
- PostHog에서는 수집 파이프라인부터 제품 개발까지 폭넓게 담당함
- Clickhouse 기반 퍼널과 리텐션 분석 쿼리를 최적화하고, 10억 건 이상의 이벤트를 처리하도록 확장함
- 실험 제품을 처음부터 만들었고, 이후 Feature Success 팀을 이끌며 설문과 조기 접근 기능을 출시하고 실험 및 기능 플래그를 개선함
- Tano에서는 비슷한 범위의 제품 업무를 45개월 대신 8개월에 걸쳐 수행함
- 새 제휴 플랫폼을 만들고 콘텐츠 모니터링 시스템의 효율을 높임
- 전체 에이전트 아키텍처를 영속 메모리, 개선된 도구, 더 나은 관측성을 갖춘 시스템으로 이전함
- PostHog에서 2024년 말까지 사용한 AI는 주로 탭 자동완성 수준이었으며, 반복적인 테스트 작성 등에 유용했음
- 현재는 Claude Code Desktop으로 기능 전체를 구현함
- CLI보다 데스크톱 환경을 선호하며, 자신의 브라우저를 에이전트가 점유하지 않도록 통합 브라우저를 사용함
- 최근 1년간 데스크톱 버전은 CLI 기능을 따라잡았고, 브라우저처럼 CLI가 직접 제공하지 않는 기능도 갖춤
- 한 번에 3~5개 작업을 진행하며, 계획을 검토한 뒤 에이전트가 PR 작성과 리뷰 의견 반영까지 수행하도록 둠
- 각 PR마다 읽기 쉬운 HTML 결과물을 생성하게 해 변경 내용을 검토함
- 리뷰, 검증, 스크린샷까지 포함한 기능 구현은 보통 1~2시간이 걸림
- 많은 데이터 조사, 이미지와 영상 처리, 목표를 향한 반복 작업은 더 오래 걸릴 수 있음
- 아직 클라우드 에이전트는 사용하지 않음. 기본 Claude 에이전트로는 로컬과 같은 실행 환경을 구성하기에 제약이 있다고 느끼며, 대기업처럼 자체 통합 환경을 구축하는 일은 현재 팀 규모에는 아직 적합하지 않다고 판단함
- Tano에서는 개인이 월 10만 줄 이상의 코드를 생성하며, 버그나 작은 기능 요청도 병렬 작업으로 넘길 수 있어 주 작업의 흐름을 덜 방해함
- 다만 AI 도구를 혼자 도입해도 사람의 PR 승인이 필수라면 처리량이 같은 비율로 늘지는 않음
- AI 도입 이전 PostHog에서 혼자 현재의 AI를 쓴다는 가정에서는 생산성 향상을 1~2배 정도로 예상함
- 다른 엔지니어의 리뷰 시간이 늘어나지는 않으므로, 작성 속도가 빨라질수록 승인 대기열이 길어짐
- 처리량이 커지면 동료와의 조율, 코드 리뷰, 다음에 만들 제품 결정이 새로운 제약으로 나타남
- Tano 엔지니어는 최대한 독립적으로 일함. 제품 전체에 영향을 주는 큰 아키텍처 결정은 함께 논의하지만, 일상적인 판단은 담당자에게 맡기며 불확실성과 위험은 직접 공유하도록 신뢰함
- PostHog의 설문 V1은 엔지니어 2명과 디자이너 1명이 한 달 동안 함께 만들었음
- 당시에는 협업이 혼자 순차적으로 구현하는 것보다 빨랐지만, 백엔드 변경에 맞춰 프런트엔드를 조정하는 소통 비용이 있었음
- 현재처럼 코드 작성이 빨라진 환경에서는 결과가 대체로 명확한 기능을 한 사람이 설계부터 프런트엔드와 백엔드까지 맡는 편이 경험상 더 효율적이었음
- 모르는 위험이나 불확실한 문제를 다른 엔지니어와 논의하는 가치는 여전히 남아 있음
- 조직 규모가 작아질수록 엔지니어와 제품 관리자 역할의 경계도 줄어듦
- Bloomberg에서는 엔지니어링 팀마다 전담 제품 관리자가 있었고, 엔지니어가 고객과 직접 접촉하지 않았음
- PostHog에서는 제품 관리자 한 명이 여러 팀을 지원했으며, 엔지니어도 고객 대화와 조사에 참여함
- Tano에는 제품 관리자가 없으며 엔지니어가 그 역할까지 맡음
- 매주 월요일 로드맵 회의에서 문제, 수정 사항, 앞으로 커질 위험을 공유함
- 고객당 지원 티켓 증가처럼 고객 수가 늘면 사람이 감당하기 어려워질 문제도 논의함
- CEO와 CTO는 이탈 위험, 계약 성사에 필요한 기능 등 우선순위 판단에 필요한 맥락을 제공함
- 이후 엔지니어들이 서로 다른 과제를 맡아 주간 목표를 수행하며, 예전에 한 달 걸리던 일이 이제는 한 주에 끝나는 경우가 많음
- Tano의 사람 코드 리뷰는 코드베이스에 익숙해진 뒤 선택 사항이 됨
- 사람의 PR 리뷰 의견이 거의 없어지는 시점 등을 기준으로 판단함
- 이 사례에서는 약 3주 뒤 자신감을 얻었지만, 경험에 따라 최대 8주 정도 걸릴 수 있음
- Claude Code Github Actions 기반 리뷰 에이전트가 모든 PR에서 CI의 일부로 실행됨
- 위험한 변경에는 더 깊이 검사하는 별도 에이전트를 필요에 따라 실행함
- 대부분의 PR에는 자동 리뷰만 있고 동료의 리뷰는 없음
- 통화 보고 기능에서는 에이전트가 소액 단위를 부동소수점으로 처리하고 모든 통화에 100을 곱하는 코드를 작성해 오류가 발생함
- 바레인 디나르는 1디나르가 1,000 fulūs이므로 모든 통화에 100을 적용할 수 없음
- 기존 통화 계산 유틸리티도 사용하지 않았으며, 사람 리뷰라면 이를 발견했을 것으로 봄
- 배포 직후 보고 수치 불일치를 발견해 1시간 안에 수정함
- Postgres의 약 25GB, 600만 행 규모 posts 테이블에 부분 인덱스를 추가할 때는 쓰기를 막는 마이그레이션으로 장애가 발생함
- 수집 파이프라인이 새 게시물을 저장하지 못했고, 시간 초과로 새 배포도 실패함
- 이후 이런 작업은 동시 인덱스 생성 방식으로 수행하며, 리뷰 에이전트에 대형 테이블 목록과 차단형 마이그레이션 금지 규칙을 추가함
- 운영 방침은 빠르게 배포하고 문제를 수정하는 절충을 받아들이는 것임
- Tano의 PR 되돌리기 비율은 이전보다 6분의 1 수준이지만, 오류가 전혀 없어서가 아니라 되돌리기보다 수정 배포를 선호하는 영향이 큼
- 모델 개선에 따라 에이전트 코드와 자동 리뷰의 오류도 줄어드는 효과를 경험함
- 다른 사람의 승인을 기다리지 않아 PR 병합 시간 중앙값은 1시간 미만임
- 경력 전체에서 대형 마이그레이션 5건을 경험했으며, Bloomberg와 PostHog에서 각각 1건, Tano에서는 3건을 이끌었음
- PostHog의 person-on-events 마이그레이션은 1년이 걸린 전사 작업이었음
- 200억 건 이상의 이벤트 테이블과 사용자 및 속성 테이블을 조인하는 쿼리가 대형 고객에게는 사실상 사용하기 어려울 정도로 느렸음
- 사용자 식별자와 속성을 이벤트에 함께 저장하도록 바꾸고, 모든 관련 쿼리에서 조인을 제거함
- 코드 변경을 수작업으로 수행했으며, 비슷한 이전을 다시 하기 어려워 장기적인 설계에 많은 시간을 썼음
- Tano는 크리에이터와의 대화, 협상, 콘텐츠 검토와 브랜드의 최종 승인을 처리하는 인플루언서 마케팅용 AI 에이전트를 구축함
- 초기 시스템은 자유 형식 체크리스트와 많은 도구로 구성됐고, 관측성이 부족해 에이전트가 잘못된 도구를 쓰기도 했음
- 첫 이전에서는 작업별로 도구를 제한한 명확한 워크플로를 만들고, 기존 체크리스트와 모든 크리에이터를 새 구조로 옮김
- 다음 이전에서는 같은 크리에이터와 나눈 여러 대화 스레드의 맥락이 누락되는 문제를 해결함
- 두 복잡한 마이그레이션 모두 각각 수 주 안에 완료함
- 두 번째 이전에서는 보호 장치를 놓쳐 동일 작업에 두 번 지급하는 문제가 발생함. 새 아키텍처를 통해 더 빠르게 확장할 수 있다는 이유로 팀이 감수한 속도와 위험의 절충이었음
- 이 경험에서는 아키텍처가 사실상 되돌리기 어려운 선택에서 수정 가능한 선택으로 바뀜
- 처음부터 모든 세부 사항을 맞추기보다 프로덕션에서 정보를 얻고 빠르게 개선할 수 있음
- 실험 범위, 만들 수 있는 제품, 특정 고객에 맞춘 전문화의 판단 기준도 달라짐
- 여러 프로젝트를 동시에 진행하면서 에이전트가 생성한 PR을 따라가는 일 자체가 어려워짐. 동시 작업 수를 제한해도 AI 도입 전보다 하루가 끝날 때 정신적으로 더 지침
- 작업을 쉽게 시작할 수 있어 스래싱(thrashing) 도 늘어남
- 새 문제가 들어오면 실제로 직접 작업할 시간은 거의 들지 않고 한 시간 안에 끝날 것 같아 즉시 Claude 세션을 시작하게 됨
- 과거 PostHog에서는 중요도와 스프린트 목표를 비교해 결정했고, Bloomberg에서는 스프린트 계획 회의 전까지 새 작업을 접하지 않는 경우가 많았음
- 컴퓨터가 실행보다 작업 전환에 시간을 쓰는 것처럼, 사람도 반응적인 버그 수정과 맥락 전환에 매달려 원래 목표에서 벗어날 수 있음
- 중요한 장애 때문에 우선순위를 바꾸는 것은 타당하지만, 단지 쉽게 끝낼 수 있다는 이유만으로 새 일을 맡으면 회사의 진전에 도움이 되지 않음
- 동시 작업을 제한하고 가장 중요한 과제를 먼저 끝내는 방식이 필요함
- 많은 맥락을 유지하려는 부담에 자잘한 수정까지 더해져 피로가 커짐
- PostHog에서는 다른 사람의 PR을 읽으며 제품과 동료 업무의 맥락을 파악하고, 이미 존재하는 코드를 안내하는 식으로 도왔음
- 인원이 약 20명에서 100명으로 늘고 하루 PR이 15개에서 30개로 증가하자 모두 읽는 것이 불가능해짐
- Tano도 하루 약 30개 PR을 병합함
- 다른 엔지니어 한 명도 비슷한 생산량을 보이며, 새 엔지니어들과 CTO는 온보딩 또는 다른 책임 때문에 대략 그 3분의 1 수준임
- 자신의 코드와 신규 합류자의 코드는 검토하지만, 숙련된 동료의 코드는 거의 리뷰하지 않음
- 넓은 제품 영역을 한 사람이 맡으면 빨라지지만, 지식 고립과 협업 감소가 뒤따름
- 핵심 인력이 몇 명 빠지면 프로젝트가 멈추는지를 뜻하는 버스 팩터가 1에 가까워지는 문제가 더 심해짐
- 제품 영역별로 AGENTS.md에 맥락을 잘 기록하면 다른 사람이 AI와 함께 학습하고 기여할 수 있으리라는 기대가 있지만, 아직 이 문제의 해법에 대한 가설임
- 과거에는 오전에 코드를 쓰고 오후에 PR을 열어 승인을 기다렸지만, 현재는 에이전트가 작업을 끝낼 때마다 지시, 코드 검토, 병합을 반복함
- Tano의 핵심 근무 시간은 오전 9시~오후 6시이며 더 오래 일하는 사람도 많음
- 합류 초기에는 오전에 여러 작업을 한꺼번에 시작했다가 오후 3시에 정신적으로 소진되곤 했음
- 이제는 중요한 일부터 처리하고, 열 가지 일을 동시에 진행하거나 모든 일을 오전에 끝내려 하지 않음
- 지친 저녁에 중요한 변경을 검토하면 평소 잡을 수 있는 문제를 놓치기 쉬움
- 매일 노트북을 회사에 두고 퇴근하며 로컬 에이전트가 1~2시간 더 실행되게 함
- 다음 날 오전에 결과를 확인할 수 있고, 집에서는 업무를 끊을 수 있음
- 오전 9~11시에 여는 PR 비중은 PostHog의 9%에서 Tano의 18%로 증가함
- 이른 오전과 점심시간을 제외하면 Tano의 시간대별 PR 생성 비중은 대략 11%로 일정한 편임
- 완전 원격 근무였던 PostHog에서는 노트북이 늘 곁에 있어 퇴근 시점이 불분명했지만, 현재는 오후 6시 종료와 업무용 노트북의 집 반입 금지가 과도한 몰입을 막는 경계가 됨
- AI가 계속 일할 수 있는데 자신은 쉬고 있다는 압박도 느꼈지만, 무엇이든 만드는 대신 무엇을 만들지 선택하는 일을 우선함
- 더 큰 목표에 도전할 수 있게 된 사례로, 블로그 아이디어를 애니메이션으로 바꾸는 Instagram 채널을 운영함
- 음악 생성기, 릴 편집기, 팟캐스트 앱, TV 스트리밍 앱까지 모두 만들기보다 이 프로젝트에 집중함
- PostHog는 초기 채용 10명 안에 아티스트와 디자이너가 있었고, 이들이 독특하고 완성도 높은 브랜드 형성에 크게 기여함
- 반면 AI 시대의 초기 스타트업에서 디자인 작업을 가볍게 보는 경향을 관찰함
- AI가 보기 좋은 결과물을 충분히 만든다는 판단 때문일 수 있으나, AI 디자인은 서로 비슷한 경우가 많음
- 네오브루탈리즘도 AI 결과물끼리는 유사하며, Tano 역시 이런 상태에서 고유 브랜드를 모색하고 있음
- 실제 생산성 향상과 무관하게 토큰 사용량을 최대화하는 Tokenmaxxing과 달리, Tano는 무제한 AI 예산을 운영하지 않음
- 각자 20x Claude Max 구독 1개를 사용함
- 이 사례의 사용량을 API 요금으로 환산하면 월 8,000달러 이상임
- AI는 자율적인 동료라기보다 더 빨리 일하도록 돕는 도구로 활용함
- 로그에서 오류를 찾아 반복 수정하는 자율 실행을 실험할 때 구독 한도에 더 자주 도달하며, 이는 중요한 작업을 고르는 제약이 됨
- 토큰 제한이 없다면 로그와 PostHog 세션 기록을 감시해 스스로 PR을 만들거나, 크리에이터와의 모든 대화를 읽고 중복 지급을 발견할 수 있을지 실험하고 싶어 함. 가능성과 효과는 아직 확인되지 않음
- AI는 속도를 증폭하는 도구이며, 실험하고 시장 수요에 적응하는 속도는 스타트업의 중요한 경쟁력임
- PostHog는 제품 분석 시장에 약 10년 늦게 진입했지만 빠르게 실행해 경쟁사를 따라잡고, 실험, 데이터 웨어하우스, 오류 추적, 세션 기록으로 확장함
- 이 제품들은 AI 이전에 구축됐으며, 현재는 AI를 쓰지 않는 스타트업이 이를 쓰는 경쟁사의 실행 속도를 따라가기 더 어려워질 수 있음
- 도구만 도입하고 회사 전체의 업무 방식이 그대로라면 생산성 향상은 제한됨. 사람 리뷰가 의무인 상태에서 코드 생성만 빨라지면 승인 대기열이 늘어나는 것이 대표적인 예임
- 새로운 작업 방식을 실험하고 새 병목을 찾아 제거하는 유연성이 중요함
- Tano는 노트북을 회사에 두고 에이전트를 계속 실행하는 방식도 허용함
- Anthropic은 리뷰를 자동화한 뒤 CI 병목을 해결했고, 이후에는 소스 관리도 재설계함
- AI로 처리량이 늘어나면 기존 기술과 팀 프로세스도 부하를 견디지 못하거나 한계에 가까워질 수 있음
- 모든 스타트업이 소스 관리 체계를 다시 만들 규모에 도달하는 것은 아님
- Tano의 경험에서는 실험을 허용하고, 틀릴 수 있음을 받아들이며, 겸손과 호기심을 유지하는 문화가 성공적인 AI 도입의 핵심 조건이었음
- 개인의 약 10배 증가에는 코딩 에이전트 확산과 AI 네이티브 조직으로의 이직이 함께 작용함
- PR 빈도와 AI 비용 분석에서 다룬 업계 평균 PR 증가 폭은 약 2배임
- 더 젊은 Tano는 기존 사업을 지키며 프로세스를 바꿔야 하는 기업보다 빠른 실험의 부담이 작았음
- 반복 속도만으로는 사업의 가치를 평가하기 어려움. 제품 시장 적합성, 매출 창출, 건전한 단위 경제성을 함께 봐야 함
- AI 네이티브 스타트업이 몇 년 먼저 설립된 기업보다 일시적인 속도 우위를 가질 가능성은 있지만, 기존 기업이 따라잡지 못한다는 뜻은 아님
- 이미 잘 돌아가는 사업이 있다면 부주의한 변경으로 이를 훼손하지 않도록 도구와 프로세스를 더 신중하게 바꿀 필요가 있음
- AI 사용이 엔지니어의 에너지를 소모하는 ‘드라큘라 효과(Dracula-effect)’와도 맞닿아 있음. 휴식과 개인 시간을 지키는 보호 장치는 계속 일하게 되는 압박에서 벗어나 다음 날 집중력을 회복하는 데 중요함