← 목록으로

검증 패턴 도입기 - PR마다 에이전트가 검증한 것과 못 한 것을 기록하게 하기

요약
  • Imprint CTO Will Larson은 코딩 에이전트의 검증 성과와 한계를 기록하는 '검증 루프'를 도입하여 소프트웨어 개발 효율을 높이고 있다.
  • 모든 PR에 검증 파일 작성을 의무화함으로써 에이전트의 개선 로드맵을 확보하고, 중앙화된 지침을 통해 팀 전체의 리뷰 수준을 상향 평준화한다.
  • Imprint CTO Will Larson이 앞서 리뷰 병목을 줄이려고 도입한 small-change 규칙에 이어, 소프트웨어 개발에 검증 루프(verification loop) 를 붙인 경험을 공유함
  • 핵심 규칙은 하나: 모든 PR은 verifications/{PR 번호}.md 파일을 만들어야 함
    • 하네스(코딩 에이전트)가 수행한 검증 단계와, 검증하지 못한 항목을 함께 적음
    • 이 파일이 없으면 PR을 draft에서 ready로 바꿀 수 없음
  • 도입 이유
    • 로컬에서 돌릴 수 있었던 린트에 실패한 채 CI까지 올라오는 PR이 많아, 하네스가 실제로 검증을 했는지 믿기 어려웠음
    • 기록을 강제하면 하네스는 한 일을 보여 주거나, 건너뛰었다고 인정하거나 둘 중 하나를 해야 함
    • 쌓인 기록은 하네스가 어디서 막히는지 보여 주는 데이터가 되고, 그대로 하네스 개선 로드맵이 됨
  • "이미 있는 테스트·린터와 뭐가 다르냐"는 혼란이 많았는데, 저자는 이를 Chain-of-Thought 프롬프팅에 비유함. 원하는 행동 쪽으로 하네스를 명시적으로 이끄는 장치라는 것
  • 검증 루프 5단계
    1. 구현: 사람이나 자동화가 작업을 정함 (예: 로그에 새 에러가 나타남)
    2. 하네스가 로컬에서 검증한 뒤 PR 생성, 검증 파일 없이는 ready 불가
    3. 모든 PR에 ai-code-review가 자동 리뷰하고, 필요하면 사람도 리뷰
    4. 피드백 반영 또는 거절. 질 낮은 피드백은 /dismiss {이유} 댓글로 기각
    5. 매일 유지보수
      • pstack의 /maintain-verification-skill로 코드 변경과 검증 문제를 반영해 기능 맵·도구를 갱신하고 PR 자동 생성
      • 검증 파일들에서 빈틈을 찾아 이슈로 등록
      • ai-code-review 피드백의 수용·기각 내역을 보고 리뷰 지침을 다듬음
  • 결과적으로 프런트엔드·백엔드·데이터·네이티브 영역마다 매일 아침 4–6개의 개선 PR이 리뷰를 기다림
  • PR 단위로 잡히지 않는 문제(예: 컨테이너 러너가 도중에 죽어 검증 파일 자체가 안 생기는 경우)는 Teddy Riker의 "Designing for Agents"에서 가져온 별도 feedback 도구로 수집함. 두 장치는 서로를 보완하는 관계
  • 탐색 vs 활용
    • 팀별 자유 실험은 천장을 높이고, 중앙화는 모두의 리뷰·도구 수준이라는 바닥을 높임
    • 지금은 영역별 지식을 하나로 모아 계속 개선하는 중앙화 쪽을 택함
    • 다만 얼마나 중앙화할지는 확신하지 못하며, 2027년의 최선의 기법은 "아직 대부분 알려지지 않았을 것"이라 탐색도 계속하겠다고 밝힘
  • 팀마다 어긋난 지침은 "컨텍스트 독(context poison)" 으로 보고, 주제별 중복 지침을 없애는 작업을 진행 중
그냥 목록으로
원문 보기 ↗