← 목록으로

Show GN: collab-os - AI 어시스턴트의 틀린 단정을 기록하는 장부 양식과 검사 도구

요약
  • AI 어시스턴트의 잘못된 단정을 기록하고 검사하는 도구와 장부 양식을 포함한 'collab-os' 프로젝트가 공개되었습니다.
  • 9주간의 실사용 데이터를 바탕으로 구성된 이 프로젝트는 원인 분류표, Python 도구, Claude Code 플러그인 등을 제공하며 사용자 피드백을 통한 개선을 목표로 합니다.
  • 직접 만들어 9주간 써 온 프로젝트입니다. AI 어시스턴트와 매일 일하며 AI의 단정이 틀린 것으로 확인된 것을 사후에 한 줄씩 등재한 장부의 방법과, 그 기록을 가능하게 한 최소 도구 묶음(도구는 Claude Code 기준). 장부 원본은 비공개, 집계 숫자만 공개
  • 9주(2026-08-21~10-23) 230건. 종류: 인용 대체 32 · 깨진 측정 60 · 일부만 보고 전체 단정 100 · 기타 38
  • 탐지자 분류(잡힌 230건 기준 — 아무도 못 잡은 건 분모에 없음): AI 자신 44% · 두 번째 모델(Codex)의 독립 검토 33% · 사람 10% · 실행 중 측정 6% · 분류 불가 7%
  • 음성 대조군: "0건"을 보고하기 전에 같은 명령이 임시 사본에 심은 1건을 먼저 찾아야 함. 존재하지 않는 칸을 읽어 "실패 0"을 낸 요약이 계기
  • 구성: 장부 템플릿 · 원인 분류표(R1~R10) · Python 도구(tools/ 의 검사·집계 4 + 설정 1, export/ 의 공개용 내보내기·유출 검사 2 — 표준 라이브러리만, 3.9+) · 원칙 10개 헌장 템플릿 · Claude Code 플러그인(위험 작업 전 판정 카드를 내는 gate, recon, handoff 스킬 + 세션 시작 훅)
  • 되돌릴 수 없는 행동을 막는 게이트류는 이미 여럿이라 게이트는 조연. 2026-10-13 이웃 프로젝트 7개 조사(6개 확인) — 사후 장부·탐지자 분류·음성 대조군·실측 숫자 공개 넷을 함께 갖춘 곳은 없었음(탐지자 분류 0곳, 음성 대조군 2곳)
  • 한계: 한 사람의 집계(통제 실험 아님), 플러그인은 강제하지 않고 "보이게" 할 뿐, 자동 발동 빈도는 작성자 환경 밖에서 미측정, macOS에서 시험(Linux는 훅·도구만, Windows 미시험)
  • 코드 MIT, 문서 CC BY 4.0
  • 설치는 INSTALL.ko.md 참고. 장부 양식만 따로 가져가도 됨
  • 첫 외부 시험자의 요청 2건은 v0.1.5(11/2)에 반영: 게이트 카드 아래에 어떤 규칙 파일을 확인했고 겹침·충돌이 있는지 한 줄, 기존 헌장이 있으면 설치가 먼저 묻고 백업한 뒤에만 추가 (CHANGELOG.md)
  • 공개 목적은 피드백으로 개선하는 것(지금까지 외부에서 끝까지 써 본 사람 1명). 특히 듣고 싶은 것: 설치하다 막힌 곳, 게이트 미발동·과발동, 장부를 직접 써 본 결과. GitHub 이슈·댓글 환영
  • 만든 과정 이야기: https://foresightsignals.com/writing/post-20261101-1101/
그냥 목록으로
원문 보기 ↗