침해 사고 로그나 공격 코드를 AI에게 분석시키다 보면, 방어 목적인데도 거절당할 때가 있습니다. 그래서 가장 조심스러운 모델에 먼저 묻고, 거절당하면 다음 모델로 넘기는 도구를 만들었습니다.
만든 계기
7월 허깅페이스 침해 사고 때 대응팀이 공격 아티팩트 분석을 상용 모델에 맡겼다가 안전장치에 막혀서, 결국 GLM을 직접 띄워 분석을 끝냈다는 얘기가 있었습니다. 정말 그 정도인지 궁금해서 직접 돌려 봤습니다.
해 본 것
defenders-dilemma 저장소에 공개된 문제 7개를 그대로 가져와서, 질문 방식을 두 가지로 바꿔 총 14번 물어봤습니다.
- Claude Opus 5.5: 11번 거절(콘텐츠 필터). 답한 3번은 전부 정답
- GPT-6 Astra, GLM-5.3, DeepSeek V4.1 Flash: 거절 0번 (일부는 출력 토큰 한도나 타임아웃으로 답이 잘림)
- Defend(Claude → GPT 순서): 14번 모두 답변
재밌었던 건, 그냥 물어볼 때는 답하던 Claude가 "승인받은 사고 대응팀입니다"라고 밝히니까 오히려 막혔다는 점입니다.
채점은 GPT와 GLM에 따로 맡겼는데 결과 방향은 같았습니다. 명령 한 줄로 다시 돌려 볼 수 있게 해 뒀고, 한 번 돌리는 데 2달러 정도 듭니다.
Defend가 하는 일
- 모델 순서를 정해 두면, 앞 모델이 거절할 때만 다음 모델로 넘깁니다
- 모델에 보내기 전에 개인정보와 API 키를 가립니다
- 사이트 보안 헤더 점검은 API 키 없이도 됩니다
한계
- 거절을 피해 가는 도구가 아닙니다. 다른 모델에 다시 묻는 것뿐이라, 모든 모델이 거절하면 답이 없습니다.
- 14번이라 표본이 작습니다. 모델별 차이를 단정하기는 어렵습니다.
- 다음 모델로 넘어가면 자료가 그 회사 API로 갑니다.
개인 AI 비서 Unchore를 만들다가 따로 떼어 낸 도구입니다. 다른 모델로 돌려 본 결과나 틀린 부분이 있으면 댓글로 알려 주세요.