Instatic - Webflow, Framer, WordPress를 대체하는 오픈소스 셀프호스팅 비주얼 CMS

• 버그바운티는 기업이나 오픈소스 프로젝트가 외부 보안 연구자로부터 취약점을 제보받고, 유효성과 심각도에 따라 보상하는 제도임.
• 세계 최대 해킹 컨퍼런스인 DEF CON 34의 Bug Bounty Village에서 열린 「Navigating AI-Assisted Submissions」 토크 패널을 통해 HackerOne, Synack, Bugcrowd, Intigriti, YesWeHack 담당자들이 AI 도입 이후의 버그바운티 현장을 논의
• 패널의 공통 진단은 AI 자체보다 취약점 발견 속도와 검증·수정 속도의 격차가 핵심 문제라는 것
  • 전체 제출량은 전년 대비 약 2배 증가
  • 유효 리포트의 비율은 비슷하게 유지됐지만, 실제 Critical 취약점은 약 3배 증가
  • HackerOne에서는 검증됐지만 아직 해결되지 않은 취약점이 21배, 미해결 Critical 취약점은 25배 늘어남
  • Critical 취약점 해결률은 83% 이상에서 40% 미만으로 하락

AI slop이 만드는 세 가지 문제

• 존재하지 않는 취약점을 그럴듯하게 설명하는 환각 리포트
• 취약점은 유효하지만 핵심 영향도와 재현 방법이 수십 문단에 묻히는 과도하게 긴 리포트
• 에이전트를 실제 프로그램에 연결해 검증 없이 대량 전송하는 자동 제출 리포트
• 이에 따라 Bugcrowd는 반복적인 무효 제출과 submission farming 계정을 제재하고, HackerOne은 버그바운티 참여자의 신원 확인을 의무화하는 방향으로 정책을 변경 중

좋은 AI 보조 리포트의 기준

• 첫 부분에 취약점의 실제 영향도를 제시

• 재현에 필요한 단계와 증거만 남김

• 일반적인 취약점 정의나 불필요한 배경 설명은 줄임

• AI가 판단한 심각도를 연구자가 다시 검증

• 제출하기 전에 처음부터 끝까지 직접 읽고 재현

• AI의 장점도 분명함

  • 비영어권 연구자의 번역·작성 부담을 줄임
  • 대규모 엔드포인트 검사나 문서와 구현의 비교처럼 사람이 하기 어려웠던 연구를 가능하게 함
  • 한 프로그램을 4~5년간 연구한 팀이 AI를 도입한 뒤, 이전에 놓쳤던 Critical 취약점 5개를 2주 만에 발견한 사례도 소개됨

• 결국 중요한 질문은 "AI를 사용했는가"가 아니라 "어디까지 AI에게 맡겼는가"

  • 반복 탐색과 번역, 초안 작성은 AI에게 맡길 수 있음
  • 공격 범위 결정, 재현, 심각도·영향도 판단, 최종 검토는 연구자가 직접 해야 함

내가 직접 하지 않을 일이라면, 나의 AI에게도 시키지 말아야 함