ChatGPT와 Gemini가 가짜 고객센터 번호를 안내하도록 만드는 사기 수법

요약

공격자들이 생성형 AI의 답변 최적화 기법(GEO)을 악용해 웹에 가짜 고객센터 번호를 대량 유포하고, ChatGPT와 Gemini 등이 이를 정상적인 기업 정보로 안내하게 만드는 사기 수법이 발견되었습니다.
이들은 374개 주요 기업을 사칭하며 급한 문제를 겪는 사용자들을 유도하고 있으나, 자동화된 생성 방식과 웹 보존본 때문에 단순 삭제만으로는 대응이 어려운 상황입니다.

웹에 가짜 고객센터 번호와 지원 페이지를 대량 게시해, ChatGPT, Gemini와 Google AI Overview가 사기 연락처를 정상적인 기업 정보로 안내하게 만드는 공격이 발견됨
조사팀은 항공사, 은행, 여행 플랫폼과 소프트웨어 업체 등 374개 기업을 사칭한 공격과 악성 페이지 수만 개를 탐지함
AI 답변에 인용되도록 콘텐츠를 최적화하는 GEO를 악용해, 같은 가짜 번호를 여러 사이트에 반복하고 실제 정보와 섞어 신뢰할 만한 출처처럼 보이게 함
환불, 항공편 취소와 계정 잠금처럼 급한 문제를 해결하려는 사용자를 노리며, 공식 사이트를 확인하기 전에 사기 번호로 전화하도록 유도함
자동 게시와 웹 보존본 때문에 페이지 삭제만으로 대응하기 어렵고, 조사팀의 신고는 Google에서 버그바운티 범위 밖으로, OpenAI에서는 재현 불가로 종결됨

웹 정보를 통한 AI 답변 오염

공격은 사람뿐 아니라 웹을 탐색하는 AI 에이전트를 겨냥함. 게시물, PDF, 리뷰, 가짜 지원 페이지를 통해 사기 전화번호, 이메일 주소, 로그인 페이지를 정상적인 기업 정보처럼 답변에 끼워 넣음
GEO(Generative Engine Optimization) 는 생성형 AI가 특정 콘텐츠를 인용하도록 유도하는 최적화 기법임
- 통계나 유명 전문가의 인용문을 덧붙여 특정 정보의 신뢰도를 높이는 방식이며, 마케팅에서는 브랜드 인용을 늘리는 데 활용함
- 공격자는 같은 기법을 허위 정보에 적용해 조직의 연락처 등 AI가 제공하는 정보를 바꾸려 함
AI 답변을 검증하지 않는 이용 행태는 이러한 공격과 맞물림. Exploding Topics의 연구에 따르면 사용자 92%가 AI 답변을 검증하지 않음

탐지 방식과 확인된 공격 규모

탐지 시스템은 Gemini, ChatGPT, Google AI Overview의 답변과 참조 출처를 분석함
- 출처와 가져온 콘텐츠를 평가하고, 허위 정보를 확산하는 GEO 기법을 찾음
- 잘못된 전화번호, URL, 이메일 주소 등이 인용되면 사고로 기록함
- Fortune 100 기업, 은행, 항공사, 소프트웨어 업체 등을 대상으로 실행함
총 374개 기업을 겨냥한 공격과 악성 페이지 수만 개를 탐지함
- 항공사는 Delta, Lufthansa, United Airlines, Emirates, Qatar Airways 등이 포함됨
- 은행은 Bank of America, Wells Fargo, Chase, Citi 등이 포함됨
- Airbnb, TripAdvisor와 여러 소프트웨어 제공업체도 대상이 됨
공격 콘텐츠는 게시물, 문서, 웹사이트, 이미지에 퍼져 있었으며, 가짜 고객지원 연락처 외에 허위 소프트웨어 업데이트와 로그인 페이지도 포함함
대부분의 사고는 확률적으로 재현됨. 같은 질의를 반복해도 가짜 번호가 항상 나오지는 않았으며, 공격 콘텐츠의 완성도가 높을수록 오염 성공 가능성이 높았음

악성 콘텐츠가 게시된 경로

공격자는 사용자 생성 콘텐츠(UGC) 를 허용하는 정상 사이트에 정교하게 구성한 콘텐츠를 삽입함
- 소셜미디어와 포럼: Instagram, Tumblr, Buzzfeed, LeetCode, YouTube와 Vimeo의 영상 설명, Medium 등이 활용됨
- 파일 업로드 사이트: 정부기관, 대학교, 전문대학 등의 사이트에 주로 PDF를 업로드함
- 웹 호스팅 플랫폼: Google Sites, GitHub Pages, WordPress, blogspot.com 등이 활용됨
- 모금, 구직, 행사 플랫폼: Posh.vip, onecause.com, bebee.com, raiselysite.com 등이 포함됨
- 기타 사이트: Yelp와 Apple Maps 리뷰, mentalhealth.org.nz, National Cancer Research Foundation의 nfcr.org, PC 리뷰 사이트 pcreview.co.uk 등이 악용됨

AI의 인용을 유도하는 다섯 가지 기법

GEO에 맞춘 콘텐츠 구성: 가짜 번호를 반복하고 문답 형식을 사용하며, “지금 전화”, “24시간 연중무휴”, “2026년 업데이트” 같은 문구를 넣어 검색 결과와 AI 답변에 등장할 가능성을 높임
전화번호 탐지 우회: 공백, 점, 이모지, Unicode 문자, 숫자 사이의 단어로 같은 번호를 여러 형태로 표기함
- 스팸/사기 필터는 이를 서로 다른 문자열로 보거나 전화번호로 인식하지 못할 수 있음
- AI는 1️⃣과 1, ☎️와 전화의 의미를 연결해 변형된 번호도 해석할 수 있음
여러 출처를 통한 권위 위장: 같은 내용을 소셜미디어, 포럼, 웹사이트, PDF에 복제하고, 신뢰받는 .edu, 자선단체, 기업 사이트에도 올려 여러 곳에서 확인된 정보처럼 보이게 함
정상 정보와 허위 정보 혼합: 유용한 조언과 실제 전화번호 사이에 가짜 번호를 넣어 LLM이 둘 다 인용하도록 유도함
- 공식 자료처럼 보이는 AI 생성 이미지, 가짜 좋아요와 댓글, 고객지원 표기를 더해 신뢰감을 높임
긴박감 조성: 환불, 항공편 취소, 계정 잠금, 송금처럼 급한 문제에 집중해 사용자가 공식 사이트를 확인하기 전에 전화하도록 유도함

자동화와 보존본이 만드는 삭제 대응의 한계

여러 기업과 사이트에서 동일한 템플릿, 전화번호, 문구가 반복됐으며, 플랫폼별/기업별로 하루 수백 건, 전체적으로 하루 수천 건의 게시물이 올라오는 자동화 양상이 확인됨
삭제 속도가 생성 속도를 따라가기 어려움. 한 페이지를 내리는 데 수시간에서 수일이 걸리는 동안 새 페이지가 대량 생성됨
archive.org 같은 서비스의 삭제 페이지 보존본도 검색엔진에 색인되므로, 원본을 삭제해도 오염된 정보가 남을 수 있음
- 최근 24시간 동안 올라온 American Airlines 대상 LeetCode 공격 게시물이 Google 검색 결과 10페이지 이상을 차지한 사례가 있음
- 원본 삭제 후에도 Web Archive에 남아 검색되는 PDF 사례도 확인됨
조사팀은 탐지한 공격별로 허위 정보의 영향을 되돌리고 AI 답변을 자동 복구하는 대응 기제를 개발했다고 밝힘. 구체적인 방식은 후속 연재에서 공개할 예정임

기업 통보와 버그바운티의 사각지대

조사팀은 대상 기업 모두에 버그바운티, 사기 대응, 보안 채널로 연락했으며, 일부 기업과 완화 작업을 시작함
- 대부분은 공격 규모와 영향을 알지 못했음
- 일부는 기존 솔루션으로 대응하고 있다고 답하거나, 내부 시스템을 직접 공격하지 않으므로 버그바운티 범위 밖이라고 판단함
기업에는 매출 손실과 브랜드 신뢰 훼손이 발생할 수 있음
- 구매하려던 고객이 사기 경로로 빠지면 직접 매출을 빼앗길 수 있음
- 피해자가 실제 기업에 책임을 돌리면서 신뢰가 떨어지고 고객이 이탈할 수 있음
- 대규모 고객 분쟁 처리와 잠재적 소송에도 비용이 들 수 있음
Google과 OpenAI에도 신고했지만 두 프로그램 모두 문제를 취약점으로 받아들이지 않음
- Google은 AI 생성 허위 정보와 피싱/사회공학 시나리오가 VRP 대상이 아니라며 범위 밖으로 분류함
- OpenAI는 실제 공격 사례가 포함된 보고서를 재현 불가로 종결하고, 이론적 공격이 아닌 입증된 사용자 영향을 요구함
- 공격이 공급업체 시스템 침입이 아니라 사용자에게 보여 주는 정보를 조작한다는 점이 현재 프로그램의 취약점 정의와 맞지 않음

후속 대응과 남은 문제

AI가 진실과 거짓을 구분하지 못한다는 한계 때문에 이러한 허위 정보 공격은 더 심해질 것으로 전망됨
후속 연재에서는 여러 공격 사례와 함께 AI 허위 정보가 소프트웨어 공급망 공격으로 이어지는 방식을 다룰 예정임