← 목록으로
지난 소식
가짜 통계 5만 페이지를 올렸더니 ChatGPT와 논문, 은행 보고서가 인용했다
요약
- GPT-4.1로 지어낸 5만 개의 가짜 통계 페이지를 게시한 실험에서, 구글 검색 노출이 급감한 후에도 7개월간 ChatGPT의 인용과 유입이 지속되었습니다.
- 이 허위 수치는 학술 논문과 은행 리서치 등에 인용되며 신뢰도가 높아지는 '인용 세탁' 현상으로 이어져 AI 시대의 출처 검증 필요성을 드러냈습니다.
- GPT-4.1로 지어낸 통계 페이지 5만 개를 게시한 실험에서, 7개월 동안 ChatGPT 유입 세션 1만 건 이상과 330개 이상 도메인의 링크를 확보
- Google 검색 노출이 급감한 뒤에도 ChatGPT의 인용과 유입은 지속. 검색 순위가 낮은 페이지도 AI가 답변의 근거로 가져다 쓸 수 있음을 보여줌
- 허위 수치가 학술 논문과 카타르 금융그룹의 투자 리서치에도 등장. 권위 있는 기관의 인용을 거치며 가짜 통계가 더 믿을 만한 자료처럼 보이는 ‘인용 세탁’으로 이어짐
- 구체적인 숫자는 AI가 글을 작성할 때 바로 인용하기 좋은 근거가 되지만, 검색어와 관련성이 높다는 사실이 통계의 정확성까지 보장하지는 않음
- 후속 실험에서는 출처를 확인한 실제 통계 페이지로도 링크를 확보. 통계 콘텐츠가 인용을 얻는 데 효과적일 수 있으며, 이를 위해 수치를 지어낼 필요는 없었음
실험의 출발점과 구축 방식
- 실험은 LLM, 관련성 엔지니어링, 그라운딩(grounding) 연구에서 출발함
- 시의성이 높거나 속보성인 콘텐츠를 작성하는 LLM이 지식의 빈틈을 채우기 위해 겉보기에 신뢰할 만한 데이터를 찾으며, 통계가 그 대상이 되는 패턴에 주목함
- 브랜드가 AI 답변에 등장하는 순간을 넘어, 이용자가 답변을 발표 자료나 쇼핑 목록, 웹사이트 콘텐츠로 재사용한 이후까지 살펴봄
- Seer Interactive가 2025년 8월 공개한 연구가 아이디어 형성에 영향을 줬으며, 2026년 3월 사이트 구축을 시작함
- 새 도메인 StateGlobe에 GPT-4.1로 하루 만에 통계 페이지 5만 개를 생성함
- 200개국의 SEO, 콘텐츠 마케팅, 소셜 미디어, 전자상거래, 웹 기술 통계를 제공하는 형태였으나, 모든 수치를 지어냈고 하나도 검증하지 않음
- 프롬프트는 국가와 주제 목록에 문장 두 개를 덧붙인 수준이었고, 기본 AI 웹 디자인 템플릿으로 게시함
- 초기 비용은 약 30달러였으며, 이후 목록형 글 1만 5,000개를 약 20달러에 추가해 총비용은 약 50달러였음
- 초기 공개 후 Growth Memo에 소개되면서 더 넓은 독자층에 알려짐
Google 노출 감소와 지속된 AI 조회
- 출시 직후에는 트래픽과 색인, 이용자 반응이 좋았으며, 색인 도구를 사용해 일주일 안에 거의 모든 페이지를 Google에 색인시킴
- 이후 Google 업데이트 두 차례가 이어지면서 검색 노출이 급감함
- 수개월 동안 노출이 거의 없는 상태가 지속됐고, 하위 도메인을 만들어 노출을 늘리려는 시도도 별 효과가 없었음
- 그 밖에는 사이트를 거의 손대지 않았으며, 일부 페이지는 간헐적으로 열리지 않을 가능성도 있음
- 출시 7개월 후 확인한 Cloudflare 기록에서 최근 30일간 봇 요청 60만 건 이상, 이 중 ChatGPT-User 요청 약 7만 2,000건을 확인함
- ChatGPT-User는 학습용 크롤러가 아니라 ChatGPT가 실제 질문에 답하면서 페이지를 여는 에이전트임
- Ahrefs와 Semrush 기준으로 330개 이상의 도메인이 사이트에 링크했으며, Shopify, DHL, Bluehost도 포함됨
- GA4에서는 3월 이후 ChatGPT 유입 세션 1만 건 이상을 기록함
- 직접 유입은 대부분 봇 트래픽처럼 보여 전체 방문 집계에서 제외함
- 2026년 6월 Peec 합류 후 일부 프롬프트를 추적하도록 설정한 대시보드에서는 10월 7일 기준 Statista에 이어 노출 순위 2위였음
- 이 순위는 추적 대상 프롬프트에 한정된 결과임
Google 순위와 LLM의 정보 조회는 다름
- Google 검색 순위와 LLM이 정보를 찾아 가져올 수 있는지는 별개의 문제임
- ChatGPT는 Google 상위 10개 결과를 그대로 복사하는 대신, 프롬프트를 팬아웃 질의(fanout queries)라는 하위 질의로 재구성함
- 검색 소스와 자체 캐시에서 후보를 가져와 재순위화하고, 일부 페이지를 열어 답변의 근거로 사용함
- Google에서 보이지 않는 페이지도 이 과정에서는 잘 조회될 수 있으며, StateGlobe에서는 Google 노출 감소 후에도 AI 봇의 방문이 계속됨
- 관련 ChatGPT 검색 색인 연구는 ChatGPT 검색 방식과 사이트가 장기간 조회되는 현상을 이해하는 참고 자료임
- GEO에서 Google 순위는 여러 신호 중 하나임. Google만 추적하면 Google 노출이 낮아도 작동하는 AI 유입 채널을 놓칠 수 있음
허위 데이터의 확산과 인용 세탁
- StateGlobe의 허위 통계는 학술 논문과 기관 리서치의 출처로 사용됨
- 카타르 최대 금융그룹의 투자 리서치에 쓰임
- 인도의 경제 간행물과 캐나다 인플루언서 커뮤니티의 연구 보고서에서도 인용됨
- 확인한 사례는 사이트로 연결되는 링크가 있는 인용에 한정되며, 링크 없이 사용된 사례가 더 있을 가능성은 있으나 확인되지 않음
- 인용 세탁(citation laundering) 은 권위 없던 가짜 수치가 학술 논문이나 은행의 인용을 거치면서 더 신뢰할 만해 보이게 되는 과정임
- 데이터가 사실로 바뀌는 것은 아니지만, 다음 독자나 모델은 주요 기관이 인용한 출처를 보게 됨
- 반복해서 조회되고 인용된 페이지가 웹 크롤링을 거쳐 후속 모델의 학습 데이터에 들어갈 위험도 있음
- GPT-4.1이 지어낸 수치가 다음 모델이 ‘아는’ 정보가 될 가능성이지만, 실제 학습 데이터 편입 여부는 확인하지 않음
- 이 실험은 가짜 콘텐츠 제작 지침이 아니라 위험을 확인하기 위한 연구이며, 출처 검증을 집필과 연구 작업의 필수 단계로 삼아야 함
실제 데이터로 반복한 후속 실험
- Peec GEO 연구팀은 모든 통계를 확인하고 출처를 명시한 AI 검색/GEO 통계 페이지를 새로 공개함
- 공개 직후 AI로 콘텐츠를 작성하는 것으로 추정되는 사이트들에서 링크가 들어오기 시작함
- 해당 사이트들의 AI 사용 여부를 확정한 것은 아님
- 두 번째 사이트에서도 통계 콘텐츠 게시가 링크 확보로 이어졌으며, 허위 데이터를 만들 필요는 없었음
LLM이 통계를 찾는 이유
- LLM 기반 콘텐츠 작성이 늘면서 통계 검색도 발생함. 모델은 주제를 조사하다 지식의 빈틈을 만나면 이를 채울 수치를 찾음
- 조사용 팬아웃 질의에는 statistics, data, report 같은 수식어가 붙고, 프롬프트에서 요청하면 현재 연도도 포함됨
- 원격근무 블로그 글 작성 요청은 remote work statistics 2026 같은 검색으로 이어질 수 있음
- 사람이 입력하는 키워드뿐 아니라 모델이 실제로 실행하는 질의에 맞춘 페이지가 LLM 결과에 더 자주 등장할 수 있음
-
구체적인 수치는 인용 가능한 근거처럼 보임
- “원격근무가 늘고 있다”보다 “직원의 X%가 주 1회 이상 원격근무한다”가 더 구체적이고 글에 새로운 정보를 더함
- 그러나 구체성이 사실성을 뜻하지는 않으며, 이번 실험에서는 허위 수치도 근거처럼 사용됨
- 검색 기반 LLM 작성 과정은 지연 시간과 비용 제약 아래 일부 페이지와 관련 구절을 가져와 글을 작성하며, 이 과정에서 수치의 사실 확인이 이뤄지지 않음
- 단일 통계를 검증하려면 독립 출처를 찾고 비교하며 충돌을 해소해야 하므로, 수백만 이용자의 수십억 프롬프트에 적용하면 시간과 비용이 크게 늘어남
- 재순위화 모델은 진실성보다 관련성을 평가하므로, 질의에 맞고 권위 있어 보이는 구절이 사용됨
- 통계 페이지는 제목, 소제목, URL에 연도를 넣어 최신성 신호를 전달함
- ChatGPT의 최신성 편향 분석과 연결되는 특성이며, 이 세 위치의 연도가 페이지를 최신 자료처럼 보이게 함
검증 가능한 통계 페이지를 만드는 방법
- 문장마다 하나의 주장만 담아야 함. 검색은 페이지 전체가 아니라 구절 단위로 작동하므로, 각 통계는 앞 문단 없이도 이해할 수 있어야 함
- 모든 수치 옆에 출처와 연도를 배치해야 함. “출처명에 따르면(2026), X%…” 같은 형태가 모델과 사람의 확인을 돕고 신뢰도를 뒷받침함
- 소제목을 팬아웃 질의에 맞춰 구성함
- ‘주제별 통계’, ‘주제별 시장 규모’, ‘국가별 도입률’처럼 모델이 실행할 검색을 고려함
- 갱신일을 표시하고 실제로 갱신해야 함. 오래된 통계 페이지는 더 최신인 페이지에 밀릴 수 있음
- 통계를 서버 렌더링 HTML로 제공해 쉽게 가져갈 수 있게 함
- JavaScript, 탭, 이미지 뒤에 데이터를 숨기지 않음
- robots.txt, CDN, WAF 규칙이 AI 조회 봇을 의도치 않게 차단하는지도 확인함
- 단순한 목록 구조로도 충분함. Peec의 통계 페이지처럼 구성하고, 디자인 자원은 효과가 더 큰 페이지나 콘텐츠에 투입할 수 있음
- 가능하다면 독자적인 데이터를 추가함. 기존 통계 취합도 인용을 얻을 수 있지만, 다른 곳에 없는 정보를 제공하면 1차 출처가 될 수 있음
AI 조회와 인용을 추적하는 방법
- Google Search Console만으로는 AI 봇 활동을 파악할 수 없음. 다음 지표를 별도로 추적함
- 서버 로그나 Cloudflare에서 ChatGPT-User, OAI-SearchBot, PerplexityBot 등 정보 조회 봇의 활동을 확인하고, 학습용 크롤러만 보지 않음
- GA4에서 chatgpt.com, perplexity.ai 등으로부터 들어온 AI 추천 유입 세션을 확인함
- 정해진 프롬프트 집합에서 인용과 노출을 추적함
- Ahrefs나 Semrush에서 새로 링크한 도메인을 확인함
- 정확한 수치를 따옴표로 검색해 링크 없는 언급도 찾아봄
- Peec은 자체 도구로 프롬프트별 인용과 노출을 추적하며, AI 봇 활동 확인 기능도 제공함
윤리적 한계와 전략의 범위
- 가짜 콘텐츠를 게시해서는 안 됨. 실험 사이트는 결과 공개를 목적으로 운영됐으며, 현재도 온라인 상태이지만 면책 고지를 추가함
- LLM이 가져갈 콘텐츠는 정확하고 접근 가능한 정보여야 함
- 효과가 계속될 것이라는 보장은 없음. 결과 공개 이후 LLM이 이 빈틈을 막을 수 있으며, 악용해서도 안 됨
- 통계 페이지는 하나의 전술일 뿐, 조직 전체 GEO 전략의 기반을 대체할 수 없음
- StateGlobe의 결과는 극단적인 사례였으며, 이미 사람들의 신뢰를 받는 브랜드가 이 방식의 혜택을 얻을 가능성이 가장 큼
- Peec 연구팀은 이와 유사한 실험을 약 40개 진행 중이며, 장기 전략을 위해 테스트와 측정, 학습 결과 공유를 이어갈 계획임