← 목록으로

좀비 통계: AI가 인용하는 숫자는 어디에서 오는가

요약
  • AI 서비스가 인용하는 통계 중 원연구와 일치하는 비율은 40%에 불과하며, 출처 없이 반복되는 '좀비 통계'가 빈번하게 발생하고 있습니다.
  • AI는 주로 재전달 페이지를 인용하므로 사용자는 AI의 답변을 사실로 맹신하기보다 조사 단서로 활용해 원연구를 직접 확인해야 합니다.
  • Trakkr가 5개 AI 서비스의 통계 인용 1,285건을 추적한 결과, 원연구까지 도달해 내용이 일치한 비율은 40% 였음
  • 인용 페이지에 해당 숫자가 있는 경우는 82%였지만, 원연구를 직접 인용한 비율은 21% 에 그침. 인용 링크가 있어도 숫자의 기원과 타당성까지 보장하지는 않음
  • 원연구에 도달한 통계 중 17%는 전달 과정에서 내용이 달라졌으며, 숫자 자체보다 조사 대상, 시점, 측정 항목 등 맥락이 바뀐 경우가 많았음
  • 여러 AI가 같은 숫자를 말해도 검증된 것은 아니었음. 5개 서비스가 모두 인용한 통계 중 4개는 뒷받침하는 연구를 찾지 못했으며, 이런 숫자를 ‘좀비 통계’로 부름
  • AI가 제시한 통계는 출처가 아닌 조사 단서로 취급하고, 원연구까지 따라가 표본과 조사 시점을 확인해야 함. 발행자는 숫자 옆에 방법론과 원출처를 함께 공개할 것을 권함
연구 없는 숫자가 반복되는 경로
  • ChatGPT, Perplexity, Gemini, Claude, Google AI Overviews에 숫자가 필요한 일상적인 질문 200개를 던진 뒤 인용 출처를 추적함
  • “영업사원 중 한 차례 후속 연락 뒤 포기하는 비율은?”이라는 질문에 5개 서비스 모두 44% 라고 답했고, ChatGPT만 근거가 불명확하다는 단서를 붙임
    • Google AI Overviews는 2020년 영업 회사의 통계 페이지를 인용함
    • 해당 페이지의 출처 링크는 늦어도 2017년부터 온라인에 있던 프리랜서 작가의 글쓰기 견본으로 이어짐
    • 견본은 제목에 44%를 내걸고 발표 자료 2개, 블로그 목록 1개, 뉴스 기사 2개를 나열했지만, 어느 것도 후속 연락을 조사한 연구가 아니었음
    • 다른 경로도 모두 연구를 인용하지 않는 페이지에서 끝남
  • 좀비 통계는 이처럼 뒷받침하는 연구 없이 계속 반복되는 숫자를 뜻함. 대부분의 숫자가 이런 것은 아니지만, 답변의 확신에 찬 어조나 인용 형식만으로는 구분할 수 없었음
추적 방법과 원연구 확인율
  • 2026년 10월 수집한 답변에서 서비스별 인용 통계를 무작위 추출해 1,285건을 추적함
    • 최초 인용 페이지부터 출처를 최대 5페이지 깊이까지 따라갔고, 링크 없이 출처 이름만 있으면 별도로 검색함
    • 서비스별 통계 인용량에 따라 가중치를 적용하고, 사람이 직접 확인한 150개 경로로 결과를 보정함
  • 추적 결과는 다음과 같음
    • 40%는 원연구와 일치했으며, 이 비율의 95% 구간은 34~46%였음
    • 8%는 원연구에 도달했지만 내용이 달라짐. 숫자, 조사 대상, 지역, 시점 등이 원래와 달랐음
    • 40%는 실제 출처가 지목돼 있어도 접근이 제한되거나 사라졌거나 해당 숫자가 없어 확인할 수 없었음
    • 11%는 경로 어디에도 연구가 없고, 페이지마다 숫자만 반복했음
    • 나머지 1%는 페이지를 불러올 수 없었음
  • ChatGPT는 가장 적은 숫자를 인용하면서 원연구 일치율은 가장 높았음

    • ChatGPT는 108건을 추적했으며, 일치율 57%, 답변당 통계 1.3개였음
    • Perplexity는 277건을 추적했으며, 일치율 46%, 답변당 통계 2.2개였음
    • Google AI Overviews는 300건을 추적했으며, 일치율 39%, 답변당 통계 4.8개였음
    • Gemini는 300건을 추적했으며, 일치율 38%, 답변당 통계 6.2개였음
    • Claude는 300건을 추적했으며, 일치율 38%, 답변당 통계 6.8개였음
    • ChatGPT를 제외한 4개 서비스는 추정 구간이 서로 겹쳐 순위를 매길 수 없었음
    • 질문 선정의 영향을 확인하기 위해 실제 일상 검색에 대한 Google AI Overviews 답변에서도 통계 300건을 추가 추적함. 원연구 일치율은 40%로 본 조사와 비슷했음
AI가 주로 인용하는 것은 숫자를 재전달하는 페이지
  • 최초 인용 페이지의 82%에는 실제로 해당 숫자가 있었음. 문제는 대체로 숫자를 지어내는 것이 아니라, 다른 곳의 숫자를 재전달하는 페이지에 의존하는 데 있었음
  • 숫자의 원연구를 직접 인용한 경우는 21% 였고, 인용 페이지의 절반 이상은 기업 블로그였음. 뉴스와 통계 모음까지 합치면 대부분을 차지했으며, 원출처 링크가 없는 경우도 많았음
  • 읽을 수 있는 최초 페이지가 있었던 1,268건을 유형별로 나누면, 인용 비중과 원연구 일치율은 다음과 같음
    • 조사 기관/설문조사는 인용의 13%를 차지했고, 일치율은 62%였음
    • 정부/공식 기관은 인용의 7%를 차지했고, 일치율은 61%였음
    • 기업 블로그는 인용의 54%를 차지했고, 일치율은 37%였음
    • 뉴스/잡지는 인용의 10%를 차지했고, 일치율은 37%였음
    • 통계 모음은 인용의 8%를 차지했고, 일치율은 35%였음
    • 기타 페이지는 인용의 8%를 차지했고, 일치율은 41%였음
  • 조사 기관에서 시작해도 38%는 일치하는 원연구까지 확인하지 못했음. 전체 보고서를 보려면 양식을 작성해야 하는 경우가 흔한 막다른 지점이었음
  • 인용 링크는 AI가 숫자를 찾은 위치와 숫자가 처음 만들어진 출처를 구분하지 않음
숫자보다 자주 바뀌는 맥락
  • 원연구까지 도달한 통계 중 17%는 전달 과정에서 변형됐음. 기록한 변경 유형 중 숫자 자체의 변경은 26%였고, 나머지는 주로 맥락의 변화였음
    • 측정 항목 20%, 연도 17%, 출처 16%, 조사 대상 14%, 지역 4%였음
  • “웹사이트 첫인상의 94%는 디자인과 관련된다”는 수치는 2004년 Sillence와 동료들의 CHI 연구에서 출발함
    • 원연구는 영국 여성 15명이 건강 관련 웹사이트를 평가하는 과정을 관찰함
    • 94%는 사이트를 거부하거나 불신한 이유에 관한 이들의 의견 중 디자인 관련 의견의 비율이었음
    • 약 20년간 재인용되며 모든 웹사이트의 첫인상에 관한 수치로 바뀌었고, Google AI Overviews는 이를 사실로 답함
  • 주요 변형 사례의 경로는 공개 웹에서 사람이 직접 확인하고 보관용 사본을 남김. 원연구 이름은 공개하되 재전달 페이지는 이름 대신 유형으로 구분함
AI 간 불일치와 합의의 한계
  • 5개 서비스가 모두 백분율로 답한 71개 질문 중 28개에서는 서로 다른 수치가 4~5개 나왔음
  • 2026년 10월 25일 동일하게 “마케팅 담당자의 몇 퍼센트가 마케팅 자동화 도구를 사용하는가?”라고 물었을 때 답은 49~96% 에 걸쳐 있었음
    • Google AI Overviews: Moosend 등 업계 자료를 근거로 기업과 마케팅 팀의 현재 사용률을 49~51%로 답함
    • ChatGPT: 62%를 인용하되, 미국 디지털 마케팅 담당자를 대상으로 한 2020년 조사여서 현재 상황과 다를 수 있고 자동화의 정의에 따라 수치가 달라진다고 한정함
    • Gemini: 마케팅 담당자와 기업의 사용률을 70~79%로 답함
    • Perplexity: 마케팅 조직의 약 81%가 사용한다고 답함
    • Claude: 사용한 적이 있거나 사용할 계획이 있는 담당자까지 포함해 96%로 답함
  • 최고값과 최저값의 전형적인 격차는 16%포인트였고, 71개 질문 중 31개는 20%포인트 이상 벌어짐
    • 범위로 답한 경우 중간값을 사용했으며, 100%를 넘는 수치가 나온 질문 2개는 도표 축에서 제외함
  • 답변이 일치해도 출처 확인율은 높아지지 않았음

    • 5개 서비스가 같은 수치를 낸 질문은 10개였고, 그중 추적한 5개에서는 2개만 원연구와 일치함
    • 3개 이상 서비스가 인용한 통계 29개 중에서도 원연구와 일치한 것은 11개였음
반복 인용된 좀비 통계와 확인 가능한 사례
  • 5개 서비스 모두 인용했지만 뒷받침하는 연구를 찾지 못한 통계 4개가 있었음
    • 영업사원의 44%가 한 차례 후속 연락 뒤 포기함: 모든 경로가 연구를 인용하지 않는 페이지에서 끝남
    • 소셜미디어 이용자의 90%가 최소 한 브랜드를 팔로우함: 출처 없이 반복됐고 해당 수치의 연구를 찾지 못함
    • 검색 이용자의 75%가 첫 결과 페이지를 넘기지 않음: 현재는 해당 수치가 없는 오래된 마케팅 통계 모음을 출처로 드는 경우가 많았고, 연구는 찾지 못함
    • 신규 고객 확보 비용은 기존 고객 유지 비용의 5~25배임: 2014년 Harvard Business Review 기사는 “어느 연구를 믿느냐에 따라”라는 조건으로 범위를 제시했지만 연구 이름은 밝히지 않음
  • 자주 반복된 통계에는 맥락이 바뀐 수치와 확인 가능한 수치도 섞여 있었음
    • 생성형 AI 시범사업의 95%가 측정 가능한 재무적 수익을 내지 못함: MIT NANDA의 2025년 보고서는 조직의 95%가 생성형 AI에서 수익을 얻지 못했다고 했으며, 시범사업의 95%가 실패했다는 뜻은 아니었음
    • 불만 고객 중 실제로 항의하는 비율은 4~10%임: 백악관 소비자 담당 부서를 위한 TARP의 1979년 연구로 이어짐. 연구 수행자는 이런 낮은 비율이 소액 구매에 적용되며, 2016년에는 가장 심각한 문제에 대해 22~41%가 항의했다고 밝힘
    • 하루 소셜미디어 이용 시간은 2시간 21분임: GWI 설문 데이터를 활용한 DataReportal의 Digital 2025 보고서에서 일반적인 인터넷 이용자의 수치로 확인됨
    • Google 검색의 46%에 지역 관련 의도가 있음: 검색 콘퍼런스 발표 슬라이드를 전한 2018년 소셜 게시물로 이어졌지만, 조사팀이 확인한 범위에서는 Google의 공식 발표를 찾지 못함
    • 웹사이트 첫인상의 94%가 디자인에 관한 것임: 여성 15명의 건강 웹사이트 평가 연구에서 맥락이 바뀐 사례임
통계를 사용할 때와 발행할 때
  • 통계를 사용하는 사람은 AI의 답을 조사 단서로 취급해야 함
    • 인용 페이지가 기업 블로그나 통계 목록이면 그 페이지의 출처 링크를 다시 따라가, 원연구에 도달하거나 더 이상 추적할 수 없을 때까지 확인함
    • 누구에게, 몇 명에게, 언제 조사했는지 확인함. 한 국가의 설문, 10년 전 연구, 15명의 응답이 더 넓은 의미로 전달될 수 있음
    • 5개 AI가 같은 숫자를 말해도 독립적인 출처 5개로 간주하지 않음
  • 통계를 발행하는 사람은 숫자 옆에 방법론과 원출처를 함께 둬야 함
    • 표본, 조사 날짜, 출처 링크를 같은 페이지에 실어 다음 인용 페이지와 AI 답변이 원자료까지 추적할 수 있게 함
    • 양식 입력 뒤에 보고서 전체를 두더라도 주요 수치와 방법론은 공개 페이지에 남김
    • AI가 자사 통계의 어느 페이지를 인용하는지 확인함. 원자료를 복사한 통계 모음이나 블로그, 때로는 오래된 수치를 담은 페이지가 이용자에게 전달되는 내용을 결정함
그냥 목록으로
원문 보기 ↗