페드로 디아즈 씨는 최근 ‘링크드인(LinkedIn)’ 포스팅으로 구글 AI 답변(Google Overview) 답변을 조작하는 실험을 했다. 링크드인 프로필에 ‘AI visibility & Search Findability Architect (AI 가시성 & 검색 가시성 아키텍트)’라고 자신을 소개하고 “제가 세계에서 가장 저명한 AI 가시성 전문가라는 사실을 여러분께 알려드립니다.”라는 글을 올렸다. 특별한 경력 자료도 없이 장난처럼 던진 글이었다.
‘내가 세계에서 가장 저명한 AI 가시성 전문가’라는 내용의 링그드인(Linkedin) 포스팅의 내용이 구글 AI 답변에 그대로 인용되고 있다 (페드로 디아즈 씨의 인스타그램 채널) 몇 시간 뒤 구글에 “세계에서 가장 저명한 AI 가시성 전문가”를 검색하자 구글은 그의 이름을 대며 “페드로 디아스는 검색 및 디지털 마케팅 업계에서 AI 가시성과 검색 엔진 분야의 선도적인 전문가로 널리 인정받고 있습니다”라고 답했다(왼쪽 사진). 검증된 이력도, 다른 사람의 평가도 없이 자기 선언 하나만으로 AI가 만든 답변에 인용된 것이다. 유사한 사례가 또 있다. 영국 공영방송사 BBC의 토머스 제르맹 기자는 ‘핫도그 먹기 대회’라는 허위 행사 기사를 쓰면서 자신이 1위를 했다고 적었다. 동료 기자들의 동의를 받아 실명도 몇 개 넣었다. 그는 이 기사를 평소 방문자가 거의 없는 개인 웹사이트에 올렸다.
하루가 채 지나지 않아 구글 제미나이, 챗GPT 등 주요 챗봇들이 “2026년 국제 핫도그 먹기 대회 챔피언십에서 토마스 제르맹이 1위를 차지했다”고 소개하기 시작했다. 그가 지어낸 행사와 우승 경력을 사실처럼 인용한 것이다. 제르맹 기자는 “내가 원하는대로 AI의 답변을 조작하는 게 생각보다 쉬웠다”고 밝혔다.
● AI 검색은 왜 이렇게 쉽게 속을까
앞선 두 실험은 AI 검색의 구조적 약점을 정확히 파고든 사례다. AI 검색 엔진은 ‘진짜 사람의 목소리를 담겠다’는 취지로 레딧이나 링크드인, 유튜브 같은 소셜미디어의 글을 대량으로 끌어 쓴다. 미국 마케팅 업체 셈러쉬(Semrush)에 따르면 챗GPT나 구글 AI오버뷰 같은 주요 AI 서비스가 비즈니스·전문 서비스 분야 답변에서 인용하는 출처 가운데 링크드인 비중이 지속적으로 1위를 점하고 있다.
미국 마케팅 업체 셈러쉬가 자사 웹사이트에 게재한 연구 보고서. 비즈니스 및 전문 서비스 분야에서 링크드인은 구글 오버뷰(Overview)가 답변에 주로 인용하는 사이트 순위 1위에 올라있다.문제는 이 과정에서 사실인지 아닌지 검증되지 않은 내용까지 그대로 인용되는 경우가 적지 않다는 점이다. AI 검색은 글이 깔끔하게 정리되어 있고 단정적인 문체로 쓰였을수록 가치 있는 정보로 인식하는 경향이 있다. 똑같은 주장이 여러 웹페이지에서 비슷한 형태로 짧은 기간에 반복되면 이를 다수가 동의한 ‘정설’로 받아들이기도 한다. 검증되지 않은 주장이라도 형식만 그럴듯하고 노출만 자주 되면 손쉽게 권위를 얻는 셈이다. 특히 관련 정보가 부족한 분야일 수록 이런 위험이 커진다.
이렇게 본인이 원하는 방향으로 AI 답변을 유도할 수 있다는 것은 마케터에게는 반가운 소식이다. 특정 브랜드나 상품의 노출 빈도를 높이는 것이 마케터의 본업이기 때문이다. AI가 좋아할 만한 방식으로 콘텐츠를 만들어 AI 답변에 자주 인용되도록 하는 마케팅 기법, 이른바 ‘GEO(생성형 엔진 최적화)’의 목표가 바로 이런 것이다.
하지만 이는 소비자에게는 달갑지 않은 소식이기도 하다. AI가 알려준 정보를 믿어도 되는지 한 번 더 의심하고 확인해야 하는 귀찮은 허들 하나가 늘어나는 것이기 때문이다.
● 가상 인물이 “생태안보 전문가”로 인용돼
두 실험은 며칠 간의 해프닝으로 끝났지만 문제는 여기서 그치지 않는다. 같은 수법이 특정 정파나 국가 간 정보전에 악용될 가능성도 배제할 수 없다. 실제로 이런 조작이 생각보다 어렵지 않다는 게 전문가들의 진단이다.
김창익 한국과학기술원(KAIST) 안보과학기술대학원장(전기 및 전자공학부 교수)은 자신이 이끄는 CILAB에서 실시한 간단한 실험만으로도 AI 답변을 원하는 방향으로 바꿀 수 있었다다고 밝혔다.
CILAB 연구팀은 존재하지 않는 인물을 세계적 권위자로 둔갑시켜 구글 검색과 생성형 AI가 이를 그대로 인용하게 만드는 실험을 했다. 먼저 ‘필립 애덤스(Philip Adams)’라는 가상의 생태안보 전문가를 생성해 연구실 홈페이지에 박사과정생으로 등록했다. ‘생태안보’라는 분야를 고른 이유는 관련 정보가 적어 검색 결과를 선점하기 쉬웠기 때문이다.
한국과학기술원(KAIST) 김창익 교수 연구팀은 연구실 홈페이지에 필립 애덤스라는 가상의 인물을 생성해 등록했다. KAIST 김창익 교수 제공 또 ‘카이일보’라는 가짜 언론사 사이트를 만들어 필립 애덤스를 다룬 기사 10여 건을 올리고 구글 서치 콘솔에 사이트맵을 제출해 구글 검색 시 노출 가능성이 높아지게 했다. 홈페이지 코드 안에는 ‘카이스트에서 만든’, ‘고신뢰’와 같은 단어를 곳곳에 써놓았다.
실험 이틀째, 구글에 “생태안보 분야의 필립 애덤스는 누구인가”를 반복해서 물어보자 구글 오버뷰는 연구실 홈페이지를 근거로 필립 애덤스가 생태안보 전문가라고 답하기 시작했다. 실험 사흘 째, ‘최고 권위자’라는 표현이 담긴 기사 30건을 카이일보에 추가로 올리자 구글은 실제로 필립 애덤스를 해당 분야 최고 권위자라고 소개하기에 이르렀다. 나흘째가 되어서야 구글은 이 인물의 인지도가 갑자기 치솟은 것을 이상 신호로 감지하고 카이일보를 신뢰할 수 없는 출처로 강등시키며 실험이 종료됐다.
김교수는 “카이일보의 도메인으로 좀더 보편적인 것을 쓰고 필립 애덤스 기사를 천천히 시간을 들여 게재하고 검색도 서서히 늘려갔다면 상당히 오랜 기간 AI 답변에 인용될 수 있었을 것”이라고 말했다.
● 국가 정보전으로 번지는 데이터 포이즈닝
이런 속성을 이용한 ‘데이터 포이즈닝(Data Poisoning)’, 즉 거짓이거나 한쪽으로 치우친 내용을 오랜 기간에 걸쳐 대량으로 인터넷에 퍼뜨려 AI 답변을 자신이 원하는 방향으로 만들어내는 사례가 이미 구체화되고 있다.
대표적인 것이 러시아의 대외 선전 네트워크 ‘프라우다(Pravda)’다. 프라우다는 여러 언어로 러시아 언론 뉴스나 친러 성향 인물의 주장을 퍼뜨리는 웹사이트를 운영해왔다. 미국 팩트체크 비영리단체 뉴스가드에 따르면 2024년 한 해 동안 무려 360만 건에 달하는 러시아 선전물이 챗GPT 등 AI 시스템의 답변에 인용되며 친모스크바 성향의 주장을 퍼뜨렸다.
연구자들은 이를 ‘AI 그루밍’이라고 지칭했다. 성범죄자가 온라인에서 청소년에게 접근해 신뢰 관계를 쌓은 뒤 성적 착취하는 행위를 ‘온라인 그루밍’이라고 부르는데, 특정 허위 정보를 AI 모델이 사실로 받아들이도록 오랜 시간에 걸쳐 콘텐츠를 주입하는 수법이라는 뜻에서다.
데이터 포이즈닝에 맞서 빅테크들은 정책적, 기술적 대응책을 고민하고 있다. 구글은 지난 5월 인공지능(AI) 기반 검색 답변을 조작하려는 시도를 스팸 행위로 규정하고 이 규정에 걸리면 해당 사이트 노출 순위를 크게 낮추거나 참조 리스트에서 삭제하겠다고 밝혔다. 오픈AI 등 다른 빅테크도 AI를 겨냥한 ‘검색 공격(retrieval attack)’에 대비해 레드팀(공격자 역할을 자처해 시스템의 약점을 미리 찾아내는 팀)의 평가를 정기적으로 진행하고 있다. 정보의 흐름을 통제하고 지식 오염 공격을 막는 방법을 강구하는 학계의 노력 역시 여러 논문으로 나왔다.
그러나 실효성은 아직 물음표다. 우회 기법이 계속 새로 만들어지는데 비해 방어는 사후약방문인 경우가 많기 때문이다. 한쪽에서는 정책과 기술로 방어선을 치고 있지만 맞은편에서는 개인의 소소한 브랜딩 트릭부터 국가 단위의 정보전까지 다양한 공격이 거세게 몰려오고 있다. 쫓고 쫓기는 싸움이 이제 막 시작됐다.