← 목록으로

대학 도서관에 몰려드는 AI 봇, 공공 접근권을 위협하다

요약
  • AI 학습용 데이터를 수집하는 무분별한 스크래핑 봇이 대학 도서관과 문화유산 기관의 사이트를 마비시키며 학생과 연구자들의 공공 접근권을 위협하고 있습니다.
  • 일부 봇이 robots.txt 지침을 무시하고 과도한 트래픽을 유발하면서, 도서관들은 CAPTCHA 도입이나 로그인 요구 등 방어책을 고심하고 있으나 개방 원칙과의 충돌 문제를 겪고 있습니다.
  • AI 학습용 데이터를 수집하는 스크래핑 봇이 대학 도서관 사이트를 느려지거나 중단되게 하면서 학생, 연구자, 일반 시민의 자료 접근을 방해하고 있음
  • 일부 봇은 robots.txt 지침을 무시하고 초당 수천 건의 문서를 요청하며, 수천 개 IP 주소를 사용해 기존 IP 차단 방식으로 대응하기 어려움
  • University of North Carolina at Chapel Hill에서는 하루에 핀란드 음악 검색 1만 1,000건 이상이 발생했고, 봇 트래픽 때문에 학생과 교직원이 도서관 목록에 주기적으로 접근하지 못함
  • CAPTCHA와 로그인 요구는 봇을 막는 수단이지만 유용한 봇과 사람의 접근까지 제한할 수 있어, 도서관의 개방 원칙과 충돌함
  • 주요 AI 기업들은 표준화된 수집 거부 신호를 존중하는 데 지지를 표했지만 준수는 자발적이며, 제3자 업체와 소규모 AI 스타트업의 문제 봇은 합의 대상에서 빠져 있음
공개 디지털 자료에 집중되는 봇 트래픽
  • AI 기업과 제3자 업체의 봇은 웹사이트에서 데이터를 수집하며, 이를 Claude, Gemini, ChatGPT 같은 LLM의 학습에 사용하는 경우가 많음
  • 도서관, 박물관, 문화유산 기관은 검증된 양질의 정보를 보유하고 대체로 유료 장벽이나 로그인 없이 공개하므로 주요 수집 대상이 됨
    • 대학 도서관의 학술, 역사, 정부 문서 아카이브에는 지속적인 봇 요청이 몰려 자료 컬렉션 전체가 오프라인 상태가 되기도 함
    • San Jose State University의 Jill Strykowski에 따르면 디지털화와 정보 공개를 추진하는 기관마다 대응 업무와 부담이 크게 늘었음
  • 문화유산 기관의 봇 피해를 조사한 연구에 따르면 관련 보고는 2024년 말 북미, 유럽, 오세아니아에서 나타나기 시작했으며, 전문가들이 보기에는 문제가 계속 악화하고 있음
  • University of Victoria Libraries의 Dean Seeman에 따르면 봇 트래픽이 심할 때 사이트가 한동안 완전히 중단되며, 이는 공공 접근권에 직접적인 문제가 됨
  • Ontario Tech University의 Peter Lewis는 일반 이용자가 사실상 봇 팜의 무한한 트래픽과 경쟁하는 상황을 비판함
    • 대형 민간 기업이 공익 기관의 자료를 무료로 이용할 수 있다고 전제하고 추출한 뒤, 이를 사람들이 다시 구매하는 상업용 모델 제작에 활용한다는 점도 비판함
정상적인 수집과 사이트를 마비시키는 수집의 차이
  • 문화 저작물을 디지털화하고 전자책을 배포하는 미국 자원봉사 조직 Project Gutenberg의 Eric Hellman은 2025년 블로그 글에서 잘못 프로그래밍된 AI 봇이 인터넷의 개방형 접근을 파괴한다고 비판함
    • Hellman에 따르면 이후 상황은 더 나빠졌음
  • Google 같은 검색엔진과 Internet Archive 같은 아카이브 사이트의 봇은 robots.txt를 따라 사이트 운영을 방해하지 않도록 정보를 수집함
    • robots.txt는 봇이 할 수 있는 일과 해서는 안 되는 일을 지정하는 자발적 준수 지침임
    • 반면 일부 AI 스크래핑 봇은 지침을 무시하고 초당 수천 건의 문서를 요청하거나 같은 문서를 제공되는 모든 형식으로 다운로드함
  • University of North Carolina at Chapel Hill은 전년에 수천 개 인터넷 주소에서 하루 동안 핀란드 음악 검색 1만 1,000건 이상이 발생했다고 밝힘
    • 봇 트래픽 때문에 도서관 목록 시스템이 학생, 교수, 직원의 접근을 주기적으로 차단함
  • 하나의 기업이나 봇 팜이 수천 개 IP 주소를 사용할 수 있어, Hellman은 문제 IP를 차단하는 기존 대응 방식이 더는 유용하지 않다고 판단함
  • Project Gutenberg는 자료의 AI 학습 활용 자체를 환영하며, 전체 도서 라이브러리를 한 번에 다운로드하는 기능도 제공함
    • 자료 대부분은 퍼블릭 도메인에 속하지만 봇은 이 일괄 다운로드 기능을 활용하지 않음
    • 원하는 것은 학습 금지가 아니라 웹사이트를 중단시키지 않는, 운영을 존중하는 수집 방식임
봇 차단과 개방형 접근 사이의 충돌
  • 일부 도서관은 봇을 걸러내기 위해 CAPTCHA나 다른 검증 시스템을 도입함
    • NYU Law School과 University of Warwick의 문화기관 개방형 접근 정책 공동 연구 이니셔티브인 GLAM-E의 공동 책임자 Michael Weinberg는 이런 조치가 유용한 봇까지 배제할 수 있다고 우려함
  • 일부 기관은 로그인 자격 증명을 요구하기 시작했으나, 이는 쉽게 이용할 수 있어야 하는 자료에 사람의 접근 장벽을 세우는 논쟁적인 조치임
    • 인터뷰에 참여한 관계자들은 이런 방식을 피하고 싶어 함
    • 전문가들은 스크래핑 봇이 고도화되면 이러한 방어책을 우회하는 방법도 학습할 수 있다고 봄
AI 기업의 수집 거부 표준 지지와 한계
  • 주요 AI 기업은 공개 데이터를 모델 학습용으로 수집하는 행위가 공정 이용에 해당하고 공익에도 부합한다고 주장해 왔음
  • 광범위한 비판과 저작권 소송에 직면한 Anthropic, OpenAI, Google, Microsoft는 기사 게시 시점의 전주에 단일 표준 수집 거부 신호를 존중하는 방안에 지지를 표함
    • 웹사이트의 robots.txt에 표준화된 거부 신호를 넣어 해당 기업의 크롤러가 데이터를 수집하지 못하도록 하는 방식임
    • 준수는 자발적이며, 제3자 업체와 소규모 AI 스타트업의 문제 봇은 합의 대상에 포함되지 않음
디지털 컬렉션 공개를 유지하기 위한 과제
  • 자료 디지털화는 연구자, 교사, 일반 시민이 귀중한 정보에 쉽게 접근할 수 있게 함
    • 20년 전에는 같은 자료를 보려면 자동차나 비행기로 이동하거나 특별한 허가를 받아야 했음
  • GLAM-E 같은 조직은 사람과 유용한 봇의 접근을 함께 보존할 장기적인 해결책을 모색하고 있음
  • 현재의 봇 트래픽은 도서관과 문화기관이 소장 자료를 온라인에 공개하려는 의욕을 떨어뜨림
    • 도서관, 박물관, 문화기관이 많은 노력을 들여 컬렉션을 공개해 온 일은 사회에 큰 혜택을 제공해 왔음
그냥 목록으로
원문 보기 ↗