- AI 학습용 데이터를 수집하는 스크래핑 봇이 대학 도서관 사이트를 느려지거나 중단되게 하면서 학생, 연구자, 일반 시민의 자료 접근을 방해하고 있음
- 일부 봇은 robots.txt 지침을 무시하고 초당 수천 건의 문서를 요청하며, 수천 개 IP 주소를 사용해 기존 IP 차단 방식으로 대응하기 어려움
- University of North Carolina at Chapel Hill에서는 하루에 핀란드 음악 검색 1만 1,000건 이상이 발생했고, 봇 트래픽 때문에 학생과 교직원이 도서관 목록에 주기적으로 접근하지 못함
- CAPTCHA와 로그인 요구는 봇을 막는 수단이지만 유용한 봇과 사람의 접근까지 제한할 수 있어, 도서관의 개방 원칙과 충돌함
- 주요 AI 기업들은 표준화된 수집 거부 신호를 존중하는 데 지지를 표했지만 준수는 자발적이며, 제3자 업체와 소규모 AI 스타트업의 문제 봇은 합의 대상에서 빠져 있음
- AI 기업과 제3자 업체의 봇은 웹사이트에서 데이터를 수집하며, 이를 Claude, Gemini, ChatGPT 같은 LLM의 학습에 사용하는 경우가 많음
- 도서관, 박물관, 문화유산 기관은 검증된 양질의 정보를 보유하고 대체로 유료 장벽이나 로그인 없이 공개하므로 주요 수집 대상이 됨
- 대학 도서관의 학술, 역사, 정부 문서 아카이브에는 지속적인 봇 요청이 몰려 자료 컬렉션 전체가 오프라인 상태가 되기도 함
- San Jose State University의 Jill Strykowski에 따르면 디지털화와 정보 공개를 추진하는 기관마다 대응 업무와 부담이 크게 늘었음
- 문화유산 기관의 봇 피해를 조사한 연구에 따르면 관련 보고는 2024년 말 북미, 유럽, 오세아니아에서 나타나기 시작했으며, 전문가들이 보기에는 문제가 계속 악화하고 있음
- University of Victoria Libraries의 Dean Seeman에 따르면 봇 트래픽이 심할 때 사이트가 한동안 완전히 중단되며, 이는 공공 접근권에 직접적인 문제가 됨
- Ontario Tech University의 Peter Lewis는 일반 이용자가 사실상 봇 팜의 무한한 트래픽과 경쟁하는 상황을 비판함
- 대형 민간 기업이 공익 기관의 자료를 무료로 이용할 수 있다고 전제하고 추출한 뒤, 이를 사람들이 다시 구매하는 상업용 모델 제작에 활용한다는 점도 비판함
- 문화 저작물을 디지털화하고 전자책을 배포하는 미국 자원봉사 조직 Project Gutenberg의 Eric Hellman은 2025년 블로그 글에서 잘못 프로그래밍된 AI 봇이 인터넷의 개방형 접근을 파괴한다고 비판함
- Hellman에 따르면 이후 상황은 더 나빠졌음
- Google 같은 검색엔진과 Internet Archive 같은 아카이브 사이트의 봇은 robots.txt를 따라 사이트 운영을 방해하지 않도록 정보를 수집함
- robots.txt는 봇이 할 수 있는 일과 해서는 안 되는 일을 지정하는 자발적 준수 지침임
- 반면 일부 AI 스크래핑 봇은 지침을 무시하고 초당 수천 건의 문서를 요청하거나 같은 문서를 제공되는 모든 형식으로 다운로드함
- University of North Carolina at Chapel Hill은 전년에 수천 개 인터넷 주소에서 하루 동안 핀란드 음악 검색 1만 1,000건 이상이 발생했다고 밝힘
- 봇 트래픽 때문에 도서관 목록 시스템이 학생, 교수, 직원의 접근을 주기적으로 차단함
- 하나의 기업이나 봇 팜이 수천 개 IP 주소를 사용할 수 있어, Hellman은 문제 IP를 차단하는 기존 대응 방식이 더는 유용하지 않다고 판단함
- Project Gutenberg는 자료의 AI 학습 활용 자체를 환영하며, 전체 도서 라이브러리를 한 번에 다운로드하는 기능도 제공함
- 자료 대부분은 퍼블릭 도메인에 속하지만 봇은 이 일괄 다운로드 기능을 활용하지 않음
- 원하는 것은 학습 금지가 아니라 웹사이트를 중단시키지 않는, 운영을 존중하는 수집 방식임
- 일부 도서관은 봇을 걸러내기 위해 CAPTCHA나 다른 검증 시스템을 도입함
- NYU Law School과 University of Warwick의 문화기관 개방형 접근 정책 공동 연구 이니셔티브인 GLAM-E의 공동 책임자 Michael Weinberg는 이런 조치가 유용한 봇까지 배제할 수 있다고 우려함
- 일부 기관은 로그인 자격 증명을 요구하기 시작했으나, 이는 쉽게 이용할 수 있어야 하는 자료에 사람의 접근 장벽을 세우는 논쟁적인 조치임
- 인터뷰에 참여한 관계자들은 이런 방식을 피하고 싶어 함
- 전문가들은 스크래핑 봇이 고도화되면 이러한 방어책을 우회하는 방법도 학습할 수 있다고 봄
- 주요 AI 기업은 공개 데이터를 모델 학습용으로 수집하는 행위가 공정 이용에 해당하고 공익에도 부합한다고 주장해 왔음
- 광범위한 비판과 저작권 소송에 직면한 Anthropic, OpenAI, Google, Microsoft는 기사 게시 시점의 전주에 단일 표준 수집 거부 신호를 존중하는 방안에 지지를 표함
- 웹사이트의 robots.txt에 표준화된 거부 신호를 넣어 해당 기업의 크롤러가 데이터를 수집하지 못하도록 하는 방식임
- 준수는 자발적이며, 제3자 업체와 소규모 AI 스타트업의 문제 봇은 합의 대상에 포함되지 않음
- 자료 디지털화는 연구자, 교사, 일반 시민이 귀중한 정보에 쉽게 접근할 수 있게 함
- 20년 전에는 같은 자료를 보려면 자동차나 비행기로 이동하거나 특별한 허가를 받아야 했음
- GLAM-E 같은 조직은 사람과 유용한 봇의 접근을 함께 보존할 장기적인 해결책을 모색하고 있음
- 현재의 봇 트래픽은 도서관과 문화기관이 소장 자료를 온라인에 공개하려는 의욕을 떨어뜨림
- 도서관, 박물관, 문화기관이 많은 노력을 들여 컬렉션을 공개해 온 일은 사회에 큰 혜택을 제공해 왔음