← 목록으로

AI가 쓴 글은 왜 이해하기 어려울까?

요약
  • AI가 생성한 텍스트가 인간이 이해하기 어려운 표현을 자주 사용하는 원인이 정보 밀도를 높이려는 압력 때문이라는 연구 결과가 발표되었습니다.
  • 연구진은 AI가 수학이나 코딩 등 특정 목표에 최적화되는 과정에서 인간과의 의사소통보다 정보 압축을 우선시하게 된다는 가설을 제시했습니다.
  • AI가 작성한 영어 대화와 코딩 관련 설명, 에세이를 분석한 결과, 사람이 읽고 이해하는 데 부담을 주는 표현이 더 자주 나타남
  • 조사한 주요 모델 9개 모두 사람처럼 행동하는 사물을 묘사하거나 낯선 단어 조합을 사용하는 경향이 강했고, 대화에서는 명사를 길게 이어 붙이는 표현도 흔했음
  • 같은 문장을 영어에서 일본어로 번역했다가 다시 영어로 옮기면 이런 특징이 줄어들어, 내용뿐 아니라 AI가 선택하는 표현 방식에도 차이가 있음을 확인
  • 연구진은 수학과 코딩의 정답을 맞히는 학습이 사람에게 쉽게 전달하는 능력과 어긋날 수 있으며, 적은 토큰에 정보를 압축하려는 압력이 원인일 수 있다는 가설을 제시
  • 작은 모델에 긴 답변을 벌점으로 주는 강화학습을 적용하자 학습하지 않은 일부 문장 구조에서도 짧은 표현을 선호해, 압축 압력이 문법 선택까지 바꿀 수 있음을 확인
분석 대상과 비교 방식
  • 최근 AI 생성 텍스트가 이해하기 어려워졌다는 인식을 출발점으로, 인간의 언어 처리 난도와 상관관계가 알려진 심리언어학적 특징을 조사함
    • 목적격 관계절, 긴 구문 의존 관계, 출현 빈도가 낮은 n-그램 등이 분석 대상임
  • 다양한 분야의 AI 생성 텍스트 말뭉치를 새로 구축하고, 왕복 번역으로 바꿔 쓴 문장 및 인간의 글과 비교함
  • 데이터 수집 대상에는 최상위권 및 준최상위권 모델 9개와 소형 공개 모델 5개가 포함됨
    • 9개 모델은 Claude Sonnet 5, Opus 5, Opus 5.5, Fable 5, GPT-5.6 sol, terra, luna, GLM-5, Kimi K2.5임
    • 소형 공개 모델은 Llama 3.1 8B base/Instruct와 Olmo 3 7B base/Instruct/Think임
    • 대화 데이터는 기본 모델을 제외한 12개 모델에 10개 주제를 적용한 120개 대화로 구성됨
AI 텍스트에서 더 자주 나타나는 언어적 특징
  • AI 모델은 왕복 번역으로 바꿔 쓴 문장보다 처리 부담이 큰 언어적 특징을 더 자주 사용함
  • 인간의 글과 비교할 때, 9개 최상위권 및 준최상위권 모델 모두 다음 두 특징을 더 많이 사용함
    • 무생물 주어와 유생물의 행동을 나타내는 동사를 결합함
    • 출현 빈도가 낮은 n-그램을 사용함
  • 대화에서는 대부분의 모델이 더 긴 구문 의존 관계와 명사 연쇄, 축약된 목적격 관계절도 더 많이 사용함
  • 이러한 특징의 사용 양상에는 모델 계열 간 상당한 차이가 있음
  • 도입부의 예문은 목적격 관계절, 명사에서 파생된 동사인 footnote, 무생물 주어에 결합된 eat, 명사 연쇄를 함께 사용해 최상위 LLM 텍스트에 과도하게 나타나는 특징을 보여줌
정보 밀도 최적화 가설과 개념 증명
  • 연구진은 인간의 언어가 성공적인 의사소통에 최적화되는 반면, AI 생성 텍스트는 수학, 코드, 추론 등 다른 목표에 점점 더 최적화된다는 가설을 세움
    • 이러한 목표에서는 성공적인 의사소통보다 정보 밀도를 높이는 압력이 작용한다는 가설을 검증함
  • 언어 모델에 길이 페널티를 적용해 미세 조정한 개념 증명 실험에서 인간과 유사한 언어적 행동에서 벗어나는 결과가 나타남
  • 연구 결과는 인간과 LLM의 언어 처리 요구가 어긋나는 지점을 드러내며, 가능한 개선책을 탐색할 방향을 가리킴
그냥 목록으로
원문 보기 ↗