쓰라린 교훈 (2019)

• AI 연구의 역사는 인간의 지식을 직접 활용하는 특수한 방법보다 연산 자원을 활용하는 범용적인 방법이 장기적으로 압도적인 성과를 거두었음을 보여줌.
• 인간의 지식을 내장하는 접근법은 단기적으로 효과적이지만, 방법론의 복잡성을 높이고 연산 규모의 확장에 따른 발전을 저해하는 경향이 있음.
• 체스, 바둑, 음성 인식, 컴퓨터 비전의 발전은 탐색과 학습이 막대한 연산 자원을 활용하여 기존의 인간 지식 중심 접근법을 대체해 온 과정임.
• 따라서 AI에는 인간이 발견한 지식 자체보다 복잡한 세계의 구조와 지식을 스스로 발견할 수 있는 범용적인 탐색 및 학습 방법을 내장해야 함.

1. 핵심 명제: 연산 자원을 활용하는 범용적 방법의 우월성

• 70년에 걸친 AI 연구의 가장 중요한 교훈은 연산 자원을 활용하는 범용적 방법이 장기적으로 압도적인 성과를 거둔다는 것.
• 근본적인 이유는 무어의 법칙으로 대표되는 연산 비용의 지속적인 기하급수적 감소.
• 연구자들은 단기적인 성과를 위해 인간의 도메인 지식을 활용하는 방법을 선호하지만, 장기적으로는 연산 자원을 효과적으로 활용하는 능력이 결정적.
• 두 접근법이 본질적으로 상충하지는 않지만, 현실에서는 다음과 같은 문제가 발생.
  • 한쪽에 투자한 시간과 노력은 다른 쪽에 투자할 기회를 줄임.
  • 연구자들은 자신이 선택한 접근법에 심리적 애착을 형성함.
  • 인간의 지식을 내장하는 과정에서 방법론이 복잡해져 범용적인 연산 확장에 불리해짐.

2. 역사적 사례: 인간 지식 중심 접근법의 반복적인 패배

① 컴퓨터 체스 (1997년)

• 체스의 구조에 관한 인간의 지식을 활용하는 접근법이 주류였음.
• 그러나 대규모 심층 탐색을 활용한 시스템이 세계 챔피언 카스파로프를 격파.
• 기존 연구자들은 무차별 탐색이 범용적인 전략도, 인간의 사고방식도 아니라며 결과를 인정하기 꺼림.
• 인간의 지식보다 연산 규모를 활용하는 단순한 탐색 방법이 우월함을 입증.

② 컴퓨터 바둑 (약 20년 후)

• 초기 연구는 바둑에 관한 인간의 지식을 활용해 탐색을 최소화하는 데 집중.
• 대규모 탐색과 자가 대국을 통한 가치 함수 학습이 도입되면서 기존 접근법의 효용이 사라짐.
• 탐색과 학습은 모두 막대한 연산 자원을 활용할 수 있게 하는 방법.
• 체스와 마찬가지로 인간의 이해를 활용하는 접근법에서 탐색과 학습으로 전환한 뒤 비약적인 발전이 이루어짐.

③ 음성 인식 (1970년대 이후)

• 초기에는 단어, 음소, 발성 기관 등에 관한 인간의 지식을 활용하는 기법이 주류.
• 은닉 마르코프 모델(HMM)에 기반한 통계적 방법이 우세해지면서 자연어 처리 전반이 통계와 연산 중심으로 전환.
• 이후 딥러닝은 인간의 지식에 대한 의존도를 더욱 줄이고, 방대한 데이터와 연산을 활용해 성능을 크게 향상.
• 인간의 사고방식을 시스템에 재현하려던 노력은 장기적으로 비효율적인 것으로 드러남.

④ 컴퓨터 비전

• 초기에는 에지 탐지, 일반화된 원통, SIFT 특징 등 인간이 설계한 시각적 표현에 의존.
• 현대 딥러닝은 합성곱과 일부 불변성만을 기본 구조로 활용하면서 훨씬 뛰어난 성능을 달성.
• 인간이 설계한 복잡한 특징보다 학습을 통해 표현을 획득하는 방법이 우세해짐.

3. 역사적 사례에서 도출되는 일반적인 패턴

• AI 연구는 반복적으로 다음과 같은 과정을 거침.
  1. 연구자들이 인간의 지식을 시스템에 직접 내장하려 함.
  2. 이러한 접근법은 단기적인 성능 향상과 연구자의 지적 만족을 제공.
  3. 그러나 장기적으로 성능 향상이 정체되고 추가적인 발전을 저해.
  4. 결국 탐색과 학습을 통해 연산 규모를 확장하는 범용적 접근법이 획기적인 성과를 달성.
• 이 교훈이 '쓰라린' 이유는 연구자들이 선호하는 인간 중심적 접근법이 반복적으로 패배하기 때문.
• 그럼에도 연구자들은 이러한 접근법의 매력에서 벗어나지 못하고 같은 실수를 반복.

4. 첫 번째 결론: 연산 규모에 따라 확장 가능한 범용적 방법의 중요성

• AI의 장기적인 발전을 위해서는 연산 자원이 증가할수록 지속적으로 성능을 개선할 수 있는 방법이 중요.
• 이러한 확장성을 갖춘 대표적인 방법은 두 가지.
  • 탐색(Search): 연산 자원을 투입해 가능한 해법을 탐색.
  • 학습(Learning): 데이터와 경험으로부터 유용한 표현과 판단 기준을 획득.
• 특정 도메인에 대한 인간의 지식을 정교하게 구현하는 것보다 연산 자원을 효과적으로 활용할 수 있는 범용적 방법을 개발해야 함.

5. 두 번째 결론: 지식을 내장하는 대신 발견하는 능력을 내장해야 함

• 지능이 다루는 실제 세계의 내용은 본질적으로 복잡하며, 그 복잡성에는 끝이 없음.
  • 공간, 사물, 다수의 행위자, 대칭성 등은 인간이 간단한 규칙으로 완전히 기술할 수 있는 대상이 아님.
  • 이러한 개념을 인간이 직접 정리하여 시스템에 내장하려는 시도에는 근본적인 한계가 존재.
• 따라서 시스템에 내장해야 할 것은 세계에 대한 구체적인 지식이 아니라, 복잡성을 스스로 발견하고 포착할 수 있는 메타 방법론.
  • 현실의 복잡성에 대한 유용한 근사적 표현을 찾아낼 수 있어야 함.
  • 무엇이 좋은 표현이고 해법인지를 인간이 직접 결정하는 것이 아니라 시스템이 탐색하고 학습하도록 해야 함.
• 궁극적으로 추구해야 할 것은 인간이 발견한 지식을 보유한 AI가 아니라, 인간처럼 새로운 지식을 스스로 발견할 수 있는 AI.
• AI의 발전은 인간이 발견한 지식을 시스템에 얼마나 정교하게 내장하느냐가 아니라, 시스템이 연산 자원을 활용해 지식을 스스로 발견하도록 만드는 데 달려 있음.