← 목록으로
지난 소식
미국 주식시장에서 2조 5,000억 달러가 증발함
요약
- AI가 Scrabble 엔진 개발 및 철학 연구 등 여러 프로젝트에서 중요한 정보를 식별하지 못하고 가치 낮은 방향을 반복 탐색하는 등 기본적인 판단력의 한계를 드러냈습니다.
- 이는 AI의 자율 연구개발에 대한 독창성에 의문을 제기하며, 핵심적인 성과를 위해서는 여전히 인간의 구체적인 개입과 가이드가 필요함을 보여줍니다.
- Scrabble 엔진, Ultimate Tic-Tac-Toe 봇, 철학 연구 등 세 가지 사이드 프로젝트에서 AI의 기본적인 연구 판단력이 부족했음. 중요한 문헌을 놓치고, 의미 있는 결론을 얻기 어려운 실험을 진행함
- 자료를 찾는 것과 그 가치를 알아보는 것은 달랐음. 게임 봇 개발에서는 유용한 아이디어가 담긴 최신 블로그 글을 찾아놓고도, 오래된 논문보다 중요한 이유를 알아보지 못함
- 철학 연구에서는 많은 토큰을 쓰고 조사 결과를 위키로 구축했지만, 사소하고 가치가 낮은 방향을 반복해서 탐색함. 아키텍처 비교에서도 차이를 판별하기에 명백히 부족한 학습 데이터로 실험함
- 빠르게 결과를 확인하는 반복 최적화는 예외일 수 있음. Astra로 Scrabble의 합법적 수 나열 성능을 기존 최고 수준의 10배로 높였지만, 큰 도약 두 번은 사람의 구체적인 제안 뒤에 일어났음
- Astra의 보고서는 이해하기 어려워 실제로 무엇을 했고 핵심 결과가 무엇인지 추가 문답으로 확인해야 하는 경우가 많았음. 결과를 충분히 이해하지 않은 채 계속 실행하게 두고 싶은 유혹도 생김
세 가지 프로젝트에서 드러난 판단력의 한계
- 자율 연구개발의 독창성에 대한 회의는 다음 세 가지 사이드 프로젝트를 지켜본 경험에 기반함
- Scrabble 엔진: 새로운 최고 성능 엔진 개발을 목표로 함. 현재 최고 성능 엔진은 실질적으로 신경망 방식이 아니며, 최강의 인간 선수를 이기지 못함
- Ultimate Tic-Tac-Toe를 플레이하는 봇을 개발함
- AI Philosophy contest를 위해 철학을 연구하고 일부 증명을 형식화함
- 세 프로젝트 모두에서 모델의 기본적인 판단력이 매우 부족했음
- 문헌 검토에서 가장 중요하고 유용한 논문이나 블로그 글을 식별하지 못함
- 아키텍처 간 차이를 구분하기에 명백히 부족한 양의 학습 데이터로 실험해, 결과에 정보 가치가 없었음
- 철학 프로젝트에서는 많은 토큰을 사용하고 여러 조사를 거쳐 위키를 구축했지만, 극히 사소하고 가치가 낮은 방향으로 계속 탐색함
- Ultimate Tic-Tac-Toe 개발에서는 Astra가 영리한 아이디어가 담긴 블로그 글을 찾고도 중요성과 관련성을 알아보지 못함
- 해당 글의 최신성과 온라인 대전에서의 뛰어난 성적을 보면, 이전 연도 논문보다 관련성이 높다는 점을 쉽게 파악할 수 있었음
- 그 아이디어를 Astra가 스스로 떠올릴 수 있었을지에도 의문이 남음
해커톤 논문에서도 나타난 유사한 빈틈
- 지난 주말 Apart 해커톤 심사에서 검토한 논문 8편은 모두 Pangram 점수가 60~95% 였음
- 논문들은 서로 매우 비슷한 경우가 많았고, 가장 직접적인 분석을 놓친 듯한 방법론적 불완전성도 비슷하게 나타났음
예외일 수 있는 빠른 피드백 기반 최적화
- 빠른 피드백 루프를 갖춘 언덕 오르기식 최적화(hill-climbing) 작업은 중요한 예외일 수 있음
- Astra에 반복해서 더 노력하라고 요구하고, 구체적인 성능 목표를 주거나 관련 있어 보이는 문헌의 모든 방법을 체계적으로 시도하게 해, Scrabble의 모든 합법적 수 나열 성능을 기존 최고 수준의 10배로 높였음
- 다만 큰 성능 도약 두 번은 사람의 구체적인 제안 뒤에 일어났음
- 무작위 국면별 측정 대신 게임 전체에 걸쳐 측정할 수 있다는 점을 고려하도록 함
- 가능한 수를 폭증시키는 빈 타일의 특성을 고려해, 주머니에 남은 빈 타일 수에 따라 세 가지 경우로 나눈 알고리듬을 설계하도록 제안함
결과를 이해하려면 추가 문답이 필요함
- 적어도 Astra의 보고서는 매우 이해하기 어려운 경향이 있었으며, Claude도 그럴 것으로 추정함
- 실제 수행한 작업과 핵심 결과를 파악하려면 캐묻듯 추가 문답을 해야 하는 경우가 많았음
- 이런 상황에서는 결과를 충분히 이해하지 않은 채 그냥 계속 실행하게 두고 싶은 유혹이 생길 수 있음