← 목록으로

LLM은 신경망 가중치를 읽고 쓰는 데 초인적이지 않다

요약
  • GPT-6 Astra가 신경망 가중치를 분석해 게임을 식별하고 Qwen 모델의 반복 문제를 해결했으나, 이는 유능한 인간 연구자도 수행 가능한 수준으로 평가된다.
  • 기사는 LLM의 진정한 연구 기여가 가중치의 직접 수정보다는 학습 과정의 개선에서 나올 것이라고 전망한다.
  • GPT-6 Astra의 신경망 가중치 분석과 수정은 인상적이지만, 유능한 인간 ML 연구자도 수행할 수 있는 작업임
  • 작은 게임 신경망은 입력 채널에 격자 위치와 의미가 드러나 있어, 첫 번째 층 가중치의 크기를 분석하면 어떤 게임을 학습했는지 알아낼 단서를 얻을 수 있음
  • 0.8B Qwen의 수학 성능 향상은 새로운 수학 능력을 심기보다, 32k 토큰 이후 반복에 빠지는 특정 문제를 고쳐 더 오래 문제를 풀 수 있게 한 결과임
  • Astra는 반복하는 추론과 그렇지 않은 추론을 비교하고 관련 가중치를 줄이는 스티어링 계열 접근법을 사용했으며, 이는 인간 연구자에게도 가능한 방법임
  • 직접 가중치를 수정하는 능력이 곧 초인적 AI 연구 능력은 아니며, LLM의 연구 기여 역시 가중치를 마법처럼 고치기보다 학습 과정 개선에서 나올 것으로 봄
게임 식별은 가중치에 드러난 공간적 단서를 활용함
  • 해당 연구는 GPT-6 Astra가 작은 신경망의 가중치만 보고 학습한 게임을 식별하고, 가중치를 직접 수정할 수 있다고 보고함
    • 연구진은 이를 인간이나 기존 알고리듬에 기대할 수준을 크게 넘어서는 능력으로 해석했으며, 특히 0.8B Qwen의 수학 성능 개선이 두드러진 결과임
    • 언어 모델을 개선하는 초인적 능력이 실제로 있다면 재귀적 자기 개선으로 이어질 수 있다는 점에서 관심을 끎
  • 하지만 약 1만 7천 개 가중치를 가진 게임 신경망은 입력 구조만으로도 상당한 단서를 얻을 수 있음
    • 입력 채널은 각 8×8 격자 칸에 직접 연결되고, agent, moving objects처럼 의미를 나타내는 이름이 붙어 있음
    • 각 입력에 연결된 첫 번째 층의 가중치 32개에 대해 L2 노름을 계산하면, 신경망이 격자의 어느 부분을 중요하게 취급하는지 히트맵으로 볼 수 있음
    • 예시 Python 코드는 actor/dense1/kernel을 읽고, (10,10,5,32) 형태로 재구성한 뒤 채널별 노름을 계산함
  • 히트맵에서 Breakout은 화면 아래쪽 수평선에 있는 플레이어 위치, Pac-Man은 특유의 미로에 분포한 움직이는 물체가 식별 단서가 됨
    • 이러한 단서로 적어도 처음 세 게임은 바로 알아볼 수 있다고 보지만, 모든 독자가 이에 동의한 것은 아님
    • Astra가 Python 실행 없이 노름을 계산한 것은 초인적 암산일 수 있어도, 곧바로 초인적 AI 연구 능력을 뜻하지는 않음
  • 신경망을 처음부터 손으로 작성한 사례도 있지만, 작업을 간단한 프로그램으로 표현할 수 있다면 이를 신경망으로 표현하는 것은 이미 가능하며, 도구의 도움 없이 인간이 직접 만든 사례도 있음
Qwen 개선은 반복 문제를 고친 결과임
  • 0.8B Qwen의 문제는 수학 능력 자체가 전반적으로 부족한 것이 아니라, 32k 토큰 이후 반복에 빠지는 현상이었음
    • 원래 모델도 32k 토큰 미만이 필요한 문제는 모두 성공적으로 해결함
    • 그보다 긴 추론이 필요한 수학 문제는 반복 때문에 실패했음
  • 가능한 해결책은 스티어링으로 반복하는 추론과 반복하지 않는 추론의 잔차 표현 차이를 구하고, 그 차이에 크게 기여하는 가중치를 줄이는 것임
    • 기본적으로 Heretic의 어블리터레이션(abliteration) 접근법과 같은 계열임
  • Astra도 네 쌍의 텍스트를 작성하고, 반복에 기여하는 가중치를 측정한 뒤 이를 줄여 가며 효과를 시험함
    • 게임 신경망 실험과 달리 이 작업에서는 Python을 사용할 수 있었음
    • 최종적으로 반복을 막는 패치를 찾아, Qwen이 32k 토큰을 넘겨 수학 문제를 풀 수 있게 함
    • 이 절차는 유능한 인간 연구자도 수행할 수 있으므로, 결과만으로 초인적 연구 능력을 인정하기는 어려움
  • 직접 가중치를 수정하는 능력은 LLM이 기계어를 생성하거나 컴파일된 바이너리를 수정하는 능력과 비슷하게 볼 수 있음
    • 바이너리를 다루는 가장 좋은 방법이 여전히 소스 코드를 작성하고 컴파일하는 것이듯, 모델 가중치를 갱신하는 가장 좋은 방법도 정상적인 학습이라고 봄
    • 지능적인 LLM의 AI 연구 기여 역시 직접 가중치를 마법처럼 수정하기보다 학습 개선에서 나올 것으로 봄
  • 이후 Hacker News 토론에서는 히트맵이 자명하지 않다는 반론과 성과를 충분히 높게 평가하지 않는다는 비판이 나옴
    • 히트맵 해석에는 소규모 강화학습 게임의 맵과 흔히 구현되는 게임에 대한 익숙함이 작용할 수 있음
    • 성과 자체는 매우 인상적이지만, 모델이 Navier-Stokes 문제를 풀고 리만 추측의 더 나은 경계를 찾을 수 있다는 기존 평가를 크게 바꿀 정도는 아니라고 봄
그냥 목록으로
원문 보기 ↗