- 노트북에서 실행한 Qwen 3.8 27B가 도구나 코드 실행 없이 신경망 가중치만 읽고, 해당 모델이 학습한 게임 중 Pac-Man, Pong, Breakout을 식별함
- 실험은 단순화한 게임을 강화학습한 정책 신경망의 부동소수점 가중치를 텍스트로 전달하고 게임을 맞히게 하는 방식이며, 게임별 프롬프트는 가중치를 제외하면 동일함
- 로컬 실행에는 17GB 모델을 사용했으며, 성공한 세 게임의 응답에 각각 약 46~65분이 걸림
- 네 번째 게임인 Freeway는 식별에 실패하고 Pac-Man과 비슷한 게임으로 판단해, 모든 사례에서 성공한 것은 아님
- 가중치 직접 해석과 코드를 이용한 가중치 수정은 구분해야 하며, 이번 결과만으로 소스 코드의 시대가 끝나거나 기계가 이해 불가능한 방식으로 스스로를 수정하는 미래를 단정하기는 어려움
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights는 GPT-6 Astra 같은 최첨단 모델이 텍스트로 전달받은 신경망 가중치를 해석하고 수정하는 능력을 탐구함
- 연구진은 논문 형태로 작성했지만 이를 블로그 게시물로 분류함
- LLM이 신경망의 각 부분이 무엇을 계산하는지, 또는 무엇을 계산해야 하는지 추론해 가중치를 분석하고 변경하는 작업을 Weight-Space Programming이라고 부름
- 연구 결과에 따르면 GPT-6 Astra는 원시 가중치만 보고 네트워크의 학습 과제를 알아내고, 환경 피드백 없이 작은 게임용 네트워크를 처음부터 작성할 수 있음
- 이렇게 작성한 네트워크가 PPO로 1억 스텝 학습한 네트워크보다 뛰어난 게임 성능을 보임
- Qwen3.5-0.8B의 수학 능력 개선 실험에서는 경사값 없이 가중치의 0.016% 를 수정함
- Qwen의 모델 카드에서도 경고하는 추론 반복 문제를 가중치에서 찾아 수정함
- 동일한 샘플링 설정에서 MATH-500 점수는 7.9%에서 48.1%로 상승했고, 별도 조정 없이 IFEval도 3배로 높아짐
- Astra가 학습 루프를 작성하는 것은 허용하지 않음
- 다만 도구 없이 가중치를 읽는 능력과 코드를 사용해 다른 모델을 개선하는 능력은 별개의 질문임
- spaCy 개발자 Matthew Honnibal은 두 능력을 혼동시킨다는 이유로 오해를 부르는 연구라고 비판함
- Sean Goedecke의 Qwen3.5-0.8B 수정 사례 분석에 따르면, 수정 절차는 인간 머신러닝 연구자가 사용할 법한 절차와 같음
- 노트북 재현 실험은 이 가운데 도구 없는 가중치 해석에 초점을 맞춤
- 원래 실험은 10×10 격자로 단순화한 Breakout, Pong, Pac-Man, Freeway를 플레이하도록 신경망 네 개를 각각 학습함
- Freeway는 1981년에 나온 Atari 2600 게임임
- 각 정책 신경망의 가중치를 부동소수점 숫자 텍스트로 제공하고, 어떤 게임을 강화학습했는지 답하도록 요청함
- 코드 실행, 계산기 등 어떤 도구도 사용할 수 없으며 한 번의 응답으로 답해야 함
- 네 프롬프트를 대조한 결과, 가중치 이외의 부분은 동일했음
- 재현 자료는 RikiyaT/lm_understand-logs의 exp1_which_game에 공개되어 있으며, 각 프롬프트는 자체 완결형임
- Breakout 프롬프트
- Freeway 프롬프트
- Pac-Man 프롬프트
- Pong 프롬프트
- LLM 도구의 -f/--fragment 옵션은 텍스트 파일 URL을 프롬프트로 받아, 공개된 실험을 다른 모델에서도 실행할 수 있음
- llm-openrouter 플러그인을 통해 Kimi K3.1 Pro에 Breakout 프롬프트를 전달한 실행 결과, 9분 41초와 추론 토큰 19,493개를 사용해 정답을 맞힘
- 로컬 실험에는 Qwen 3.8 27B의 Q4_K_M GGUF 버전을 사용했으며, 모델 크기는 17GB임
- Simon Willison이 노트북에서 가장 선호하는 모델로, 개인적인 사용감은 2025년의 선도적인 독점 모델에 근접함
- LM Studio와 llm-lmstudio 플러그인으로 실행하되 컨텍스트 창을 확대해야 했음
- 기본값인 8,192 토큰에서는 오류가 발생함
- 시간 초과 관련 이슈에 따라 환경 변수 LMSTUDIO_TIMEOUT=900도 설정함
- Pac-Man은 46분 12초, 추론 토큰 43,506개를 사용해 식별함
- 최종 응답은 중앙과 모서리에 벽이 있는 고정된 8×8 미로에서 유령 같은 움직이는 물체를 피하고 보상 목표를 수집하는 게임으로 해석함
- 모델이 제시한 확신도는 72%이며, 추론 과정도 공개됨
- Pong은 1시간 4분 54초 만에 식별함
- 최종 응답은 오른쪽 패들을 위아래로 움직여 8×8 필드의 공을 받아치는 게임으로 해석함
- 왼쪽의 상대 또는 움직이는 물체와 경계 벽, 공을 받아치거나 득점할 때의 보상, 놓쳤을 때의 페널티까지 추정함
- 모델이 제시한 확신도는 75%이며, 추론 과정도 공개됨
- Breakout은 52분 25초 만에 식별함
- 최종 응답은 맨 아래 패들을 좌우로 움직여 공을 유지하고, 위쪽 벽돌을 맞히면 보상을 얻는 Breakout 또는 Arkanoid 계열 게임으로 해석함
- 공을 놓치거나 아래쪽 벽에 닿으면 에피소드가 끝나거나 페널티를 받는다고 추정함
- 모델이 제시한 확신도는 88%이며, 추론 과정도 공개됨
- Freeway는 식별에 실패했으며, 응답 기록에서는 에이전트가 네 방향으로 움직이는 단순한 Pac-Man 계열 격자 게임으로 판단함
- 추론 과정은 따라가기 어려울 정도로 복잡하지만, 입력 인덱스를 행/열/채널로 환산하고 큰 가중치의 위치를 살펴 에이전트가 오른쪽 아래에 있는지 추정하는 식의 분석을 담고 있음
- Willison은 충분히 경험 많은 사람도 메모장과 연필을 가지고 시간을 들이면 같은 답에 도달할 수 있으리라고 봄
- 이 실험은 흥미롭지만, 소스 코드 시대의 종말이나 이해 불가능한 기계가 이해 불가능한 방식으로 자기 가중치를 수정하는 미래를 선언할 근거로 삼기는 어려움