← 목록으로

Qwenputer: Qwen3.5 내부에서 작동하는 결정론적 RISC-V CPU

요약
  • Qwenputer는 Qwen 3.5 모델 가중치 내에 RISC-V CPU를 컴파일하여 외부 도구 없이 모델 내부에서 C와 MicroPython 코드를 실행하는 실험적 모델입니다.
  • Gated DeltaNet을 정확한 RAM으로 활용해 1,800만 개의 명령을 오류 없이 수행했으며, 긴 정수 산술 정확도를 100%로 높이고 내부 파일시스템을 구현했습니다.
  • Qwenputer는 Qwen 3.5 4B의 가중치에 RISC-V CPU를 컴파일해 넣은 실험 모델로, 외부 실행 환경이나 도구 호출 없이 모델의 순전파 안에서 산술 연산과 C, MicroPython 코드를 실행함
  • Gated DeltaNet 상태를 정확한 RAM으로 활용하며, CPU 회로를 추가 레이어와 차원의 가중치로 변환함. 기존 Qwen 가중치는 그대로 유지하고 별도 학습이나 사후 학습도 하지 않음
  • 32비트 RV32IM CPU는 공식 riscv-tests를 통과했으며, 참조 머신의 중간 보정 없이 1,800만 개 명령을 연속 실행하는 동안 오류가 없었음
  • NUPA 긴 정수 산술 정확도는 기본 Qwen의 48.6%에서 100%로 높아져 Python 도구를 제공한 경우와 같았으며, 일반 텍스트 출력의 변화는 측정 잡음 수준에 머묾
  • 체크포인트가 18.8GB로 커지고 전용 드라이버가 필요하며, CPU 명령마다 여러 토큰을 디코딩하므로 큰 계산에 밀리초가 아닌 초 단위 시간이 걸리는 실험적 구현임
Gated DeltaNet을 정확한 RAM으로 사용
  • Qwen3-Next와 Qwen 3.5는 어텐션 레이어 4개 중 3개에 선형 RNN인 Gated DeltaNet을 사용하며, 각 헤드는 델타 규칙으로 갱신하는 상태 행렬을 유지함
  • Qwenputer는 게이트와 쓰기 강도 beta를 모두 1로 설정하고 원핫 키를 사용해 상태 행렬을 정확히 주소 지정할 수 있는 메모리로 만듦
    • 게이트는 새 값을 쓰기 전에 전체 상태에 곱해지는 값으로, 0.9이면 매 토큰마다 기억이 줄어들지만 1이면 감쇠하지 않음
    • beta가 1이면 선택한 방향의 기존 값을 새 값과 혼합하지 않고 완전히 교체함
    • 원핫 키는 하나의 원소만 1이고 나머지가 0인 벡터로, 정확히 한 행을 선택함. 쓰기는 해당 행만 덮어쓰고 원핫 쿼리는 정확한 값을 읽음
  • GDN 상태 크기는 대화가 길어져도 일정하므로, KV 캐시가 커지는 일반 어텐션을 RAM으로 사용하는 것보다 비용이 훨씬 낮음
  • 델타 규칙 기반 선형 어텐션이 연상 메모리 또는 빠른 가중치(fast weights) 로 작동한다는 원리는 Schlag 등의 ICML 2021 논문 Linear Transformers Are Secretly Fast Weight Programmers에 이미 등장함
    • 이번 구현의 차이는 실제 배포 모델 내부에서 CPU 전체를 실행할 만큼 정확하고 주소 지정 가능한 메모리로 만든 데 있음
    • 기본 Qwen 3.5의 GDN은 이처럼 정확한 값을 보존하지 않음
CPU를 가중치로 컴파일하는 방식
  • 컴파일러가 모든 CPU 가중치를 직접 설정하므로 학습이 필요하지 않음
    • 레지스터 읽기, 두 수 더하기, 값이 0일 때 점프하기 같은 작은 단계로 CPU 회로를 기술함
    • 각 단계를 조회용 어텐션 헤드, 산술 연산용 피드포워드 유닛, RAM을 유지하는 DeltaNet 헤드로 변환함
  • CPU는 모델의 토큰 디코딩 과정에서 실행됨
    • ADDR 토큰은 쓸 메모리 행을 지정하고, VAL 토큰은 값을 담으며, STEP 토큰은 명령을 끝냄
    • 이 토큰들이 CPU 실행 추적이므로, 모델이 토큰을 생성하는 동안 실제 CPU 연산이 진행됨
  • CPU는 RV32IM 명령어 집합 전체, Zba 확장, 큰 정수 연산을 위한 소형 bignum 유닛을 갖춘 32비트 RISC-V 코어임
    • Qwen의 32개 레이어 앞에 11개 레이어를 추가함
    • C와 MicroPython 코드를 순전파 안에서 실행할 수 있지만 다소 느리며, 아직 Linux급 칩은 아님
Qwen과 내부 CPU의 연결
  • Qwen은 익숙하게 학습한 도구 호출 형식으로 CPU에 명령을 보내고 결과를 읽지만, 실제 외부 도구 호출이나 외부 실행 환경은 사용하지 않음
  • 컴퓨터 레이어가 명령을 실행한 뒤 도구 응답 형식으로 결과를 기록하며, RvChat 드라이버가 펌웨어를 GDN 상태에 적재하고 CPU 실행 추적 토큰이 Qwen 레이어로 들어가지 않도록 함
  • 원래 Qwen 가중치는 변경하지 않으며, 컴퓨터용 가중치만 추가 차원과 레이어에 배치함. Qwen이 CPU를 사용하도록 만드는 데도 사후 학습이 필요하지 않았음
실행 검증과 산술 평가
  • 공식 riscv-tests를 통과했고 프로그램 실행 결과가 qemu와 일치했으며, 자체 출력만 이어받아 1,800만 개 명령을 실행하는 동안 오류가 없었음
    • 이 연속 실행에서는 참조 머신이 단계 사이에 결과를 교정하지 않았음
    • CPU 출력 약 23만 개 위치를 참조 머신과 대조한 검사에서도 불일치가 없었음
  • DeepMind 산술 세트에서 Qwenputer, Python 도구를 제공한 Qwen 3.5 4B, 기본 Qwen의 정확도를 비교함
    • div_big 정확도는 각각 97.5%, 95%, 72.5% 임
    • mul_big에서는 각각 97.5%, 100%, 55% 를 기록함
    • mul_div_multiple_longer 정확도는 각각 100%, 97.5%, 90% 임
    • add_or_sub_big에서는 각각 97.5%, 97.5%, 87.5% 를 기록함
  • NUPA 긴 정수 산술에서는 기본 Qwen의 48.6%에서 Qwenputer의 100%로 정확도가 높아졌으며, Python 도구를 제공한 경우와 같았음
  • 일반 텍스트 출력은 기본 Qwen 대비 잡음 범위 안에서 유지됨. KL 값은 6e-4, 잡음 바닥은 5e-4였음
실험적 내부 파일시스템
  • 내부 RAM을 바탕으로 파일 저장 기능도 구현했으며, 외부 도구 호출 없이 put, append, get, list, delete 연산을 사용함
  • 컴파일된 레이어가 파일 이름을 해싱해 DeltaNet 상태의 1,024개 디렉터리 슬롯 중 하나에 배치함
    • 충돌이 나면 다음 슬롯을 확인함
    • 본문은 다른 헤드에 행당 8개 토큰씩 저장하고 행들을 연결함
    • 파일을 다시 찾는 데 전체 스캔 대신 대략 2~3단계가 필요하며, 최대 512개 파일과 약 5만 3,000개 토큰의 텍스트를 저장함
  • 대화 종료 시 상태를 저장하고 다음 대화에 다시 적재하면 파일이 유지됨
    • 대화 사이에 변경된 사실을 맞히는 비율은 이 파일시스템 사용 시 90%, 이전 대화를 다시 붙여 넣는 방식에서는 30%였음
    • Python으로 실행하는 메모리 도구와 비교한 평가에서는 83.3% 대 78.9%로 비슷한 수준이었음
  • 파일시스템은 아직 실험 단계이며, 코드는 rv-store 브랜치, 모델은 Hugging Face와 ModelScope에서 공개함
실행 제약과 다음 개발 목표
  • 추가 레이어와 넓어진 은닉 차원 때문에 체크포인트 크기는 18.8GB로 기본 Qwen의 약 두 배이며, 상당 부분은 0으로 채운 패딩임
  • 펌웨어 부팅과 실행 추적 토큰 분리를 위한 RvChat이 필요하므로, 아직 일반적인 generate() 호출만으로는 실행할 수 없음
  • 명령당 여러 디코딩 토큰을 소비해 큰 계산에 초 단위 시간이 걸림
    • 벤치마크에 사용한 배치 실행기는 L4에서 초당 약 3,200개 CPU 토큰을 처리함
  • 다음 목표는 Qwen이 Python 코드를 작성하고, 기존 calc와 같은 방식의 python() 내부 도구를 통해 가중치 안의 MicroPython에서 실행하게 하는 것임. CPU 속도 개선도 주요 과제임
  • 모델은 24GB GPU 한 대에서 실행할 수 있으며, 실행 준비에는 uv와 Hugging Face CLI가 필요함. 계산용 도구 서버나 Python 샌드박스는 필요하지 않음
  • 코드는 GitHub, 기본 Qwenputer 모델은 Hugging Face와 ModelScope에서 공개함
산술을 넘어선 AI 안전 연구
  • RNN 레이어를 정확하게 제어하는 기능은 산술 외에도 AI 안전 연구의 실험 기반으로 활용할 수 있음
  • 후속 연구는 하이브리드 모델이 RNN 상태에 추론을 숨겨 CoT 모니터링을 피하는 방법과 컴파일된 가중치를 모니터링 도구로 활용하는 방법을 다룸
    • 후자는 모델이 끌 수 없는 가중치 내부 모니터와 해석 가능성 연구용 정답 키 등을 포함함
그냥 목록으로
원문 보기 ↗