← 목록으로

세르비아, 세계에서 가장 명석한 의회를 선출하다

요약
  • nesformer는 Qwen3.5 모델 내에 NES의 6502 CPU와 메모리 구조를 구현하여 게임 실행 기록을 토큰 단위로 생성하는 프로젝트입니다.
  • 학습 대신 컴파일러로 가중치를 계산하고 Gated DeltaNet을 메모리로 활용하며, 호스트 프로그램과 역할을 분담해 실제 에뮬레이터와 일치하는 실행 결과를 보여줍니다.
  • nesformer는 NES의 6502 CPU, 2KB RAM, 카트리지 프로그램 ROM을 표준 Qwen3.5 체크포인트 안에서 실행함. 가중치는 학습하지 않고 컴파일러로 계산했으며, 모델이 CPU 실행 기록을 토큰 단위로 생성함
  • Gated DeltaNet 상태를 메모리로 사용해 CPU 레지스터와 RAM, ROM을 저장함. 화면 출력, 컨트롤러 입력, vblank 인터럽트 처리는 별도 호스트 프로그램이 맡음
  • 체크포인트는 bf16 기준 933MB이며, 전체 4억 6,660만 파라미터 중 0이 아닌 값은 930만 개라 압축하면 3.3MB임. 사용자 정의 코드 없이 표준 Qwen3_5ForCausalLM으로 로드 가능함
  • 검증한 게임 실행에서는 모델의 실행 기록과 저장 프레임이 참조 6502 에뮬레이터와 일치함. 다만 최적화를 적용해도 실제 NES보다 150~290배 느림
  • NROM 카트리지와 공식 명령어만 지원하며, 같은 가중치로 다른 NROM 게임을 재빌드 없이 실행할 수 있음. 뱅크 전환, RAM 내 코드 실행, 일부 인터럽트는 지원하지 않으며 사운드도 없음
CPU를 학습하지 않고 가중치로 컴파일
  • nesformer는 NES의 2A03 칩에 들어 있는 6502 CPU 코어, 2KB 작업 RAM, 카트리지 프로그램 ROM을 표준 Qwen3_5ForCausalLM 체크포인트 안에 구현함
    • 모든 가중치를 컴파일러가 계산하며, 학습 과정은 없음
    • 게임 실행 시 모델이 CPU 실행 기록을 한 토큰씩 예측하고, 작은 호스트 프로그램이 콘솔의 나머지 부분을 처리함
  • Qwenputer의 컴파일러와 메모리 구현 방식을 재사용함
    • Qwenputer는 CHIP-8과 RISC-V CPU를 Qwen3.5-4B에 컴파일한 선행 프로젝트임
    • 핵심은 Gated DeltaNet 상태를 기계의 메모리로 사용하는 것임
모델과 호스트의 역할 분담
  • 모델의 가중치와 DeltaNet 상태에는 CPU 실행에 필요한 구성 요소가 들어 있음
    • 공식 명령어 151개, 모든 주소 지정 방식, 플래그, 스택, BRK와 NMI 진입을 지원함
    • 2KB 작업 RAM과 32KB PRG-ROM을 저장하며, ROM은 명령어 인출용과 데이터 읽기용으로 두 벌을 유지함
    • OAM DMA 읽기도 수행하며, 읽은 256바이트가 DM 토큰으로 나타남
  • 호스트는 PPU의 스캔라인 렌더링과 팔레트, 컨트롤러, 주변 장치 입출력을 담당함
    • vblank 시점에 NMI 토큰을 주입하고, I/O 읽기 응답은 IN 토큰으로 주입함
    • APU 레지스터 쓰기는 받지만 그 외에는 무시함
    • CPU 레지스터와 RAM은 실행 기록을 통해서만 확인하며 직접 들여다보지 않음
  • 이 역할 분담은 호스트가 타이머 틱을 주입하고 실행 기록으로 화면을 그리는 Qwenputer의 CHIP-8 구현을 따름
DeltaNet 메모리와 체크포인트 구조
  • 각 DeltaNet 헤드는 128 × 128 상태 행렬을 유지하며, 토큰마다 델타 규칙으로 갱신함
    • 게이트를 열린 상태로 두고 원핫 키를 사용하면 정확히 한 행을 덮어쓸 수 있음
    • 원핫 쿼리로 해당 행을 읽으며, 각 행이 카트리지 데이터, RAM, 레지스터를 담는 메모리 셀이 됨
  • 체크포인트는 일반적인 Hugging Face 폴더이며 Qwen3_5ForCausalLM.from_pretrained로 로드 가능함
    • Qwen3.5-4B의 DeltaNet 헤드 형태인 키 헤드 16개, 값 헤드 32개, 차원 128과 MLP 너비 9,216을 사용함
    • 회로를 구현하는 Gated DeltaNet 레이어 7개와 Hugging Face 캐시에 필요한 전체 값이 0인 어텐션 레이어 1개로 구성됨
    • 은닉 크기는 768, 어휘 크기는 263,808토큰임
    • 4억 6,660만 파라미터를 bf16으로 저장해 933MB이며, 0이 아닌 파라미터는 930만 개여서 ZIP 크기는 3.3MB임
  • nesformer.json이 기계의 각 부분을 저장하는 레이어와 헤드를 기록함
    • 실행 시작 시 카트리지, 레지스터, RAM을 DeltaNet 상태에 기록한 뒤 탐욕적 디코딩을 수행함
    • 표준 transformers 실행 절차는 체크포인트 로드, 패딩 토큰 하나 디코딩, 캐시의 DeltaNet 상태 초기화, 토큰별 입력 순서임
7개 레이어의 실행 회로
  • 레이어 1~2는 CPU 상태와 프로그램 카운터를 관리함
    • 레이어 1은 PC 기준점, 명령어 카운터, A/X/Y/SP, N/V/Z/C/I/D 플래그, 포인터 래치, NMI 플래그를 저장함
    • MLP는 카운터의 서모미터 인코딩, SP ± 1, LO + Y를 계산함
    • 레이어 2는 기준점 이후 실행한 바이트 수로 PC를 구하고 PC + 1, PC + 2를 계산함
  • 레이어 3~4는 명령어 인출과 주소 계산을 수행함
    • 레이어 3은 PC 위치의 명령어 코드와 피연산자 2바이트를 읽고, 명령어 디코딩, 피연산자 비트, 인덱스 합산, 분기 조건과 목적지를 계산함
    • 레이어 4는 주소 지정 방식과 기록 단계에 따른 유효 주소, 스택에 넣을 바이트를 계산함
  • 레이어 5~7은 데이터 읽기, 연산, 다음 토큰 생성을 담당함
    • 레이어 5는 유효 주소의 RAM/PRG 데이터를 읽고 피연산자, ADC/SBC 덧셈, 비교, BIT, 주소 디코딩을 처리함
    • 레이어 6은 결과 바이트, 캐리, 오버플로, 플래그, 점프 목적지를 계산함
    • 레이어 7은 다음 토큰을 결정함
실행 기록으로 명령어 수행
  • 각 명령어는 하나의 기록(record) 으로 변환되고, 마지막 토큰이 해당 명령어를 확정함
    • 대부분의 명령어는 토큰 하나로 끝나며, 실제 게임 코드는 명령어당 평균 1.1~1.3토큰을 사용함
    • 토큰 계열은 nesformer/spec.py에 정의되어 있음
  • PC는 직접 기록하지 않고 암묵적으로 계산함
    • 각 마지막 토큰에 명령어 길이를 담고, DeltaNet 카운터 3개가 마지막 점프 이후 길이별 실행 명령어 수를 집계함
    • PC는 점프 목적지에 이 오프셋을 더한 값임
  • 실행 기록에는 레지스터/플래그 변경뿐 아니라 I/O와 스택, 간접 주소 지정, DMA도 나타남
    • I/O 읽기는 IOR 뒤에 호스트가 IN을 주입하는 방식임
    • JSR의 반환 주소는 회로 내부에서 스택에 넣고, RTS는 스택에서 꺼내 복귀함
    • 간접 주소 지정은 포인터 바이트를 래치한 뒤 저장하며, OAM DMA는 DM 토큰 256개로 읽은 데이터를 전달함
실행 가능한 게임과 사용 방식
  • NROM 보드(iNES mapper 0) 를 사용하는 .nes 파일을 실행할 수 있으며, Super Mario Bros., Donkey Kong, Excitebike가 예시임
    • 시작할 때 ROM을 모델 상태에 로드하므로 같은 가중치로 다른 NROM 게임을 재빌드 없이 실행할 수 있음
    • 다른 보드를 사용하는 게임은 안내 메시지와 함께 중단됨
    • 상용 게임 ROM은 사용자가 준비해야 하며, 저장소에는 자유 라이선스 테스트 ROM 3개만 포함됨
  • 컨트롤러 입력은 프레임 구간별 스크립트로 지정함
    • 여러 버튼 동시 입력과 반복 구간을 지원하며, 프레임은 전원 켜짐부터 초당 60개로 계산함
    • Super Mario Bros.에서는 A 버튼을 오래 누르면 더 높이 점프함
  • CLI는 게임 실행과 GIF 저장, 참조 CPU와의 비교, 토큰 스트림 출력, 체크포인트 빌드와 정보 확인을 지원함
    • 터미널 프레임 표시와 PNG 저장도 가능함
    • Python 3.11 이상이 필요하며, 기본 엔진 외에 numpy와 표준 transformers 엔진을 선택할 수 있음
참조 에뮬레이터와의 검증
  • 참조 CPU 자체를 먼저 검증함
    • nestest의 기준 로그 3,348개 명령어와 일치함
    • 게임 코드 570만 개 명령어에서 py65 에뮬레이터와 일치함
  • Qwenputer 평가기에서 bf16 정확성 검사를 적용한 회로는 nestest 전체와 두 게임 부팅 시퀀스의 283,610개 위치에서 참조 토큰을 모두 예측함
  • 표준 transformers 체크포인트도 CPU/bf16 환경에서 nestest와 Full Game의 2,651개 위치를 불일치 없이 예측함
  • 가중치가 스스로 토큰을 생성하는 실행에서도 참조 CPU와 동일한 기록과 프레임을 얻음
    • nestest 공식 명령어 테스트는 4,586토큰이 일치하고 예상한 HALT로 종료됨
    • Thwaite 비교 실행은 70만 토큰, 271프레임에서 기록과 프레임이 일치함
    • Thwaite 600프레임 실행은 1,916,527토큰을 생성했으며, 저장한 300프레임 모두 일치함
    • Full Game 420프레임 실행은 2,645,885토큰을 생성했으며, 저장한 210프레임 모두 일치함
  • 유휴 루프 건너뛰기를 적용해도 프레임과 I/O 쓰기, 사이클 타임스탬프가 적용하지 않은 실행과 일치함
    • 테스트 모음은 참조 CPU, 회로, 가중치의 자율 실행, 유휴 루프 최적화를 검사함
실행 속도와 유휴 루프 최적화
  • 기본 엔진은 model.safetensors에서 Qwen3.5 순전파를 계산하며, numba로 컴파일하고 전체 값이 0인 블록은 건너뜀
    • 개발에 사용한 기계의 CPU 코어 하나에서 약 초당 1,650토큰을 처리함
    • numpy 엔진은 약 210토큰/s, 표준 transformers는 약 10토큰/s임
    • 실제 NES 속도에는 약 70만 토큰/s가 필요함
  • 게임이 vblank를 기다리는 반복문에서 많은 시간을 보내는 점을 이용해 유휴 루프를 건너뜀
    • RAM이나 I/O 쓰기 없이 루프 본문이 정확히 반복되면, 호스트가 다음 PPU 이벤트 직전까지 시계를 전진시킴
    • 남은 반복은 실제로 실행하며, 전체 토큰 수가 2.6~4.2배 줄어듦
  • 최적화 후에도 실제 콘솔보다 150~290배 느림
    • 첫 실행은 numba 엔진 컴파일에 약 20초가 걸림
    • 이후 프레임당 1~6초가 필요하며, NES 시간으로 10초인 600프레임 실행에 약 25분이 걸림
지원 범위와 한계
  • NROM만 지원하며, CPU가 한 번에 주소를 지정할 수 있는 프로그램 ROM은 32KB임
    • 더 큰 게임은 MMC1, MMC3 같은 매퍼로 ROM 뱅크를 전환하지만, 현재 모델은 고정된 32KB 테이블에서 읽으므로 이를 따라갈 수 없음
    • 매퍼를 지원하려면 전체 ROM과 뱅크 레지스터를 상태에 저장하고, CPU 주소를 ROM 주소로 변환하는 단계를 추가해야 함
  • 공식 명령어와 카트리지 ROM 내 코드만 실행함
    • 비공식 명령어나 RAM으로의 점프는 HALT를 발생시킴
    • APU 프레임 IRQ와 DMC 등 IRQ는 지원하지 않지만 BRK와 NMI는 동작함
  • I/O 레지스터 대상 읽기-수정-쓰기 명령어는 I/O 쓰기를 발생시키지 않음
    • PRG-RAM이 없으며 $4020–$7FFF 읽기는 0을 반환함
  • PPU와 APU는 가중치에 포함되지 않음

    • PPU는 스캔라인 단위로 렌더링하므로 스캔라인 중간 효과를 재현하지 못함
    • Sprite-0 hit와 스프라이트 오버플로는 근사 구현이며, 사운드는 없음
    • 프로젝트는 MIT 라이선스로 배포되며, 포함된 ROM은 각각의 라이선스를 유지함
그냥 목록으로
원문 보기 ↗