← 목록으로

Llama-modchip: GPU 없이 64GB RAM에서 284B DeepSeek 실행

요약
  • llama-modchip 프로젝트는 모델 압축과 CPU 커널 최적화를 결합하여 GPU 없이 64GB RAM 환경에서 DeepSeek-V4-Flash 284B 모델을 실행하는 기술을 선보였습니다.
  • SwiGLU-H2 압축과 Fractal-64 변환 등을 통해 메모리 효율을 극대화했으며, Ryzen 9 9955HX CPU 기반의 로컬 추론 성능을 입증했습니다.
  • llama-modchip은 모델 압축과 CPU 커널 최적화를 결합해 DeepSeek-V4-Flash 284B를 64GB RAM에서 실행함. 프로젝트 측 측정에서 256K 컨텍스트의 메모리 사용량은 57.61~58.9GiB이며, NVMe 스왑을 사용하지 않음
  • SwiGLU-H2 압축과 Fractal-64 변환으로 모델 파일을 76.87GiB에서 56.56GiB로 줄이고, 레지스터와 L1/L2/L3 캐시에 걸친 타일링으로 연산을 최적화함
  • Ryzen 9 9955HX에서 DeepSeek 284B의 프리필은 최대 44.36토큰/초, 기본 Top-6 디코딩은 9.06~9.95토큰/초를 기록함. Stockfish-PVS를 적용하면 11.5~14.7토큰/초로 높아짐
  • Nemotron-3.5-30B-A3B도 지원하며, 14.35GiB 양자화 모델은 같은 CPU에서 기본 디코딩 25.02토큰/초를 기록함. 추측 디코딩 측정치는 평균 48.39토큰/초, 최대 60.40토큰/초임
  • Claude Code 로컬 연결과 KV 상태 복원을 지원하지만, 전용 모델은 수정되지 않은 llama.cpp, Ollama, LM Studio에서 열 수 없음. 프로젝트 실행기나 전용 바이너리가 필요함
64GB 메모리에 맞춘 DeepSeek 284B
  • llama-modchip v2.4.0은 CPU 중심의 로컬 MoE 추론 프로젝트로, DeepSeek-V4-Flash와 Nemotron 계열에 모델별 압축 및 실행 최적화를 적용함
  • DeepSeek-V4-Flash-0731은 전체 284.33B, 활성 13.17B 파라미터 모델이며, 43개 MLA 계층과 MoE 구조를 갖춤
    • 기존 IQ2_XXS 파일은 76.87GiB로, 프로젝트의 64GB Linux 환경에서 메모리 부족이 발생함
    • 변환 파일은 56.56GiB이며, 256K 컨텍스트에서 실제 상주 메모리인 VmRSS는 57.61~58.9GiB로 측정됨
    • 모델과 컨텍스트를 RAM에 유지하며 NVMe 스왑을 사용하지 않음
압축과 CPU 연산 최적화
  • SwiGLU-H2는 해석적 2차 헤시안 압축을 MoE에 적용하고, Fractal-64는 MLA 텐서를 Q2_0, 3.75bpw 형식으로 변환함
  • 4단계 타일링은 AVX-512BW ZMM 레지스터, L1D, L2, L3를 함께 활용함
    • 여러 열을 묶는 프리필 타일링으로 DeepSeek 처리량이 25.0에서 44.36토큰/초로 약 77% 증가함
    • 레지스터에 데이터를 유지하는 AVX-512 MQA8 FlashAttention은 해당 연산에서 2배 성능을 기록하며, quantize_row_q8_K도 AVX-512로 최적화함
  • L2 구적법 기반 MoE 가지치기와 게이트를 먼저 계산하는 SwiGLU는 추가 디코딩 가속 옵션임
    • wo_b * wo_a의 정확한 SVD에서는 랭크를 25% 줄였을 때 코사인 유사도 99.82%를 기록함
    • 추측 디코딩을 위한 O(1) 롤백 수정도 포함됨
  • 상세 수식과 연산별 프로파일은 DeepSeek 최적화 문서와 아키텍처 문서에서 확인할 수 있음
DeepSeek 속도와 품질의 절충
  • Ryzen 9 9955HX, RAM 64GB, GPU 없음 조건에서 프리필 pp512는 43.16~44.36토큰/초를 기록함
  • 기본 Top-6 설정의 순수 디코딩은 9.06~9.95토큰/초, Stockfish-PVS 적용 시 11.5~14.7토큰/초임
    • 프로젝트 비교표는 이 설정의 확률 코사인 유사도를 1.00000, KL 발산을 0, Top-1/Top-3 일치율을 100%로 기록함
  • Top-5 가지치기는 세 번째 이후 계층에 적용하는 설정에서 순수 디코딩 9.68~9.87토큰/초를 기록함
    • 확률 코사인 유사도는 0.99714, KL 발산은 0.0042nats, 퍼플렉서티 증가는 0.42%, Top-1 일치율은 95.8%임
  • Top-4와 게이트 우선 SwiGLU를 결합한 고속 설정은 순수 디코딩 10.12~10.74토큰/초, PVS 적용 시 13.0~16.0토큰/초임
    • 해당 비교표의 확률 코사인 유사도는 0.99126, KL 발산은 0.0281~0.0694nats로, 기본 설정과 품질 조건이 다름
Nemotron 30B와 추측 디코딩
  • NVIDIA-Nemotron-3.5-30B-A3B는 전체 30.2B, 활성 3.0B 파라미터 모델이며, 23개 SSM, 23개 MoE, 6개 GQA로 구성됨
  • Stockfish-PVS v2와 RouteCrack은 1.64MB 크기의 L2/L3 드래프터와 Zobrist 전이표를 활용함
    • M=7 설정의 수락률은 프로젝트 측정에서 96.4%임
    • HARPCache는 _MM_HINT_NTA를 활용해 L3 캐시를 격리함
    • 256K 컨텍스트용 EAKV는 Q8_0/Q4_0 형식에서 432MB임
  • Ryzen 9 9955HX의 양자화별 측정에서는 메모리와 기본 디코딩 속도가 다음과 같음
    • 공식 Q4_0: 파일 17.59GiB, 유휴 VmRSS 21.41GiB, 19.54토큰/초
    • Fractal-MXFP4, 4.25bpw: 파일 15.95GiB, 유휴 VmRSS 17.46GiB, 26.08토큰/초
    • Fractal-64-BF16, 3.75bpw: 파일 14.35GiB, 유휴 VmRSS 15.40GiB, 25.02토큰/초
  • 두 Fractal 프로필은 Stockfish-PVS 리팩터링 작업에서 평균 48.39토큰/초, 최대 60.40토큰/초를 기록함
    • 세 양자화 프로필 모두 프로젝트의 100점 품질 평가에서 100점을 받음
    • 프리필은 241.0~306.8토큰/초로 기록됨
  • 모델별 분석과 평가 결과는 Nemotron 최적화 문서에 있음
다른 모델과 하드웨어 실행 방식
  • Qwen3-30B-A3B와 Qwen3-14B도 지원함
    • 노름을 보존하는 동적 MoE Top-K는 전문가 수를 8개에서 4개로 줄여 디코딩을 38.5% 높이며, 30B 모델의 CPU Top-4 측정치는 34.80토큰/초임
    • 3:1 교차 슬라이딩 윈도 어텐션 안전장치인 LLAMA_SWA_STRIDE=4를 적용함
    • Windows에서는 CPU와 GPU로 MoE를 분할할 수 있으며, Qwen3-14B의 RTX 2080 Ti 측정치는 50~58토큰/초임
  • Nemotron-H-8B-128K는 48개 Mamba-2 SSM과 4개 GQA를 사용하는 밀집 모델임
    • 128K 컨텍스트의 KV 메모리는 210MB이며, 8~11GB GPU에 모델 전체를 올릴 수 있음
    • RTX 2080 Ti에서 100토큰/초 이상, CPU 프리필 pp512에서 147.6토큰/초를 기록함
  • CPU/GPU 하이브리드는 어텐션 중심부를 GPU에, 라우팅되는 MoE 전문가를 CPU DDR5에 배치함
    • Ryzen 9 7945HX3D와 RX 9070 XT 16GB 조합은 Vulkan SSM_SCAN과 MXFP4를 사용해 256K 컨텍스트에서 80.80토큰/초를 기록함
  • Threadripper PRO 7985WX의 30B 모델 측정에서는 8채널 DDR5와 AVX-512BW 레지스터 타일링을 활용함
    • 8개 CCD에 각각 4코어를 배치하는 32스레드 설정이 64스레드보다 54% 빨랐음
    • 워밍업 후 추측 디코딩 버스트는 111.62토큰/초, 콜드 측정은 80.14토큰/초임
  • ARM64와 Apple Silicon도 지원함
    • AWS Graviton3의 8 vCPU 환경은 SDOT, 256비트 SVE, 코어별 고정을 활용하며 리팩터링 작업에서 44.97토큰/초를 기록함
    • Apple M4 Pro 24GB 환경은 Metal의 통합 메모리를 활용해 스왑 없이 128K 컨텍스트를 실행하며, 디코딩은 47~48토큰/초임
    • AVX2 전용 EPYC 7402P에서도 CPU 실행 결과가 있으며, C++20 작업 디코딩은 27.29토큰/초임
  • 캐시 토폴로지 탐지, SIMD 커널, 하이브리드 분할 등은 하드웨어 최적화 문서에 정리돼 있음
Claude Code 연결과 사용상 제약
  • ./modchip claude 는 Claude Code CLI를 로컬 256K 엔진에 연결하며, 40개 도구를 활성화함
    • /dev/shm의 Slot-0 KV 상태 복원으로 CPU 에이전트의 프롬프트 재평가 병목을 줄임
    • 복원 시간은 Nemotron 30B에서 18.9ms, DeepSeek 284B에서 13.1~32.6ms로 측정됨
  • 통합 실행기는 터미널 채팅, 웹 채팅, 실시간 성능 표시와 벤치마크, 양자화 변환을 지원함
    • 평가 도구는 품질, 도구 호출, 코딩, 8.5K 길이의 니들 검색을 포함하는 100점 평가를 실행함
    • 에이전트용 SSE 프록시와 도구 표를 제공함
  • Fractal-64는 전용 텐서 형식을 사용하므로 일반 GGUF 실행기와 호환되지 않음
    • 블록 크기 64, BF16 스케일, Gray 코드 기반 GGML_TYPE_Q2_0의 타입 ID는 40임
    • 수정되지 않은 llama.cpp, Ollama, LM Studio에서는 unknown tensor type 40 오류가 발생함
    • 전용 deepseek4 및 Stockfish-PVS 커널을 포함한 실행기가 필요하며, v2.4.0 릴리스는 별도 .so 의존성이 없는 Linux x86_64 단일 바이너리를 제공함
그냥 목록으로
원문 보기 ↗