← 목록으로

1.58비트 터너리 양자화로 30B LLM을 맥북에서 돌리기: 0점에서 89.4%까지 복원한 기록

요약
  • Nvidia Nemotron 30B LLM을 1.58비트 터너리 양자화로 압축하여 24GB 맥북에서 구동할 수 있도록 만든 기록이다.
  • 사전학습을 다시 하지 않는 PTQ 방식과 증류 및 경계 마스킹 기법을 적용해 원본 성능의 89.4%까지 복원하는 데 성공했다.
  • NVIDIA Nemotron 3.5 Lightning 30B(A3B)의 가중치를 -1, 0, +1 세 값으로만 표현하는 1.58비트 터너리 양자화로 약 60GB → 약 10GB까지 줄이고, 24GB 이상 맥북에서 돌릴 수 있게 한 기록
    • 사전학습을 다시 하지 않는 PTQ 방식. 결과 모델은 Hugging Face에 MLX 프리뷰 체크포인트로 공개
  • 30B 모델은 4비트로 줄여도 가중치만 16GB 안팎이라, 런타임 메모리와 KV 캐시까지 더하면 16GB 기기에는 올라가지 않고 24GB 맥북에서도 빠듯함
  • BF16 모델을 그대로 터너리로 바꾸면 GSM8K·HumanEval 0.00점, IFEval-ko 10.36점
  • on/off-policy distillation + STE로 2에폭 만에 GSM8K 87.57까지 회복. 3에폭에서는 오히려 85.90으로 하락
  • 임계값 근처 가중치 약 5.9%만 학습하는 경계 마스킹으로 같은 3에폭에서 88.32
  • 최종적으로 생성형 벤치마크 7종 평균 원본 93.80 대비 83.82, 원본의 89.4%

1.58비트 양자화란

  • 세 값을 구분하는 데 필요한 이론적 최소 비트 수가 log₂3 ≈ 1.585라서 1.58비트라고 부름
  • 값 하나가 담는 정보량이지 디스크 파일 크기가 아님. 실제 파일에는 스케일 값이 함께 저장돼 파라미터당 비트 수는 이보다 큼
  • 만드는 경로는 두 가지
    • QAT: BitNet b1.58처럼 처음부터 가중치를 터너리로 고정한 채 사전학습
    • PTQ: 학습이 끝난 BF16 체크포인트를 사후에 터너리로 변환
  • 사전학습을 다시 하지 않고 기존 모델을 그대로 쓸 수 있어 PTQ를 택함

터너리 변환 절차

  • 정해야 하는 것은 두 가지: 어느 크기 이하를 0으로 볼지(임계값 τ), 남은 가중치를 어떤 크기로 되돌릴지(스케일 s)
  • 그룹별 평균 절댓값 α를 구하고 τ = α/2로 코드(-1, 0, +1)를 정한 뒤, 0이 아닌 가중치의 평균 절댓값을 s로 써서 복원
  • 가중치 8개 예시 그룹: α 0.39, τ 0.195, s 0.58 → 8개 중 3개가 0
  • 0이 너무 적으면 작은 값까지 ±1로 커져 복원 오차가 늘고, 너무 많으면 남는 정보가 줄어 표현력이 떨어짐

그대로 쓰면 0점이 되는 이유

  • 가중치마다 반올림 오차가 생기고(예: 0.90 → 복원 후 0.58), 이 오차가 층을 거치며 누적됨
  • 토큰을 하나씩 생성해 채점하는 생성형 벤치마크에서는 정답을 거의 맞히지 못하는 결과로 나타남
  • 2비트 이하 극단적 저비트 양자화에서 흔한 현상. 4비트가 실용적인 한계선으로 꼽히는 것도 같은 이유

복원 1단계: on/off-policy distillation + STE

  • 교사가 미리 만든 답을 학생이 따라가는 off-policy만으로는, 양자화로 달라진 학생의 실제 출력이 학습 신호에 거의 반영되지 않음
  • 그래서 on-policy를 함께 적용함. 학생(터너리 모델)이 만든 문맥에서 BF16 교사가 다음 토큰 분포를 계산하고, 두 분포의 차이를 학습 신호로 씀
  • 양자화된 가중치는 미분이 안 되므로 STE를 씀. 역전파 때 양자화 함수를 항등 함수로 보고 잠재 가중치(실수값)에 기울기를 전달하고, 잠재 가중치가 τ를 넘는 순간 코드가 바뀜
  • 1에폭 동안 실제로 코드가 바뀐 가중치는 전체의 약 5~7%. 복원은 새 지식을 넣는 작업이 아니라 소수의 코드를 원본 출력에 맞게 고치는 작업에 가까움
  • 복원한 모델에 한국어로 자기소개를 요청하면 NVIDIA 연구진이 만든 Nemotron이라고 답함

복원 2단계: 경계 마스킹

  • 1·2에폭에서 GSM8K 82.56 → 87.57, HumanEval 72.56 → 80.49, IFEval-ko 61.79 → 68.39
  • 3에폭까지 학습하자 GSM8K 85.90, IFEval-ko 64.82로 다시 내려감. 다른 모델로 실험해도 같은 패턴
  • STE가 모든 잠재 가중치에 신호를 전달하면서, 바뀔 필요가 없는 값까지 갱신돼 노이즈로 코드가 바뀌는 것으로 판단함
  • PTQ 초기값이 τ의 ±10% 안에 있는 가중치(전체의 약 5.9%)만 학습하고 나머지는 동결함. 작은 업데이트로 코드가 실제로 바뀔 수 있는 범위가 여기뿐이기 때문
  • 같은 3에폭에서 GSM8K 85.90 → 88.32, IFEval-ko 64.82 → 68.39. 더 오래 학습하는 것보다 어디를 학습할지 정하는 쪽이 효과가 컸음

결과

  • 생성형 벤치마크 7종 평균: 원본 93.80 / 복원 83.82 (원본의 89.4%)
  • GSM8K 0.00 → 89.31(원본의 약 94%). 수학(GSM8K)·코드(HumanEval)는 원본의 94% 수준, 7종 중 5종이 원본의 89% 이상
  • 회복률이 상대적으로 낮은 항목은 풀이가 긴 MATH500과 한국어 지시 이행(IFEval-ko)

맥북 메모리 계산

  • 맥은 통합 메모리 전체를 GPU가 쓰지 않음. 기본 설정은 대략 2/3~3/4이고, 보수적으로 2/3로 보면 16GB 맥북은 약 10.7GB, 24GB 맥북은 약 16GB
  • Nemotron 3.5 Lightning은 Mamba·Attention 하이브리드 구조. KV 캐시가 필요한 Attention 층이 6개뿐이라 128K 토큰 문맥에서도 KV 캐시가 약 0.8GB
  • 공개 설정 파일로 계산하면 가중치 외 메모리는 최대 약 2.4GB, 전체는 최대 약 12.4GB → 16GB 맥북 한도보다 크고 24GB 맥북 한도보다 작음
  • 16GB 맥북도 macOS 설정으로 GPU 한도를 약 13.5GB로 높이면 계산상 들어가지만, 시스템과 다른 앱이 쓸 메모리가 크게 줄어 24GB 이상을 권장함

공개 모델

  • Hugging Face: nota-ai/Nemotron-3.5-Lightning-30B-A3B-Nota-Ternary-MLX-1014
  • 성능 복원을 이어 가고 있는 프리뷰 체크포인트이며, 모델 카드에 저장 포맷과 평가 조건이 정리돼 있음
그냥 목록으로
원문 보기 ↗