- NVIDIA Nemotron 3.5 Lightning 30B(A3B)의 가중치를 -1, 0, +1 세 값으로만 표현하는 1.58비트 터너리 양자화로 약 60GB → 약 10GB까지 줄이고, 24GB 이상 맥북에서 돌릴 수 있게 한 기록
- 사전학습을 다시 하지 않는 PTQ 방식. 결과 모델은 Hugging Face에 MLX 프리뷰 체크포인트로 공개
- 30B 모델은 4비트로 줄여도 가중치만 16GB 안팎이라, 런타임 메모리와 KV 캐시까지 더하면 16GB 기기에는 올라가지 않고 24GB 맥북에서도 빠듯함
- BF16 모델을 그대로 터너리로 바꾸면 GSM8K·HumanEval 0.00점, IFEval-ko 10.36점
- on/off-policy distillation + STE로 2에폭 만에 GSM8K 87.57까지 회복. 3에폭에서는 오히려 85.90으로 하락
- 임계값 근처 가중치 약 5.9%만 학습하는 경계 마스킹으로 같은 3에폭에서 88.32
- 최종적으로 생성형 벤치마크 7종 평균 원본 93.80 대비 83.82, 원본의 89.4%
1.58비트 양자화란
- 세 값을 구분하는 데 필요한 이론적 최소 비트 수가 log₂3 ≈ 1.585라서 1.58비트라고 부름
- 값 하나가 담는 정보량이지 디스크 파일 크기가 아님. 실제 파일에는 스케일 값이 함께 저장돼 파라미터당 비트 수는 이보다 큼
- 만드는 경로는 두 가지
- QAT: BitNet b1.58처럼 처음부터 가중치를 터너리로 고정한 채 사전학습
- PTQ: 학습이 끝난 BF16 체크포인트를 사후에 터너리로 변환
- 사전학습을 다시 하지 않고 기존 모델을 그대로 쓸 수 있어 PTQ를 택함
터너리 변환 절차
- 정해야 하는 것은 두 가지: 어느 크기 이하를 0으로 볼지(임계값 τ), 남은 가중치를 어떤 크기로 되돌릴지(스케일 s)
- 그룹별 평균 절댓값 α를 구하고 τ = α/2로 코드(-1, 0, +1)를 정한 뒤, 0이 아닌 가중치의 평균 절댓값을 s로 써서 복원
- 가중치 8개 예시 그룹: α 0.39, τ 0.195, s 0.58 → 8개 중 3개가 0
- 0이 너무 적으면 작은 값까지 ±1로 커져 복원 오차가 늘고, 너무 많으면 남는 정보가 줄어 표현력이 떨어짐
그대로 쓰면 0점이 되는 이유
- 가중치마다 반올림 오차가 생기고(예: 0.90 → 복원 후 0.58), 이 오차가 층을 거치며 누적됨
- 토큰을 하나씩 생성해 채점하는 생성형 벤치마크에서는 정답을 거의 맞히지 못하는 결과로 나타남
- 2비트 이하 극단적 저비트 양자화에서 흔한 현상. 4비트가 실용적인 한계선으로 꼽히는 것도 같은 이유
복원 1단계: on/off-policy distillation + STE
- 교사가 미리 만든 답을 학생이 따라가는 off-policy만으로는, 양자화로 달라진 학생의 실제 출력이 학습 신호에 거의 반영되지 않음
- 그래서 on-policy를 함께 적용함. 학생(터너리 모델)이 만든 문맥에서 BF16 교사가 다음 토큰 분포를 계산하고, 두 분포의 차이를 학습 신호로 씀
- 양자화된 가중치는 미분이 안 되므로 STE를 씀. 역전파 때 양자화 함수를 항등 함수로 보고 잠재 가중치(실수값)에 기울기를 전달하고, 잠재 가중치가 τ를 넘는 순간 코드가 바뀜
- 1에폭 동안 실제로 코드가 바뀐 가중치는 전체의 약 5~7%. 복원은 새 지식을 넣는 작업이 아니라 소수의 코드를 원본 출력에 맞게 고치는 작업에 가까움
- 복원한 모델에 한국어로 자기소개를 요청하면 NVIDIA 연구진이 만든 Nemotron이라고 답함
복원 2단계: 경계 마스킹
- 1·2에폭에서 GSM8K 82.56 → 87.57, HumanEval 72.56 → 80.49, IFEval-ko 61.79 → 68.39
- 3에폭까지 학습하자 GSM8K 85.90, IFEval-ko 64.82로 다시 내려감. 다른 모델로 실험해도 같은 패턴
- STE가 모든 잠재 가중치에 신호를 전달하면서, 바뀔 필요가 없는 값까지 갱신돼 노이즈로 코드가 바뀌는 것으로 판단함
- PTQ 초기값이 τ의 ±10% 안에 있는 가중치(전체의 약 5.9%)만 학습하고 나머지는 동결함. 작은 업데이트로 코드가 실제로 바뀔 수 있는 범위가 여기뿐이기 때문
- 같은 3에폭에서 GSM8K 85.90 → 88.32, IFEval-ko 64.82 → 68.39. 더 오래 학습하는 것보다 어디를 학습할지 정하는 쪽이 효과가 컸음
결과
- 생성형 벤치마크 7종 평균: 원본 93.80 / 복원 83.82 (원본의 89.4%)
- GSM8K 0.00 → 89.31(원본의 약 94%). 수학(GSM8K)·코드(HumanEval)는 원본의 94% 수준, 7종 중 5종이 원본의 89% 이상
- 회복률이 상대적으로 낮은 항목은 풀이가 긴 MATH500과 한국어 지시 이행(IFEval-ko)
맥북 메모리 계산
- 맥은 통합 메모리 전체를 GPU가 쓰지 않음. 기본 설정은 대략 2/3~3/4이고, 보수적으로 2/3로 보면 16GB 맥북은 약 10.7GB, 24GB 맥북은 약 16GB
- Nemotron 3.5 Lightning은 Mamba·Attention 하이브리드 구조. KV 캐시가 필요한 Attention 층이 6개뿐이라 128K 토큰 문맥에서도 KV 캐시가 약 0.8GB
- 공개 설정 파일로 계산하면 가중치 외 메모리는 최대 약 2.4GB, 전체는 최대 약 12.4GB → 16GB 맥북 한도보다 크고 24GB 맥북 한도보다 작음
- 16GB 맥북도 macOS 설정으로 GPU 한도를 약 13.5GB로 높이면 계산상 들어가지만, 시스템과 다른 앱이 쓸 메모리가 크게 줄어 24GB 이상을 권장함
공개 모델
- Hugging Face: nota-ai/Nemotron-3.5-Lightning-30B-A3B-Nota-Ternary-MLX-1014
- 성능 복원을 이어 가고 있는 프리뷰 체크포인트이며, 모델 카드에 저장 포맷과 평가 조건이 정리돼 있음