1.58비트 터너리 양자화 뉴스
키워드 1.58비트 터너리 양자화 결과입니다.
-
새 소식
1.58비트 터너리 양자화로 30B LLM을 맥북에서 돌리기: 0점에서 89.4%까지 복원한 기록
Nvidia Nemotron 30B LLM을 1.58비트 터너리 양자화로 압축하여 24GB 맥북에서 구동할 수 있도록 만든 기록이다. 사전학습을 다시 하지 않는 PTQ 방식과 증류 및 경계 마스킹 기법을 적용해 원본 성능의 89.4%까지 복원하는 데 성공했다.
1.58비트 터너리 양자화LLM맥북 -
아직 공개된 뉴스가 없습니다.
새 기사가 준비되는 대로 이곳에 표시됩니다.
불러오는 중…