← 목록으로

Show GN: GeulPU – 배치·캐시·GPU가 달라도 비트까지 같은 답을 내는 로컬 LLM 엔진

요약
  • GeulPU는 배치 크기나 GPU 종류에 관계없이 비트 단위까지 동일한 결과를 출력하는 로컬 LLM 추론 엔진입니다.
  • 정수 연산과 고정된 반올림 규칙을 통해 실험의 재현성을 보장하며, llama.cpp와 유사한 속도로 동작합니다.

내 PC의 GPU로 GGUF 모델(Qwen2.5·Qwen3·Llama 3·Mistral)을 돌리는 추론 엔진입니다. 같은 요청이면 배치 크기, 동시 요청, 프롬프트 캐시, 추측 디코딩과 상관없이 토큰·로그확률·로짓이 비트까지 같습니다. 정확 모드에서는 NVIDIA와 AMD 사이에서도 같습니다(RTX 3080 Ti·4070 Ti·5070·RX 9060 XT에서 82,673단계 일치).

• 원리: 활성값을 32개 블록 정수로 바꾸고, 곱의 합을 int8 텐서 코어에서 정수로 정확히 더합니다. 정수 덧셈은 순서와 무관해서 어떻게 나눠 계산해도 같은 값이 나옵니다. 남은 반올림은 모두 '정밀도 계약' 문서에 고정했고, CPU 참조 구현이 GPU 결과를 비트까지 재현합니다.
• 왜: LLM 실험을 다시 할 수 있고(재현), 하나만 바꿔 비교할 수 있고(통제), 남이 GPU 없이 확인할 수 있게 하려고 만들었습니다. llama.cpp에서는 동시 요청을 1개에서 8개로 바꾸자 gsm8k 100문항 중 41문항의 답이 바뀌었습니다(llama.cpp는 배치 불변성을 목표로 하지 않습니다).
• 디버거: 에이전트 세션이나 평가 실행을 기록해 비트까지 재생하고, 원하는 토큰에서 갈라 보고, 두 양자화를 요청별로 비교합니다.
• 속도: 생성은 llama.cpp와 같은 수준(0.97~1.06배 시간)이고, 긴 문맥은 아직 1.2~1.6배 느립니다.
• 엔진·커널·서버·앱을 모두 한국어 문법의 프로그래밍 언어 '글'로 썼고, 자체 컴파일러가 실행 파일과 PTX·SPIR-V를 직접 만듭니다. CUDA 툴킷 없이 약 1.5 MB입니다.
• 한계: Windows 배포(리눅스는 소스 빌드·CUDA만), 밀집형 모델만(MoE·Gemma는 아직). 혼자 AI 코딩 도구를 써서 만들었고, 그래서 모든 커널을 CPU 참조와 비트 단위로 대조합니다.

자기 GPU에서 앱의 벤치마크 → 재현성 검증을 돌려 결과를 알려 주시면 큰 도움이 됩니다.

설치: pipx install geulpu 후 geulpu 실행

그냥 목록으로
원문 보기 ↗