← 목록으로

ggml v1.0.0 - 폐기 예정 API 제거, FP8 지원과 백엔드 성능 개선

요약
  • llama.cpp의 텐서 연산 라이브러리 ggml이 1.0.0 버전을 출시하며 폐기 예정 API 제거, FP8 지원 확장 및 백엔드 성능 개선을 단행했습니다.
  • CUDA, Metal, Vulkan 등 다양한 환경에서 FlashAttention과 MoE 실행 경로를 확장하고 RPC 프로토콜 v9을 도입해 로딩 시간과 호환성을 개선했습니다.
  • llama.cpp의 텐서 연산 라이브러리 ggml이 1.0.0을 출시함. 폐기 예정이던 공개 API와 DIAG_MASK 연산을 제거하고, YaRN 설정과 FP8 지원을 확장
  • RPC 프로토콜이 v9로 올라가 이전 버전과의 연결을 거부하므로, RPC를 쓰는 환경에서는 클라이언트와 서버를 함께 업데이트해야 함
  • CUDA에 OCP FP8 지원과 배치 크기 2~24에 맞춘 양자화 행렬 곱셈을 추가하고, Metal에서는 MoE 라우팅 연산을 하나로 합침
  • FlashAttention과 MoE 실행 경로를 여러 백엔드에서 확장해, Intel용 프리필 커널과 장치 측 MoE 스케줄러, Adreno용 분해형 FlashAttention을 추가함
  • 공통 스케줄러는 읽지 않는 입력의 업로드를 생략하며, MoE 캐시는 캐시 미스의 일부를 CPU에서 계산한 뒤 결과를 비동기로 복사할 수 있음
API와 RPC 호환성 변경
  • 폐기 예정 공개 API와 DIAG_MASK_INF/DIAG_MASK_ZERO 연산을 제거하고, 호환되지 않는 상대를 거부하도록 RPC 프로토콜을 변경함
    • 관련 변경은 API 정리, 기존 연산 제거와 RPC 변경에서 확인할 수 있음
  • YaRN 보정 경계 반올림을 제어하는 ggml_rope_set_truncate/ggml_rope_get_truncate를 추가함
    • truncate=false를 지원하며, OpenVINO, SYCL, Vulkan, WebGPU, RPC에도 설정을 적용함
  • TRI 역전파를 구현하고, MUL_MAT의 src1 정밀도 테스트와 적용 조건, ggml_prec_set_acc 호출의 기준 정밀도 준수를 반영함
  • RPC 프로토콜 v9에서 로딩 시간을 개선하고, 접근 불가능한 엔드포인트와 핸드셰이크 실패를 정상적으로 처리함
공통 실행 스케줄러와 MoE 캐시
  • 스케줄러는 읽지 않는 입력을 업로드하지 않으며, 앞선 실행 분할에서 계산한 입력만 프리페치함
  • MoE 캐시는 캐시 미스의 일부를 CPU에서 계산하고 결과를 비동기로 복사할 수 있음
  • Meta 백엔드는 텐서 수가 적은 버퍼의 계산 뷰 한도를 높임
CUDA와 Metal의 행렬 곱셈 및 MoE 최적화
  • CUDA는 작은 배치와 적은 행 수에 맞춘 행렬 곱셈 경로를 확장함
    • 배치 크기 2~24용 MMQ와 행 수가 적은 BF16 행렬용 MMVF를 추가함
    • OCP FP8을 지원하고, MMQ에서 NVFP4 gate/up 행렬 곱셈과 GLU를 융합함
    • FlashAttention에 sm70의 헤드 크기 256 설정과 MMA 헤드 크기 40/72를 추가함
  • CUDA MoE는 빈 MMQ stream-k 타일을 건너뛰고, 데이터 배치를 선형화하며, 바이어스 적용 후 NaN을 처리함
  • CUDA 그래프와 메모리 처리도 개선함
    • 그래프 재사용 시 호환성 검사를 생략하고, 커널 클러스터 차원 변경 시 그래프를 다시 인스턴스화함
    • VMM 풀 예약 크기를 절반으로 줄이고 예약 실패 시 재시도함
    • d_state=64용 SSM_SCAN 고속 경로를 추가함
  • HIP는 고정 BLAS 작업 공간을 사용하고, CDNA2용 MFMA lightning indexer를 추가함
  • Metal은 MoE 라우팅을 융합하고, 융합 가능한 노드 그룹을 하나의 명령 버퍼 안에 유지함
    • 32 <= K < 64 구간에 mul_mm을 적용함
    • GROUP_NORM의 ne03 > 1 및 비연속 입력 문제, FlashAttention 출력 버퍼와 SOLVE_TRI의 범위 밖 접근을 수정함
  • CUDA와 Metal 모두 radix Top-K에서 동률일 때도 선택 결과가 일정하도록 변경함
Vulkan, SYCL, OpenCL 실행 경로 확장
  • Vulkan에 Intel용 FlashAttention 프리필 커널을 추가함
    • CM2에서 역양자화된 KV 최적화, RDNA3/4의 대형 타일 split-K를 활성화함
    • AMD 독점 드라이버 26.10.1 이상에서 대형 coopmat 행렬 곱셈 설정을 다시 활성화함
    • 텐서 일괄 복사와 ReBAR 감지를 추가하며, ReBAR 미지원 시 BAR 할당을 피함
    • MoltenVK의 범위 밖 접근과 FlashAttention 임시 버퍼 크기 검사를 수정함
    • Qualcomm에서 헤드가 큰 경우 스칼라 FlashAttention을 8행으로 제한함
  • SYCL에 장치 측 MoE 스케줄러를 추가함
    • oneDNN FlashAttention 캐시의 스레드 안전성을 확보하고, Alchemist의 head_dim=64에서 융합 SDPA를 활성화함
    • VRAM 용량을 초과하는 장치 버퍼를 거부하며, 4GB 초과 할당의 AOT 문제를 수정함
    • Q4_1/Q5_1/Q8_0 복사의 정확한 반올림, 스트라이드 뷰의 CLAMP, f16 SWIGLU_OAI를 지원함
  • OpenCL은 Adreno용 분해형 FlashAttention을 추가하고 디코딩 성능을 개선함
    • q6_k 타일형 다중 열 GEMV와 f32 MUL_MAT_ID를 추가함
    • Adreno X2에서 f32/q5_k 다중 열 GEMV를 기본 활성화함
    • 비연속 sigmoid, f16/i32/i16/bf16의 repeat, DSV4 HC 전처리/후처리 커널을 지원함
WebGPU, Hexagon, CPU 지원 확대
  • WebGPU는 텐서 일괄 처리 API를 지원하고, get_max_size에서 maxBufferSize를 반환함
    • GROUP_NORM, MEAN, COUNT_EQUAL, PAD_REFLECT_1D 커널을 추가함
  • Hexagon은 Q5_0/Q5_1을 지원하고, conv_2d 최적화와 conv_3d 지원을 추가함
    • 정규화 후 잔차 덧셈을 RMS_NORM_MUL에 융합함
    • 기존 환경변수 없이 libhtp 자동 로딩을 지원하고, 64비트 FastRPC 핸들 잘림과 Windows ARM64의 clang-cl 호스트 빌드를 수정함
  • CPU는 MUL_MAT의 src1을 F32로 전환하고, FlashAttention V를 F32로 누적함
    • SpacemiT GATED_DELTA_NET RVV, Q4_1 32x256 HP 커널, IME2 MXFP4 재패킹을 적용함
    • ARM NEON의 4x4 simd_gemm 타일을 활성화하고, llamafile에 bf16/q8_0 VXE를 추가함
  • CANN은 지원하지 않는 버퍼 유형을 조기에 거부함
  • ZDNN은 non-zdnn 텐서를 허용하고 매 연산 후 계산 텐서를 무효화하며, 릴리스 바이너리의 백엔드 라이브러리 감지를 수정함
그냥 목록으로
원문 보기 ↗