- llama.cpp의 텐서 연산 라이브러리 ggml이 1.0.0을 출시함. 폐기 예정이던 공개 API와 DIAG_MASK 연산을 제거하고, YaRN 설정과 FP8 지원을 확장
- RPC 프로토콜이 v9로 올라가 이전 버전과의 연결을 거부하므로, RPC를 쓰는 환경에서는 클라이언트와 서버를 함께 업데이트해야 함
- CUDA에 OCP FP8 지원과 배치 크기 2~24에 맞춘 양자화 행렬 곱셈을 추가하고, Metal에서는 MoE 라우팅 연산을 하나로 합침
- FlashAttention과 MoE 실행 경로를 여러 백엔드에서 확장해, Intel용 프리필 커널과 장치 측 MoE 스케줄러, Adreno용 분해형 FlashAttention을 추가함
- 공통 스케줄러는 읽지 않는 입력의 업로드를 생략하며, MoE 캐시는 캐시 미스의 일부를 CPU에서 계산한 뒤 결과를 비동기로 복사할 수 있음
- 폐기 예정 공개 API와 DIAG_MASK_INF/DIAG_MASK_ZERO 연산을 제거하고, 호환되지 않는 상대를 거부하도록 RPC 프로토콜을 변경함
- 관련 변경은 API 정리, 기존 연산 제거와 RPC 변경에서 확인할 수 있음
- YaRN 보정 경계 반올림을 제어하는 ggml_rope_set_truncate/ggml_rope_get_truncate를 추가함
- truncate=false를 지원하며, OpenVINO, SYCL, Vulkan, WebGPU, RPC에도 설정을 적용함
- TRI 역전파를 구현하고, MUL_MAT의 src1 정밀도 테스트와 적용 조건, ggml_prec_set_acc 호출의 기준 정밀도 준수를 반영함
- RPC 프로토콜 v9에서 로딩 시간을 개선하고, 접근 불가능한 엔드포인트와 핸드셰이크 실패를 정상적으로 처리함
- 스케줄러는 읽지 않는 입력을 업로드하지 않으며, 앞선 실행 분할에서 계산한 입력만 프리페치함
- MoE 캐시는 캐시 미스의 일부를 CPU에서 계산하고 결과를 비동기로 복사할 수 있음
- Meta 백엔드는 텐서 수가 적은 버퍼의 계산 뷰 한도를 높임
- CUDA는 작은 배치와 적은 행 수에 맞춘 행렬 곱셈 경로를 확장함
- 배치 크기 2~24용 MMQ와 행 수가 적은 BF16 행렬용 MMVF를 추가함
- OCP FP8을 지원하고, MMQ에서 NVFP4 gate/up 행렬 곱셈과 GLU를 융합함
- FlashAttention에 sm70의 헤드 크기 256 설정과 MMA 헤드 크기 40/72를 추가함
- CUDA MoE는 빈 MMQ stream-k 타일을 건너뛰고, 데이터 배치를 선형화하며, 바이어스 적용 후 NaN을 처리함
- CUDA 그래프와 메모리 처리도 개선함
- 그래프 재사용 시 호환성 검사를 생략하고, 커널 클러스터 차원 변경 시 그래프를 다시 인스턴스화함
- VMM 풀 예약 크기를 절반으로 줄이고 예약 실패 시 재시도함
- d_state=64용 SSM_SCAN 고속 경로를 추가함
- HIP는 고정 BLAS 작업 공간을 사용하고, CDNA2용 MFMA lightning indexer를 추가함
- Metal은 MoE 라우팅을 융합하고, 융합 가능한 노드 그룹을 하나의 명령 버퍼 안에 유지함
- 32 <= K < 64 구간에 mul_mm을 적용함
- GROUP_NORM의 ne03 > 1 및 비연속 입력 문제, FlashAttention 출력 버퍼와 SOLVE_TRI의 범위 밖 접근을 수정함
- CUDA와 Metal 모두 radix Top-K에서 동률일 때도 선택 결과가 일정하도록 변경함
- Vulkan에 Intel용 FlashAttention 프리필 커널을 추가함
- CM2에서 역양자화된 KV 최적화, RDNA3/4의 대형 타일 split-K를 활성화함
- AMD 독점 드라이버 26.10.1 이상에서 대형 coopmat 행렬 곱셈 설정을 다시 활성화함
- 텐서 일괄 복사와 ReBAR 감지를 추가하며, ReBAR 미지원 시 BAR 할당을 피함
- MoltenVK의 범위 밖 접근과 FlashAttention 임시 버퍼 크기 검사를 수정함
- Qualcomm에서 헤드가 큰 경우 스칼라 FlashAttention을 8행으로 제한함
- SYCL에 장치 측 MoE 스케줄러를 추가함
- oneDNN FlashAttention 캐시의 스레드 안전성을 확보하고, Alchemist의 head_dim=64에서 융합 SDPA를 활성화함
- VRAM 용량을 초과하는 장치 버퍼를 거부하며, 4GB 초과 할당의 AOT 문제를 수정함
- Q4_1/Q5_1/Q8_0 복사의 정확한 반올림, 스트라이드 뷰의 CLAMP, f16 SWIGLU_OAI를 지원함
- OpenCL은 Adreno용 분해형 FlashAttention을 추가하고 디코딩 성능을 개선함
- q6_k 타일형 다중 열 GEMV와 f32 MUL_MAT_ID를 추가함
- Adreno X2에서 f32/q5_k 다중 열 GEMV를 기본 활성화함
- 비연속 sigmoid, f16/i32/i16/bf16의 repeat, DSV4 HC 전처리/후처리 커널을 지원함
- WebGPU는 텐서 일괄 처리 API를 지원하고, get_max_size에서 maxBufferSize를 반환함
- GROUP_NORM, MEAN, COUNT_EQUAL, PAD_REFLECT_1D 커널을 추가함
- Hexagon은 Q5_0/Q5_1을 지원하고, conv_2d 최적화와 conv_3d 지원을 추가함
- 정규화 후 잔차 덧셈을 RMS_NORM_MUL에 융합함
- 기존 환경변수 없이 libhtp 자동 로딩을 지원하고, 64비트 FastRPC 핸들 잘림과 Windows ARM64의 clang-cl 호스트 빌드를 수정함
- CPU는 MUL_MAT의 src1을 F32로 전환하고, FlashAttention V를 F32로 누적함
- SpacemiT GATED_DELTA_NET RVV, Q4_1 32x256 HP 커널, IME2 MXFP4 재패킹을 적용함
- ARM NEON의 4x4 simd_gemm 타일을 활성화하고, llamafile에 bf16/q8_0 VXE를 추가함
- CANN은 지원하지 않는 버퍼 유형을 조기에 거부함
- ZDNN은 non-zdnn 텐서를 허용하고 매 연산 후 계산 텐서를 무효화하며, 릴리스 바이너리의 백엔드 라이브러리 감지를 수정함