지난달 API와 Kimi 웹등을 통해 공개되었던 K3.1 Pro의 가중치가 예정대로 공개되었습니다.
https://news.hada.io/topic?id=35879
GN⁺ 추가 요약
- Kimi K3.1 Pro는 텍스트와 이미지를 처리하는 공개 가중치 에이전트 모델로, 총 2.8조 파라미터와 약 100만 토큰의 컨텍스트 창을 갖춤
- Kimi K3를 기반으로 수백 개의 하위 작업 영역에서 대규모 공동 강화학습을 수행했으며, 코딩, 3D 제작, 금융 연구, 사실 정확도와 에이전트 역량을 개선함
- MoE 구조에서 활성 파라미터는 1,040억 개이며, 장문 컨텍스트 처리를 위해 기존 전체 어텐션 계층을 Gated DSA로 교체함
- 공개 평가에서 SWE Marathon v1.1 51.7, 도구 사용 HLE-Full 70.0 등을 기록했으나, 과학 코딩과 일부 추론 평가에서는 비교 모델보다 낮은 점수를 보임
- OpenAI/Anthropic 호환 API를 제공하며, 다중 턴 대화와 도구 호출에서는 content뿐 아니라 reasoning_content와 tool_calls를 포함한 전체 응답 메시지를 그대로 전달해야 함
- Kimi K3.1 Pro는 K3.1 시리즈의 첫 모델로, 네이티브 멀티모달과 에이전트 작업을 지원하는 공개 가중치 모델임
- Kimi K3 후속 학습에 수백 개 영역의 공동 강화학습을 적용했으며, 코딩, 3D 제작, 금융 연구, 사실 정확도 등을 개선함
- 가중치는 별도의 Kimi K3.1 Pro License로 배포됨
- 추가 기술 자료는 Tech Blog에서 확인할 수 있음
- 총 2.8조 파라미터, 활성 파라미터 1,040억 개의 MoE 모델이며, 93개 계층 중 1개가 밀집(Dense) 계층임
- 전문가 896개 중 토큰당 16개를 선택하고, 공유 전문가 2개를 사용함
- 잠재 MoE 차원은 3,584, 전문가별 은닉 차원은 3,072임
- 어텐션은 KDA 69개와 Gated DSA 24개로 구성됨
- Kimi K3의 전체 어텐션 기반 Gated MLA 계층을 Gated DeepSeek Sparse Attention 계층으로 교체해 장문 컨텍스트 처리를 효율화함
- 어텐션 은닉 차원은 7,168, 헤드는 96개임
- DSA 인덱스 헤드 차원은 128, 헤드 수는 32, Top-K는 2,048임
- 컨텍스트 길이는 1,048,576토큰, 어휘 크기는 16만이며 활성화 함수는 SiTU-GLU임
- 텍스트와 이미지를 지원하며, 비전 인코더는 4억 100만 파라미터의 MoonViT-V2임
- 양자화 인지 학습을 적용해 가중치는 MXFP4, 활성값은 MXFP8을 사용함
- 별도 명시가 없으면 reasoning_effort="max", temperature=1.0, top-p=0.95로 평가함
- 비교 대상은 Claude Fable 5.1, GPT-6 Astra, Claude Opus 5.5, DeepSeek-V4.1-Flash-1017, GLM-5.3임
- 독점 모델 평가는 대체 모델로 전환되는 폴백 동작을 포함할 수 있음
- Elo와 벤치마크별 지표는 정확도나 통과율과 직접 비교할 수 없으며, 일부 점수는 외부 보고서와 리더보드에서 가져옴
- 코딩 평가는 주로 Claude Code 하네스로 수행함
- SWE Marathon v1.1은 51.7로 비교표에서 가장 높았으며, DeepSWE v1.1은 75.5를 기록함
- Terminal-Bench 4.0은 65.7로 Claude Opus 5.5의 66.4보다 낮음
- Terminal-Bench-Science 0.1은 38.1로 GPT-6 Astra 68.1, Claude Opus 5.5 63.3보다 낮음
- Terminal-Bench-Science의 DeepSeek 비교 점수 15.7은 이전 DeepSeek-V4.1-Flash의 공식 점수이며, Flash-1017 내부 평가 결과는 9.3임
- ProgramBench는 31.5를 기록했으며, 개별 작업 점수가 95% 이상일 때만 성공으로 계산함
- PostTrainBench v1.2는 36.5를 기록함
- Kimi와 DeepSeek 내부 평가에는 H100 대신 H20 GPU를 사용함
- 평가 안정성을 위해 심사 모델을 최대 추론 노력의 DeepSeek-V4.1-Flash-1017로 통일했으며, 사전 시험에서 공식 GPT-5.6-Terra xhigh 심사와 가장 잘 일치했음
- BenchCAD는 도구 없이 72.8, 도구 사용 시 92.7을 기록함
- 공개 모델은 Vision2Code 17,900개 사례에서 무작위로 뽑은 1,000개 사례로 평가함
- 도구 사용 평가는 Claude Code, 도구 없는 평가는 공식 프롬프트와 채점 방식의 단일 생성으로 진행함
- 내부 평가인 Kimi Code Bench 2.0은 77.1, Kimi Code Bench 3.0 Long-horizon은 61.2를 기록함
- 도구 사용 HLE-Full은 70.0, BrowseComp는 92.1을 기록함
- BrowseComp는 20만 토큰에서 컨텍스트 압축을 수행하고 최대 500단계까지 실행함
- 단계 한도에 도달하면 답변을 강제하며, temperature=1.0, top-p=1.0을 사용함
- Agents' Last Exam v1.1은 전체 43.2, CLI 44.2를 기록함
- 전체 122개 작업 중 CLI 작업은 86개이며, 명시된 요구사항을 우회한 실행은 0점 처리함
- Kimi는 Kimi Code, DeepSeek는 Claude Code로 평가함
- BioMysteryBench는 80.6을 기록함
- 공식 v11을 사용하고 Kimi K3가 심사함
- Kimi는 Kimi Code, GLM과 DeepSeek는 Claude Code, GPT-6 Astra는 Codex를 사용해 하네스가 서로 다름
- OfficeQA Pro v2는 64.4, OfficeQA Pro는 67.4를 기록함
- 모든 PDF를 기계 판독용 텍스트 없이 페이지 이미지로 제공함
- GPT-6 Astra는 Codex, 나머지 모델은 Claude Code를 사용하며, 외부 모델이 온라인에서 정답을 검색한 작업은 0점 처리함
- 전문 업무 평가에서 Frontier Finance 58.6, Harvey Legal Agent 23.7, HANDBOOK.md 44.6을 기록함
- Frontier Finance는 공식 Finance Agent v2 하네스를 사용함
- Harvey Legal Agent는 공개 작업 1,251개를 Artificial Analysis의 Stirrup 하네스로 평가하며, 모든 채점 기준을 통과한 작업의 비율을 계산함
- HANDBOOK.md는 초기 공개 v1 작업과 OpenHands 기반 공식 하네스를 사용함
- 업무 자동화와 컴퓨터 사용 평가에서도 여러 지표를 공개함
- Artificial Analysis 기준 Automation Bench-AA 73.3, GDPval-AA v2.1 1,846 Elo, AA-Briefcase v1.1 1,678 Elo를 기록함
- APEX-Agents는 69.4, 내부 Business Operation은 37.8임
- OSWorld V2.1은 79.6이며, Kimi는 공식 저장소의 Kimi Agent 하네스를 사용함
- 내부 제작 평가에서 DECK-Arena 1,456 Elo, Design Bench 957 Elo를 기록함
- 각각 실제 질의 기반 프레젠테이션 생성과 직접 지시/참조 이미지 기반 그래픽 디자인을 평가함
- 검색과 이미지 생성이 통합된 하네스에서 python-pptx, pptxjs, 자체 DSL을 평가하며, 자동 심사기는 1만 건 이상의 사람 평가로 보정함
- 도구 없는 추론 평가에서 HLE-Full 51.1, HLE-Diamond 39.4, GPQA-Diamond 94.2를 기록함
- HLE-Full과 HLE-Diamond는 각각 2,500개와 1,000개 문항으로 구성됨
- 비교표의 GLM-5.3 HLE 점수는 텍스트 전용 하위 집합의 정확도임
- 멀티모달 도구 사용 여부에 따라 별도 결과를 제공함
- CharXiv는 도구 없이 89.0, Python 사용 시 93.4이며, MMMU-Pro는 각각 84.1과 90.0임
- ZeroBench는 도구 없이 avg@5 29.8, pass@5 39.0이며, Python 사용 시 pass@5 63.0임
- Python 사용 ChartoGraphy는 90.2, BabyVision은 95.4를 기록함
- 원자적 시각 지각 역량을 측정하는 내부 PerceptionBench는 68.3임
- GDP.pdf는 도구 없이 34.6, Python 사용 시 85.7이지만, 입력 처리와 집계 방식이 다름
- 도구 없는 평가에서는 PDF 페이지 이미지를 긴 변 1,152픽셀로 조정하고 Docling 추출 텍스트와 페이지 순서대로 함께 제공함
- Python 사용 평가는 원본 PDF를 IPython 처리용 샌드박스에 전달함
- 모두 Gemini-3.5-Flash의 중간 추론 노력과 공식 심사 프롬프트를 사용하지만, 전자는 완전히 채점된 응답의 엄격한 통과율, 후자는 작업별 채점 기준 통과율의 매크로 평균을 계산함
- 반복 실행 평균을 사용하며, GDP.pdf, ZeroBench, ChartoGraphy는 5회, 나머지 멀티모달 평가는 4회 실행함
- MMMU-Pro는 공식 프로토콜에 따라 원래 입력 순서를 유지하고 이미지를 텍스트 앞에 배치함
- Kimi Hallucination Benchmark는 실제 업무에서 수집한 비식별 고난도 프롬프트를 사실 확인 에이전트로 검증해 주장 단위 환각률을 계산함
- 도구 없는 내부 평가는 5.4, 도구 사용 Hard 평가는 8.3으로 낮을수록 좋음
- 같은 평가의 GPT-6 Astra 결과는 각각 4.2와 5.5임
- ExploitBench는 74.7로, GPT-6 Astra 100과 Claude Opus 5.5 91.0보다 낮음
- 공식 하네스와 300턴 예산으로 평가함
- 5개 시드 중 최선의 결과를 택하는 pass@5 최대 역량 점수이며, 환경별 16개 역량 플래그 달성도를 측정함
- 임의 코드 실행은 16개 역량 전체 달성으로 계산함
- ExploitGym은 20.7이며, Kimi Code로 작업당 실제 경과 시간 6시간을 부여함
- 비교 Claude 결과에도 동일한 6시간 예산을 적용함
- 내부 xdev-bench-hard는 81.0을 기록함
- 전문가가 선별한 소스 코드 기반 취약점 탐색과 익스플로잇 작업으로 구성됨
- Kimi는 Kimi Code, GLM과 DeepSeek는 Claude Code를 사용함
- 엄격한 시간 제한이나 출력 토큰 제한 없이, 무작위 실행 하위 집합에서 pass@3로 평가함
- Kimi 플랫폼에서 모델 ID kimi-k3.1-pro 를 선택해 OpenAI/Anthropic 호환 API를 사용할 수 있음
- 최상위 요청 필드 reasoning_effort 는 "low", "high", "max"를 지원하며 기본값은 "max"임
- 다중 턴 대화와 도구 호출에서는 assistant 메시지 전체를 원형 그대로 messages에 다시 넣어야 함
- content만 저장하지 말고 reasoning_content와 tool_calls도 보존해야 함
- 사용 예시는 이전 추론에만 등장한 숫자를 후속 질문에서 답하도록 구성됨
- 비전 입력, 구조화 출력, 부분 모드, 도구 선택, 동적 도구 로딩, 컨텍스트 캐싱은 Kimi K3.1 Pro Quickstart에서 확인할 수 있음
- 추론 노력 설정의 추가 안내는 Thinking Effort에서 제공함