← 목록으로

Kimi K3.1 Pro 가중치 공개

요약
  • 텍스트와 이미지를 처리하는 2.8조 파라미터 규모의 오픈 가중치 에이전트 모델인 'Kimi K3.1 Pro'의 가중치가 예정대로 공개되었다.
  • 이 모델은 대규모 공동 강화학습을 거쳐 코딩, 3D 제작, 금융 연구 등의 성능을 개선했으며, 장문 컨텍스트 처리를 위해 Gated DSA 구조를 도입했다.

지난달 API와 Kimi 웹등을 통해 공개되었던 K3.1 Pro의 가중치가 예정대로 공개되었습니다.
https://news.hada.io/topic?id=35879

GN⁺ 추가 요약

  • Kimi K3.1 Pro는 텍스트와 이미지를 처리하는 공개 가중치 에이전트 모델로, 총 2.8조 파라미터와 약 100만 토큰의 컨텍스트 창을 갖춤
  • Kimi K3를 기반으로 수백 개의 하위 작업 영역에서 대규모 공동 강화학습을 수행했으며, 코딩, 3D 제작, 금융 연구, 사실 정확도와 에이전트 역량을 개선함
  • MoE 구조에서 활성 파라미터는 1,040억 개이며, 장문 컨텍스트 처리를 위해 기존 전체 어텐션 계층을 Gated DSA로 교체함
  • 공개 평가에서 SWE Marathon v1.1 51.7, 도구 사용 HLE-Full 70.0 등을 기록했으나, 과학 코딩과 일부 추론 평가에서는 비교 모델보다 낮은 점수를 보임
  • OpenAI/Anthropic 호환 API를 제공하며, 다중 턴 대화와 도구 호출에서는 content뿐 아니라 reasoning_content와 tool_calls를 포함한 전체 응답 메시지를 그대로 전달해야 함
모델 개요와 공개 범위
  • Kimi K3.1 Pro는 K3.1 시리즈의 첫 모델로, 네이티브 멀티모달과 에이전트 작업을 지원하는 공개 가중치 모델임
  • Kimi K3 후속 학습에 수백 개 영역의 공동 강화학습을 적용했으며, 코딩, 3D 제작, 금융 연구, 사실 정확도 등을 개선함
  • 가중치는 별도의 Kimi K3.1 Pro License로 배포됨
  • 추가 기술 자료는 Tech Blog에서 확인할 수 있음
아키텍처와 장문 컨텍스트
  • 총 2.8조 파라미터, 활성 파라미터 1,040억 개의 MoE 모델이며, 93개 계층 중 1개가 밀집(Dense) 계층임
    • 전문가 896개 중 토큰당 16개를 선택하고, 공유 전문가 2개를 사용함
    • 잠재 MoE 차원은 3,584, 전문가별 은닉 차원은 3,072임
  • 어텐션은 KDA 69개와 Gated DSA 24개로 구성됨
    • Kimi K3의 전체 어텐션 기반 Gated MLA 계층을 Gated DeepSeek Sparse Attention 계층으로 교체해 장문 컨텍스트 처리를 효율화함
    • 어텐션 은닉 차원은 7,168, 헤드는 96개임
    • DSA 인덱스 헤드 차원은 128, 헤드 수는 32, Top-K는 2,048임
  • 컨텍스트 길이는 1,048,576토큰, 어휘 크기는 16만이며 활성화 함수는 SiTU-GLU임
  • 텍스트와 이미지를 지원하며, 비전 인코더는 4억 100만 파라미터의 MoonViT-V2임
  • 양자화 인지 학습을 적용해 가중치는 MXFP4, 활성값은 MXFP8을 사용함
평가 조건과 코딩 성능
  • 별도 명시가 없으면 reasoning_effort="max", temperature=1.0, top-p=0.95로 평가함
    • 비교 대상은 Claude Fable 5.1, GPT-6 Astra, Claude Opus 5.5, DeepSeek-V4.1-Flash-1017, GLM-5.3임
    • 독점 모델 평가는 대체 모델로 전환되는 폴백 동작을 포함할 수 있음
    • Elo와 벤치마크별 지표는 정확도나 통과율과 직접 비교할 수 없으며, 일부 점수는 외부 보고서와 리더보드에서 가져옴
  • 코딩 평가는 주로 Claude Code 하네스로 수행함
    • SWE Marathon v1.1은 51.7로 비교표에서 가장 높았으며, DeepSWE v1.1은 75.5를 기록함
    • Terminal-Bench 4.0은 65.7로 Claude Opus 5.5의 66.4보다 낮음
    • Terminal-Bench-Science 0.1은 38.1로 GPT-6 Astra 68.1, Claude Opus 5.5 63.3보다 낮음
    • Terminal-Bench-Science의 DeepSeek 비교 점수 15.7은 이전 DeepSeek-V4.1-Flash의 공식 점수이며, Flash-1017 내부 평가 결과는 9.3임
  • ProgramBench는 31.5를 기록했으며, 개별 작업 점수가 95% 이상일 때만 성공으로 계산함
  • PostTrainBench v1.2는 36.5를 기록함
    • Kimi와 DeepSeek 내부 평가에는 H100 대신 H20 GPU를 사용함
    • 평가 안정성을 위해 심사 모델을 최대 추론 노력의 DeepSeek-V4.1-Flash-1017로 통일했으며, 사전 시험에서 공식 GPT-5.6-Terra xhigh 심사와 가장 잘 일치했음
  • BenchCAD는 도구 없이 72.8, 도구 사용 시 92.7을 기록함
    • 공개 모델은 Vision2Code 17,900개 사례에서 무작위로 뽑은 1,000개 사례로 평가함
    • 도구 사용 평가는 Claude Code, 도구 없는 평가는 공식 프롬프트와 채점 방식의 단일 생성으로 진행함
  • 내부 평가인 Kimi Code Bench 2.0은 77.1, Kimi Code Bench 3.0 Long-horizon은 61.2를 기록함
에이전트와 업무 수행 평가
  • 도구 사용 HLE-Full은 70.0, BrowseComp는 92.1을 기록함
    • BrowseComp는 20만 토큰에서 컨텍스트 압축을 수행하고 최대 500단계까지 실행함
    • 단계 한도에 도달하면 답변을 강제하며, temperature=1.0, top-p=1.0을 사용함
  • Agents' Last Exam v1.1은 전체 43.2, CLI 44.2를 기록함
    • 전체 122개 작업 중 CLI 작업은 86개이며, 명시된 요구사항을 우회한 실행은 0점 처리함
    • Kimi는 Kimi Code, DeepSeek는 Claude Code로 평가함
  • BioMysteryBench는 80.6을 기록함
    • 공식 v11을 사용하고 Kimi K3가 심사함
    • Kimi는 Kimi Code, GLM과 DeepSeek는 Claude Code, GPT-6 Astra는 Codex를 사용해 하네스가 서로 다름
  • OfficeQA Pro v2는 64.4, OfficeQA Pro는 67.4를 기록함
    • 모든 PDF를 기계 판독용 텍스트 없이 페이지 이미지로 제공함
    • GPT-6 Astra는 Codex, 나머지 모델은 Claude Code를 사용하며, 외부 모델이 온라인에서 정답을 검색한 작업은 0점 처리함
  • 전문 업무 평가에서 Frontier Finance 58.6, Harvey Legal Agent 23.7, HANDBOOK.md 44.6을 기록함
    • Frontier Finance는 공식 Finance Agent v2 하네스를 사용함
    • Harvey Legal Agent는 공개 작업 1,251개를 Artificial Analysis의 Stirrup 하네스로 평가하며, 모든 채점 기준을 통과한 작업의 비율을 계산함
    • HANDBOOK.md는 초기 공개 v1 작업과 OpenHands 기반 공식 하네스를 사용함
  • 업무 자동화와 컴퓨터 사용 평가에서도 여러 지표를 공개함
    • Artificial Analysis 기준 Automation Bench-AA 73.3, GDPval-AA v2.1 1,846 Elo, AA-Briefcase v1.1 1,678 Elo를 기록함
    • APEX-Agents는 69.4, 내부 Business Operation은 37.8임
    • OSWorld V2.1은 79.6이며, Kimi는 공식 저장소의 Kimi Agent 하네스를 사용함
  • 내부 제작 평가에서 DECK-Arena 1,456 Elo, Design Bench 957 Elo를 기록함
    • 각각 실제 질의 기반 프레젠테이션 생성과 직접 지시/참조 이미지 기반 그래픽 디자인을 평가함
    • 검색과 이미지 생성이 통합된 하네스에서 python-pptx, pptxjs, 자체 DSL을 평가하며, 자동 심사기는 1만 건 이상의 사람 평가로 보정함
추론, 멀티모달과 사실 정확도
  • 도구 없는 추론 평가에서 HLE-Full 51.1, HLE-Diamond 39.4, GPQA-Diamond 94.2를 기록함
    • HLE-Full과 HLE-Diamond는 각각 2,500개와 1,000개 문항으로 구성됨
    • 비교표의 GLM-5.3 HLE 점수는 텍스트 전용 하위 집합의 정확도임
  • 멀티모달 도구 사용 여부에 따라 별도 결과를 제공함
    • CharXiv는 도구 없이 89.0, Python 사용 시 93.4이며, MMMU-Pro는 각각 84.1과 90.0임
    • ZeroBench는 도구 없이 avg@5 29.8, pass@5 39.0이며, Python 사용 시 pass@5 63.0임
    • Python 사용 ChartoGraphy는 90.2, BabyVision은 95.4를 기록함
    • 원자적 시각 지각 역량을 측정하는 내부 PerceptionBench는 68.3임
  • GDP.pdf는 도구 없이 34.6, Python 사용 시 85.7이지만, 입력 처리와 집계 방식이 다름
    • 도구 없는 평가에서는 PDF 페이지 이미지를 긴 변 1,152픽셀로 조정하고 Docling 추출 텍스트와 페이지 순서대로 함께 제공함
    • Python 사용 평가는 원본 PDF를 IPython 처리용 샌드박스에 전달함
    • 모두 Gemini-3.5-Flash의 중간 추론 노력과 공식 심사 프롬프트를 사용하지만, 전자는 완전히 채점된 응답의 엄격한 통과율, 후자는 작업별 채점 기준 통과율의 매크로 평균을 계산함
  • 반복 실행 평균을 사용하며, GDP.pdf, ZeroBench, ChartoGraphy는 5회, 나머지 멀티모달 평가는 4회 실행함
    • MMMU-Pro는 공식 프로토콜에 따라 원래 입력 순서를 유지하고 이미지를 텍스트 앞에 배치함
  • Kimi Hallucination Benchmark는 실제 업무에서 수집한 비식별 고난도 프롬프트를 사실 확인 에이전트로 검증해 주장 단위 환각률을 계산함
    • 도구 없는 내부 평가는 5.4, 도구 사용 Hard 평가는 8.3으로 낮을수록 좋음
    • 같은 평가의 GPT-6 Astra 결과는 각각 4.2와 5.5임
사이버보안 평가
  • ExploitBench는 74.7로, GPT-6 Astra 100과 Claude Opus 5.5 91.0보다 낮음
    • 공식 하네스와 300턴 예산으로 평가함
    • 5개 시드 중 최선의 결과를 택하는 pass@5 최대 역량 점수이며, 환경별 16개 역량 플래그 달성도를 측정함
    • 임의 코드 실행은 16개 역량 전체 달성으로 계산함
  • ExploitGym은 20.7이며, Kimi Code로 작업당 실제 경과 시간 6시간을 부여함
    • 비교 Claude 결과에도 동일한 6시간 예산을 적용함
  • 내부 xdev-bench-hard는 81.0을 기록함
    • 전문가가 선별한 소스 코드 기반 취약점 탐색과 익스플로잇 작업으로 구성됨
    • Kimi는 Kimi Code, GLM과 DeepSeek는 Claude Code를 사용함
    • 엄격한 시간 제한이나 출력 토큰 제한 없이, 무작위 실행 하위 집합에서 pass@3로 평가함
API 사용과 대화 이력 보존
  • Kimi 플랫폼에서 모델 ID kimi-k3.1-pro 를 선택해 OpenAI/Anthropic 호환 API를 사용할 수 있음
  • 최상위 요청 필드 reasoning_effort 는 "low", "high", "max"를 지원하며 기본값은 "max"임
  • 다중 턴 대화와 도구 호출에서는 assistant 메시지 전체를 원형 그대로 messages에 다시 넣어야 함
    • content만 저장하지 말고 reasoning_content와 tool_calls도 보존해야 함
    • 사용 예시는 이전 추론에만 등장한 숫자를 후속 질문에서 답하도록 구성됨
  • 비전 입력, 구조화 출력, 부분 모드, 도구 선택, 동적 도구 로딩, 컨텍스트 캐싱은 Kimi K3.1 Pro Quickstart에서 확인할 수 있음
  • 추론 노력 설정의 추가 안내는 Thinking Effort에서 제공함
그냥 목록으로
원문 보기 ↗