- 코딩과 3D 제작, 금융 조사와 장시간 에이전트 작업을 강화한 Kimi K3.1 Pro 출시. K3의 사후 학습을 확대한 3조 매개변수급 모델로, 100만 토큰 문맥 지원
- 실제 터미널 작업을 평가하는 Terminal-Bench 4.0에서 65.7% 로 Claude Opus 5.5의 66.4%에 근접. 발표 자료의 SWE-Marathon 비교에서는 51.7%로 최고 점수 기록
- 설명과 스케치, 참조 이미지로 3D 모델을 만들고 Blender와 CAD용 스크립트를 작성. 함께 제공하는 3D Make에서 모델을 미리 보고 편집하거나 3D 프린팅용 파일, 영상과 Live Photos로 출력 가능
- 금융 문서를 검색하고 교차 검증하며 수치를 분석하는 작업도 개선. OfficeQA Pro v2에서 64.4점으로 비교 모델 중 최고 성적을 기록하고, 내부의 어려운 사실 확인 평가에서는 주장 단위 환각률이 K3의 23.4%에서 8.3%로 감소
- 일반 Pro보다 2~3배 빠른 Highspeed 버전도 함께 제공. Kimi 웹과 앱, Kimi Work, Kimi Code, API에서 사용할 수 있으며, 전체 가중치는 2026년 11월 4일까지 공개 예정
- 공개 가중치의 악용 위험을 줄이기 위해 중간 학습과 강화학습에서 사이버 관련 데이터를 제거. 공격 역량은 통제하지 않은 모델보다 낮아졌지만, 일반 코딩과 디버깅 능력의 향상으로 K3보다는 높아짐
- Kimi K3.1 Pro는 새 K3.1 시리즈의 첫 모델이며, Kimi가 지금까지 개발한 모델 중 가장 강력한 3T급 오픈 웨이트 모델을 목표로 출시함
- Kimi K3를 기반으로 사후 학습 연산량을 크게 늘렸으며, 문맥 창은 100만 토큰임
- 함께 출시하는 K3.1 Pro Highspeed는 일반 Pro보다 2~3배 빠른 응답을 제공함
- 수백 개 하위 분야를 함께 학습하는 대규모 강화 학습(RL) 을 위해 전체 학습 스택을 최적화함
- RL 프레임워크, 긴 문맥 추론, 학습 효율, 샌드박스 인프라, 롤아웃 스케줄링, 환경 품질 검사용 공통 플랫폼을 개선함
- RL 연산량 증가가 안정적이고 예측 가능한 개선으로 이어지도록 했으며, Kimi의 평가에서는 모든 분야에서 일관된 향상을 보임
- 실제 코드베이스의 작은 수정부터 전체 프로젝트 구축까지 지원하며, 게임과 웹 경험의 시각적 완성도도 강화함
- Unity, Unreal Engine, Godot를 웹 검색 및 3D 생성과 결합해 완성된 경험을 제작함
- 프런트엔드 페이지, Three.js 상호작용 장면, 3D 자산의 구성, 타이포그래피, 애니메이션과 마감 품질이 개선됨
- Terminal-Bench 4.0은 자원이 제한된 실제적인 터미널 작업을 과제별 엄격한 테스트로 평가함
- K3.1 Pro는 65.7%, GPT-6 Astra는 58.2%, Claude Opus 5.5는 66.4%를 기록함
- 내부 평가인 Kimi Code Bench 3.0 Long-horizon에서는 K3의 55.95%에서 61.2%로 향상됨. 이 평가는 여러 엔지니어링 분야의 다단계 실행, 도구 사용, 종단 간 문제 해결을 다룸
- 내부 실험에서는 오픈소스 인체 해부학 모델 human-atlas를 바탕으로 학습 및 평가 파이프라인을 갖춘 인간 보행 시뮬레이터를 구축함
- 기반 모델에는 연골을 포함한 골격 구성요소 296개와 근육 구성요소 402개가 있음
- 167개 임무와 420회의 독립 검토를 거쳐 실험 결과 분석, 문제 진단, 보행 제어기 개선을 반복함
- 수초 만에 쓰러지던 시뮬레이션 인체가 좌우 다리를 번갈아 움직이며 11.2초 동안 연속 보행하도록 개선함
- 보상 설계 조정으로 팔 움직임이 개선되지 않자, 개방 루프 방식으로 시뮬레이터 동역학을 탐색해 어깨 근육 모멘트암 계산 오류 36개를 수정한 뒤 제어기를 재학습함
- BenchCAD는 여러 시점의 렌더링을 보고 CAD 코드를 생성해 3D 형상을 재구성하는 능력을 평가함
- 도구 사용 조건에서 K3.1 Pro는 92.7% 를 기록했으며, Claude Opus 5.5는 96.2%, GPT-6 Astra는 95.9%임
- 텍스트 설명, 스케치, 참조 이미지로부터 형태, 비율, 공간 관계를 추론해 사용할 수 있는 3D 모델을 제작하며, 기존 자산 라이브러리와 모델 컬렉션에 대한 이해도 강화함
- 기계 부품, 건축 모형, 구성을 바꿀 수 있는 제품, 맞춤 가구 등의 매개변수 기반 모델링에 강점을 보임
- MCP 커넥터 없이 Blender와 CAD 소프트웨어용 스크립트를 작성하고 실행할 수 있음
- 자산 생성과 개선, 구성요소 편집, 형상과 재질 및 장면 배치 조정을 수행함
- 3D Make를 Kimi.ai와 Kimi 앱에서 제공함
- 온라인에서 3D 모델을 미리 보고 편집할 수 있으며, 3D 프린팅용으로 다운로드하거나 동영상 및 Live Photos로 내보낼 수 있음
- OfficeQA Pro v2에서 64.4점으로 최고 성적을 기록함
- 실제 금융 문서를 대상으로 검색, 문서 간 교차 검증, 다단계 수치 추론을 수행하는 복잡한 재정 데이터 분석 평가임
- 투자 대상 선별부터 수익성 분석까지 전체 투자 업무를 평가하는 Frontier Finance에서도 K3보다 향상됨
- 내부 금융 평가에서도 세 영역 모두 개선됨
- Financial Modeling: 실제 모델링 작업의 수식 연결, 금융 논리, 최종 워크북 품질을 평가하며 K3 대비 7.2점 상승함
- Financial Research: 증거 및 기준 시점 제약 아래 감사 가능한 조사 결과를 만드는 능력을 평가하며 11.6점 상승함
- Business Operation: 시뮬레이션 사업 환경에서 장시간 경영 및 의사결정 능력을 평가하며 약 4.2배 성능을 기록함
- 금융 분석과 투자 조사에 필요한 사실 정확성을 높이기 위해 실제 업무와 어려운 프롬프트에 대한 개선을 진행함
- 내부 Kimi Hallu Bench Hard에서 주장 단위 환각률이 23.4%에서 8.3% 로 감소함
- 사실 오류가 하나 이상 포함된 응답의 비율은 K3의 42.4% 수준으로 줄어듦
- 오류가 발생하기 쉬운 상황을 의도적으로 구성한 스트레스 테스트이므로, 이 수치는 일상 사용의 전체 오류율을 나타내지 않음
- 사후 학습 규모가 커질수록 취약점 연구 성능이 꾸준히 향상됐으며, 일반 중간 학습 데이터와 RL 환경에 포함된 사이버 관련 자료가 그 원인 중 하나였음
- 내부 모델 예비 실험에서는 중간 학습 또는 RL 단계에서 관련 데이터를 제거하지 않으면 후속 사이버 역량이 크게 높아짐
- K3.1 Pro의 공개 가중치 버전에서는 두 단계 모두에서 사이버 관련 데이터를 식별해 제거하되, 일반적인 유용성에 필요한 코딩 과제는 유지함
- 앞으로도 모든 학습 단계에 적절한 통제를 적용할 계획임
- 정제 후에는 내부 xdev-bench-hard로 취약점 발견 및 공격 능력을 평가함
- 전문가가 구성한 소스코드 기반 과제로, Linux 커널, Node.js, JavaScriptCore, Exim, VirGL 등의 최근 공개 취약점을 대부분 충실히 재현하며 완화 조치를 활성화함
- 취약한 소스코드, 짧은 버그 힌트, 바이너리를 제공하고, 에이전트가 별도 샌드박스에서 임의 코드 실행에 성공한 뒤 비밀 문자열을 가져오도록 함
- 실행 결과의 무작위 부분집합에서 pass@3를 보고하며, 강제 시간 제한이나 출력 토큰 제한은 두지 않음
- 동일 학습 파이프라인에서 위험 감소 조치를 적용하지 않은 체크포인트는 90.5%, 최종 K3.1 Pro는 81.0% 를 기록함
- 데이터 제거로 사이버 역량이 낮아졌지만, 일반 코딩과 장시간 디버깅 능력이 사이버 과제로 전이되면서 이전 모델보다는 상당히 향상됨
- Kimi의 평가에서는 최소 3개월 전부터 공개적으로 이용 가능했던 최상위 비공개 모델보다 사이버 역량이 낮음
- 모델 발전에 맞춰 내부 벤치마크도 계속 개선할 계획임
- 가중치 공개에는 공격적 사이버 역량의 최전선을 확장하지 않는 것과 공개 모델의 역량을 점진적으로 높이는 것이라는 두 원칙을 적용함
- Kimi는 방어 목적의 이중 용도 역량이 필요한 사람들에게 비차별적으로 모델을 제공하는 것이 유익하다고 봄
- 사용자가 통제하는 인프라에서 모델을 실행하면 전담 보안 검토를 받기 어려운 레거시 시스템까지 더 많은 팀이 코드를 감사할 수 있다고 기대함
- 이런 역량을 소수 비공개 시스템에 집중시키기보다 점진적으로 확산하는 편이 전체 소프트웨어 보안에 도움이 된다고 봄
- 두 모델은 Kimi.ai, Kimi 모바일 앱, Kimi Work, Kimi Code, Kimi API에서 제공하며, 전체 가중치는 2026년 11월 4일까지 공개할 예정임
- 모바일 앱은 iOS, Android, HarmonyOS에서 제공하며, Kimi Work는 Windows 및 Apple silicon Mac용 3.1.0 이상에서 사용할 수 있음
- Kimi Code에서는 /model로 선택하고, API에서는 kimi-k3.1-pro / kimi-k3.1-pro-highspeed 식별자를 사용함
- API 고객에게는 데이터 무보관(Zero Data Retention) 을 제공함
- Kimi Enterprise 관리자가 조직에서 K3.1 Pro를 활성화할 수 있으며, 출시 시 기본값은 비활성화임
- Kimi Business는 기업용 데이터 보호와 구성원 관리를 제공하고 개인 계정과 조직 계정을 완전히 분리함
- 별도 명시가 없는 결과는 추론 노력 max, temperature=1.0, top-p=0.95 조건임
- Terminal-Bench 4.0, Terminal-Bench Science 0.1, DeepSWE v1.1, SWE-Marathon v1.1 및 내부 코딩 평가에서 K3.1 Pro는 Claude-Code 하네스를 사용함
- Terminal-Bench 4.0 비교 점수는 모델 출시 글 또는 공식 순위표의 최대 보고값을 사용하며, DeepSeek-V4.1-Flash-1017은 출시 자료를 따름
- Terminal-Bench Science에서는 내부 측정한 DeepSeek-V4.1-Flash-1017의 9.3점 대신 구버전 DeepSeek-V4.1-Flash의 공식 15.7점을 비교값으로 사용함
- DeepSWE 비교값은 각 모델 기술 보고서에서, SWE-Marathon의 다른 모델 점수는 공식 순위표에서 가져옴
- 내부 Kimi Code Bench 2.0 및 3.0 Long-horizon의 비교 모델도 최대 추론 노력으로 평가했으며, 비공개 모델 테스트에는 일부 폴백 동작이 개입할 수 있음
- PostTrainBench는 K3.1 Pro와 DeepSeek-V4.1-Flash-1017을 v1.2 및 H20 GPU 환경에서 내부 평가함
- H100 대신 H20을 사용하고, 판정 모델은 최대 추론 노력의 DeepSeek-V4.1-Flash-1017로 통일함
- 테스트에서 이 판정 모델이 공식 GPT-5.6-Terra xhigh 판정과 가장 잘 일치했으며, 나머지 점수는 공식 순위표를 사용함
- ProgramBench는 원점수 대신 95% 이상이면 1, 미만이면 0인 이진 점수를 보고함
- BenchCAD의 공개 모델은 전체 17,900개 Vision2Code 사례에서 무작위로 뽑은 1,000개 부분집합으로 내부 평가함
- 도구 사용 조건은 Claude Code 하네스, 미사용 조건은 공식 프롬프트와 채점 파이프라인을 이용한 단일 생성 방식임
- Claude 점수는 Claude Opus 5.5 System Card, GPT-6 Astra의 도구 사용 점수는 공식 보고서에서 가져옴
- GPT-6 Astra의 도구 미사용 점수는 공개되지 않음
- 에이전트 평가에는 모델별로 서로 다른 하네스가 사용되는 경우가 있음
- BioMysteryBench v11은 Kimi K3를 판정 모델로 사용하고, K3.1 Pro는 Kimi Code, GLM 및 DeepSeek은 Claude Code, GPT-6 Astra는 Codex로 평가함. Claude 점수는 공식 시스템 카드에서 가져옴
- Agents’ Last Exam v1.1은 CLI 과제 86개를 포함한 122개 과제로 구성됨. Wireshark 분석 대신 온라인에서 정답을 찾는 등 요구사항을 우회한 실행은 0점 처리함
- OfficeQA Pro 및 v2는 전체 PDF를 기계 판독 텍스트 없이 이미지로 제공함. GPT-6 Astra는 Codex, 나머지는 Claude Code를 사용하며, 온라인에서 참조 정답을 가져온 과제는 0점 처리함
- 분야별 평가에는 각각의 공식 환경 또는 전용 하네스를 사용함
- Frontier Finance는 공식 finance agent v2, HANDBOOK.md는 OpenHands 기반 공식 하네스와 초기 공개 v1 과제를 사용함
- Harvey Legal Agent는 공개 과제 1,251개를 Artificial Analysis의 Stirrup 하네스로 평가하며, 모든 평가 기준을 통과한 과제 비율을 보고함
- OSWorld V2.1은 공식 저장소의 Kimi Agent 하네스로 평가하고, GPT-6 Astra 점수는 Muse Wonder 기술 보고서에서 가져옴
- DECK-Arena와 Design Bench는 각각 실제 요청 기반 프레젠테이션 생성과 직접 지시 또는 소수의 참조 이미지를 이용한 그래픽 디자인을 평가함
- 검색과 이미지 생성을 통합한 하네스에서 python-pptx, pptxjs, Kimi 자체 DSL을 사용함
- 1만 건 이상의 인간 판단으로 보정한 자동 채점기를 사용함
- MCP Atlas는 공개 과제 500개를 100턴 제한으로 평가하며 Gemini 3.1 Pro가 판정함
- BrowseComp는 20만 토큰에서 문맥 압축을 수행하고 최대 500단계까지 실행함
- 한도에 도달하면 답변을 강제한 뒤 판정하며 temperature=1.0, top-p=1.0을 사용함
- GDPval-AA v2.1, AA-Briefcase v1.1, AutomationBench-AA 점수는 Artificial Analysis에서, Apex Agents 점수는 공식 순위표에서 가져옴
-
PDF 및 멀티모달 평가는 도구 사용 여부에 따라 입력과 채점 방식이 다름
- Python 사용 GDP.pdf는 원본 PDF를 샌드박스에 전달해 IPython으로 처리하게 하고, Gemini-3.5-Flash의 중간 추론 노력 설정으로 평가 기준별 통과 여부를 판정함. 과제별 5회 실행 평균을 구한 뒤 과제에 동일 가중치를 적용함
- 일반 GDP.pdf는 긴 변을 1,152픽셀로 조정한 페이지 이미지와 Docling 추출 텍스트를 페이지 순서대로 제공하며, 완전히 채점된 응답의 엄격한 통과율을 보고함
- GDP.pdf, ZeroBench, ChartoGraphy는 5회 평균, 다른 멀티모달 평가는 4회 평균을 사용함
- MMMU-Pro는 공식 절차에 따라 원래 입력 순서를 유지하고 이미지를 텍스트 앞에 배치함
- HLE와 HLE-Diamond는 각각 2,500개, 1,000개 전체 문항의 정확도로 일반 지식과 추론을 평가함
- 별표가 붙은 모델은 텍스트 전용 문항 부분집합의 정확도를 사용함
- Kimi Hallucination Benchmark는 실제 업무에서 가져와 비식별화한 어려운 내부 프롬프트를 대상으로, 사실 확인 에이전트가 주장 단위 환각률을 평가함
-
사이버보안 벤치마크마다 실행 예산과 지표가 다름
- ExploitBench는 공식 하네스와 300턴 예산을 사용함. 5개 시드 중 최고 실행을 기준으로 16개 역량 항목 달성도를 측정하는 pass@5 최대 역량 점수를 보고하며, 임의 코드 실행은 16개 전체 달성으로 간주함
- ExploitGym은 KimiCode 하네스에서 과제당 실제 경과 시간 6시간을 허용함
- xdev-bench-hard는 K3.1 Pro에 KimiCode, GLM-5.3 및 DeepSeek-V4.1-Flash-1017에 Claude Code 하네스를 사용함
- 보안 비교 점수는 GPT-6 Astra 보고서, Claude 시스템 카드, GLM-5.3 출시 글에서 가져옴