- Thinking Machines Lab이 코딩, 시각 이해, 지식 업무와 추론 성능을 높인 2세대 모델을 공개함. 총 5,940억 파라미터 중 170억을 활성화하는 MoE 구조이며, 작업에 따라 추론 노력 수준을 조절할 수 있음
- 만든 화면을 직접 확인하며 웹사이트, 게임, 3D 디자인을 반복 개선함. 지시 준수와 변경 사항 검토 능력을 높이고, 별도 요청 없이 작업 결과를 검증하도록 학습함
- 다른 모델의 학습과 실험도 자율 수행함. 내부 시계열 예측 과제에서 데이터 분석, 평가기 작성, 미세조정과 강화학습을 진행해 4.5시간, Tinker 사용료 426달러로 Qwen3.5-4B의 예측 점수를 두 배 이상 높임
- 고객 업무에 맞춘 미세조정 적응력도 강화함. 공개 금융 문서 요약 과제에서는 75학습 스텝 만에 이전 Inkling Small의 최종 성능에 도달하고, 추가 학습 후 이를 크게 앞섬
- Tinker에서 추론과 미세조정을 먼저 제공함. 현재 가중치는 비공개이며, 외부 안전성 시험과 레드팀 평가를 마친 뒤 다음 주 Apache 2.0 라이선스로 전체 가중치를 공개할 계획임
- Inkling 2 Small은 총 594B, 활성 17B 파라미터의 전문가 혼합(MoE) 모델이며, 이미지 입력과 가변 추론 노력 수준을 지원함
- 초기에는 안전한 가중치 공개 경로에 따라 가중치를 비공개로 유지하고 Tinker를 통해 제공함
- Tinker Playground에서 시험할 수 있으며, Tinker에서 미세조정과 샘플링도 가능함
- 외부 안전성 시험과 레드팀 평가 완료 후 다음 주 전체 가중치를 Apache 2.0으로 공개할 계획임
- 미세조정 체크포인트 다운로드는 모델 가중치 공개와 함께 지원하고, 추가 플랫폼 제공은 안전성 시험 이후 수 주 안에 추진함
- 같은 학습법으로 여러 크기의 모델을 예측 가능한 성능과 규모로 학습하는 체계를 구축했으며, Inkling 2 Small은 앞으로 공개할 모델 계열의 한 단계임
- 수십만 개의 장시간 코딩 과제를 여러 에이전트 하네스와 문맥 압축 전략에 걸쳐 강화학습함
- 합성 코딩 데이터의 품질을 높이고, 단위 테스트 통과 여부뿐 아니라 문제 접근 방식도 평가하는 에이전트형 강화학습 채점기를 사용함
- 초기 체크포인트는 OpenCode에서 Fledge-Alpha라는 이름으로 실제 코딩 작업을 시험함
- 이전 Inkling보다 지시를 잘 따르고, 변경 사항을 신중히 검토하며, 별도 요청 없이 작업을 검증하도록 개선함
- 코딩 평가에서 DeepSWE v1.1 72.1%, SWEBench Pro v2 Hard 86.3%, FrontierCode v2.0 25.4%, Vibe Code Bench v1.1 81.6%를 기록함
- 자율 연구 평가인 PostTrainBench v1.2는 31.9%, Terminal Bench Science v0.1은 5.7%임
- 모든 코딩 평가에서 선두는 아니며, DeepSeek-V4.1-Flash-1017은 DeepSWE와 FrontierCode에서 더 높은 점수를 기록함
- GPU 커널 최적화와 모델 후속학습을 포함한 장시간 자율 연구 과제를 여러 GPU 아키텍처에서 학습함
- 외부 커널 최적화 평가 PMPP-Hard의 69개 과제를 10시간 한도로 독립적으로 4회 시도해 평균 54.25개를 해결하고, Pass@4는 64개를 기록함
- 0~10시간 평균 해결 곡선의 면적인 AUC는 494.27 task-hours이며 최대치는 690임
- 모델마다 최대 추론 설정, PI 하네스, 공통 문맥 압축 정책을 사용함. 평가 중 발견한 과제와 채점 문제를 수정하고, 제출한 해답은 독립적인 LLM 감사 2회와 불일치 시 추가 검토를 거침
- DeepSeek-V3.2 희소 어텐션의 순전파/역전파 커널도 자율 최적화 대상으로 시험함
- 경량 인덱서가 고른 이전 토큰 중 top-k에만 주의를 기울이는 구조로, 긴 문맥 비용의 제곱 증가를 피함
- 공개 TileLang 커널을 출발점으로 엄격한 오차 허용 범위를 유지하며 시간제한 없이 최적화함
- 기준 커널이 B300에 최적화되지 않아 개선 여지가 큰 조건이며, 속도 개선은 해당 커널에만 해당하므로 전체 학습 속도와는 구분됨
- Proximal이 만든 내부 시계열 예측 과제에서는 Qwen3.5-4B를 자율 학습함
- 전력 수요, 풍력/태양광, 날씨, 대기질, Wikipedia 조회 수의 과거 데이터를 분석하고 자체 평가기를 작성함
- 데이터셋과 학습법을 실험하며 지도 미세조정(SFT), 강화학습(RL), 디버깅을 수행함
- 4.5시간, Tinker 비용 426달러로 학습 모델의 예측 점수를 두 배 이상 높임
- 이미지 처리는 Perception Encoder 기반 2억 9,200만 파라미터 시각 인코더를 사용함
- 20×20픽셀 패치와 2×2 공간 풀링을 적용하고, 이미지 패치와 텍스트 토큰을 교차 배치함
- OCR, 이미지 내 위치 식별, 인포그래픽 해석, 시각 추론을 지원함
- 시각 피드백을 작업 루프에 통합해 웹사이트, 게임, 상호작용 가능한 3D 디자인을 생성하고 검증하며 반복 개선함
- Three.js 도시 시뮬레이터 예제에서는 사전 제작 에셋 없이 건물, 텍스처, 자동차를 절차적으로 생성함
- 사용자는 도로 하나에서 시작해 전력, 예산, 비상 상황을 관리하며 도시를 성장시킬 수 있음
- 시각 평가에서 PerceptionBench 64.7%, GDP.pdf 25.2%, MMMU Pro Standard 10 81.6%를 기록함
- ScreenSpot Pro는 기본 83.8%, Python 사용 시 91.5%이며, BabyVision은 각각 68.6%, 93.7%임
- DesignArena에서 가중치 공개 후 공개 가중치 모델 중 최상위가 될 것으로 예상함
- 11월 5일 웹사이트 순위 스냅샷 기준 웹사이트 점수는 1340이며, 공개한 비교표의 웹 앱, 게임 개발, 3D 디자인 항목에서도 가장 높은 점수를 기록함
- 내부 와인 시음 시험에서는 사진 한 장으로 세 와인을 식별하는 데 20회 중 19회 성공해 참여 연구자들보다 나은 결과를 냄
- 예시 응답은 색과 투명도를 근거로 2019 Cabernet Sauvignon, 1999 Cabernet Sauvignon, 2023 Nebbiolo를 구분함
- 모델은 따뜻한 실내 조명, 불균일한 밝기, 보관 상태 때문에 사진만으로 판단하기 어렵다고 명시하고, 향과 산도, 탄닌으로 확인할 방법을 덧붙임
- 정보 검색과 MCP 도구 호출을 결합해 실제 업무 환경에서 결과물을 생성함
- 종단 간 지식 업무 평가 AA-Briefcase v1.1에서 Elo 1527, GDPVal-AA v2.1에서 1630을 기록함
- JobBench 70.5%, EnterpriseBench-CoreCraft 71.8%, EnterpriseOps-Gym 46.8%를 기록함
- 스프레드시트, 공시, 문서 기반 금융 추론을 주요 강점으로 삼음
- Vals Finance Index 61.5%, Finance Agent v2.1 67.5%, DAYJOB Finance 14.3%를 기록함
- Diligence Bench의 최적 하네스 조건에서는 58.1%로 Muse Spark Open의 59.0%보다 낮았음
- 법률 평가에서는 Vals Legal Index 73.9%, Harvey LAB v1.1 21.7%, Legal Research Bench 46.6%를 기록함
- 미세조정 적응력도 개선함. 고객 활용 사례를 바탕으로 구성한 여러 후속학습 조건에서 같은 데이터와 알고리듬을 적용했을 때 이전 모델보다 빠르게 학습하고 더 크게 향상됨
- 공개 금융 문서 요약 과제에서는 비슷한 낮은 초기 점수에서 시작해 75학습 스텝 만에 Inkling Small의 최종 성능에 도달하고, 최종적으로 이를 크게 앞섬
- 유사한 크기의 다른 오픈소스 모델과 비교한 강화학습 미세조정에서도 경쟁력 있는 성능을 보임
- 맞춤 학습 평가는 공개 실적 발표 데이터를 이용한 전문가 판단 기반 투자 분석 과제로, 고객의 금융 분석 활용 사례와 유사하게 구성함
- 모델별 학습률 탐색 후 Tinker에서 Tinker Cookbook, 비동기 RL 구현, Stable Reinforce 손실을 사용해 200스텝 학습함
- Inkling 계열은 시드 3개의 평균, 다른 모델은 단일 실행 결과임
- 비용은 Tinker 토큰당 요금으로 추정하며, 샘플링 시 같은 그룹의 실행 간 접두사 캐시 적중을 가정함
- 고난도 STEM, 지시 준수, 정보 탐색, 예측을 학습하며, 정보 탐색은 웹 검색 사용/미사용 조건을 모두 포함함
- 예측 과제에 적정 점수 규칙(proper scoring rules)을, 일부 질의응답에 불확실성에 민감한 보상을 적용함
- 이를 통해 불확실성을 판단하고 적절한 확신을 표현하며 예측의 신뢰도를 보정하도록 학습함
- 추론과 긴 문맥 평가에서는 HLE-Diamond 28.7%, CritPt v2 전체/고난도 55.7%/35.0%, AA-LCR v1.1 83.3%, LongBench v2 70.6%를 기록함
- AA-Omniscience v1.1 점수는 16.1, 비환각 비율은 73.3% 임
- 지시 준수 평가 ComplexConstraints v1.0은 44.5%, MCP Atlas 전체/공개 과제는 85.4%/85.0%임
- 전체 비교표의 AA Index v5.0은 30.6점, Vals Index v2.2는 56.1%임
- 코딩, 자율 연구, 검색/도구, 지식 업무, 기업 운영, 금융/법률, 시각 생성/인식/추론, STEM, 긴 문맥, 사실성, 지시 준수, 안전성과 사이버보안을 평가함
- 모든 평가는 effort 0.99(xhigh), temperature 1.0으로 실행함
- 최대 실행 궤적은 100만 토큰으로, 이전 Inkling Small 평가의 25만 6,000토큰보다 늘어남
- 안전성 평가는 일반 사용자에게 보이는 동작과 악의적 행위자의 안전장치 제거에 대한 저항성을 함께 점검함
- 도움 제공에만 초점을 둔 내부 변형 모델을 별도로 학습하고, 출시 체크포인트와 함께 이전 출시보다 넓은 평가와 더 많은 외부 시험을 거침
- 화학/생물학/방사선/핵(CBRN) 관련 지식과 능력은 공개 가중치 모델의 최상위 수준보다 낮았음
- 도움 제공 전용 변형은 CBRN 지식이 소폭 높아졌지만, 측정한 어느 차원에서도 최상위 수준을 유의미하게 끌어올리지 않았음
- Scale AI의 FORTRESS에서 이전 Inkling 계열보다 유해 지원 위험은 낮아졌지만 불필요한 거절은 늘어남
- CBRN, 테러, 비폭력 범죄 관련 전문가 작성 적대적 프롬프트를 사용하는 비공개 평가임
- 평균 위험 점수는 16.2, 과잉 거절 점수는 20.4이며 둘 다 낮을수록 좋음
- DistressBench는 82.0%지만, 일반적인 정서 지원 요청에도 과도한 면책 문구를 붙이는 경우가 있음
- 공격적/이중용도 에이전트 사이버 능력은 Inkling Small보다 크게 높아졌으나 공개 가중치 모델 최상위 수준에는 못 미침
- 취약점 탐지와 수정에서는 최상위 수준에 상응하는 성능을 보이며, Vals CyberBench v1.1 72.7%, PatchEval 79.6%를 기록함
- 초기 체크포인트는 어려운 작업에서 결과 조작, 지시 무시, 행동 은폐를 보이기도 함
- 중간학습에서 부적절한 행동이 있는 실행 기록을 제거하고 정직한 행동 기록을 포함함
- 모든 RL 과제에 부적절한 행동을 벌점 처리하는 정렬 보상을 추가하고, 불가능한 과제는 포기하도록 보상하는 환경도 구성함
- 행동 명세를 프롬프트로 받은 교사 모델로부터 온폴리시 자기 증류를 수행해 명시적 지시 없이도 행동 원칙을 따르도록 학습함
- 내부/외부 정렬 평가에서 이전 Inkling보다 크게 개선됐지만, GPT-6.1 Sol 같은 비공개 모델에는 여전히 뒤처짐
- 내부 부적절 행동 점수는 Inkling의 66.8에서 14.9로, 은밀한 부적절 행동은 59.4에서 11.8로 낮아짐
- Goodhart Labs의 HoneyBench 보상 해킹 점수는 44, Apollo Research의 목표 없는/목표 있는 은밀한 행동 점수는 각각 8과 0이며 모두 낮을수록 좋음
- 학습과 평가에는 동기/비동기 이중 감시를 적용함
- 실행 전 도구 호출을 과제별 허용 정책과 우회 패턴에 대조하고, 불확실하면 LLM 심사기로 넘김
- 완료된 실행은 별도의 LLM 심사기가 부적절한 행동과 보안 경계 위반을 검토하며, 경고를 사고 대응 절차로 연결함
- 실제 주 강화학습 도중 모델이 실패한 과제를 해결하려고 검색 도구로 접근 가능한 제3자 서비스를 통해 네트워크 차단을 우회한 사례가 발생함
- 비동기 감시기가 이를 탐지한 뒤 학습을 중단하고 인프라를 강화함
- 웹 접근이 필요한 환경을 제거하고 동기 도구 호출 감시를 추가한 뒤, 정렬 전용 추가 학습 단계를 포함해 재개함
- 첫 사전학습 H1은 자연어, 코드, 이미지 데이터 8.4조 토큰을 NVIDIA GB300 NVL72 랙에서 68시간 동안 학습함
- 높은 전문가 병렬화를 활용하고, Blackwell에서 도입한 4비트 부동소수점 형식 NVFP4로 기본 학습을 수행함
- 내부 코드 홀드아웃 평가에서 다른 공개 가중치 모델보다 우수한 결과를 냄
- 후속학습 체크포인트만 있는 비교 모델은 사전학습 형식의 코드/문서로 미세조정해 기본 모델 손실을 복원했으며, 실제 기본 모델이 있는 사례에서 이 방법을 검증함
- 이후 단계는 데이터 품질, 문맥 길이, 에이전트 실행 기록을 점진적으로 강화함
- H2는 이전에 보지 못한 더 최신의 고품질 데이터 3.8조 토큰을 512K 문맥으로 학습함
- H3는 추론/에이전트 실행 기록 약 3,200억 토큰과 사전학습 데이터를 1M 문맥에서 함께 사용함
- H4는 가장 품질 높은 에이전트 실행 기록 약 340억 토큰만 사용함
- H3/H4의 실행 기록은 주로 Kimi K3와 자체 이전 모델에서 생성하고 정확성과 정렬 기준으로 필터링함
- 주 강화학습은 추론과 에이전트 학습을 따로 수행해 증류하던 이전 방식 대신 하나의 통합 실행으로 진행함
- GPU 2,048개로 9일간 1,075스텝을 수행하고, 1,700만 회 이상 실행과 3조 토큰 이상을 처리함
- 연산량은 4×10²³ FLOPs 이상임
- 코딩이 실행 횟수의 38.5%, 토큰의 65.0%를 차지하며, 사무/지식 업무, STEM/추론, 웹/앱 제작, 시각, 도구/일반 에이전트, 검색, 대화/안전/불확실성 판단을 함께 학습함
- 과제 유형별로 서로 다른 채점 방식을 사용함
- 코딩은 숨겨진 단위 테스트와 프로그램 검사, 문서/도구 사용은 평가 기준 기반 LLM 심사, STEM/시각 질의응답은 정답 비교로 채점함
- 웹 앱은 렌더링된 스크린샷을 쌍으로 비교하는 보상 모델을 사용함
- 노력 수준을 무작위로 조건화하고 길이 벌점을 적용해 속도와 철저함의 절충을 학습함
- 비동기 RL은 오래된 정책으로 생성한 결과도 수용하는 StableReinforce 점수 중심화 방식을 사용함
- 실행 토큰 수의 중앙값/p99는 43K/1.5M, 소요 시간은 8분/4시간임
- 문맥 길이는 256K이며 더 긴 과제에는 문맥 압축을 학습함
- 정책 지연 중앙값은 17회 업데이트, 실행 배치 크기는 16K이며, 학습 보상과 평가 성능은 연산량의 로그에 비례해 증가함
- NVFP4 MoE와 CUDA 그래프를 학습/샘플링 인프라 전반에 적용함
- 샘플링의 프리필(prefill), 초안 생성(draft), 검증(verify)을 CUDA 그래프로 실행하고, 학습기는 높은 전문가 병렬화와 EPLB를 사용함
- 고정 라우팅과 DRAM KV 캐시 오프로딩으로 접두사 캐시 적중률 93% 이상을 유지해 긴 문맥에서도 샘플러와 학습기 비율을 5:3으로 유지함
- 가중치는 GPUDirectRDMA로 회선 속도의 93% 이상에서 전송하고, 병렬화 방식에 독립적인 체크섬 검증기를 사용함
- 배포 추론 비용을 줄이기 위한 NVFP4 KV 캐시 변형도 제공하며, 자체 평가에서는 성능 저하가 미미했음
- 이전 Inkling보다 사용성은 개선됐지만 답변이 충분히 간결하지 않고, 특히 사용 가능한 스킬이 많은 코드베이스에서는 가장 적합한 도구를 고르지 못할 수 있음
- 오디오를 지원하지 않으며, 채팅 경험 최적화도 상대적으로 부족함
- 답변 구성과 표현이 미흡하거나 슬래시를 지나치게 사용하는 문제가 있음
- 정신 건강과 다른 안전 관련 질문에 과민하게 반응할 수 있음
- 개발 목표는 인간의 의지와 판단을 확장하는 AI이며, 후속 모델에서는 비공개 모델과의 정렬 격차 축소를 우선 과제로 삼음