- Microsoft가 분류, 모델 라우팅, 우선순위 지정, 검증, 에이전트 제어를 위한 Microsoft-Decision-1을 출시함. 정해진 선택지마다 확률을 반환해 애플리케이션이 다음 행동을 결정하는 데 활용 가능
- Qwen3.5-9B를 추가 학습해 한 번의 처리로 선택지를 채점하도록 설계함. 예/아니요, 객관식, 평점과 평가 기준에 따른 AI 응답/에이전트 행동 채점 지원
- Microsoft 자체 평가에서 학습에 노출하지 않은 36개 벤치마크, 147,137개 문항의 평균 정확도 83.5%로 비교 모델 중 1위를 기록함
- 공개된 속도 비교에서 중앙값 지연 시간 85ms를 기록함. H2O-Lightning-4B v1.1보다 약 2.5배, GPT-6 Sol보다 약 35배 짧았으며, Microsoft 모델은 Foundry의 동일 리전에서 측정함
- Microsoft Foundry와 OpenRouter에서 이용 가능하며, 입력 토큰 100만 개당 0.042달러, 출력 토큰은 무료임
정해진 선택지를 빠르게 채점하는 모델
- Microsoft-Decision-1은 소프트웨어가 바로 활용할 수 있는 구조화된 의사결정 결과에 특화된 모델임
- 현재 상태와 고정된 선택지를 입력하면 각 선택지에 보정된 확률 점수를 반환함
- 예/아니요 판단, 객관식 선택, 평점 부여를 지원하며, 정해진 평가 기준에 따라 AI 응답이나 에이전트 행동도 채점 가능
- 확률을 기준으로 자동 실행, 결정 보류, 사람에게 검토 요청 등의 흐름을 구성할 수 있음
- Qwen3.5-9B를 추가 학습해 단일 패스 의사결정 채점에 최적화했으며, 향후 Microsoft AI(MAI)와 OpenAI를 포함한 다른 기반 모델로 전환할 계획임
- 순차적인 워크플로에서는 결정마다 지연이 누적됨. 20개 결정에 각각 100ms가 추가되면 전체 처리가 2초 느려지므로, 빠른 판단이 에이전트 실행 속도에 영향을 줌
정확도와 지연 시간 비교
- Microsoft는 학습에 노출하지 않은 공개/비공개 36개 벤치마크, 147,137개 문항으로 일반화 성능을 평가함
- 라우팅, 순위 결정, 긴 문맥, 다국어, 학습 분포와 다른 작업, 추론, 안전성 등을 포함함
- JevBench 상위 공개 모델들을 비교 대상으로 선정했으며, 원문 업데이트에서 Jev 1.13.0의 정확도와 확률 보정 결과도 추가됨
| 모델 | 평균 정확도 | 중앙값 지연 시간 |
|---|---|---|
| Microsoft-Decision-1 | 83.5% | 85ms |
| Jev 1.13.0 | 82.3% | 240ms |
| Quyet-1.0-Large | 81.9% | 380ms |
| Surogate Rune 26B-A4B | 79.7% | 380ms |
| GPT-6 Luna Decisions | 79.4% | 300ms |
| deck-31B | 77.8% | 400ms |
| H2O-Lightning-4B v1.1 | 77.2% | 210ms |
| Strands-Decider 2B | 54.8%* | 미측정 |
- 정확도는 Microsoft 자체 평가 결과임. Strands-Decider 2B는 답할 수 있었던 36개 중 23개 벤치마크의 평균임
- 지연 시간은 2026년 10월 7일 확인한 JevBench v1.6.1의 보정된 중앙값 기준이며, Microsoft-Decision-1은 Foundry의 동일 리전에서 별도로 측정함
- Microsoft-Decision-1의 P95 지연 시간은 125ms임. P95는 요청의 95%가 해당 시간 이내에 처리됐음을 뜻함
- 지연 시간 참조 모델인 GPT-6 Sol은 3.01초였으며, 위 정확도 순위에는 포함되지 않음
입력 변화에 대한 일관성과 확률 보정
- 의미가 같은 입력에는 같은 결정을 내리는지 확인하기 위해 동일 요청을 8가지 방식으로 변형함
- 상태와 지시문을 바꿔 쓰거나, 선택지 설명과 순서, 키, 서식을 변경하는 조건을 포함함
- Microsoft-Decision-1의 평균 판정 변경률은 1.3% 였음. 선택지 설명을 바꿔 쓰거나 선택지 순서를 뒤집거나 무작위로 섞은 조건에서는 판정 변경이 없었음
- 확률 보정은 모델의 확신도가 실제 정답률과 얼마나 맞는지를 뜻함. 대표성 있는 사례에서 90% 확률을 부여한 예측은 약 10번 중 9번 맞아야 함
- 같은 36개 벤치마크의 확률 보정 점수는 Jev 93.7, Quyet 93.1, Microsoft-Decision-1 92.2였으며, Microsoft 모델은 비교 대상 중 3위임
- 안전성은 유해 콘텐츠, 탈옥 시도, 프롬프트 인젝션을 포함한 11개 벤치마크, 5,250개 요청으로 평가함. Microsoft 자체 평가에서는 무해한 요청의 유용성을 유지하면서 유해한 행동을 거부했음
Microsoft 내부 적용 결과
- Xbox Research는 설문, Steam, Twitter/X에서 수집한 1만 건 이상의 자유 형식 피드백과 리뷰를 연구진이 정한 주제로 분류함
- 내부 테스트에서 GPT-6 Sol과 경쟁력 있는 품질을 보이면서 14배 이상 빠르게 실행됐고, 비용은 200분의 1 수준이었음
- Copilot 팀은 채팅과 에이전트 응답의 품질 평가에 사용함
- 내부 테스트에서 GPT5.6 Luna와 경쟁력 있는 품질을 보였으며, 속도는 100배 빨랐음
- 장애 대응에서는 로그, 티켓, 통화, 메시지 등에서 당직 엔지니어에게 필요한 지식을 검색하는 데 사용함
- 내부 비교에서 LLM보다 높은 성능과 빠른 속도를 보였음
- Microsoft Discovery는 이전 실험을 채점하고 접근법을 수정하는 적응형 재계획에 적용함
- LLM 기반 채점보다 일관성은 46배 높고, 채점 속도는 3배 빨랐음
- 적응형 재계획 전체 속도는 약 4배 향상됨
활용할 수 있는 작업
- 에이전트 제어와 모델 라우팅: 다음 단계의 실행, 중단, 재시도, 인계 여부를 판단하거나 품질, 비용, 지연 시간에 맞는 모델과 도구를 선택
- 데이터 분류와 품질 평가: 고객 피드백에 라벨을 붙이고, 사용자 의도를 분류하며, AI 응답을 기준에 따라 수용, 수정, 거부
- 검색과 추천: 검색 결과의 관련성을 채점하고 후보 항목이나 다음 행동의 우선순위를 결정
- 운영과 안전성 검사: 장애의 유형과 긴급도를 분류하고, 코드의 잠재적 결함이나 요청/출력의 위험도를 검토 대상으로 표시
- 컴퓨터 사용, 로보틱스, 과학 연구: 현재 화면에 맞는 인터페이스 동작이나 미리 정의된 로봇 행동을 선택하고, 후보 가설, 화합물, 실험의 후속 평가 순위를 결정
- 원문에는 질의 분류와 배낭 구매 작업을 GPT-6 Sol과 비교하는 데모가 포함됨
제공 경로와 가격
- Microsoft Foundry와 OpenRouter에서 제공함
- 입력 토큰은 100만 개당 0.042달러, 출력 토큰은 무료임
- 평가 결과와 데이터를 반영해 품질, 확신도, 비용을 개선하는 모델 업데이트를 이어갈 계획임