← 목록으로
지난 소식
Gemini 4 Carbon, AAII v5 1위, 코딩 에이전트 2위
요약
- Google의 Gemini 4 Carbon이 Artificial Analysis Intelligence Index v5에서 1위를 기록하며 복잡한 추론과 지식, 과학 과제에서 우수한 성능을 입증했습니다.
- 코딩 에이전트 평가에서는 2위를 차지했으며, 현재 선별된 사용자에게만 배포되는 가운데 기존 모델 대비 비용 효율성도 확보했습니다.
- Google의 Gemini 4 Carbon이 Artificial Analysis Intelligence Index v5에서 59점으로 1위를 기록함. 복잡한 추론, 지식, 과학 과제에 강점을 보이며 9개 평가 중 4개에서 최고 점수를 얻음
- 코딩 에이전트 평가에서는 Antigravity CLI와 함께 59점으로 2위를 기록함. Claude Opus 5.5를 사용하는 Claude Code의 62점보다 3점 낮음
- 지식 평가인 AA-Omniscience에서 54점으로 선두를 기록함. 정답률은 Argon보다 10%포인트 높은 58%이며, 환각률도 4%에서 11%로 상승했지만 평가 모델 중 두 번째로 낮음
- 표준 요금 기준 Intelligence Index 과제당 비용은 7.76달러로 Opus 5.5보다 약 23% 낮음. Argon과 과제당 비용이 비슷하면서 종합 점수는 9점 높음
- 선별된 사용자에게만 배포 중이며 아직 일반 공개되지 않음. 종료일이 확정되지 않은 50% 출시 할인을 제공하지만, 평가의 모든 비용 수치는 표준 요금을 기준으로 함
추론, 코딩, 지식 업무 평가 결과
- Gemini 4 Carbon은 추론 수준을 높음(high)으로 설정했을 때 Intelligence Index v5에서 59점을 기록함
- 9개 평가 중 HLE-Diamond, Terminal-Bench-Science, AA-Omniscience, AutomationBench-AA에서 1위를 차지함
- 다른 Gemini 모델 대비 코딩과 지식 업무도 크게 개선됐지만, 두 영역 모두 선두는 아님
- Artificial Analysis Coding Agent Index에서는 Antigravity CLI와 결합해 59점을 기록함
- Claude Opus 5.5(max)를 사용하는 Claude Code의 62점보다 3점 낮음
- Terminal-Bench 4.0에서 64%, FrontierCode v1.1에서 51%로 각각 2위를 기록함. FrontierCode v1.1의 선두인 Claude Opus 5.5(max)는 56%임
- Google이 그동안 상대적으로 부진했던 영역에서 두드러진 개선을 보임
- AA-Briefcase에서는 1609 Elo로 Gemini 4 Argon(high, 1483)보다 126점 높음
- Grok 4.7(xhigh, 1638), Muse Wonder(max, 1659), Kimi K3.1 Pro(1678)보다는 낮음
- 가장 크게 개선된 Presentation 항목은 293 Elo 오른 1598이며, Analytical Quality는 120점 오른 1671임
- AA-Omniscience v1.1에서는 54점으로 선두를 기록함. Claude Opus 5.5(max, 48)보다 6점, Gemini 4 Argon(46)보다 8점 높음
- 정답률은 Argon보다 10%포인트 높은 58%이며, 환각률도 4%에서 11%로 상승함
- 환각률은 여전히 Argon에 이어 두 번째로 낮음. Claude Opus 5.5(max)와 GPT-6 Astra(max)는 모두 50%임
과제당 비용, 모델 사양과 이용 조건
- 표준 요금 기준 Intelligence Index 과제당 비용은 7.76달러임
- 전반적인 지능 수준이 비슷한 Claude Opus 5.5(max, 10.04달러)보다 약 23% 낮지만, GPT-6 Astra(max, 6.25달러)의 약 1.2배임
- 과제당 출력 토큰은 12만 3,000개로, Claude Opus 5.5(max)의 17만 3,000개보다 29% 적음
- 동일한 표준 토큰 요금을 적용하는 Gemini 4 Argon의 과제당 비용 7.68달러와 비슷하면서 Intelligence Index 점수는 9점 높음
- 컨텍스트 윈도는 100만 토큰이며, 텍스트, 이미지, 영상, 음성을 입력받고 텍스트를 출력함
- 표준 요금은 입력/출력 100만 토큰당 각각 4달러/20달러로 Gemini 4 Argon과 같음
- 캐시된 입력 토큰에는 95% 할인이 적용돼 표준 요금 기준 100만 토큰당 0.20달러임
- 별도로 50% 출시 할인을 제공하며 종료일은 확정되지 않음
- Gemini 4 Argon 출시 때와 마찬가지로 선별된 사용자에게 배포 중이며 아직 공개적으로 이용할 수 없음
- 평가에 사용된 Carbon과 Argon의 모든 차트 및 비용 수치는 출시 할인이 아닌 표준 요금 기준임
키워드
Gemini 4 CarbonGoogle