- Google이 Gemini 4 Carbon을 발표함. 복잡한 다단계 엔지니어링 작업을 지속해서 수행하도록 설계했으며, 코딩과 사이버 보안 방어 역량을 강화함
- Artificial Analysis Intelligence Index v5.0에서 59점으로 1위를 기록하고, WebDev Arena에서는 89 Elo 상승한 1,768점으로 4위에 오름
- 가드레일 없이 평가한 외부 보안 벤치마크에서 취약점 탐지 SEC-bench Pro 88.2%, 악용 가능성 검증 ExploitGym 54.8%, 패치 CWE-bench 71.0%를 기록함
- 내부 테스트와 코딩 환경에서 근거 없는 주장과 정렬 이탈이 줄었으며, Terminal-Bench 4.0의 부정행위 성공률과 평가된 간접 프롬프트 주입 공격 성공률은 각각 0.0%였음
- 이번 주 일부 사이버 방어 담당자에게 먼저 제공하고 Fairwind Program으로 접근을 확대할 예정임. 일반 공개 일정은 미정이며, 출시 초기 가격은 입력·출력 100만 토큰당 각각 2달러·10달러
- Gemini 4 Carbon은 2주 앞서 출시한 Gemini 4 Argon을 기반으로 한 Google의 차세대 프런티어 모델임
- 연구진과 모델이 함께 역량 발전 속도를 높이는 동시에 안전장치도 강화하고 있음
- Artificial Analysis Intelligence Index 최신 v5.0에서 59점으로 1위를 기록했으며, 코딩과 에이전트 작업 전반에서 성능이 향상됨
- 지속적인 에이전트 워크플로를 지원하도록 설계했으며, 내부 팀은 Carbon이 수일 동안 작업하며 막힌 경로를 넘어 복잡한 다단계 엔지니어링 문제를 해결하는 모습을 확인함
- 대규모 코드베이스와 저수준 시스템에 걸친 미묘한 버그의 근본 원인을 찾아 패치하는 작업이 포함됨
- 사용자 피드백을 바탕으로 코딩, 에이전트 작업, 과학 작업, 풀스택 웹 개발과 멀티모달 이해 성능을 개선함
- 웹 개발 출력과 결과물 품질이 개선되면서 WebDev Arena에서 89 Elo 상승한 1,768점, 4위를 기록함
- 공식 비교표에서 Terminal-Bench 4.0은 65.2%로 Argon의 57.1%보다 향상됐으며, FrontierSWE 2는 55.0%에서 61.2%로 높아짐
- Carbon은 취약점 탐지, 검증, 수정으로 이어지는 사이버 보안 방어 수명주기 전반에서 성능을 높임
- 내부 벤치마크에서 안전한 코드 생성 성공률이 Argon 대비 2배 이상 높아짐
- Chrome 팀의 고품질 패치 생성 평가에서는 다른 연구소의 대형 프런티어 모델보다 10배 이상 높은 성능을 보임
- Google의 클라우드 보안 플랫폼 Wiz도 웹 침투 테스트 벤치마크에서 Carbon의 선두 성능을 확인함. 웹 침투 테스트는 Wiz의 Scan for Good 활동의 핵심 역량임
- 외부 보안 벤치마크 결과는 가드레일을 적용하지 않은 평가임
- 실제 취약점 탐지: SEC-bench Pro에서 88.2%를 기록하며 실제 소프트웨어에 숨어 있는 복잡한 결함을 자율적으로 찾아냄
- 악용을 통한 위험 검증: ExploitGym에서 54.8%로 최고 성능을 기록함. 취약점의 악용 가능성 검증은 수정 여부와 우선순위를 정하는 데 활용됨
- 근본 원인 패치: Collinear의 CWE-bench에서 71.0%를 기록하며 검증된 취약점을 실제 작동하는 코드 수정으로 연결함
- Argon의 다층 안전 및 보안 체계를 이어받아 모델 훈련, 실시간 오용 방어, 프롬프트 주입 저항성, 사고 과정 모니터링을 결합함
- Argon의 정렬 행동 특성은 안전 및 보안 보고서에 공개돼 있음
- Carbon은 복잡하거나 압박이 큰 작업에서도 적절히 대응하도록 추가 훈련함
- 편법과 허점 악용을 줄이면서 코딩 성능을 유지함
- Terminal-Bench 4.0에서 부정행위 성공률을 0.0%, 시도율을 0.4%로 낮추면서 전체 정확도는 높임
- 내부 팀의 실제 코딩 환경에서는 심각도가 높은 정렬 이탈 경고가 거의 80% 줄어듦
- 투명성과 정직성을 개선해 내부 테스트의 근거 없는 주장이 Argon 대비 약 절반으로 줄어듦
- 방법론적 한계를 결과물에 직접 명시하거나, 진행할 수 없는 작업을 보류하고 남은 필요 사항을 명확히 나열함
- 부족한 근거를 꾸며내거나 모호하게 둘러대는 행동을 줄임
- 모호한 상황에서의 협업을 개선해 추측하거나 진행을 강행하는 대신 관련 출처를 찾고, 실행 전에 불일치를 사용자에게 알림
- 범위 초과 수행은 26%, 요구보다 부족한 수행은 29% 줄어듦
- 프로젝트 제약과 작업 범위를 지키면서 다단계 계획을 처음부터 끝까지 더 안정적으로 실행함
- Gray Swan의 Indirect Prompt Injection(IPI) Benchmark에서 공격 성공률이 Argon의 0.7%에서 Carbon의 0.0%로 낮아짐
- 평가에 포함된 모든 공격 시도를 방어한 결과임
- Google은 미국 정부의 자발적 출시 전 모델 테스트 절차에 참여하면서 단계적으로 Carbon을 제공할 계획임
- 이번 주 일부 사이버 방어 담당자에게 접근을 제공하기 시작함
- 이후 Fairwind Program을 통해 추가로 신뢰할 수 있는 파트너에게 접근을 확대함
- 개발자, 기업, 소비자에게 제품을 통해 제공하기 전까지 피드백을 수집하고 가드레일을 개선함
- 출시 초기 가격은 Argon과 동일한 입력 100만 토큰당 2달러, 출력 100만 토큰당 10달러로 예정됨
- 캐시된 입력 토큰에는 일반 입력 토큰 가격 대비 95% 할인을 적용함
- 소프트웨어 엔지니어링과 사이버 보안 방어 역량을 크게 높이면서도 안전성과 신뢰성을 훼손하지 않는 것이 목표임. 일반 개발자, 기업, 소비자에게도 가능한 한 빨리 제공할 계획임