- METR 조사에 따르면 Anthropic의 AI 역량 발전 속도는 최근 1년간 이전 1년 대비 약 2배가 됐으며, 현재 이 속도를 유지하는 주된 요인은 AI를 통한 연구 자동화로 추정됨
- 전체 역량 발전이 2배 빨라지려면 연구 노동의 생산성은 훨씬 더 높아져야 함. 실험용 연산 자원과 수확 체감을 고려한 단순 모형에서는 약 10배의 노동 생산성 향상이 필요할 수 있지만, 불확실성이 매우 큼
- 더 강력한 AI가 연구를 가속하고 다시 더 강력한 AI를 만드는 복리적 가속을 막을 명확한 병목은 이번 조사에서 발견되지 않았음. 다만 METR 조사팀도 판단이 여러 차례 바뀌었으며 상당한 불확실성을 인정함
- AI에 의한 가속이 매끄럽게 증가한다고 가정하면 1년 이내 극단적 초지능에 도달한다는 단순 외삽이 가능함. 이는 조건부 분석이며, 실제로는 소프트웨어 효율의 상한이 존재함
- 핵심 근거 상당수가 비공개 처리돼 외부 검증이 어려움. 모델 가중치와 알고리듬 비밀 보호, 감시와 정렬 검증, 필요시 발전 속도를 조절할 거버넌스와 함께 근거 공개가 필요함
- Anthropic은 S1 문서에서 책임 있는 확장 정책인 RSP의 ‘AI로 인한 극적인 발전 가속’ 기준에 곧 도달할 수 있다고 밝힘
- 2026년 7월 발효된 RSP는 다음 조건을 요구함
- AI가 연구개발에 크게 기여하지 않는 상황의 예상 발전 속도와, 과거 AI 기여 없이 관측한 가장 빠른 지속적 발전 속도 양쪽 모두의 2배를 관측하거나 예상해야 함
- 인력이나 연산 자원 증가, 일반적 생산성 개선보다 연구/엔지니어링 자동화가 이 가속에 상당히 기여했을 가능성이 있고, 추세가 이어지면 더 큰 가속으로 이어질 가능성이 있어야 함
- 두 비교 기준은 AI가 없었다면 발전이 크게 둔화했을 상황에서, AI로 기존 추세만 유지한 경우를 제외하기 위한 것으로 해석됨
- METR은 수개월간 Anthropic 내부에 깊이 접근해 조사했으며, 공개 보고서에서 2025년 10월~2026년 10월의 발전 속도가 직전 12개월의 약 2배였다고 추정함
- 공개된 측정치는 Epoch Capabilities Index의 내부 버전인 AECI임
- 다른 보조 근거는 폭넓게 삭제됐으며, 조사팀이 가장 유익하다고 판단한 근거의 과반이 비공개 상태임
- 초기 가속에는 여러 요인이 작용했을 수 있지만, 현재 빨라진 속도를 유지하는 이유의 대부분은 AI 자동화일 가능성이 높음. 이 판단의 근거도 비공개임
- 공개 자료만으로는 극적 가속 기준을 이미 넘었을 가능성이 높다는 해석이 가능하지만, 두 가지 비교 조건 때문에 판정이 단순하지 않음
- METR은 과거 대비 약 2배의 속도 향상을 추정하고, 현재 가속분의 약 80% 를 AI에 귀속함
- 이에 따른 2026년 10월 기준 중심 추정치는 AI가 없는 경우 대비 약 1.8배임
- AI의 기여가 계속 커졌다는 조사 결과와 ‘관측하거나 예상한다’는 RSP 문구를 고려하면, 정확히 2배가 아니더라도 기준을 충족할 수 있음
- 이 해석과 이후 전망은 공개 보고서에 대한 개인적 분석이며 METR이나 조사팀의 공식 입장이 아님
- 분석자는 해당 조사에 참여하지 않았고 삭제 전 보고서도 보지 않았음
- 다른 기밀 정보를 접했을 가능성을 고려해 정확한 최종 예측 대신 공개 근거의 함의만 논의함
- 이 개인적 위험 분석에서 이번 보고서는 최근 몇 년간 가장 중요한 변화이며, Hugging Face 공격보다 비중이 큼. 단순하게 해석하면 AI 2027 팀을 포함한 다수 외부 연구자의 전망보다 훨씬 짧은 시간표를 시사함
- 분석의 출발점은 유효 연산량 = 연산 배수 × 학습 연산량이라는 단순화임
- 연구자는 알고리듬과 아키텍처를 개선하며, Anthropic은 이런 효율 개선을 연산 배수(compute multipliers) 라고 부르기도 함
- Dario Amodei의 설명에 따르면 아키텍처 개선, 하드웨어 위에서 더 효율적으로 실행하는 방법, 새로운 하드웨어 세대 등이 같은 효과를 낼 수 있음
- 2배의 연산 배수는 같은 코딩 과제 성과를 절반의 비용으로 달성하는 식임. 작은 개선은 약 1.2배, 중간 규모는 약 2배, 드물게 매우 큰 개선은 약 10배에 달함
- 소프트웨어는 전체 역량을 결정하는 한 가지 투입 요소이므로, 소프트웨어 개선으로 전체 발전 속도를 2배 높이려면 연산 배수의 증가 속도는 2배 이상 빨라져야 함
- 합리적인 가정 아래 약 2.5~3배이며, 가속 규모와 AI 기여도의 불확실성을 고려해 계산에는 약 2~3배를 사용함
- 이 계산은 Ryan Greenblatt의 분석을 단순화한 것으로, 소프트웨어와 학습 연산량, 노동과 실험 연산량의 상대적 중요도에 관한 기존 추정 및 공개 모형에 기반함
- 새로운 아이디어를 검증하려면 실험용 연산 자원도 필요하므로 연구 노동만 늘린다고 같은 비율로 성과가 늘지는 않음
- 노동과 실험 연산량이 같은 비중으로 기여하는 Cobb-Douglas 모형에서는 연산 배수 = 노동^0.5 × 실험 연산량^0.5로 놓음
- 실험 연산량이 고정돼 있다면 연산 배수 개선을 2~3배 가속하려면 노동 생산성은 그 제곱인 4~9배 높아져야 함
- 이 범위는 투입 요소별 기여도 자체의 불확실성을 포함하지 않음. 노동 기여도가 ⅔라면 제곱 대신 3/2제곱을 적용해야 함
- 발전이 빨라지면 쉽게 얻을 수 있는 개선도 더 빨리 소진되므로, 다음 연산 배수를 발견하고 구현하는 데 점점 더 많은 작업이 필요함
- AI 가속 이전에는 인력과 연산 자원의 지수적 증가가 수확 체감을 상쇄하며 기존 발전 속도를 유지했음
- 연산 자원 증가 속도를 높이지 않고 더 빠른 발전을 유지하려면 총 연구 노동의 증가율이 더 높아져야 함
- 인간 연구 인력은 대체로 기존 속도로 증가하므로, 새로운 발전 속도를 유지하려면 AI가 주는 생산성 향상 폭이 시간이 갈수록 커져야 함
- 2025년 말 초기 가속은 다른 요인의 영향도 컸으므로, AI 중심 가속이 지속된 기간은 1년 전체가 아니라 최근 수개월로 계산함
- 현재 필요한 노동 생산성 향상은 초기 추정인 4~9배보다 높은 약 10배일 수 있지만, 훨씬 작거나 큰 값도 가능함
- 이는 Anthropic 직원들이 내부 모델 사용으로 약 12배의 생산성 향상을 얻는다는 비공식 자기보고와 비슷한 규모임
- 여기서 노동은 사람 수가 아니라 직렬적 작업 속도를 뜻함. 연구자 한 명을 열 명으로 바꾸는 것과 한 명이 열 배 빠르게 일하는 것은 같지 않음
- 인원수 기반 Cobb-Douglas 모형에는 병렬화 손실을 별도로 반영해야 하며, 이 분석은 직렬 노동 가속 방식을 사용함
- 10배 향상은 연구자가 외부의 하루 동안 열흘치 사고, 읽기, 대화, 입력과 다른 작업을 수행하는 것에 가까운 비유임
- 실제로 모든 작업이 균일하게 10배 빨라진다는 뜻은 아님
- 반복적으로 성과를 개선하기 쉬운 작업은 다른 작업보다 훨씬 크게 가속될 수 있으며, 이를 합한 순생산성 효과가 균일한 10배 가속에 해당할 수 있음
- 현실에 존재하는 우수 AI 연구자와 엔지니어를 채용하는 것만으로 같은 가속을 달성하기는 어려웠을 것으로 추정함
- 기존 연구자를 수백 번 복제할 수 있다면 충분할 수도 있지만, 실제 인력 풀에는 그런 규모의 인재가 없음
- AI 역량이 높아질수록 연구 자동화의 생산성 효과도 커진다는 것이 이 분석의 기본 예상임
- 과거 1년치 작업을 한 달에 수행한다면, 이후에는 일주일이나 하루에 수행할 수도 있음
- 이 효과가 수확 체감을 이기고 다른 병목도 없다면 발전 속도는 4배, 8배, 16배로 더 빨라질 수 있음
- METR 조사팀은 이런 복리적 가속을 막을 명확한 병목이나 급격한 수확 체감을 발견하지 못했음
- 조사 과정에서 이해가 여러 차례 바뀌었고 상당한 불확실성이 남아 있음
- 조사팀은 향후 1년간 역량 발전이 더 큰 가속으로 이어질 상당한 위험이 있다고 봄
- 가속이 이미 2배를 넘었고 계속 증가할 수 있다는 일부 근거도 있었지만, 해석이 혼란스러웠으며 공개되지 않았음
- 약 1년의 발전으로 AI의 기여가 미미한 상태에서 발전 속도를 거의 2배로 높이는 상태에 도달했고, 가속이 매끄럽게 증가한다고 가정하면 극단적인 결과가 나옴
- 다음 두 배 가속까지는 6개월, 그다음은 3개월, 이후는 6주가 걸리는 식임
- 이 시간을 합하면 이론적으로 1년 안에 무한한 역량에 도달하며, 이를 현실적인 언어로 바꾸면 1년 이내 극단적 초지능에 대한 조건부 전망이 됨
- 이 직관은 발전 속도가 누적 AI 발전에 대해 지수적으로 증가하는 단순한 재귀적 자기개선 모형과 일치하며, 한 매개변수 설정의 유도 과정에서 이를 확인할 수 있음
- 현실에는 소프트웨어 효율의 실질적 상한이 있음. 다만 이 분석에서는 그 한계가 현재 수준보다 훨씬 멀리 있을 것으로 예상함
- 이 피드백 고리를 거친 AI는 새로운 무기를 매우 빠르게 개발하고 충돌 상황에서 인간 문명을 쉽게 압도할 수 있음
- 심각하게 정렬되지 않은 시스템이라면 인류의 통제력과 권한을 빼앗을 가능성이 높고, 인간 멸종으로 이어질 수도 있음
- 2025년 5월판 Anthropic RSP의 최고 연구 자동화 위험 기준인 AI R&D-5는 현재의 극적 가속 기준보다 다소 약했음
- 세계 최고 모델의 유효 학습 연산량이 1년 동안 2018년 초~2024년 초 평균 발전의 2년치만큼 증가하거나, 그렇게 예상될 때 해당함
- 당시 평균 증가율은 연간 약 35배로 추산했으므로, 기준은 35^2, 대략 1,000배의 연간 증가였음
- 고정된 과거 기간과 비교하고 AI에 대한 원인 귀속도 요구하지 않는다는 점에서 더 약한 기준임
- 당시 RSP는 AI R&D-5에 도달할 때 최소한 국가 수준 공격자의 모델 가중치 탈취를 막는 보안을 요구했으며, 더 높은 수준이 필요할 수 있다고 명시함
- 최소 기준은 RAND의 ASL-4 보안 수준이었음
- 이 분석에서는 중국 같은 최상위 국가 행위자의 통상 작전은 막되, 최우선 작전까지 방어하는 수준은 아닌 것으로 이해함
- 모델 가중치와 알고리듬 비밀을 강하게 보호하는 것은 지능 폭발을 감당하기 위한 최소 전제임
- 최근 OpenAI와 Anthropic 모두 아마추어 집단에 의한 중대한 보안 침해를 겪었으므로, 업계는 이 기준에 크게 못 미치는 것으로 보임
- 책임 있게 지능 폭발에 접근하려면 강력한 가중치 보안 외의 조치도 필요함
- 전체 범위를 빠짐없이 포괄하는 견고한 로깅과 모니터링이 필요함
- 모니터링 가능성을 신뢰성 있게 측정하고, 감시 모델 간 담합에 효과적으로 대응해야 함
- 원칙에 기반한 정렬 훈련 기법과 함께, 그 효과를 이해할 수 있는 설득력 있는 정렬 실패 실험 모델(model organisms) 또는 해석 가능성 기법이 필요함
- 정렬과 통제 조치가 무너지기 시작할 때 발전 속도를 조절할 수 있는 거버넌스 인프라도 갖춰야 함
- 결론에 중요한 근거 대부분이 비공개 처리됐고, 조사팀도 근거가 종종 혼란스러웠다고 인정함. 분석 방식의 선택 역시 논쟁의 여지가 큼
- 조사팀의 신중함을 신뢰해 위험 전망을 크게 수정할 수는 있지만, 독자가 신뢰에만 의존하지 않도록 기초 근거를 훨씬 더 투명하게 공개할 필요가 있음
- 외부 과학자가 데이터를 살펴보고 자체 모형을 시험할 수 없으면, AI 발전의 시간표와 도약 속도에 대한 공통 이해를 만드는 일이 훨씬 어려워짐. 이를 위한 시간이 부족해지고 있을 수 있음