← 목록으로

“인공지능 10%는 통제 벗어날 위험 있다”…오픈AI 임원의 섬뜩한 경고

요약
  • 오픈AI 재단 이사인 폴 크리스티아노는 AI가 스스로 성능을 개선하는 '재귀적 자기 개선' 기술로 인해 향후 1년 내 인간의 통제를 벗어날 위험이 10%에 달한다고 경고했다.
  • 그는 AI의 급격한 발전이 대규모 인명 피해나 정부 전복과 같은 재앙을 초래할 수 있다고 강조하며 기업들의 예방 조치 강화를 촉구했다.
6개월 내 대규모 인명 피해 가능성 경고
“AI가 정부 전복하는 재앙도 배제 못 해”
9월엔 위험 확률 4%…최근 판단 상향
AI 스스로 성능 높이는 기술 발전이 원인

 폴 크리스티아노 오픈AI 재단 이사[사진=MATS Research] 폴 크리스티아노 오픈AI 재단 이사[사진=MATS Research]오픈AI를 지배하는 재단의 이사가 인공지능(AI)이 향후 1년 안에 인간의 통제를 벗어나 심각한 재앙을 일으킬 위험이 10%에 달한다고 경고했다. AI가 스스로 성능을 개선하는 기술이 빠르게 발전하면서 불과 몇 달 전보다 위험이 크게 높아졌다는 주장이다.

폴 크리스티아노 오픈AI 재단 이사는 지난 16일(현지시간) 공개된 기술 전문 팟캐스트 ‘드와르케시 파텔’과의 인터뷰에서 “앞으로 6개월 안에 AI로 인해 매우 많은 사람이 목숨을 잃거나 정부가 전복되는 재앙이 발생할 가능성이 상당히 있다”고 말했다.

그는 이러한 상황이 실제로 벌어질지는 앞으로 AI 기술이 얼마나 빠르게 발전하느냐에 달려 있다고 설명했다. 특히 향후 1년 안에 AI가 인간의 통제를 벗어날 정도로 발전할 가능성을 높게 평가했다.

크리스티아노 이사는 “향후 1년간 AI가 인간의 통제를 벗어날 위험은 1%보다는 10%에 가까워 보인다”고 말했다. 이어 기업들이 AI 개발 과정에서 위험을 줄이기 위한 예방 조치를 강화하지 않는다면 이 확률은 훨씬 높아질 수 있다고 경고했다.

그의 위험 평가는 최근 몇 달 사이 크게 달라졌다. 크리스티아노 이사는 지난 9월 오픈AI 재단 이사회에 합류하면서 공개한 블로그 글에서 향후 1년 안에 AI에 대한 통제력을 잃어 재앙이 발생할 위험을 약 4%로 추산했다. 그러나 최근 AI 모델의 발전 속도가 예상보다 빨라지면서 위험에 대한 판단을 상향 조정한 것이다.

그가 특히 주목한 기술은 ‘재귀적 자기 개선’이다. AI가 인간 개발자의 개입에만 의존하지 않고 스스로 자신의 성능을 개선하는 과정을 반복하는 기술을 뜻한다. AI가 더 뛰어난 AI를 만드는 데 기여하고, 이렇게 개선된 AI가 다시 다음 단계의 성능 향상을 이끄는 방식이다.

크리스티아노 이사는 이러한 기술 발전이 AI의 능력을 빠르게 끌어올릴 수 있다고 봤다. 그만큼 인간이 AI의 행동을 충분히 이해하거나 통제하기 어려워질 위험도 커질 수 있다는 판단이다.

크리스티아노 이사는 AI 안전성 분야에서 오랫동안 활동해 온 연구자다. 현재 미국 캘리포니아주 버클리에 본부를 둔 비영리 연구기관 ‘얼라인먼트 리서치 센터(ARC)’를 이끌고 있다. 이 기관은 AI가 인간의 의도와 목표에 맞게 행동하도록 만드는 ‘AI 정렬(Alignment)’ 문제를 연구한다.

그는 지난 9월 오픈AI 재단 이사회에 합류했다. 오픈AI 재단은 오픈AI의 지배구조에서 핵심적인 통제 권한을 가진 조직이다. AI 안전성 연구자가 오픈AI의 지배구조에 참여한 이후 기술 발전에 따른 위험을 공개적으로 경고했다는 점에서 주목된다.

다만 크리스티아노 이사는 이번 발언이 오픈AI 이사회의 공식 입장을 대변하는 것은 아니라고 선을 그었다. 그는 인터뷰에서 “오픈AI 이사회 구성원이 아닌 개인 자격으로 발언하는 것”이라고 강조했다. [실리콘밸리 원호섭 특파원]

그냥 목록으로
원문 보기 ↗