인간통제 뚫은 AI…"지능 폭발 전에 멈춰야합니다"

더스쿠프 워싱턴 리포트
인간 통제 벗어난 인공지능
인터넷 격리 샌드박스 뚫고 해킹
인공지능 최전선 연구자들
"AI 개발 속도 늦춰 달라"
죄수의 딜레마 빠진 AI 개발 경쟁
불신 속 누구도 먼저 멈출 수 없어
외산 AI에 종속된 한국의 현주소
통제권 없는 관망자로 전락할까AI를 연구하는 최전선에 있는 사람들이 "개발 속도를 늦춰야 한다"고 외치기 시작했다. 인간의 통제를 벗어난 AI가 이미 현실에서 나타나기 시작했기 때문이다. 통제불능의 AI가 초래할 결과는? 터미네이터의 스카이넷이 출현할지 모른다는 공포가 엄습하지만, 누구도 먼저 브레이크를 밟지 못한다. '죄수의 딜레마' 속 AI를 만드는 사람들조차 멈추고 싶지만 멈출 수 없는 시대. 그 경쟁의 한복판에서 우린 어떤 위치에 서 있는가.

AI 연구의 최전선에 있는 연구자들이 'AI 개발 속도'에 우려를 표하고 있다. 사진은 샘 올트만 오픈AI 대표. [사진 | 뉴시스]"세계는 지금 '지능 폭발'이라는 파멸적인 경쟁에 갇혀 있습니다. 마치 핵 연쇄반응처럼, 인공지능(AI)이 스스로를 뛰어넘는 AI를 창조하는 임계점이 턱밑까지 왔습니다. 속도를 늦춘다면 사태를 바로잡을 절박한 시간을 벌 수 있겠지만, 그 누구도 홀로 멈춰 서려고 하지 않습니다. 살아남으려면 우리는 힘을 모아 이 파멸적 경쟁에 제동을 걸어야 합니다."

오픈AI의 한 연구자가 남긴 글이다. 5일(현지시간) 현재 오픈AI뿐만 아니라 앤트로픽, 구글, 메타 등 AI 연구의 최전선에 있는 연구자 1350명이 'AI 개발 속도를 늦춰야한다'고 자진해서 서명했다. 'Pacing the Frontier(최전선의 속도 조절)'이라는 이름의 온라인 서명판에는 지금도 AI 연구자들의 서명이 잇따르고 있다.

실제로 인간의 통제를 벗어난 AI는 현실이 됐다. 7월 21일 오픈AI는 자사의 일부 미공개 AI모델이 내부 평가 중 통제를 벗어나 개방형 AI공유 플랫폼인 '허깅페이스'를 해킹한 사실을 확인했다고 밝혔다. 인터넷과 격리된 '샌드박스' 환경에서 시험이 진행됐지만, AI모델은 해답을 찾기 위해 통제망을 뚫고 인터넷에 접속한 뒤 허깅페이스의 서버를 해킹했다.

오픈AI는 해킹 사실을 일주일 동안 모르고 있었고, 추가 조사를 해보니 통제를 이탈한 사례가 추가로 발견됐다. 앤트로픽도 클로드 모델이 시험과정에서 외부기관 3곳을 해킹한 것으로 드러났다고 공개했다. AI가 목표 달성을 우선한 나머지 인간의 통제를 벗어나는 사건이 잇따라 발생하고 있다.

샘 올트먼 오픈AI CEO마저도 한 팟캐스트에 출연해서 "사회가 AI의 새로운 능력 수준에 적응하고 방어력을 갖출 수 있는 충분한 시간을 벌기 위해 AI 발전 속도를 조절해야 할지도 모른다"고 말할 정도다.

문제는 AI가 인간의 통제력을 넘을 정도로 빠르게 발전하고 있음에도 누구도 이를 제어할 수 없다는 점이다. 이를 두고 미국의 온라인매체 악시오스는 "전형적인 죄수의 딜레마에 갇혀 있다"고 논평했다. "모두가 속도를 늦추면 AI가 더 안전해질 수 있겠지만, 어떤 연구소도 상업적, 전략적, 기술적 패배의 위험을 감수하고 홀로 속도를 늦출 수 없다"는 것이다.

[사진 | 게티이미지뱅크]죄수의 딜레마는 AI 기업들뿐만 아니라 국가 간에도 적용된다. 미국에서는 AI 개발 속도를 늦춰야 한다는 목소리가 커지고 있지만, 정부 차원에서는 중국에 따라잡힐 수 있다는 걱정 때문에 이를 정책화하기가 쉽지 않다. 도널드 트럼프 미국 대통령은 오는 9월 미중 정상회담에서 AI 규제 문제를 시진핑 주석과 논의할 것이라고 예고한 상태다. 그 전까지는 AI 규제 문제가 돌파구를 찾기 힘들 것이라는 전망도 나온다.

AI의 최전선에서 치명적인 치킨게임이 벌어지는 가운데, 'AI 3대 강국'의 기치를 내건 한국은 여전히 이를 지켜보는 관망자의 입장에 서 있다. 현재 국내 IT 생태계와 주요 기업 시스템은 미국 빅테크의 AI 모델에 절대적으로 종속돼 있다. 미·중의 안보 정책이나 미국 기업의 일방적인 API 수수료·이용 정책 변경 한 번에 국내 서비스 전체가 흔들릴 수 있는 구조다.

더 큰 문제는 외산 AI 모델이 내부 통제를 벗어나 보안 구멍을 만들거나 시스템 오류를 일으켜도 우리 정부나 기업은 해당 AI의 내부 알고리즘이나 가중치 값을 직접 검증할 방법이 없다는 거다. 이런 우려를 탈피하기 위해 정부는 국가대표 AI을 선발하는 '독자 AI 파운데이션 모델 프로젝트'를 진행 중이다.

연내에 프로젝트를 마무리하는 것을 목표로 8월 중순쯤에야 2차 평가결과가 나올 예정이다. 이미 AI가 새로운 AI를 창조하고, 인간의 통제권까지 벗어나기 시작한 상황에서 너무 늦는 것은 아닌지 우려가 나온다. 세계 최고 수준의 통신 인프라를 기반으로 'IT 강국'을 자처해온 대한민국은 반전의 계기를 마련할 수 있을까.

장규석 더스쿠프 워싱턴 특파원
2580@thescoop.co.kr