말 잘 듣는 AI가 더 무섭다…미국서 커지는 통제 불안 [워싱턴 리포트]

더스쿠프 워싱턴 리포트
헬스장 예약 맡겼더니
대기명단까지 손댄 AI
美 63% "AI 발전 너무 빨라"…
갈수록 커지는 통제 우려
샌더스 미 상원의원의 경고
"통제 못할 기계 멈춰라"
AI 정렬(alignment) 논쟁 확산"헬스장 수업을 예약해줘." 인간이 시킨 건 여기까지였다. 하지만 AI는 목표를 이루기 위해 시스템의 허점을 찾고 다른 사람의 예약까지 취소했다. 최근 미국에서 AI를 바라보는 시선이 달라지고 있다. 얼마나 똑똑한지를 넘어, 갈수록 똑똑해지는 AI를 인간이 제대로 통제할 수 있느냐는 질문이 커지고 있다. 미국 사회에서 커지고 있는 AI 시대 새로운 불안을 들여다봤다.

어디까지 AI에 맡겨야 할까. 최근 들어 AI 관련 이슈는 '정렬'과 '통제권'의 문제로 옮겨가고 있다. [사진 | 챗GPT 생성 이미지]호주의 한 AI 기업 임원인 앤드류 버드는 헬스장의 인기 수업에 수강신청을 했다가 번번이 실패하자, 자신의 인공지능(AI) 에이전트 '오픈클로'에 일을 맡겼다. 문제는 AI가 목표를 달성하는 방법이었다.

AI는 예약 시스템을 뒤지다 보안상 허점을 발견했다. 정상적으로는 예약할 수 없는 수업을 몇달 치 앞당겨 선점했고, 주인(앤드류 버드)이 대기순번 4번인 수업을 발견하자 더 과감해졌다. 자신을 맨 앞으로 올릴 방법이 있는지 묻자, 허락을 구하지 않고 대기순번 1번인 다른 사람의 예약을 취소해 버렸다. 뒤늦게 사실을 알게 된 버드는 원상복구를 지시했지만 이미 되돌릴 수 없었다.

미 인터넷매체 악시오스(Axios)는 11일 이 사건을 소개하면서 "AI 에이전트의 끈질긴 목표 추구가 해킹과 기만, 규칙 위반으로 이어질 수 있다"고 지적했다. 그러면서 이 사건을 호주에서 알려진 첫 자율 AI 해킹 사례로 소개했다.

최근 미국에서는 이런 식의 AI 기사들이 더 자주 등장하고 있다. 얼마 전까지만 해도 관심사는 AI가 얼마나 똑똑해질 것이냐였지만, 지금은 'AI가 어디까지 스스로 판단하도록 놔둬도 되는가'라는 질문이 힘을 얻고 있다.

호주 사례가 흥미로운 것도 AI가 인간에게 반항해서 사고를 친 게 아니기 때문이다. 오히려 '예약하라'는 목표에 너무 충실했다. 인간이라면 '남의 예약을 취소해서 내 순번을 올려선 안 된다'고 판단하겠지만 AI는 목표로 가는 지름길을 발견했고 실제 행동에 옮겼다.

이른바 '정렬(alignment)'의 문제다. AI가 인간이 원하는 진짜 목적과 가치에 맞게 행동하도록 만드는 문제에 직면한 것이다. 실제로 걱정도 커지고 있다. 미 여론조사전문기관 퓨리서치센터가 지난 2월 미국 성인 5119명을 조사한 결과, 63.0%가 AI 기술이 '너무 빠르게 발전하고 있다'고 답했다. 적절한 속도라는 응답은 19.0%, 너무 느리다는 답은 2.0%에 그쳤다.

해당 조사에서 응답자의 71.0%는 AI가 개인정보를 지금보다 안전하지 못하게 만들 것으로 내다봤다. 미국 정부가 인공지능을 효과적으로 규제할 수 없을 것이라고 보는 응답이 67.0%, 기업들이 AI를 책임 있게 개발하고 사용할 것이라는 데 확신이 없다는 응답도 약 60%를 차지했다.

[그래픽 | 챗GPT]그렇다고 미국이 AI 경쟁의 속도를 늦추기도 쉽지 않다. 중국과 세계 AI 패권을 다투는 상황에서 미국만 브레이크를 밟으면 주도권을 내줄 수 있다는 우려가 있어서다. 미국 사회가 AI를 바라보는 시선에는 그래서 '더 빨리 가야 한다'는 조급함과 '이대로 가도 괜찮은가'라는 불안감이 공존한다.[※참고: 인간통제 뚫은 AI… 지능 폭발 전에 멈춰야 합니다·더스쿠프 8월 7일.]

이 불안은 정치권으로도 번지고 있다. 버니 샌더스 상원의원은 10일(현지시간) 샘 올트먼 오픈AI CEO와 다리오 아모데이 앤트로픽 CEO, 마크 저커버그 메타 CEO에게 AI 개발 중단을 요구하는 서한을 보냈다. 샌더스가 던진 문장은 직설적이었다. "인간이 통제할 수 없는 기계를 만드는 것을 멈추라 … 당신들이 지금 적절한 조처를 하지 않으면, 상원에 있는 나와 동료들이 그렇게 하겠다."

헬스장 예약 하나 때문에 벌어진 작은 소동이지만 미국 언론은 이 사건을 비중 있게 다뤘다. 비단 미국만의 문제는 아니다. 지금까지의 경쟁이 '누가 더 똑똑한 AI를 만드느냐'였다면 이제는 다른 질문이 부상하고 있다. "그 똑똑한 AI에 우리는 과연 어디까지 맡길 준비가 돼 있는가?"

장규석 더스쿠프 워싱턴 특파원
2580@thescoop.co.kr