UNIST 연구팀이 상대 AI의 정체를 추리하도록 훈련하는 학습법 ‘마르보’를 개발했다. 마피아 게임 승률이 기존보다 24%포인트 높았다. 챗GPT 생성 이미지인공지능(AI)끼리 ‘마피아 게임’을 하면 어떤 AI가 이길까.국내 연구진이 다른 AI의 말을 그대로 믿지 않고 행동까지 따져 숨은 정체를 추리하도록 훈련하는 기술 ‘마르보(MARBO)’를 개발했다. 이 기술로 훈련한 AI는 마피아 게임에서 기존 방식으로 훈련한 AI보다 평균 승률이 24%포인트 높았다.
1일 울산과학기술원(UNIST)은 인공지능대학원 한승열 교수팀이 AI 학습 기술 마르보(Multi-Agent Relational Belief Optimization)를 만들었다고 밝혔다.
마르보는 대형언어모델(LLM) 기반 AI가 상대의 역할과 의도를 추론하고 그 판단에 맞춰 말하고 행동하도록 가르치는 학습법이다.
여러 AI가 정보를 주고받으며 협력하거나 경쟁하는 환경에서 AI는 상대의 역할이나 의도를 직접 알 수 없다. 소통이 원활하지 않아 정보가 부족하거나 상대가 일부러 속이는 경우도 생긴다. 이때 잘못된 정보를 그대로 받아들이면 AI는 판단을 그르치기 쉽다.
그동안 연구자들은 주로 비슷한 상황에서 사람이 보인 행동 패턴을 AI가 따라 하도록 하는 데 집중했다.
반면 연구팀은 상대에 대한 추론을 먼저 가르치고, 그 결과를 말과 행동 학습에 활용하는 방식을 택했다.
마르보의 핵심은 ‘관계적 믿음(Relational Belief)’이다. AI가 상대의 정체와 관계를 두고 스스로 내린 추정을 뜻한다. 상대가 협력할 대상인지 경계할 대상인지 가늠하는 판단으로, 새 정보가 들어오면 바뀔 수 있다.
● 상대 정체 추리부터 발언 전략까지 ‘3단계 학습’
‘마르보’의 3단계 학습 과정이 담긴 그래픽. 울산과학기술원 제공학습은 △정체 추리 △행동 학습 △발언 학습의 세 단계로 이뤄진다. 첫 단계에서 AI는 대화와 행동을 바탕으로 상대가 어떤 역할이며 누구와 같은 편인지 추리하는 법을 익힌다. 연구팀은 함께 참여하는 AI 조합을 무작위로 바꿔 AI가 다양한 상황을 겪도록 했다.
두 번째 단계는 추리와 행동을 일치시키는 과정이다. AI가 상대의 정체를 정확히 판단하고 목표에 유리한 행동을 고를 때만 좋은 점수를 주는 방식이다. 기존 학습법은 추리가 틀렸어도 결과가 우연히 유리하면 좋은 평가를 줬다. 마르보는 이런 경우를 걸러낸다.
마지막 단계에서 AI는 상대가 자신을 어떻게 보는지 고려해 말하는 법을 배운다. 발언이 상황에 맞는지와 함께 그 말을 들은 상대의 판단이 자신에게 유리하게 바뀌었는지를 따진다.
● 학습법만 바꿔도 2배 큰 모델 앞질렀다
연구팀은 AI끼리 마피아 게임의 일종인 ‘웨어울프’와 ‘어몽어스’를 하게 해 성능을 검증했다.
웨어울프에서는 매개변수가 70억 개인 모델을 마르보로 훈련하자 다섯 종류의 상대 AI와 겨룬 평균 승률이 65.6%에 이르렀다. 기존 학습법으로 훈련했을 때(41.6%)보다 24%포인트 높은 수치다.
매개변수가 2배인 모델을 기존 방식으로 훈련한 결과(64.0%)도 웃돌았다. 모델 크기를 키우지 않고 학습법만 바꿔 더 큰 모델을 앞선 셈이다.
어몽어스에서도 유효 매개변수가 약 20억 개인 모델은 평균 승률이 36.4%에서 49.0%로, 약 40억 개인 모델은 40.0%에서 59.0%로 뛰었다. 연구팀은 “서로 다른 게임 환경과 모델 규모에서도 학습 효과를 확인했다”고 설명했다.
● “다중 로봇, 인간·AI 협업 등 확대 기대”
이번 연구 결과는 자연어 처리 분야 국제학술대회 ‘EMNLP(Empirical Methods in Natural Language Processing)’에 채택됐다.
제1저자인 황예찬 UNIST 인공지능대학원 석사과정 연구원은 “상대의 역할과 관계에 대한 추론인 ‘관계적 믿음’을 바탕으로 맥락을 이해하고 이를 학습에 반영하도록 하는 새로운 접근”이라고 강조했다.
연구팀은 마르보를 여러 기계가 함께 움직이는 분야에 적용할 수 있다고 본다. 한 교수는 “다중 로봇, 자율 드론, 인간-AI 협업 등 여러 에이전트가 서로의 상태와 의도를 이해하며 협력해야 하는 시스템의 신뢰성과 적응성을 높이는 기반 기술로 확장될 수 있을 것”이라고 말했다.