← 목록으로

Genie 4 - 소리와 대화를 함께 생성하는 실시간 월드 모델

요약
  • Google DeepMind는 가상 세계, 소리, 대화를 실시간으로 생성하는 월드 모델 'Genie 4'를 발표했습니다.
  • 이 모델은 Gemini와 결합해 자연어 지시로 물리 현상과 사람의 행동을 사실적으로 시뮬레이션하며, 로봇 훈련 및 창작 등 다양한 분야에 활용될 수 있습니다.
  • Google DeepMind가 가상 세계와 음악, 환경음, 대화를 함께 생성하는 Genie 4를 발표하고, 신뢰할 수 있는 테스터를 대상으로 연구 프리뷰 배포를 시작함
  • 자연어로 실시간 시뮬레이션을 수정할 수 있으며, Gemini가 주변 장면에 맞춰 지시를 적용하고 사용자 입력 사이에도 세계가 일관되게 진행되도록 도움
  • 물리 현상과 사람의 행동을 더 사실적으로 시뮬레이션하며, 등장인물이 환경과 사용자 입력에 반응하고 실시간으로 대화할 수 있음
  • Gemini 3.8 Flash가 장면을 관찰하며 목표를 단계로 나누고 각 단계의 성공 여부를 검증해, 복잡한 다단계 사건을 진행함
  • 아직 초기 실험 모델로, 긴 세션이나 복잡한 수정에서는 시각적 세부와 객체 영속성이 흔들릴 수 있으며 물리적 상호작용, 오디오 정확도, 장기 일관성도 연구 과제로 남아 있음
멀티모달 세계 생성과 Gemini의 역할
  • Genie 4는 사실적인 영상, 자연스러운 움직임, 자체 오디오 생성을 결합한 실시간 대화형 월드 모델임
    • 사건을 시작하면 세계의 반응과 소리, 사람의 움직임, 반응, 발화를 이어서 시뮬레이션함
    • 공개된 비교 영상의 소리는 모두 Genie 4가 직접 생성함
  • Gemini Omni는 시뮬레이션의 외형과 행동을 현실에 기반하도록 돕고, 다른 Gemini 모델은 일관성과 연속성 유지에 필요한 복잡한 추론을 담당함
  • 세계를 이해하고 시뮬레이션하는 능력은 AGI 구축의 중요한 요소이며, 안전하고 무한히 변형 가능한 시뮬레이션은 로봇과 에이전트 훈련 환경 개발부터 새로운 대화형 경험 제작까지 활용할 수 있음
실시간 자연어 제어
  • 사용자는 일반 키보드 조작으로 이동과 카메라를 제어하고, 텍스트 프롬프트로 진행 중인 장면을 바꿀 수 있음
  • 자연어 지시로 날씨 변경, 카메라 이동, 사람이나 물체 추가가 가능함
    • Gemini가 주변 장면의 맥락에 맞춰 프롬프트를 적용함
    • 입력이 없는 동안에도 장면을 관찰하고 조정해 세계가 일관되게 진행되도록 도움
  • 실시간 상호작용 예시에는 호수 위 색소폰 연주자, 초원에서 바람에 흩날리는 분홍색 천, 남극 상공의 열기구가 포함됨
    • 색소폰 장면의 프롬프트는 참조 이미지를 첫 프레임으로 삼고, 인물과 독립적으로 움직이는 카메라, 공간적 연속성, 호수 환경음과 실제 악기 소리를 지정함
    • 다른 예시는 천의 움직임과 열기구 바구니 안의 1인칭 시점을 지정함
물리 현상과 사람의 행동
  • 공기역학과 충돌 등 현실의 물리적 상황을 시뮬레이션하며, 실시간 상호작용의 사실성을 높임
  • 사람을 시뮬레이션하는 능력이 크게 향상돼, 등장인물이 자연스럽게 움직이고 환경에 반응하며 실시간 지시를 받을 수 있음
  • 관련 예시에는 돌 받침 위 수박, 나무에서 풀밭으로 떨어지는 단풍나무 씨앗, 승객으로 붐비는 1980년대 일본 시골 기차역이 등장함
    • 기차역 프롬프트는 가까운 선로의 붉은 열차와 승강장에서 걷고, 타고, 기다리는 사람들을 지정함
환경음과 실시간 대화
  • Genie 4는 Google DeepMind의 실시간 월드 모델 중 처음으로 오디오를 자체 생성함
    • 나무 사이의 바람이나 해변의 파도처럼 각 환경에 맞는 소리를 함께 생성함
  • 대화형 발화는 진행 중인 상황에 맞춰 바뀌며, 등장인물은 사용자 입력이나 세계 안의 사건에 실시간으로 대화하고 반응함
  • 오디오 관련 예시는 스테인드글라스 세계, 용을 타는 1인칭 비행, 홍콩 외곽에서 오토바이를 타는 연인의 장면을 포함함
    • 스테인드글라스 프롬프트는 물, 하늘, 식물까지 모든 요소를 유리나 수정 질감으로 유지하는 탐험 가능한 3차원 환경을 지정함
    • 용 비행 프롬프트는 시속 140km의 경주와 날갯짓, 강풍, 화산의 울림, 불씨 소리를 지정함
    • 오토바이 장면은 1995년 홍콩 독립 로맨스 영화 같은 35mm 필름 미감과 20대 한국인 연인의 표정을 지정함
Gemini와 함께 진행하는 다단계 사건
  • Gemini와 Genie 4의 결합은 복잡한 다단계 사건을 모델링하고, AI 시스템을 현실에 투입하기 전에 여러 환경에서 어떻게 행동하는지 시험할 수 있게 함
  • Gemini 3.8 Flash는 시뮬레이션 루프 안에서 진행을 이끄는 에이전트로 작동함
    • Genie 4가 세계를 생성하는 동안 장면을 지속적으로 관찰하고 목표를 단계별로 분해함
    • 들어오는 프레임을 검토해 진행 상황과 각 단계의 성공 여부를 확인함
    • 세계가 바뀌거나 사용자가 개입하면 계획을 즉시 조정해 인과관계, 절차적 행동, 다단계 추론을 지원함
  • 예시 프롬프트에는 Universal Robots UR5가 피펫으로 실험용 플레이트에 액체를 분주하는 장면, 마술사와 공작새가 있는 골동품 살롱, 눈 위를 걷는 관두루미가 포함됨
    • 살롱 장면은 지팡이를 든 1인칭 시점, 도자기 동물들, 마룻바닥과 도자기의 미세한 소리까지 지정함
  • Gemini 4 Argon과 Genie 4를 Gemini Robotics 연구와 결합하는 실험도 진행 중임
    • Argon이 사용자 지시를 단계로 나누고, 렌더링 도중 각 단계를 텍스트 캡션으로 Genie 4에 전달함
    • 작업을 완료해 가는 동안 시뮬레이션을 조정해 다양한 가상 시나리오를 만드는 방법을 탐색함
    • 공개 예시는 Apptronik의 Apollo 휴머노이드가 체커를 두는 작업을 실시간 단계로 나눠 시뮬레이션함
테스터가 탐색 중인 활용 방식
  • 창작, 언론, 교육, 게임, 엔지니어링 분야의 테스터들이 실제 작업 흐름에서의 활용 가능성과 부족한 부분을 시험 중이며, 아직 초기 실험 모델이라는 전제가 있음
  • 창작 연출에서는 사전 시각화와 아이디어 구상을 위한 빠른 초안 도구로 시험 중임
    • 영화 제작자는 장면 안에 들어가 카메라 각도, 조명, 대사, 동작을 바꾸며 여러 테이크를 실시간으로 시도할 수 있음
  • 역사적 장면과 몰입형 사진에서는 2차원 기록 사진 한 장을 수초 안에 해당 환경에 기반한 시뮬레이션으로 바꾸는 방식을 탐색함
    • 사람이 등장하는 동적 세계로 역사적 공간을 경험하거나, 돌발 홍수와 산불 같은 단기 환경 사건의 전개를 시각화하는 실험이 진행 중임
  • 대화형 경험 설계에서는 아이디어를 수초 안에 탐험 가능한 프로토타입으로 만들고, 엔진 코드를 작성하기 전에 자연어로 시각적 스타일, 재질, 상호작용 방식을 시험함
  • 여러 산업의 기업 파트너는 초기 시나리오의 빠른 생성에 활용할 수 있는지 평가하고, 시뮬레이션 요구를 충족하기 위한 개선점을 찾고 있음
하이브리드 월드 모델로의 발전
  • 하이브리드 월드 모델은 코드와 언어 모델의 논리적이고 구조화된 추론을 픽셀 수준 시뮬레이션의 풍부한 감각 표현과 결합하는 연구 방향임
  • Gemini와 Genie의 긴밀한 결합은 이를 향한 초기 단계임
    • Gemini는 세계의 구조를 정리하고 사건의 시간적 진행을 계획함
    • Genie는 세계의 모습, 소리, 반응을 픽셀 단위로 생성함
  • 두 방식의 상호 보완은 각각을 단독으로 사용할 때보다 일관성, 제어 가능성, 현실 기반성이 높은 월드 모델로 이어질 수 있음
안전장치와 현재 한계
  • Genie 4에는 다른 모델의 안전 정책과 일치하는 엄격한 안전장치가 적용되며, 프리뷰 전에 유해하거나 악의적인 콘텐츠 생성을 막기 위한 내부 안전 평가를 수행함
  • 광범위한 공개 전에 피드백을 받기 위해 신뢰할 수 있는 테스터에게 우선 배포함
  • 생성되는 모든 영상과 오디오에는 AI 생성 콘텐츠 식별을 돕는 비가시적 디지털 워터마크 SynthID가 포함될 예정임
  • 짧은 세션에서는 일관된 환경을 유지할 수 있지만, 시각적 세부와 객체 영속성은 시간이 지나면서 달라지거나 흔들릴 수 있음
    • 장시간 실행, 여러 차례의 복잡한 프롬프트 수정, 장면 내부 이동에서 특히 문제가 생길 수 있음
  • 복잡한 물리적 상호작용, 실시간 오디오 정확도, 읽을 수 있는 텍스트 렌더링, 공간적 정확도, 장기 일관성은 계속 연구 중임
공개 범위와 다음 단계
  • 현재 신뢰할 수 있는 테스터 대상 연구 프리뷰로 배포됐으며, 피드백을 수집한 뒤 소비자와 개발자에게 확대할 계획임
  • 다음에는 Project Genie의 Google AI Ultra 구독자, Gemini API와 Google AI Studio의 초기 접근 파트너에게 제공할 예정임
  • Project Genie에서 이용하려면 Genie 4 대기 명단에 등록할 수 있음
그냥 목록으로
원문 보기 ↗