← 목록으로

Dessa - 텍스트 없이 사람의 대화만 듣고 배운 실시간 음성 AI

요약
  • Block이 텍스트 데이터 없이 사람의 음성 대화만으로 학습한 실시간 음성 AI 'Dessa'를 공개했습니다.
  • Dessa는 전이중 방식을 통해 듣기와 말하기를 동시에 처리하며 감정, 억양, 대화 타이밍을 자연스럽게 구현하는 것이 특징입니다.
  • 현재 소수의 AI 안전 연구자들에게 조기 접근을 제공하며 성능과 안전성을 검증하고 있습니다.
  • Block이 텍스트와 사전학습 모델 없이 사람의 음성 대화만으로 처음부터 학습한 실시간 대화 모델 Dessa 공개
  • 말하면서 동시에 상대의 말을 듣는 전이중 방식으로 대화 중 끼어들기와 맞장구, 웃음, 발화 타이밍을 처리
  • 음성을 텍스트로 바꾸며 놓치기 쉬운 억양과 감정, 빈정거림, 한숨과 호흡을 직접 듣고 표현하도록 설계
  • MacBook Pro M4 Max 이상에서 로컬 실행하며, 개발팀에 따르면 실시간보다 빠른 추론 속도로 대화 가능
  • 현재는 소수의 AI 안전 연구자에게 조기 접근을 제공하며, 공식 사이트에 사람 및 GPT-Live-1과의 대화 녹음 공개

사람의 음성만으로 배운 대화 모델

  • Dessa는 Jack Dorsey에게 직접 보고하는 Block 내부의 소규모 AI 연구팀이 개발
    • 토론토의 딥러닝 스타트업 Dessa 출신들이 설립한 팀으로, 생성형 음성 모델을 8년 이상 연구
  • 텍스트 데이터나 사전학습 모델을 사용하지 않고 인간의 음성 대화만으로 학습
    • 음성을 입력받아 음성을 출력하는 speech-to-speech 모델
    • 언어와 사실 지식뿐 아니라 악센트, 쉼, 호흡, 유머와 감정 표현도 소리에서 학습
  • 같은 문장도 어느 단어를 강조하느냐에 따라 의미가 달라지므로, 말의 내용과 말하는 방식 모두를 대화의 정보로 취급

듣기와 말하기를 동시에 처리

  • 전이중(full-duplex) 방식으로 상대가 말을 끝낼 때까지 기다리지 않고 듣기와 말하기를 동시에 처리
  • 문장 중간에 웃거나 짧게 맞장구를 치고, 상대가 단어를 떠올리지 못할 때 문장을 이어주는 등 대화의 타이밍을 모델이 결정
  • 공식 사이트에는 다음과 같은 실제 대화 녹음을 공개
    • 출시 이야기: 대화 중 웃거나 더 크게 말해 달라는 요청에 음량을 높이는 사례
    • 영화 제목 떠올리기: 상대가 기억하지 못하는 내용을 돕고 대화를 이어가는 사례
    • 기념일 깜짝 선물: 놀람과 감사 등 감정을 표현하는 사례
    • GPT-Live-1과의 대화: 두 음성 AI가 끼어들기와 맞장구를 주고받는 사례
  • 개발팀에 따르면 녹음 중 응답을 별도로 조종하지 않았으며, 무엇을 언제 어떤 목소리와 성격으로 말할지 Dessa가 결정하고 자막은 사후 추가

학습 환경과 로컬 실행

  • MacBook Pro M4 Max 이상에서 로컬로 실행되며, 개발팀은 추론이 실시간보다 빠르게 작동한다고 밝힘
  • 학습에는 NVIDIA GB200 NVL72 시스템 한 대를 사용
    • GB200 NVL72는 Blackwell GPU 72개를 연결한 랙 규모 시스템
  • 개발팀은 일반적인 LLM보다 수백 배 적은 단어로 언어를 배웠다고 소개하면서, “물론 LLM은 C++과 대체 뭔지도 모를 Angular까지 배워야 한다” 는 농담을 덧붙임

공개 범위와 연구 방향

  • 현재 소수의 AI 안전 연구자에게 조기 접근을 제공해 예상하지 못한 위험을 탐색하는 단계
  • 음성만으로 언어와 사실을 얼마나 효율적으로 배우는지, 새로운 언어와 대화 중 제공되는 정보를 어떻게 학습하는지를 후속 연구 주제로 제시
  • 사람이 고통이나 좌절을 목소리로 드러내도 AI가 알아듣지 못하는 문제를 줄이는 것을 개발 목적 중 하나로 삼음
그냥 목록으로
원문 보기 ↗