- Nemotron 3.5 Transcribe는 전사, 화자 구분, 번역, 오디오 질의응답을 하나의 공개 가중치 모델로 제공하며, 자연어 지시로 출력 형태를 바꿀 수 있음
- 한국어 포함 40개 언어 전사를 지원하며, 한국어는 영어와의 양방향 번역과 화자 구분도 가능함. 최대 1시간 녹음과 8명의 화자를 처리하며, 실시간 스트리밍용은 아님
- 영어 Open ASR 평가에서 공개 가중치 모델 중 평균 WER 5.33%로 1위를 기록했으며, David AI와 VoiceArena의 화자 구분 평가에서도 최저 오류율을 달성함
- Granary v2는 48개 언어, 463,062시간의 공개 데이터 매니페스트와 재사용 가능한 정제 파이프라인을 제공해 전사 형식과 도메인 어휘에 맞춘 학습을 지원함
- 의료 음성 사례에서는 미세조정으로 별도 평가 화자의 WER를 22.44%에서 12.17%로 낮췄으며, 최적 프롬프트 대비 45.8% 상대 개선을 달성했지만 일반 영어 인식 성능은 소폭 하락함
- Nemotron 3.5 Transcribe는 같은 체크포인트에 서로 다른 지시를 내려 전사, 화자 표시, 영어 번역, 회의 결정 사항에 대한 질의응답을 수행함
- 40개 언어 전사, 31개 언어와 영어 간 양방향 번역, 13개 언어 화자 구분을 지원함
- 최대 1시간 녹음과 8명의 화자를 처리하고, 단어 단위 타임스탬프도 제공함
- 작업별 지원 언어가 다르며, 오디오 질의응답은 영어로 학습됨
- 낯선 용어에는 학습 전에 문맥 프롬프트를 적용할 수 있음
- 의료 대화라면 HbA1c, metformin 같은 후보 용어를 주고, 오디오가 뒷받침할 때만 사용하도록 지시함
- 원어 유지, 표준 의학 철자, 일반적인 숫자 표기 등 출력 규칙도 지정할 수 있음
- 모델 카드에는 오디오 질문용 추론 설정을 포함한 권장 프리셋, 프롬프트 안내, 작업별 언어 지원표가 있음
- 이름, 화자 전환, 질의응답 결과는 원본 녹음과 대조해 표본 검수해야 함
- 시연에서는 빠르고 겹치는 대사가 많은 영화 His Girl Friday(1940)의 장면을 전사하고 화자를 표시함
- Agora의 교실 데모는 단어 단위 타임스탬프를 활용해 녹화 수업 재생 화면 옆에 전사문을 표시하고, 학생이 발언 내용과 시점을 함께 확인하도록 구성함
- Hugging Face Open ASR Leaderboard의 영어 평가에서 API 모델을 제외한 공개 가중치 모델 중 평균 단어 오류율(WER) 5.33% 로 1위를 기록함
- 모델 카드의 Open ASR 비교에서는 7개 언어 평균 WER 4.62%, 장문 음성 평균 WER 10.98%로 각각 평가 대상 공개 가중치 모델 중 가장 낮았음
- Artificial Analysis에서는 AA-WER 2.8%로 공개 가중치 모델 공동 1위를 기록함
- 활성 파라미터는 약 40억 개로, 동률 모델의 240억 개 대비 약 6분의 1임
- 지수의 50%를 차지하는 별도 평가용 음성 에이전트 데이터 AA-AgentTalk에서는 WER 1.8%로, 다음으로 높은 성능의 공개 가중치 모델이 기록한 2.3%보다 낮았음
- 정확도와 활성 파라미터 수의 공개 가중치 모델 파레토 전선에 위치하며, 전체 모델 비교에서도 여러 상용 비공개 음성 API보다 높은 순위를 기록함
- 음성 인코더에 Mamba–Transformer 혼합 전문가(MoE) 언어 모델을 결합하며, 전체 300억 파라미터 중 토큰당 약 40억 개만 활성화함
- Ocular AI의 Converse-STT 평가에서도 공개 모델 중 1위를 기록했으며, Josh Talks의 Voice of India에는 인도 언어별 평가 결과가 공개돼 있음
- Sortformer의 화자 단서를 음향 특징과 함께 언어 모델에 전달해 생성 중 각 발화에 화자 정보를 붙임
- 전사가 끝난 뒤 단어에 화자를 연결하는 후처리에만 의존하지 않음
- David AI DAI-ASR-I18N의 전사와 화자 식별 결합 평가에서는 공개 가중치 모델 중 1위, 전체 2위를 기록함
- 21개 언어에서 누가 언제 말했는지 평가하는 화자 구분 트랙에서는 14개 시스템 중 최저 화자 구분 오류율(DER)인 18.26% 를 기록함
- 전용 모델인 Nemotron 3 Diarization의 18.38%보다 소폭 낮았음
- VoiceArena Diarization-Bench에서는 14개 시스템 중 최저 cpWER인 32.4% 를 기록하고 대면 및 온라인 환경 모두에서 1위를 차지함
- 영어 전체 세션, 겹치는 발화, 2~8명 화자를 포함한 평가이며, cpWER는 화자 라벨을 대응시킨 뒤 단어 오류를 계산함
- NVIDIA Multitalker Parakeet과 Nemotron 3 Diarization 조합이 34.2%로 뒤를 이음
- 누락 단어 비율도 기준 단어의 8.32%로 가장 낮았으며, 비교 시스템 중앙값은 약 31%였음
- 공개 예정인 NVFP4 양자화 버전은 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 1대에서 100시간 분량의 오디오를 3분 이내에 처리함
- 30초 클립과 높은 동시성을 사용한 벤치마크 결과임
- 현재 체크포인트는 vLLM과 SGLang-Omni로 자체 호스팅할 수 있으며, 두 도구 모두 출시일부터 지원함
- 양자화 버전과 로컬 배포 지원은 예정 단계임
- NeMo-Speech.cpp 지원이 양자화 버전과 함께 제공될 예정임
- RTX Spark, DGX Spark, Jetson AGX Thor에서 로컬 실행하거나 Blackwell 데이터센터 GPU로 확장하는 구성을 지원할 예정임
- 모델은 녹음 오디오용이며 실시간 스트리밍용이 아님
- Hugging Face 데모와 ModelScope Studios에서 시험할 수 있고, ModelScope에서도 체크포인트를 받을 수 있음
- 자체 호스팅 대신 Baseten, DeepInfra, Simplismart의 호스팅 엔드포인트를 사용할 수 있음
- Granary v2는 NVIDIA NeMo Curator로 구축한 재사용 가능한 다국어 음성 정제 파이프라인과 데이터 매니페스트를 제공함
- Transcribe 학습에 사용한 음성을 정제하고, 서로 대응하는 전사 변형, 작업 라벨, 검토 가능한 품질 메타데이터를 생성함
- 공개 매니페스트는 48개 언어, 16개 원천 코퍼스, 463,062시간을 포함하며, Granary v1의 25개 언어에서 범위가 확대됨
- 이 수치는 공개 데이터셋의 규모이며, Transcribe의 전체 학습 데이터 구성이나 샘플링 가중치를 뜻하지 않음
- 각 녹음에 세 가지 전사 형식을 생성하며, Transcribe에서도 프롬프트로 축어적 전사와 정돈된 전사를 요청할 수 있음
- tn_raw: 숫자를 단어로 풀어 쓰고 머뭇거림을 보존함. 예: I paid, uh, twenty-five euros.
- itn_raw: 숫자와 단위를 일반적인 문자 표기로 바꾸고 머뭇거림을 보존함. 예: I paid, uh, €25.
- itn_clean: 일반적인 문자 표기를 사용하고 머뭇거림을 제거함. 예: I paid €25.
- 전사 외에도 짧은 오디오 캡션, 코드 스위칭에서의 차용어 복원, 음성에 근거한 질의응답 쌍, 문맥 기반 ASR 유도 용어, 자동 품질 점수가 붙은 번역을 생성함
- 공개 매니페스트에는 엔티티 힌트, 파생 지시문 쌍, 출처, 레코드별 품질 플래그도 포함됨
- 원본 오디오는 각 코퍼스의 원래 라이선스에 따라 별도로 내려받아야 하며, 릴리스의 공개 이용 조건을 따라야 함
- ModelScope에서도 매니페스트를 제공함
- 1. 오디오 준비(Metadata): 원본 또는 긴 오디오를 분할하고, 전체 녹음에 걸쳐 화자를 추적하며, 음향 이벤트와 언어를 표시함
- Granary v2의 원천 데이터는 이미 분할돼 있어 이번 릴리스에서는 이 단계를 생략함
- 2. 전사(ASR): 언어별 주 모델과 복구용 모델로 음성을 보내며, 주 모델이 환각 검사를 통과하지 못하면 대체 모델을 사용함
- 사람이 작성한 기준 전사문을 활용해 신뢰할 수 있는 철자를 보존하면서 발화 형태와 머뭇거림을 추가함
- 3. 작업 라벨 생성(Text): 전사 변형을 만든 뒤 문자 비율, 환각 패턴, 모델 또는 사람 기준 전사문과의 일치도를 검사함
- 승인된 레코드에만 문맥 기반 ASR 용어와 번역을 생성함
- 4. 고품질 필터링(HiFi): 잡음, 잘림, 여러 화자가 포함된 구간을 제거해 ASR 외 용도로도 활용할 수 있는 소규모 고품질 녹음 집합을 만듦
- VoxPopuli에서는 유럽 22개 언어의 35만 4,000시간을 11만 1,000시간으로 줄임
- 개발자는 NeMo Curator 파이프라인을 Ray와 NVIDIA Dynamo 백엔드로 실행해 자체 녹음이나 사용 권한이 있는 공개 코퍼스를 처리할 수 있음
- 먼저 개발용 데이터에서 언어, 문자 체계, 전사 형식을 명시하는 프롬프트를 조정함
- 의료 ASR 사례에서는 영어와 라틴 문자를 명시하는 것만으로 전체 벤치마크 WER가 30.8%에서 23.8%로 줄었음
- 평가는 인도 의사와 의대생의 녹음 3,619개로 구성된 Eka Care 공개 벤치마크를 사용하며, 이 데이터에는 지정된 학습 분할이 없음
- 생성한 의료 텍스트와 공개 의약품 목록으로 적응 데이터를 만들고, 약 153시간의 합성 음성, Common Voice의 억양이 있는 영어 29시간, MultiMed 의료 녹음 63시간을 결합함
- 학습 텍스트에서 벤치마크 기준문과 완전히 일치하거나 8단어 연속 구문을 공유하는 항목을 걸러냄
- 합성 데이터는 목표 문자 표기와 실제 발음 형태를 분리함
- 정답 라벨은 HbA1c로 두고, 음성 합성기에는 H B A one C를 전달함
- 여러 TTS 음색으로 음성 다양성을 늘리고, 실제 녹음으로 억양과 녹음 환경을 보완함
- 학습 예제는 숫자, 단위 간격, 회사명 확장 표기, 브랜드명 하이픈을 다양하게 구성하고 지시문으로 원하는 규칙을 지정함
- 일부 용어 목록에는 비슷하지만 틀린 후보를 넣어, 오디오가 뒷받침할 때만 해당 철자를 사용하도록 학습함
- 최종 시스템은 고정된 표기 규칙 프롬프트와 한 번의 모델 실행만 사용하며, 검색이나 전사 후처리를 사용하지 않음
- 음성 인코더와 투영 계층을 학습하고 언어 모델은 LoRA로 적응시킴
- 데이터 구성을 달리한 두 번의 학습 후 어댑터를 병합하고, 선택한 체크포인트를 동일 가중치로 평균해 최종 모델을 만듦
- 체크포인트는 학습 손실만이 아니라 개발 세트의 실제 디코딩 결과로 선택함
- 텍스트 생성부터 평가까지 전체 과정에 NVIDIA GB300 1대 기준 약 14 GPU시간이 소요됨
- 벤치마크를 화자 기준으로 조정용 855개 클립과 별도 평가용 2,764개 클립으로 나눔
- 조정용 클립은 프롬프트와 체크포인트 선택에 사용하고, 평가용 클립은 최종 시스템마다 한 번씩 디코딩함
- KARMA 평가 파이프라인 기준 별도 평가 화자의 WER는 최적 프롬프트 기준 22.44%에서 미세조정 후 12.17%로 45.8% 상대 감소함
- 키워드 WER는 9.2%에서 6.5%, 의미 기반 WER는 10.0%에서 7.6%로 낮아짐
- 같은 화자와 평가기에서 공개 의료 전문 모델의 13.79%, 널리 쓰이는 범용 ASR 모델의 14.92%보다 낮았음
- 전체 벤치마크에서는 WER가 기본 30.8%, 개선 프롬프트 23.8%, 미세조정 11.8%로 낮아져 기본 모델 대비 오류가 약 62% 줄었음
- 다만 전체 결과에는 프롬프트와 체크포인트 선택에 사용한 855개 클립이 포함되므로, 별도 화자 결과가 일반화 성능을 더 명확히 보여줌
- 일반 영어 성능에는 소폭 손실이 있었음
- LibriSpeech test-clean WER가 1.54%에서 1.69%로 상승함
- 약품 브랜드명과 진단명 완전 일치에서는 의료 전문 모델이 여전히 앞섰으며, 다음 단계로 임상의가 브랜드명을 발음한 실제 녹음을 확보할 필요가 있음
- 자체 도메인에 적용할 때는 체크포인트 선택용으로 실제 라벨링 클립을 최소 100개 확보하고, 일반 음성 성능 유지 여부와 함께 애플리케이션에 중요한 엔티티 유형을 평가할 것을 권장함
- NeMo Speech 미세조정 튜토리얼은 새 언어와 코드 스위칭 ASR을 포함한 학습법, 자원 요구사항, 학습/내보내기/평가 도구를 제공함
- 미세조정 에이전트 스킬을 사용하면 코딩 에이전트가 기준 모델 선택, 데이터 점검, 학습 검증, 어댑터 병합, 평가까지 실행할 수 있음
- ModelScope의 ms-swift로도 특화 멀티모달 애플리케이션을 위한 미세조정이 가능함