- Google이 텍스트·코드·이미지·영상·오디오를 같은 벡터 공간에 표현해 서로 검색할 수 있는 EmbeddingGemma 2를 출시함. Gemma 4 기반의 7억 4,000만 파라미터 모델이며 Apache-2.0 라이선스로 공개됨
- 모듈식 구조로 텍스트 전용 작업에는 2억 7,000만 파라미터만 사용하고, 필요에 따라 비전과 오디오 인코더를 추가할 수 있음
- 기존 EmbeddingGemma의 다국어 텍스트 성능을 유지하면서 MTEB Code 점수를 68.76에서 78.68로 개선했으며, 10억 파라미터 미만 멀티모달 임베딩 모델 가운데 코드와 오디오 벤치마크에서 선도적인 성능을 달성함
- 마트료시카 표현 학습(MRL) 으로 임베딩 벡터를 768차원에서 128차원까지 줄여, 벡터 저장에 필요한 공간과 메모리를 최대 6분의 1로 축소할 수 있음
- 음성 메모로 영상 클립을 찾거나 텍스트로 수 시간 분량의 녹음을 검색할 수 있으며, 데이터를 서버로 보내지 않는 완전 오프라인 검색과 Gemma 4를 결합한 온디바이스 RAG를 지원함
- 지난해 공개한 EmbeddingGemma는 소비자용 하드웨어에서 정보를 정리하고 검색하며 연결하는 경량 텍스트 임베딩 모델로, 2,000만 회 이상 다운로드됨
- 개발자들은 온디바이스 검색 도구와 개인정보 보호 우선의 검색 증강 생성(RAG) 파이프라인에 활용해 왔음
- EmbeddingGemma 2는 텍스트를 넘어 코드, 이미지, 영상, 오디오를 공유 임베딩 공간에 매핑함
- 단일 네이티브 멀티모달 모델로 음성 메모에 맞는 영상 클립을 찾거나, 텍스트 질의로 수 시간 분량의 오디오 녹음을 검색할 수 있음
- Gemma 4 아키텍처를 기반으로 하며 Gemini Embedding 모델과 같은 기술을 사용함
- 전체 파라미터는 7억 4,000만 개이며, 상업적 이용을 허용하는 Apache 2.0 라이선스로 공개됨
- 텍스트 전용 구성에는 2억 7,000만 파라미터만 필요하며, 비전 인코더 1억 7,000만 개와 오디오 인코더 3억 개를 선택적으로 추가할 수 있음
- 마트료시카 표현 학습(Matryoshka Representation Learning, MRL) 을 사용해 출력 벡터를 768차원에서 512, 256, 128차원으로 동적으로 잘라낼 수 있음
- 로컬 벡터 데이터베이스의 저장 공간과 메모리 사용량을 최대 6분의 1로 줄일 수 있음
- 양자화 적용 시 Google Pixel 11 Pro에서 텍스트 전용 가중치에 필요한 활성 RAM은 최소 약 191MB, 전체 멀티모달 모델은 최소 약 567MB임
- 8K 토큰 문맥 창은 EmbeddingGemma 1의 4배 크기임
- 로컬 하드웨어에서 최대 5.5분의 오디오, 29개 이미지, 58개 영상 프레임 또는 이들을 교차 배치한 조합을 처리할 수 있음
- 기존 EmbeddingGemma의 다국어 텍스트 성능을 유지하면서 MTEB Code 점수를 68.76에서 78.68로 9.92점 개선함
- 로컬 코드베이스 색인, 의미 기반 코드 검색, 코딩 에이전트의 검색에 적합함
- 10억 파라미터 미만 멀티모달 임베딩 모델 가운데 MTEB(Massive Text Embedding Benchmark) Code와 MAEB(Massive Audio Embedding Benchmark)에서 선도적인 점수를 달성함
- 텍스트, 비전, 오디오 작업에서 다수의 더 큰 모델과 동등하거나 더 높은 성능을 보임
- 이미지, 영상, 문서, 오디오에서 높은 파라미터 대비 성능을 달성했으며, 크기가 2배를 넘는 일부 특화 모델보다도 우수함
- 전체 평가 지표와 모델 정보는 EmbeddingGemma 2 모델 카드에서 확인할 수 있음
- 로컬 임베딩 생성은 데이터 개인정보 보호에 도움이 되고 파이프라인 지연 시간을 줄이며, 완전히 오프라인으로 작동하는 교차 모달 검색을 가능하게 함
- Gemma 4 같은 생성 모델과 결합하면 복잡한 멀티모달 데이터를 이해하는 온디바이스 RAG 파이프라인을 구성할 수 있음
- 두 모델은 텍스트 토크나이저와 오디오 인코더를 공유하므로, 통합 파이프라인에서 함께 실행할 때 전체 메모리 사용량을 줄일 수 있음
- Google AI Edge Gallery에서 두 가지 검색 기능을 체험할 수 있음
- Instant Media Search는 텍스트나 이미지로 미디어 라이브러리에서 의미적으로 가장 유사한 항목을 찾음
- Video Moments Finder는 텍스트나 오디오 질의로 영상의 특정 순간을 찾음
- Google AI Edge Foresight 앱은 EmbeddingGemma 2의 로컬 파일 검색과 Gemma 4의 문맥 기반 추론을 결합함
- MediaPipe Decision Task API는 멀티모달 문맥을 활용해 분류, 라우팅, 예측을 수행하는 실시간 의사결정 엔진 구축을 지원함
- LiteRT로 온디바이스 검색과 RAG 시스템을 구축하는 방법은 Google AI Edge 블로그 글에서 확인할 수 있음
- 모델 가중치는 Hugging Face와 Kaggle에서 제공하며, Gemini Enterprise Agent Platform Model Garden에도 곧 추가될 예정임
- 온디바이스에 최적화된 모델은 LiteRT Community on Hugging Face에서 제공함
- 온디바이스 배포에는 Google AI Edge의 MediaPipe와 LiteRT를 사용할 수 있음
- MediaPipe는 바로 활용할 수 있는 임베딩, 검색, 의사결정 작업을 지원하고, LiteRT는 맞춤형 모델 통합을 지원함
- 브라우저용으로는 transformers.js 또는 WebGPU를 활용할 수 있음
- 모델 서빙에는 transformers, sentence-transformers, MLX, vLLM, llama.cpp, SGLang, Ollama, LMStudio를 사용할 수 있음
- 임베딩 벡터는 Qdrant에 저장할 수 있음
- 사용 사례에 맞춘 미세 조정 방법은 Unsloth 가이드에서 제공함
- 추가로 개발자 가이드, 문서, sentence-transformers 기반 추론 가이드와 미세 조정 가이드를 제공함