- Liquid AI가 텍스트, 비전, 오디오, 시청각 통합, 의사결정용 모델 6종을 오픈 웨이트로 공개함. 공통 백본에서 파생한 약 2B 파라미터급 모델로, 용도에 맞게 선택해 단일 GPU로 미세조정하고 로컬에 배포할 수 있음
- 텍스트 모델 LFM3-1.7B는 4비트 정밀도에서 약 1GB 크기이며 최대 256K 토큰 문맥을 지원함. 합성곱과 두 종류의 어텐션을 결합해 긴 문맥의 처리 속도와 메모리 효율을 높임
- 로컬 에이전트의 메일 분류, 일정 관리, 웹 조사와 도구 호출에 맞춰 학습함. 자체 비교에서 일부 더 큰 모델보다 지시 준수와 도구 사용, 브라우저 업무 성능이 높았지만 에이전트 코딩과 지식 영역에서는 큰 모델이 우세함
- 비전 모델은 영상 입력, 오디오 모델은 18개 언어와 스트리밍 음성 대화를 지원함. 옴니 모델은 영상과 소리를 함께 이해하고, 시각적 맥락과 음성 지시를 결합해 도구를 호출할 수 있음
- 의사결정 모델은 여러 질문을 한 번의 연산으로 처리하고 보정된 확률과 구조화된 결과를 반환함. 문서의 값 추출, 이미지 속 대상 위치 지정, 분류와 수치 추정 등에 활용할 수 있음
- LFM3의 첫 출시는 LFM3-1.7B-Base에서 파생한 약 2B 파라미터급 모델 6종으로 구성됨
- 텍스트, 비전, 오디오, 옴니 모델 4종과 비전 및 옴니 모델에서 특화한 의사결정 모델 2종임
- 대형 범용 모델 하나를 실행하는 대신, 용도에 맞는 모델을 선택하고 맞춤화해 기기에서 실행하는 방식임
- LFM2의 짧은 합성곱과 어텐션 조합을 하드웨어 연계 자동 아키텍처 탐색으로 재설계함
- 탐색 대상은 휴대전화와 노트북의 CPU 2종에서 기기 및 백엔드 조합 14종으로 확대됨
- Samsung Galaxy S26 Ultra, OnePlus 15, Raspberry Pi 5, Apple M4 Max 및 AMD Ryzen AI 노트북, Arm 및 x86 클라우드 CPU, GPU, Qualcomm Hexagon NPU를 포함함
- 일부 합성곱을 다른 시퀀스 처리 블록으로 교체하는 실험에서는 슬라이딩 윈도 어텐션이 품질과 속도 사이에서 가장 좋은 균형을 보임
- 24개 층은 게이트형 짧은 합성곱 13개, 256토큰 윈도의 슬라이딩 윈도 어텐션(SWA) 5개, 전역 어텐션 6개로 구성됨
- 합성곱 커널 크기는 LFM2의 3에서 7로 커짐
- Liquid AI의 파라미터당 비교에서 LFM3-1.7B는 짧은 프롬프트에서 LFM2-1.2B와 비슷한 속도를 보이며, 8K 문맥에서는 약 25% 빠름
- 헤드별 게이트 어텐션은 시그모이드 게이트로 각 헤드의 출력을 조절해 기여할 내용이 없을 때 출력을 끌 수 있음
- 양자화에 불리한 활성화 이상치 억제와 학습 안정성 개선에 도움이 될 수 있음
- 부분 RoPE는 전역 어텐션 헤드의 고주파 절반에만 회전을 적용하고, 저주파 절반은 회전하지 않아 거리와 무관한 내용 매칭이 가능하도록 함
- SWA 층은 전체 RoPE를 유지함
- 샌드위치 정규화는 각 블록의 입력과 출력을 모두 정규화해 활성화 값의 크기를 안정적으로 유지함
- 토크나이저는 LFM2.5-8B-A1B와 동일한 128K 어휘를 사용하며, 비라틴 문자 체계를 더 효율적으로 토큰화하도록 설계됨
- LFM3-1.7B-Base는 22T 토큰으로 사전학습함
- LFM2보다 과학 논문, 저장소 단위 코드, 다양한 지식 자료, 수학 데이터의 비중을 늘림
- 마지막 3.5T 토큰은 선별한 고품질 데이터로 중간학습하는 단계이며, 에이전트 실행 추적과 다양한 도구 호출 비중을 높임
- 이 단계에서 문맥 길이를 256K 토큰으로 확장함
- LFM3-1.7B는 로컬 에이전트와 특화 애플리케이션을 위한 텍스트 모델임
- Hermes Agent, Pi, OpenClaw 같은 에이전트 하네스에서 실행하도록 후속학습함
- 받은편지함 분류, 일정 관리, 웹 조사, WhatsApp 아침 브리핑, 수천 개 도구 중 적절한 도구를 찾는 도구 검색을 지원함
- 로컬 실행에서는 토큰 사용료 없이 여러 에이전트를 백그라운드에서 계속 실행할 수 있으며, 단일 GPU의 짧은 미세조정으로 도메인과 하네스, 도구에 맞출 수 있음
- 후속학습은 네 단계로 진행함
- 지도 미세조정(SFT): 대화, 추론, 도구 호출, 에이전트 실행 추적 등 1.75T 토큰으로 학습함
- 혼합 강화학습: 수학, 코드, SQL, 구조화된 출력 등 여러 영역을 동시에 학습하며, 보상에 길이 페널티를 적용해 답변을 간결하게 유지함
- 다중 도메인 온폴리시 증류(MOPD): 코드, 수학, 도구 사용, 긴 문맥, 에이전트 작업, 기업 업무 흐름에 특화한 강화학습 교사 모델 6개의 역량을 하나로 증류함
- 에이전트 강화학습: 실제 에이전트 하네스 안에서 웹 탐색부터 사무 업무까지 수행함
- Liquid AI의 비교에서 LFM3-1.7B는 크기가 몇 배인 모델과 에이전트 작업에서 경쟁하며, 지시 준수와 BFCL 및 ToolSandbox 함수 호출 평가에서 앞섬
- LiveClaw는 45.60점, BFCL V4는 71.39점, ToolSandbox는 80.36점을 기록함
- WebArena-Verified는 38.42점, AutomationBench는 41.29점으로, Qwen3.5-9B의 28.94점과 15.10점보다 높음
- 비교표의 전체 평균은 49.37점으로 Qwen3.5-9B의 47.24점보다 높지만, 모든 분야에서 우세한 것은 아님
- 에이전트 코딩과 지식에서는 더 큰 모델의 우위가 남아 있음
- SWE-bench Verified에서 LFM3-1.7B는 43.40점, Qwen3.5-9B는 51.20점을 기록함
- Humanity’s Last Exam 점수는 도구 없이 7.17점, 도구 사용 시 13.90점으로, 검색이 지식 격차를 줄이는 데 도움이 됨
- 기기 내 측정은 llama.cpp, Q4_0, 32K 문맥 조건에서 수행함
- 측정한 기기 3종 모두에서 가장 빠르며, 다음으로 빠른 모델보다 디코딩 속도가 1.8~2.8배 높고 메모리 사용량도 가장 적음
- 128K 문맥의 KV 캐시는 1.6GB로, Qwen3.5-4B의 4.3GB와 MiniCPM5-2B의 5.6GB보다 작음
- NVIDIA B300 한 대에서 SGLang, BF16, 동시 요청 1,024개 조건으로 하루 36억 토큰을 생성할 수 있으며, 해당 비교 모델 중 처리량이 가장 높음
- 처리량 활용 사례로 LFM3-1.7B 에이전트 30만 개 이상을 병렬 실행해 Enron 이메일 아카이브를 조사함
- Liquid RIPL에서는 불규칙한 요청과 높은 부하에서도 P95 요청 지연 시간이 안정적으로 유지되며, 온라인 사기 탐지 같은 실시간 용도를 지원함
- 이 비교에서는 vLLM으로 제공한 경쟁 모델보다 낮은 지연 시간을 보임
- MacPaw의 실제 macOS 작업 65개 평가에서는 LFM3-1.7B가 Qwen3.5-2B보다 높은 성공률을 기록함
- 작업 성공률은 64% 대 48%이며, 작업당 토큰 사용량은 58% 적었음
- 진행이 막힌 시도는 1% 미만으로, 비교 모델의 15%보다 적었음
- LFM3-VL-2B는 LFM 비전 모델 최초로 영상 입력을 지원함
- 녹화 강의, 휴대전화로 촬영한 현장 영상, 카메라 영상에 관해 질문할 수 있음
- 답변 전 단계별 추론으로 수학, 차트, 다단계 시각 문제를 처리함
- 물체 위치와 공간 관계를 파악하는 능력은 로봇 응용의 기반이 됨
- Liquid AI의 비전 벤치마크 62개 평가에서 평균 71.4점을 기록함
- 비슷한 크기의 비교 모델보다 최소 7.4점 앞서며, Gemma 4 12B의 71.7점과 비슷한 수준임
- Gemini 3.5 Flash Lite는 70.0점, GPT-5.6 Luna는 73.4점을 기록함
- 평가는 일반 시각 이해, 지각, 문서/OCR/차트, 수학 및 논리 추론, 시각적 위치 지정, 신체화 추론, GUI, 영상, 다국어, 에이전트 작업을 포함함
- 범주 점수는 해당 벤치마크의 비가중 평균이며, 전체 평균은 62개 평가의 비가중 평균임
- 온디바이스 실행은 데이터 외부 전송이나 클라우드 연결 없이 가능함
- 측정한 모든 기기에서 동급 비교 모델 중 프리필 처리량이 가장 높고 메모리 사용량이 가장 적음
- NVIDIA B300 한 대의 SGLang, BF16 조건에서는 초당 12,000토큰 이상을 생성함
- Liquid RIPL을 이용한 이미지 자산 태깅 같은 용도에서 높은 부하에도 안정적인 P95 지연 시간을 보이며, vLLM 기반 경쟁 모델보다 앞섬
- 자체 개발한 164M 파라미터 비전 인코더는 합성곱과 어텐션을 결합함
- 기존 LFM VL의 SigLIP2 인코더 대비 연산량이 약 3분의 1임
- 비전 언어 벤치마크 13개의 평균 정확도 55.9%로 Qwen3.5-2B 비전 인코더와 동등하면서, FLOPs는 2.2배 적음
- 영상에서는 샘플링한 두 프레임을 하나의 시간 슬라이스로 공동 임베딩해, 추가 인코딩 전 시간축 시퀀스 길이를 절반으로 줄임
- LFM3-Audio-2B는 노트북과 엣지 기기에서 실행하며, 텍스트 또는 오디오를 입력받아 텍스트와 음성으로 응답함
- 자체 오디오 인코더와 코덱을 사용하고, LFM2.5-Audio보다 음성 품질을 개선했으며 18개 언어를 지원함
- 음성 대화, 다국어 전사/합성/번역, 녹음 속 발화와 소리 및 사건에 관한 추론, 음성 요청을 통한 도구 호출을 지원함
- 텍스트와 음성을 스트리밍으로 응답하며, 텍스트 전용 응답에서는 답변 전 추론도 가능함
- 도구 호출과 함께 텍스트 또는 음성 응답을 제공할 수 있음
- 음성 합성 및 이해 평가에서는 이전 모델 대비 개선을 보이지만, 모든 비교 모델을 앞서는 것은 아님
- 영어 음성 합성 UTMOSv2는 3.8점으로 LFM2.5-Audio의 3.2점보다 높고, 단어 오류율은 1.4%로 1.9%보다 낮음
- 영어 음성 인식 단어 오류율은 6.2%로, 이전 모델의 6.1%보다 소폭 높음
- 영어, 스페인어, 포르투갈어, 독일어, 프랑스어, 이탈리아어, 중국어, 일본어, 한국어의 음성 인식 평균 단어 오류율은 6%임
- VoiceBench는 73.1점, 내부 도구 호출 평가는 58.5점, 오디오 이해 MMAR은 50.6점을 기록함
- 완전 인과적 오디오 인코더는 SWA와 짧은 합성곱을 결합해 메모리 사용량을 제한함
- 사용자가 말하는 동안 실시간 마이크 입력을 처리하고 프리필을 수행함
- 발화가 끝난 뒤 대기 시간을 줄여 첫 토큰 지연 시간이 최저 50ms까지 내려감
- LiquidCodec은 LFM3-Audio와 LFM3-Omni의 다국어 음성 생성을 담당하는 자체 오디오 토크나이저임
- Apple M4 Max의 단일 CPU 스레드에서 생성 토큰을 실시간의 약 87배 속도로 음성으로 변환하며, 스트리밍 디코딩을 지원함
- 음성 80ms를 이산 토큰 12개로 압축함
- 이전 LFM Audio와 달리 여러 토큰을 순차적으로만 예측하지 않고 반복적으로 병렬 예측할 수 있음
- 백본이 토큰을 생성하는 동안 디토크나이저가 점진적으로 음성으로 변환함
- Mercedes-Benz는 MB.OS를 기반으로 온디바이스 AI가 MBUX Virtual Assistant를 개선할 수 있는 방법을 Liquid AI와 탐색 중임
- 빠르게 응답하고 프라이버시를 보호하며 클라우드에 의존하지 않는 차량 내 상호작용을 목표로 함
- LFM3-Omni-2B는 비전, 오디오, 언어를 통합한 첫 옴니 모델이며, 실제 파라미터 수는 2.2B임
- 이미지와 실제 장면에 음성으로 질문하고 텍스트, 음성 또는 둘 다로 답을 받을 수 있음
- 영상 프레임과 동기화된 오디오를 함께 처리해 화면의 사건과 발화 및 소리를 연결해 추론함
- 시각적 맥락과 음성 지시를 결합해 구조화된 도구 호출을 생성함
- 비교 평가에서는 영상과 오디오의 공동 이해에 강점을 보임
- Daily-Omni 70.1점, WorldSense 47.1점, AV-SpeakerBench 46.8점으로 각 항목의 비교 모델보다 높음
- 반면 OmniBench 전체 점수는 46.3점으로 Qwen2.5-Omni-3B의 47.1점과 Qwen2.5-Omni-7B의 49.7점보다 낮아, 모든 평가에서 우세하지는 않음
- 독립형 모델의 시각 질의응답, 음성 인식, 음성 합성, 언어 지시 준수 능력을 유지함
- 손글씨 수학 문제를 보며 음성 질문에 답하는 튜터, 이동하며 주변을 설명하는 태블릿, 카메라 영상과 운전자 발화를 결합하는 차량 비서 등에 활용할 수 있음
- 개인화 교육, 일상 보조, 디지털 인터페이스 탐색, 로봇 시스템을 지원할 수 있음
- 화면 요소의 위치를 정밀하게 찾고 음성 요청을 바로 구조화된 도구 호출로 연결할 수 있음
- d1-2B는 LFM3-VL-2B 기반으로 텍스트와 이미지를 처리하며, d1-Omni-2B는 LFM3-Omni-2B 기반으로 오디오까지 처리함
- 지원 티켓, 송장, 앱 화면, 사진, 음성 메모와 질문 목록을 입력하면 한 번의 순전파로 여러 질문에 답함
- 서술형 답변을 생성하는 대신 밀리초 단위로 판단하며, 각 결과에 보정된 확률을 제공함
- d1-3B 이후의 주요 변화는 타입이 있는 응답임
- Point: 설명에 맞는 대상에 경계 상자를 그리거나 모든 일치 항목과 개수를 찾음
- Read: 문서에서 텍스트, 숫자, 날짜와 정확한 원문 구간을 추출하며, 필드가 없으면 “not found”를 반환함
- Estimate: 숫자와 해당 값의 가능성 높은 범위를 반환함
- Pick: 적용되는 선택지를 모두 고르고 각각의 확률을 반환함
- 기존 예/아니요, 선택, 점수 응답도 유지하며, 여러 질문을 동일 입력에 대한 한 번의 처리로 읽음
- d1-2B는 이전 d1-3B보다 파라미터가 3분의 1 적으면서 비교 평가 점수가 높아짐
- 실제 기업 기록 기반 Decision Bench는 83.6점에서 85.2점으로, 공개 Decision Index는 49.0점에서 51.1점으로 상승함
- 사진과 규칙을 활용하는 ImajevBench는 64.0점에서 75.5점으로, 비공개 및 공개 벤치마크 117개의 Meta index는 58.8점에서 63.2점으로 상승함
- d1-Omni-2B는 음성 질문에서도 서면 질문에 가까운 정확도를 유지함
- 서면/음성 점수는 DecisionBench 83.4/78.2, Typed Decisions 50.5/48.0, JevBench 87.6/89.0임
- 일상 소리 인식 ESC-50에서 84.5%, FLEURS의 43개 언어 식별에서 92.5%를 기록함
- 두 모델 모두 기기에서 실행해 티켓, 문서, 통화, 카메라 프레임을 클라우드 왕복 없이 구조화된 판단으로 바꿀 수 있음
- MacBook 시연에서는 자연어로 지정한 모든 대상을 Point 응답으로 한 번의 순전파에 탐지함
- LFM3-VL-2B를 드론 사진 속 풍력 터빈 블레이드 결함 탐지와 분류에 미세조정함
- 공개 WTBs2025 사진 약 3,000장을 사용해 단일 A100에서 SFT와 GRPO로 수 시간 학습함
- 학습에서 제외한 사진 약 1,400장으로 기본 모델 및 GPT-6 Luna와 비교함
- 미세조정 전 두 모델의 결함 유형 식별 정확도는 모두 10% 미만이었으나, 특화 후 분류 정확도가 67% 로 높아짐
- 탐지 F1은 0.003에서 0.11로 개선됐으며, GPT-6 Luna는 0.01을 기록함
- 낙뢰 피해 사례에서는 GPT-6 Luna가 위치는 올바르게 찾고도 유형을 잘못 붙이는 경우가 많았고, 특화 모델은 낙뢰 피해로 정확히 분류함
- 같은 이미지에 대해 손상 위치를 찾거나 결함 유형, 근거, 위치를 포함한 검사 소견을 자연어로 작성할 수도 있음
- 풍력 터빈 미세조정 예제와 미세조정 노트북을 공개함
- 고수준 도구 조율에서는 SayCan, Code as Policies, VoLo, Gemini Robotics ER 2를 바탕으로 로봇 팔을 도구로 제어하도록 LFM3-VL-2B를 미세조정함
- 요청과 카메라 이미지를 받아 단계별로 추론하고, 대상 위치 지정, 깊이 도구를 통한 측정, 모션 플래너를 통한 조작을 수행함
- 다음 이미지에서 결과를 확인하고, 도달 불가능하거나 모호한 요청도 보고함
- Isaac Sim에서 관계 기반 대상 선택, 측정 속성에 따른 정렬, 환경 교란을 포함한 작업을 수행함
- 아키텍처 변경 없이 조작 궤적, 일반 도구 사용, 위치 지정 데이터 약 40,000개로 rank-32 LoRA를 학습했으며, 단일 AMD Instinct MI325X에서 약 6 GPU시간이 소요됨
- 미세조정한 d1-2B 동작 모니터를 결합하면 미끄러짐, 끼임, 끌림 같은 교란에서 복구 성공률을 추가로 두 배 높일 수 있음
- 시각 언어 탐색에서는 경로 설명과 최근 RGB 프레임을 읽어 탐색 목표와 잔차 양자화된 궤적 단위를 예측함
- LightNav-0의 행동 인터페이스에서 착안했으며, 결정 하나는 공간/제어 토큰 2개와 계층적으로 양자화한 코드 3개로 구성됨
- 코드 3개는 속도 제어기가 추종할 수 있는 경유점 10개짜리 경로를 나타냄
- 어휘 토큰 2,068개만 재활용하고 아키텍처는 유지했으며, 280만 샘플을 MI325X에서 72 GPU시간 학습함
- 처음 보는 검증 환경에서 벽면 미끄러짐을 금지하고 명시적 정지를 요구하는 연속 제어 평가를 적용했을 때 R2R 성공률 53%, RxR 43%를 기록함
- 카메라 각도와 지시 언어 변화에도 강건성을 보였으며, Jetson AGX Orin의 TensorRT FP16에서 시각 프롬프트 캐싱 없이 초당 2.5회 이상 궤적을 갱신함
- 저수준 조작에서는 OpenVLA-OFT와 StarVLA-α에서 착안한 병렬 행동 예측으로 비전 언어 행동(VLA) 모델을 구성함
- 작은 잔차 MLP가 행동 질의 토큰 8개의 은닉 상태를 한 번의 순전파로 8단계 연속 로봇 행동 묶음으로 변환함
- 고유감각 정보를 이산화한 텍스트와 로봇 형태별 학습 투영으로 제공하고, 전체 네트워크를 종단 간 미세조정함
- 단일 팔, 이동형 매니퓰레이터, 양팔 플랫폼, 휴머노이드 등 15종 로봇의 시뮬레이션 및 실제 데이터를 사용해 MI325X에서 170 GPU시간 학습함
- 단일 범용 체크포인트로 LIBERO 4개 평가군 평균 성공률 96.2%, RoboCasa-GR1 탁상 작업 성공률 45.7%를 기록함
- Jetson AGX Orin에서 TensorRT FP16으로 행동 묶음을 50ms 미만에 생성함
- 기본 및 후속학습 모델은 오픈 웨이트로 제공하며, Hugging Face, Liquid AI API, Playground에서 이용할 수 있음
- 로컬 실행과 미세조정 방법은 공식 문서에서 확인할 수 있음
- llama.cpp, MLX, vLLM, SGLang을 비롯한 실행 환경과 Apple, AMD, NVIDIA, Qualcomm 하드웨어를 지원함
- 저지연 대용량 요청에는 Liquid Real-time Inference Pipeline을 사용할 수 있음
- 출시 시점 지원 플랫폼에는 Ambarella, AMD, Arm, Intel의 OpenVINO, NVIDIA, OpenRouter, Qualcomm AI Hub 및 GenieX, Vercel이 포함됨
- Ambarella는 Cooper Model Garden에서 기존 LFM2.5-VL을 실행할 수 있으며, 같은 플랫폼의 LFM3 지원 작업을 시작함
- AMD는 여러 세대의 모델에 걸쳐 Liquid AI와 협력했으며, Qualcomm은 Snapdragon 기기용 AI 경험을 공동 개발하고 있음
- Mercedes-Benz와 Shopify는 출시 전 테스트 및 평가에 참여함