← 목록으로

LFM3 - 로컬 실행과 맞춤 학습을 위한 2B급 멀티모달 AI 모델군

요약
  • Liquid AI가 로컬 실행과 맞춤 학습에 최적화된 2B급 멀티모달 AI 모델군 'LFM3'을 오픈 웨이트로 공개했습니다.
  • LFM3은 텍스트, 비전, 오디오 등 용도별 모델로 구성되어 단일 GPU로 미세조정이 가능하며, 기기 내에서 높은 효율성과 속도로 로컬 에이전트 업무를 수행합니다.
  • Liquid AI가 텍스트, 비전, 오디오, 시청각 통합, 의사결정용 모델 6종을 오픈 웨이트로 공개함. 공통 백본에서 파생한 약 2B 파라미터급 모델로, 용도에 맞게 선택해 단일 GPU로 미세조정하고 로컬에 배포할 수 있음
  • 텍스트 모델 LFM3-1.7B는 4비트 정밀도에서 약 1GB 크기이며 최대 256K 토큰 문맥을 지원함. 합성곱과 두 종류의 어텐션을 결합해 긴 문맥의 처리 속도와 메모리 효율을 높임
  • 로컬 에이전트의 메일 분류, 일정 관리, 웹 조사와 도구 호출에 맞춰 학습함. 자체 비교에서 일부 더 큰 모델보다 지시 준수와 도구 사용, 브라우저 업무 성능이 높았지만 에이전트 코딩과 지식 영역에서는 큰 모델이 우세함
  • 비전 모델은 영상 입력, 오디오 모델은 18개 언어와 스트리밍 음성 대화를 지원함. 옴니 모델은 영상과 소리를 함께 이해하고, 시각적 맥락과 음성 지시를 결합해 도구를 호출할 수 있음
  • 의사결정 모델은 여러 질문을 한 번의 연산으로 처리하고 보정된 확률과 구조화된 결과를 반환함. 문서의 값 추출, 이미지 속 대상 위치 지정, 분류와 수치 추정 등에 활용할 수 있음
공통 백본과 새로운 하이브리드 아키텍처
  • LFM3의 첫 출시는 LFM3-1.7B-Base에서 파생한 약 2B 파라미터급 모델 6종으로 구성됨
    • 텍스트, 비전, 오디오, 옴니 모델 4종과 비전 및 옴니 모델에서 특화한 의사결정 모델 2종임
    • 대형 범용 모델 하나를 실행하는 대신, 용도에 맞는 모델을 선택하고 맞춤화해 기기에서 실행하는 방식임
  • LFM2의 짧은 합성곱과 어텐션 조합을 하드웨어 연계 자동 아키텍처 탐색으로 재설계함
    • 탐색 대상은 휴대전화와 노트북의 CPU 2종에서 기기 및 백엔드 조합 14종으로 확대됨
    • Samsung Galaxy S26 Ultra, OnePlus 15, Raspberry Pi 5, Apple M4 Max 및 AMD Ryzen AI 노트북, Arm 및 x86 클라우드 CPU, GPU, Qualcomm Hexagon NPU를 포함함
    • 일부 합성곱을 다른 시퀀스 처리 블록으로 교체하는 실험에서는 슬라이딩 윈도 어텐션이 품질과 속도 사이에서 가장 좋은 균형을 보임
  • 24개 층은 게이트형 짧은 합성곱 13개, 256토큰 윈도의 슬라이딩 윈도 어텐션(SWA) 5개, 전역 어텐션 6개로 구성됨
    • 합성곱 커널 크기는 LFM2의 3에서 7로 커짐
    • Liquid AI의 파라미터당 비교에서 LFM3-1.7B는 짧은 프롬프트에서 LFM2-1.2B와 비슷한 속도를 보이며, 8K 문맥에서는 약 25% 빠름
  • 헤드별 게이트 어텐션은 시그모이드 게이트로 각 헤드의 출력을 조절해 기여할 내용이 없을 때 출력을 끌 수 있음
    • 양자화에 불리한 활성화 이상치 억제와 학습 안정성 개선에 도움이 될 수 있음
  • 부분 RoPE는 전역 어텐션 헤드의 고주파 절반에만 회전을 적용하고, 저주파 절반은 회전하지 않아 거리와 무관한 내용 매칭이 가능하도록 함
    • SWA 층은 전체 RoPE를 유지함
  • 샌드위치 정규화는 각 블록의 입력과 출력을 모두 정규화해 활성화 값의 크기를 안정적으로 유지함
  • 토크나이저는 LFM2.5-8B-A1B와 동일한 128K 어휘를 사용하며, 비라틴 문자 체계를 더 효율적으로 토큰화하도록 설계됨
사전학습과 텍스트 에이전트 후속학습
  • LFM3-1.7B-Base는 22T 토큰으로 사전학습함
    • LFM2보다 과학 논문, 저장소 단위 코드, 다양한 지식 자료, 수학 데이터의 비중을 늘림
    • 마지막 3.5T 토큰은 선별한 고품질 데이터로 중간학습하는 단계이며, 에이전트 실행 추적과 다양한 도구 호출 비중을 높임
    • 이 단계에서 문맥 길이를 256K 토큰으로 확장함
  • LFM3-1.7B는 로컬 에이전트와 특화 애플리케이션을 위한 텍스트 모델임
    • Hermes Agent, Pi, OpenClaw 같은 에이전트 하네스에서 실행하도록 후속학습함
    • 받은편지함 분류, 일정 관리, 웹 조사, WhatsApp 아침 브리핑, 수천 개 도구 중 적절한 도구를 찾는 도구 검색을 지원함
    • 로컬 실행에서는 토큰 사용료 없이 여러 에이전트를 백그라운드에서 계속 실행할 수 있으며, 단일 GPU의 짧은 미세조정으로 도메인과 하네스, 도구에 맞출 수 있음
  • 후속학습은 네 단계로 진행함
    • 지도 미세조정(SFT): 대화, 추론, 도구 호출, 에이전트 실행 추적 등 1.75T 토큰으로 학습함
    • 혼합 강화학습: 수학, 코드, SQL, 구조화된 출력 등 여러 영역을 동시에 학습하며, 보상에 길이 페널티를 적용해 답변을 간결하게 유지함
    • 다중 도메인 온폴리시 증류(MOPD): 코드, 수학, 도구 사용, 긴 문맥, 에이전트 작업, 기업 업무 흐름에 특화한 강화학습 교사 모델 6개의 역량을 하나로 증류함
    • 에이전트 강화학습: 실제 에이전트 하네스 안에서 웹 탐색부터 사무 업무까지 수행함
텍스트 모델의 성능과 실행 효율
  • Liquid AI의 비교에서 LFM3-1.7B는 크기가 몇 배인 모델과 에이전트 작업에서 경쟁하며, 지시 준수와 BFCL 및 ToolSandbox 함수 호출 평가에서 앞섬
    • LiveClaw는 45.60점, BFCL V4는 71.39점, ToolSandbox는 80.36점을 기록함
    • WebArena-Verified는 38.42점, AutomationBench는 41.29점으로, Qwen3.5-9B의 28.94점과 15.10점보다 높음
    • 비교표의 전체 평균은 49.37점으로 Qwen3.5-9B의 47.24점보다 높지만, 모든 분야에서 우세한 것은 아님
  • 에이전트 코딩과 지식에서는 더 큰 모델의 우위가 남아 있음
    • SWE-bench Verified에서 LFM3-1.7B는 43.40점, Qwen3.5-9B는 51.20점을 기록함
    • Humanity’s Last Exam 점수는 도구 없이 7.17점, 도구 사용 시 13.90점으로, 검색이 지식 격차를 줄이는 데 도움이 됨
  • 기기 내 측정은 llama.cpp, Q4_0, 32K 문맥 조건에서 수행함
    • 측정한 기기 3종 모두에서 가장 빠르며, 다음으로 빠른 모델보다 디코딩 속도가 1.8~2.8배 높고 메모리 사용량도 가장 적음
    • 128K 문맥의 KV 캐시는 1.6GB로, Qwen3.5-4B의 4.3GB와 MiniCPM5-2B의 5.6GB보다 작음
  • NVIDIA B300 한 대에서 SGLang, BF16, 동시 요청 1,024개 조건으로 하루 36억 토큰을 생성할 수 있으며, 해당 비교 모델 중 처리량이 가장 높음
    • 처리량 활용 사례로 LFM3-1.7B 에이전트 30만 개 이상을 병렬 실행해 Enron 이메일 아카이브를 조사함
    • Liquid RIPL에서는 불규칙한 요청과 높은 부하에서도 P95 요청 지연 시간이 안정적으로 유지되며, 온라인 사기 탐지 같은 실시간 용도를 지원함
    • 이 비교에서는 vLLM으로 제공한 경쟁 모델보다 낮은 지연 시간을 보임
  • MacPaw의 실제 macOS 작업 65개 평가에서는 LFM3-1.7B가 Qwen3.5-2B보다 높은 성공률을 기록함
    • 작업 성공률은 64% 대 48%이며, 작업당 토큰 사용량은 58% 적었음
    • 진행이 막힌 시도는 1% 미만으로, 비교 모델의 15%보다 적었음
비전 모델과 자체 비전 인코더
  • LFM3-VL-2B는 LFM 비전 모델 최초로 영상 입력을 지원함
    • 녹화 강의, 휴대전화로 촬영한 현장 영상, 카메라 영상에 관해 질문할 수 있음
    • 답변 전 단계별 추론으로 수학, 차트, 다단계 시각 문제를 처리함
    • 물체 위치와 공간 관계를 파악하는 능력은 로봇 응용의 기반이 됨
  • Liquid AI의 비전 벤치마크 62개 평가에서 평균 71.4점을 기록함
    • 비슷한 크기의 비교 모델보다 최소 7.4점 앞서며, Gemma 4 12B의 71.7점과 비슷한 수준임
    • Gemini 3.5 Flash Lite는 70.0점, GPT-5.6 Luna는 73.4점을 기록함
    • 평가는 일반 시각 이해, 지각, 문서/OCR/차트, 수학 및 논리 추론, 시각적 위치 지정, 신체화 추론, GUI, 영상, 다국어, 에이전트 작업을 포함함
    • 범주 점수는 해당 벤치마크의 비가중 평균이며, 전체 평균은 62개 평가의 비가중 평균임
  • 온디바이스 실행은 데이터 외부 전송이나 클라우드 연결 없이 가능함
    • 측정한 모든 기기에서 동급 비교 모델 중 프리필 처리량이 가장 높고 메모리 사용량이 가장 적음
    • NVIDIA B300 한 대의 SGLang, BF16 조건에서는 초당 12,000토큰 이상을 생성함
    • Liquid RIPL을 이용한 이미지 자산 태깅 같은 용도에서 높은 부하에도 안정적인 P95 지연 시간을 보이며, vLLM 기반 경쟁 모델보다 앞섬
  • 자체 개발한 164M 파라미터 비전 인코더는 합성곱과 어텐션을 결합함
    • 기존 LFM VL의 SigLIP2 인코더 대비 연산량이 약 3분의 1임
    • 비전 언어 벤치마크 13개의 평균 정확도 55.9%로 Qwen3.5-2B 비전 인코더와 동등하면서, FLOPs는 2.2배 적음
    • 영상에서는 샘플링한 두 프레임을 하나의 시간 슬라이스로 공동 임베딩해, 추가 인코딩 전 시간축 시퀀스 길이를 절반으로 줄임
오디오 모델과 스트리밍 음성 처리
  • LFM3-Audio-2B는 노트북과 엣지 기기에서 실행하며, 텍스트 또는 오디오를 입력받아 텍스트와 음성으로 응답함
    • 자체 오디오 인코더와 코덱을 사용하고, LFM2.5-Audio보다 음성 품질을 개선했으며 18개 언어를 지원함
    • 음성 대화, 다국어 전사/합성/번역, 녹음 속 발화와 소리 및 사건에 관한 추론, 음성 요청을 통한 도구 호출을 지원함
    • 텍스트와 음성을 스트리밍으로 응답하며, 텍스트 전용 응답에서는 답변 전 추론도 가능함
    • 도구 호출과 함께 텍스트 또는 음성 응답을 제공할 수 있음
  • 음성 합성 및 이해 평가에서는 이전 모델 대비 개선을 보이지만, 모든 비교 모델을 앞서는 것은 아님
    • 영어 음성 합성 UTMOSv2는 3.8점으로 LFM2.5-Audio의 3.2점보다 높고, 단어 오류율은 1.4%로 1.9%보다 낮음
    • 영어 음성 인식 단어 오류율은 6.2%로, 이전 모델의 6.1%보다 소폭 높음
    • 영어, 스페인어, 포르투갈어, 독일어, 프랑스어, 이탈리아어, 중국어, 일본어, 한국어의 음성 인식 평균 단어 오류율은 6%임
    • VoiceBench는 73.1점, 내부 도구 호출 평가는 58.5점, 오디오 이해 MMAR은 50.6점을 기록함
  • 완전 인과적 오디오 인코더는 SWA와 짧은 합성곱을 결합해 메모리 사용량을 제한함
    • 사용자가 말하는 동안 실시간 마이크 입력을 처리하고 프리필을 수행함
    • 발화가 끝난 뒤 대기 시간을 줄여 첫 토큰 지연 시간이 최저 50ms까지 내려감
  • LiquidCodec은 LFM3-Audio와 LFM3-Omni의 다국어 음성 생성을 담당하는 자체 오디오 토크나이저임
    • Apple M4 Max의 단일 CPU 스레드에서 생성 토큰을 실시간의 약 87배 속도로 음성으로 변환하며, 스트리밍 디코딩을 지원함
    • 음성 80ms를 이산 토큰 12개로 압축함
    • 이전 LFM Audio와 달리 여러 토큰을 순차적으로만 예측하지 않고 반복적으로 병렬 예측할 수 있음
    • 백본이 토큰을 생성하는 동안 디토크나이저가 점진적으로 음성으로 변환함
  • Mercedes-Benz는 MB.OS를 기반으로 온디바이스 AI가 MBUX Virtual Assistant를 개선할 수 있는 방법을 Liquid AI와 탐색 중임
    • 빠르게 응답하고 프라이버시를 보호하며 클라우드에 의존하지 않는 차량 내 상호작용을 목표로 함
옴니 모델의 시청각 통합
  • LFM3-Omni-2B는 비전, 오디오, 언어를 통합한 첫 옴니 모델이며, 실제 파라미터 수는 2.2B임
    • 이미지와 실제 장면에 음성으로 질문하고 텍스트, 음성 또는 둘 다로 답을 받을 수 있음
    • 영상 프레임과 동기화된 오디오를 함께 처리해 화면의 사건과 발화 및 소리를 연결해 추론함
    • 시각적 맥락과 음성 지시를 결합해 구조화된 도구 호출을 생성함
  • 비교 평가에서는 영상과 오디오의 공동 이해에 강점을 보임
    • Daily-Omni 70.1점, WorldSense 47.1점, AV-SpeakerBench 46.8점으로 각 항목의 비교 모델보다 높음
    • 반면 OmniBench 전체 점수는 46.3점으로 Qwen2.5-Omni-3B의 47.1점과 Qwen2.5-Omni-7B의 49.7점보다 낮아, 모든 평가에서 우세하지는 않음
  • 독립형 모델의 시각 질의응답, 음성 인식, 음성 합성, 언어 지시 준수 능력을 유지함
    • 손글씨 수학 문제를 보며 음성 질문에 답하는 튜터, 이동하며 주변을 설명하는 태블릿, 카메라 영상과 운전자 발화를 결합하는 차량 비서 등에 활용할 수 있음
    • 개인화 교육, 일상 보조, 디지털 인터페이스 탐색, 로봇 시스템을 지원할 수 있음
    • 화면 요소의 위치를 정밀하게 찾고 음성 요청을 바로 구조화된 도구 호출로 연결할 수 있음
의사결정 모델과 타입이 있는 응답
  • d1-2B는 LFM3-VL-2B 기반으로 텍스트와 이미지를 처리하며, d1-Omni-2B는 LFM3-Omni-2B 기반으로 오디오까지 처리함
    • 지원 티켓, 송장, 앱 화면, 사진, 음성 메모와 질문 목록을 입력하면 한 번의 순전파로 여러 질문에 답함
    • 서술형 답변을 생성하는 대신 밀리초 단위로 판단하며, 각 결과에 보정된 확률을 제공함
  • d1-3B 이후의 주요 변화는 타입이 있는 응답임
    • Point: 설명에 맞는 대상에 경계 상자를 그리거나 모든 일치 항목과 개수를 찾음
    • Read: 문서에서 텍스트, 숫자, 날짜와 정확한 원문 구간을 추출하며, 필드가 없으면 “not found”를 반환함
    • Estimate: 숫자와 해당 값의 가능성 높은 범위를 반환함
    • Pick: 적용되는 선택지를 모두 고르고 각각의 확률을 반환함
    • 기존 예/아니요, 선택, 점수 응답도 유지하며, 여러 질문을 동일 입력에 대한 한 번의 처리로 읽음
  • d1-2B는 이전 d1-3B보다 파라미터가 3분의 1 적으면서 비교 평가 점수가 높아짐
    • 실제 기업 기록 기반 Decision Bench는 83.6점에서 85.2점으로, 공개 Decision Index는 49.0점에서 51.1점으로 상승함
    • 사진과 규칙을 활용하는 ImajevBench는 64.0점에서 75.5점으로, 비공개 및 공개 벤치마크 117개의 Meta index는 58.8점에서 63.2점으로 상승함
  • d1-Omni-2B는 음성 질문에서도 서면 질문에 가까운 정확도를 유지함
    • 서면/음성 점수는 DecisionBench 83.4/78.2, Typed Decisions 50.5/48.0, JevBench 87.6/89.0임
    • 일상 소리 인식 ESC-50에서 84.5%, FLEURS의 43개 언어 식별에서 92.5%를 기록함
  • 두 모델 모두 기기에서 실행해 티켓, 문서, 통화, 카메라 프레임을 클라우드 왕복 없이 구조화된 판단으로 바꿀 수 있음
    • MacBook 시연에서는 자연어로 지정한 모든 대상을 Point 응답으로 한 번의 순전파에 탐지함
풍력 터빈 검사 모델로 특화한 실험
  • LFM3-VL-2B를 드론 사진 속 풍력 터빈 블레이드 결함 탐지와 분류에 미세조정함
    • 공개 WTBs2025 사진 약 3,000장을 사용해 단일 A100에서 SFT와 GRPO로 수 시간 학습함
    • 학습에서 제외한 사진 약 1,400장으로 기본 모델 및 GPT-6 Luna와 비교함
  • 미세조정 전 두 모델의 결함 유형 식별 정확도는 모두 10% 미만이었으나, 특화 후 분류 정확도가 67% 로 높아짐
    • 탐지 F1은 0.003에서 0.11로 개선됐으며, GPT-6 Luna는 0.01을 기록함
    • 낙뢰 피해 사례에서는 GPT-6 Luna가 위치는 올바르게 찾고도 유형을 잘못 붙이는 경우가 많았고, 특화 모델은 낙뢰 피해로 정확히 분류함
    • 같은 이미지에 대해 손상 위치를 찾거나 결함 유형, 근거, 위치를 포함한 검사 소견을 자연어로 작성할 수도 있음
  • 풍력 터빈 미세조정 예제와 미세조정 노트북을 공개함
로봇 특화 연구: 도구 조율, 탐색, 조작
  • 고수준 도구 조율에서는 SayCan, Code as Policies, VoLo, Gemini Robotics ER 2를 바탕으로 로봇 팔을 도구로 제어하도록 LFM3-VL-2B를 미세조정함
    • 요청과 카메라 이미지를 받아 단계별로 추론하고, 대상 위치 지정, 깊이 도구를 통한 측정, 모션 플래너를 통한 조작을 수행함
    • 다음 이미지에서 결과를 확인하고, 도달 불가능하거나 모호한 요청도 보고함
    • Isaac Sim에서 관계 기반 대상 선택, 측정 속성에 따른 정렬, 환경 교란을 포함한 작업을 수행함
    • 아키텍처 변경 없이 조작 궤적, 일반 도구 사용, 위치 지정 데이터 약 40,000개로 rank-32 LoRA를 학습했으며, 단일 AMD Instinct MI325X에서 약 6 GPU시간이 소요됨
    • 미세조정한 d1-2B 동작 모니터를 결합하면 미끄러짐, 끼임, 끌림 같은 교란에서 복구 성공률을 추가로 두 배 높일 수 있음
  • 시각 언어 탐색에서는 경로 설명과 최근 RGB 프레임을 읽어 탐색 목표와 잔차 양자화된 궤적 단위를 예측함
    • LightNav-0의 행동 인터페이스에서 착안했으며, 결정 하나는 공간/제어 토큰 2개와 계층적으로 양자화한 코드 3개로 구성됨
    • 코드 3개는 속도 제어기가 추종할 수 있는 경유점 10개짜리 경로를 나타냄
    • 어휘 토큰 2,068개만 재활용하고 아키텍처는 유지했으며, 280만 샘플을 MI325X에서 72 GPU시간 학습함
    • 처음 보는 검증 환경에서 벽면 미끄러짐을 금지하고 명시적 정지를 요구하는 연속 제어 평가를 적용했을 때 R2R 성공률 53%, RxR 43%를 기록함
    • 카메라 각도와 지시 언어 변화에도 강건성을 보였으며, Jetson AGX Orin의 TensorRT FP16에서 시각 프롬프트 캐싱 없이 초당 2.5회 이상 궤적을 갱신함
  • 저수준 조작에서는 OpenVLA-OFT와 StarVLA-α에서 착안한 병렬 행동 예측으로 비전 언어 행동(VLA) 모델을 구성함
    • 작은 잔차 MLP가 행동 질의 토큰 8개의 은닉 상태를 한 번의 순전파로 8단계 연속 로봇 행동 묶음으로 변환함
    • 고유감각 정보를 이산화한 텍스트와 로봇 형태별 학습 투영으로 제공하고, 전체 네트워크를 종단 간 미세조정함
    • 단일 팔, 이동형 매니퓰레이터, 양팔 플랫폼, 휴머노이드 등 15종 로봇의 시뮬레이션 및 실제 데이터를 사용해 MI325X에서 170 GPU시간 학습함
    • 단일 범용 체크포인트로 LIBERO 4개 평가군 평균 성공률 96.2%, RoboCasa-GR1 탁상 작업 성공률 45.7%를 기록함
    • Jetson AGX Orin에서 TensorRT FP16으로 행동 묶음을 50ms 미만에 생성함
공개 범위와 실행 생태계
  • 기본 및 후속학습 모델은 오픈 웨이트로 제공하며, Hugging Face, Liquid AI API, Playground에서 이용할 수 있음
    • 로컬 실행과 미세조정 방법은 공식 문서에서 확인할 수 있음
  • llama.cpp, MLX, vLLM, SGLang을 비롯한 실행 환경과 Apple, AMD, NVIDIA, Qualcomm 하드웨어를 지원함
    • 저지연 대용량 요청에는 Liquid Real-time Inference Pipeline을 사용할 수 있음
    • 출시 시점 지원 플랫폼에는 Ambarella, AMD, Arm, Intel의 OpenVINO, NVIDIA, OpenRouter, Qualcomm AI Hub 및 GenieX, Vercel이 포함됨
  • Ambarella는 Cooper Model Garden에서 기존 LFM2.5-VL을 실행할 수 있으며, 같은 플랫폼의 LFM3 지원 작업을 시작함
    • AMD는 여러 세대의 모델에 걸쳐 Liquid AI와 협력했으며, Qualcomm은 Snapdragon 기기용 AI 경험을 공동 개발하고 있음
    • Mercedes-Benz와 Shopify는 출시 전 테스트 및 평가에 참여함
그냥 목록으로
원문 보기 ↗