← 목록으로
지난 소식
Edge0-145B - 개인 컴퓨터에서 실행하는 1,450억 매개변수 AI 모델
요약
- Edge0-145B는 개인용 컴퓨터에서 실행 가능한 세계 최초의 1,450억 매개변수 오픈소스 온디바이스 AI 모델입니다.
- 효율적인 아키텍처 설계를 통해 단일 GPU나 노트북에서도 고성능 코딩, 추론 및 에이전트 작업을 수행할 수 있습니다.
- Edge0가 Qwen3.8-Flash-Next 기반의 145B/120B 모델 가중치와 로컬 추론 엔진, 배포 도구를 공개함. 코딩, 추론, 에이전트 작업을 개인 컴퓨터에서 실행하고 평가, 미세조정, 제품 통합에 활용할 수 있음
- Edge0-145B는 Linux 또는 Windows에서 NVIDIA GPU 한 장으로 실행할 수 있으며, 자체 측정에서 RTX 5090 D 24GB와 Q3_K 빌드로 채팅 응답을 초당 약 100토큰 생성함
- 자체 평가에서 DeepSWE 1.1은 64.6%, Terminal-Bench 2.1은 86.52% 를 기록함. 같은 Terminal-Bench에서 Qwen3.8-Flash-Next는 83.3%, Claude Opus 4.6(Max)는 78.2%였음.
- 자연어 요청을 계획, 코드 작성, 실행, 디버깅, 화면 확인으로 이어가는 로컬 에이전트 작업을 지원함. 영상 제작, Blender 모델링, 게임, 드론 제어, PCB 설계 사례를 공개함
- 로컬 추론에는 클라우드 모델 토큰/API 요금이 없고, 핵심 기능은 오프라인에서도 작동하지만 하드웨어와 전력 비용은 남음. 저사양 기기, 기기 간 장기 기억, 최신 정보 검색 등에는 여전히 작은 모델이나 클라우드 서비스가 필요함
공개 범위와 온디바이스 모델의 제약
- Edge0-145B와 Edge0-120B의 가중치, 통합 추론 프레임워크, 배포 도구를 함께 공개함
- 개발자가 결과를 재현하고 모델을 평가하거나 미세조정해 자체 제품에 통합할 수 있도록 전체 스택을 제공함
- Edge0는 145B를 세계 최초의 1,450억 매개변수 오픈소스 온디바이스 AI 모델로 소개함
- 온디바이스 AI는 모델 역량과 하드웨어 요구량 사이에서 절충해야 했음
- 큰 모델은 메모리, 대역폭, 전력을 많이 요구하고 작은 모델은 복잡한 작업에서 한계가 있을 수 있음
- 클라우드로 작업을 옮기면 모델 제공업체 요금, 데이터 취급 제약, 네트워크 의존성이 생김
- 2026년 9월 이전에는 메모리 제약으로 대부분의 온디바이스 모델이 10B 미만에 머물렀음
- Apple Intelligence의 온디바이스 기반 모델은 약 3B, Gemini Nano는 1.8B와 3.25B였으며, 7B 모델도 약 4GB 메모리를 사용할 수 있었음
- 강하게 압축한 35B 모델도 약 20GB가 필요할 수 있어 스마트폰에서 확보 가능한 메모리를 크게 초과했음
- 모델 가중치는 저장 공간을 차지하며 생성 중 읽어야 하므로 운영체제와 다른 앱이 쓰는 메모리와 대역폭을 놓고 경쟁함
- 모델을 줄이면 실행은 쉬워지지만 역량을 희생하는 경우가 많았음
- Apple도 자사 온디바이스 모델이 일반적인 세계 지식을 요구하는 에이전트 애플리케이션용으로 설계되지 않았다고 인정했으며, 개인정보 보호만으로 역량 격차를 해소할 수는 없었음
노트북 성능과 메모리 수치
- Edge0가 공개한 Edge0-145B 노트북 측정치는 다음과 같음
- 최대 메모리 29GB로 호환 MacBook Pro 같은 개인 노트북에서 서버 없이 실행함
- 프리필은 초당 1,100토큰 이상으로, 생성 전에 수십 페이지의 코드 같은 긴 프롬프트를 처리함
- 디코딩은 초당 80토큰 이상으로 사람의 읽기 속도보다 빠르게 생성함
- 일반적인 소비전력은 약 120W이며, 해당 측정 환경에서는 스로틀링 없이 지속 작동함
- 컨텍스트는 128K~256K이며, 자체 측정에 따르면 긴 입력에서도 속도가 거의 유지됨
- 앞서 공개한 Edge0-35B는 스마트폰에서 최대 메모리 2.5GB 미만을 기록했음
- iPhone 18 Pro Max에서는 약 2.5GB 메모리로 초당 37토큰 이상을 생성함
- 145B는 약 4배의 매개변수를 갖고 노트북에서 초당 80토큰 이상을 기록함
- 이 비교 문단에는 145B 최대 메모리가 28GB, 주요 성능표에는 29GB로 기재돼 있으며, 35B와 145B 측정은 서로 다른 모델과 하드웨어에 해당함
- 온디바이스 모델 규모 추이 차트는 14개 연구 조직의 1B 이상 공개 모델 67개를 비교함
- 같은 크기의 기반/지시/추론 변형은 한 번만 세고, 각 조직의 최대 모델 규모를 추적함
- 가중치를 공개하지 않은 Apple은 제외했으며, 자료는 업체 발표와 모델 카드에 기반함
모델과 추론 엔진을 함께 설계한 네 계층
- 아키텍처: 희소 전문가 간 대형 행렬 공유로 저장하고 이동할 가중치를 줄임
- 전문가 64개가 두 개의 큰 행렬을 공유하고, 각 전문가는 차이를 나타내는 작은 매개변수 집합만 별도로 유지함
- 모든 전문가가 완전한 행렬 집합을 보유하던 방식과 달리, 전문가 수는 유지하면서 가중치 부담을 줄임
- 전체 145B 중 각 추론 단계의 계산에 참여하는 매개변수는 약 10B임
- 학습: 처음부터 온디바이스 아키텍처로 학습함
- 클라우드 모델을 학습한 뒤 압축하거나 가지치기하는 대신, 배포 제약을 초기 설계에 반영함
- 로딩: GPU 메모리, 시스템 메모리, SSD 접근을 파이프라인화해 읽기와 계산을 겹침
- 자주 쓰는 ‘핫 전문가’는 GPU 메모리에 유지함
- 약 40GB의 전문가 라이브러리는 시스템 메모리에 두고 필요할 때 GPU로 불러옴
- 약 48GB의 어휘 데이터는 SSD에 저장하고 요청에 따라 읽음
- 스케줄링: CPU와 GPU를 병렬로 활용함
- GPU는 캐시된 전문가를 계산하고 CPU는 나머지 작업을 처리함
- 추측 디코딩(speculative decoding)으로 여러 후보 토큰을 한꺼번에 검증해 가중치 읽기 비용을 여러 출력 토큰에 분산함
- Edge0의 내부 시험에 따르면 이 설계 조합은 매개변수를 수백억에서 천억 이상으로 늘리면서도 메모리, 전력, 지연시간이 비례해 증가하지 않도록 함
코딩, 추론, 지시 준수 평가
- DeepSWE 1.1에서 Edge0-145B는 64.6점을 기록함
- Qwen3.8-Flash-Next는 58.7점, DeepSeek-V4-Flash-0731은 54.4점임
- Claude-Opus-4.6 (Max)의 공개 DeepSWE 1.1 점수는 없음
- Terminal-Bench 2.1에서는 86.52점을 기록함
- Qwen3.8-Flash-Next 83.3점, DeepSeek-V4-Flash-0731 82.7점, Claude-Opus-4.6 (Max) 78.2점보다 높음
- GPQA-Diamond에서는 90.4점으로 DeepSeek-V4-Flash-0731의 90.8점, Claude-Opus-4.6 (Max)의 91.3점에 가까움
- IFBench는 80.6점으로 DeepSeek의 79.2점과 Claude의 62.5점보다 높음
- HLE는 35.4점, AA-LCR은 79.3점이며, Claude의 해당 점수는 각각 40.0점과 78.0점임
- 온디바이스 기준 모델인 Qwen3.8-27B 대비 상대 향상 폭은 에이전트와 코딩 작업에서 가장 컸음
- Terminal-Bench 18.5%, DeepSWE 53.1% 향상함
- HLE, GPQA, IFBench의 상대 향상 폭은 각각 14.9%, 1.3%, 1.4%임
- Edge0-120B는 DeepSWE 53.6점, Terminal-Bench 81.3점, HLE 31.0점, GPQA 87.4점, IFBench 79.3점, AA-LCR 81.0점을 기록함
- 점수는 백분율이며 높을수록 좋음. 비교는 명시된 모델과 평가 범위에 한정됨
- Edge0, Qwen, DeepSeek, Claude 결과는 Edge0 내부 평가임
- 추가 비교 대상은 Qwen3.8-27B, Flint 40B, Muse Glimmer, Gemma 4임
- Flint, Muse Glimmer, Gemma 4의 Terminal-Bench와 IFBench 결과는 Recursive Flint 평가에서, HLE/GPQA/AA-LCR 결과는 Artificial Analysis에서 가져옴
- 공개 점수가 없는 항목은 0점이 아니라 미공개 상태임
- DeepSWE와 Terminal-Bench는 에이전트 및 코딩 작업, HLE/GPQA-Diamond/IFBench는 추론, 지식, 지시 준수를 평가함
- 전체 평가 설정, 하드웨어 환경, 재현 지침은 기술 보고서와 함께 공개함
성능 대비 메모리 비교의 조건
- 6개 벤치마크 평균과 메모리 사용량을 비교하면 Edge0-145B는 72.8점과 실측 최대 29GB를 기록함
- Edge0-120B는 68.9점과 실측 29GB임
- Qwen3.8-27B는 66.1점과 추정 약 18GB임
- Qwen3.8-Flash-Next는 71.7점과 추정 약 70GB임
- DeepSeek-V4-Flash-0731은 70.1점과 추정 약 87GB임
- Edge0-145B의 메모리는 Qwen3.8-Flash-Next 추정치의 약 40% 이며, Edge0에 따르면 48GB 노트북에서 로컬 사용이 가능함
- 비교에는 실측과 추정이 섞여 있음
- Edge0 수치는 내부 측정 최대치이며, 다른 모델은 표준 4비트 배포 기준 추정치로 실측 검증이 남아 있음
- 평균은 DeepSWE, Terminal-Bench, HLE, GPQA-Diamond, IFBench, AA-LCR을 대상으로 함
- Claude는 클라우드 전용이고 DeepSWE 점수가 없어 이 비교에서 제외됨
- 품질 대 메모리 차트의 세로축은 0에서 시작하지 않음
계획부터 시각적 검증까지 수행하는 로컬 에이전트
- 자연어 요청 하나로 요구사항 분해, 계획, 코드 작성, 도구 실행, 오류 수정, 스크린샷 확인을 이어감
- 결과가 완성될 때까지 수십 차례의 계획, 실행, 검토를 반복할 수 있음
- 추가 대화, 코드 수정, 시각 분석에 해당하는 클라우드 모델 토큰/API 요금 없이 코드와 데이터를 컴퓨터에 유지할 수 있음
- Roadster 비행 원리 설명 영상은 기술 조사, 대본 작성, 자산 생성, 편집까지 한 시간 안에 완성함
- 일반 시청자가 원리를 이해하도록 구성했으며, 클라우드 모델 호출이나 추론용 네트워크 왕복 없이 로컬에서 실행함
- Edge0의 비교에 따르면 비슷한 수작업에는 감독/작가, 3D 모델러, 편집자, 물리 전문가가 한 달가량 필요하고, 기존 AI 영상 작업에는 수백 달러 이상이 들 수 있음
- Blender 맨해튼 도시 장면은 텍스트와 참조 이미지에서 시작해 한 시간 안에 제작함
- 장면 구성, 재질, 조명, 렌더링 확인, 코드 수정 과정을 로컬에서 반복함
- 물체와 공간 관계를 다루고 결과를 직접 검사하며, 각 단계를 사람에게 되돌려 맡기지 않음
- Edge0의 비교에 따르면 수작업은 일반적으로 1만2,000~1만8,000달러와 최소 한 달, 선도 클라우드 모델은 150달러 이상의 토큰 비용이 필요함
- 플레이 가능한 게임과 판타지 RPG용 중세 수도도 제작함
- Blender에서 성벽, 구시가지 주택 1,000채 이상, 광장 분수, 고딕 양식 쌍탑 전면부, 리브 볼트 구조의 신랑, 스테인드글라스를 구성함
- 게임 예고편 수준의 20초 비행 영상을 렌더링하고, 고정 카메라 경로에서 드러나는 지오메트리 겹침, 가림, 비례 오류를 수정함
- Edge0의 비교에 따르면 같은 프롬프트, 참조 이미지, 카메라 경로를 쓴 선도 클라우드 모델은 한 번의 완성에 수백 회의 도구 호출과 수억 토큰이 필요했음
- 같은 수준의 장면을 아트 팀이 만들려면 통상 수주와 수천 달러가 든다는 것이 Edge0의 비용 비교임
- 실제 드론 제어에서는 “장애물을 통과해 빨간 배낭을 찾는 프로그램”이라는 요청으로 비행 제어와 시각 인식 코드를 생성함
- 드론이 실내에서 이륙해 촘촘한 장애물 기둥을 통과하고 벽 옆의 빨간 배낭을 찾음
- 사람이 작성한 코드나 클라우드 호출 없이 수행했으며, 원하는 동작을 실제 장치용 프로그램으로 연결함
- PCB 설계와 조립 시각화에서는 KiCad로 부품을 배치하고 2층 기판을 배선한 뒤 Unreal Engine 5로 가져옴
- 카메라와 조명을 설정하고 PCB 제작 및 조립 애니메이션을 렌더링함
- 하드웨어 엔지니어와 3D 디자이너가 며칠간 주고받던 작업을 한 컴퓨터에서 처리함
- 회로도와 기판 배치를 클라우드 모델에 업로드하지 않고 팀 하드웨어에 유지할 수 있음
네 모델 계열과 공동 최적화
- Edge0는 지난 1년간 4개 계열에서 200개 모델을 공개했으며, 규모는 수천만에서 천억 이상 매개변수까지 걸쳐 있음
- Edge0: 노트북용 145B/120B는 바이브 코딩, 스마트폰용 35B/8B는 에이전트 작업을 지원함
- Audio8: 음성 인식용 ASR-Infinite와 3B/0.6B/0.1B ASR, 음성 합성용 0.6B/0.1B TTS, 종단 간 음성 상호작용용 0.1B Chat을 제공함
- Decision0: 텍스트, 음성, 시각을 다루는 0.6B/3B 모델로 약 40밀리초의 멀티모달 판단을 지원함
- Embedding0: 텍스트, 음성, 이미지, 영상, 파일을 다루는 0.6B 멀티모달 임베딩 모델로 로컬 장기 기억과 검색 증강 생성(RAG)을 지원함
- 9월의 Edge0-35B 공개는 가중치와 통합 추론 프레임워크를 함께 제공해 재현 가능한 접근 방식을 만들었음
- 해외 커뮤니티 유료 홍보 없이 발표 첫날 조회수 120만 회를 넘었고, OpenAI, NVIDIA, Qualcomm 등의 연구자와 기술 전문가가 공유함
- Hugging Face 전체 Trending 1위에 올랐으며, Audio8도 Trending 1위를 기록한 바 있음
- 모델 개발, 추론 엔지니어링, 저수준 하드웨어 대응을 함께 진행함
- 학습 단계에서 하드웨어 제약을 반영하고 칩별로 엔진을 최적화함
- Edge0는 모델 개발에만 집중하는 기업이 이 결합을 재현하기 어렵다고 봄
- 배포 경험에서 얻은 최적화는 다음 칩, 모델, 제품에 재사용함
- NPU 아키텍처와 INT4/INT8/FP4 같은 수치 형식 지원이 달라 범용 모델이 모든 칩을 자동으로 충분히 활용할 수는 없음
하드웨어 지원과 포트폴리오 규모
- Edge0에 따르면 전체 포트폴리오는 주요 칩 플랫폼의 95% 를 지원함
- Qualcomm, BES, Rockchip, Allwinner, D-Robotics, NVIDIA를 포함하며, 헤드폰, 안경, 스마트폰, PC, 로봇에 걸쳐 있음
- 이는 포트폴리오 전체의 범위이지 모든 기기에서 Edge0-145B를 실행할 수 있다는 뜻은 아님
- 회사 자료와 내부 시험에 따르면 실제 제품 기기 500만 대 이상에 배포됨
- 오픈소스 모델 다운로드는 3개월 내 1,500만 회를 넘었고, 2026년 10월까지 고객 조직은 11만 곳을 넘었음
- 이 수치는 전체 포트폴리오에 해당하며 145B 자체의 성능 측정치와 구분해야 함
- Edge0-145B의 출시 시점 지원은 macOS, Windows, Linux를 포함함
- Apple M 시리즈와 NVIDIA RTX Spark, RTX 4090, RTX 5090 등을 지원함
- 원클릭 배포 도구와 하드웨어 가이드도 제공함
로컬 실행의 이점과 클라우드가 남는 영역
- 로컬 실행은 비용, 데이터 통제, 응답성, 오프라인 가용성이라는 네 가지 문제에 대응함
- 사용량이 늘어도 해당 로컬 추론의 클라우드 모델 토큰/API 요금은 발생하지 않지만, 하드웨어와 전기 비용은 있음
- 코드, 문서, 업무 기록을 자체 하드웨어에 유지할 수 있음
- 모델과 엔진을 함께 설계해 응답 속도, 전력, 시스템 반응성, 지속 작동을 다룸
- 핵심 기능은 연결이 끊겨도 작동하지만 온라인 정보나 서비스에 의존하는 기능에는 네트워크가 필요함
- Edge0는 기기와 클라우드의 역할이 세 단계로 이동한다고 봄
- 2026년 9월 이전에는 클라우드 우선, 온디바이스 보조였으며 Apple Intelligence도 제한된 로컬 작업과 더 복잡한 클라우드 작업을 나눴음
- 9월 10일 Edge0-35B 공개 이후에는 일상 작업을 로컬에서, 복잡한 작업을 클라우드에서 처리하는 단계로 확장됨
- Edge0-145B는 바이브 코딩 등 복잡한 작업까지 개인 컴퓨터에서 처리하는 온디바이스 우선, 클라우드 보조를 지향함
- 한 주요 헤드폰 제조업체의 하이브리드 솔루션은 AI 사용의 92%를 기기에서, 8%를 클라우드에서 처리함
- 소비자용 웨어러블에서는 일상 대화가 대부분의 사용 사례를 차지함
- 단계 전환 도표의 색상 면적은 개념도이며 실제 사용 비중 측정값이 아님
- 연산량, 발열, 배터리는 여전히 실행 가능한 모델을 결정함
- 35B는 스마트폰, 145B는 적절한 사양의 노트북을 대상으로 함
- 연산 능력이 매우 낮은 기기는 145B를 로컬 실행할 수 없으므로 작은 모델이나 클라우드 접근이 필요함
- 기기 간 장기 기억과 최신 정보 검색에는 여전히 클라우드 서비스가 필요함
- 로컬과 클라우드의 적절한 분담은 작업, 하드웨어, 필요한 정보에 따라 달라짐
- 목표는 클라우드를 없애는 것이 아니라, 복잡한 작업에서도 로컬 실행을 실용적인 선택지로 만드는 것임
모델과 도구 받기
- Edge0-145B, Edge0-120B: 로컬 실행, 평가, 미세조정, 제품 통합용 모델 가중치를 제공함
- Edge0 추론 프레임워크와 배포 가이드: 통합 추론 프레임워크와 하드웨어 배포 자료를 제공함
- Edge0 App: 별도 환경 설정 없이 사용하며, 핵심 모델 기능은 계정이나 사용량 할당 없이 오프라인에서 작동함
- Discord 커뮤니티에서 사용자 커뮤니티에 참여할 수 있음
- 하드웨어나 제품 통합은 GitHub 또는 contact@autoark.ai로 문의할 수 있음
키워드
Edge0-145B온디바이스 AI오픈소스