NobodyWho - 앱과 게임에 로컬 AI를 넣는 온디바이스 추론 엔진

요약

NobodyWho는 클라우드 API 없이 사용자의 기기에서 AI 모델을 실행해 앱과 게임에 대화, 이미지 이해, 음성 기능을 제공하는 오픈소스 온디바이스 추론 엔진입니다.
인터넷 연결 없이 작동하며, 다양한 개발 환경과 GPU 가속을 지원하고, 멀티모달 및 RAG 구성을 지원합니다.

클라우드 API 대신 사용자의 기기에서 AI 모델을 실행해, 앱과 게임에 대화·이미지 이해·음성 기능을 넣는 오픈소스 추론 엔진
모델을 내려받으면 인터넷 연결이나 API 키 없이 실행할 수 있으며, 사용자 입력을 외부 서버로 보내지 않고 처리 가능
Python, Kotlin, Swift, React Native/Expo, Flutter와 Godot용 연동을 제공해 데스크톱·모바일 앱과 게임에 AI 기능을 직접 내장
앱의 함수를 AI가 호출할 도구로 연결할 수 있으며, 함수의 인자 이름과 타입을 읽어 호출 형식을 자동 구성
- 별도의 JSON 스키마를 작성하는 부담을 줄이고, 모델이 여러 도구를 이어서 호출하도록 지원
지원하는 멀티모달 모델을 연결하면 이미지와 음성을 직접 입력해 사진 속 사물이나 말투, 주변 소리 등을 질문 가능
Whisper 음성 인식, 음성 합성과 발화 감지를 제공해 사용자의 말을 듣고 음성으로 답하는 기능을 로컬에서 구현 가능
임베딩과 검색 결과 재정렬을 지원해, 앱에 보관된 문서에서 관련 내용을 찾아 답하는 RAG 구성 가능
Rust와 llama.cpp 기반으로 Gemma, Qwen, Mistral 등 GGUF 모델을 실행
- Vulkan·Metal GPU 가속과 CPU 실행을 지원하며, GPU 메모리에 맞춰 모델 일부만 올리고 나머지는 CPU에서 처리
Hugging Face 모델 주소, HTTPS URL이나 로컬 파일로 모델을 지정하며, 원격 모델은 자동 다운로드·캐시
- 사용 가능한 메모리에 맞춰 모델을 선택하는 auto 옵션 제공
실험적인 OpenAI Chat Completions 호환 로컬 서버도 제공해 기존 API 클라이언트에서 연결 가능
EUPL-1.2 라이선스