← 목록으로

Foundation Models framework - 온디바이스와 클라우드 LLM을 통합하는 Swift API

요약
  • Apple은 온디바이스 모델과 Private Cloud Compute, 외부 LLM을 통합하는 Swift API 기반의 'Foundation Models framework'를 공개했습니다.
  • 이 프레임워크는 Dynamic Profiles를 통해 세션 내 모델 전환을 지원하며, 소규모 개발자에게 클라우드 API 비용 없이 Apple 모델을 제공하는 등 효율적인 AI 앱 개발 환경을 지원합니다.
  • Foundation Models framework는 Apple의 온디바이스 모델과 Private Cloud Compute 모델, Claude와 Gemini를 같은 Swift API로 연결하며, 구조화된 응답 생성과 도구 호출을 지원함
  • 프롬프트에 텍스트와 이미지를 함께 넣을 수 있으며, Vision의 OCR과 바코드 읽기 도구는 기기에서 실행됨
  • Dynamic Profiles는 대화 기록을 유지한 채 모델, 도구, 지침을 바꾸는 기능으로, 같은 세션에서 간단한 분석은 온디바이스 모델에, 더 깊은 추론은 클라우드 모델에 맡길 수 있음
  • Private Cloud Compute의 Apple 모델은 App Store Small Business Program에 가입하고 각 앱의 최초 다운로드가 200만 건 미만이며 Apple의 사용 승인을 받은 개발자에게 클라우드 API 비용 없이 제공됨
  • Evaluations로 프롬프트나 모델을 바꿨을 때 앱의 동작을 검증하고, macOS 27의 fm CLI로 모델 호출을 스크립트에 넣거나 Python SDK로 기존 Python 도구와 연결할 수 있음
모델 통합, 이미지 이해와 동적 세션
  • Foundation Models framework는 요약 생성부터 동적 에이전트 구성까지 앱에 LLM을 통합하기 위한 네이티브 Swift API임
    • 온디바이스 및 Private Cloud Compute의 Apple Foundation Models에 직접 접근하며, 가이드 생성, 도구 호출, 이미지 이해, Dynamic Profiles를 내장함
  • 온디바이스 모델을 통해 Apple Intelligence의 핵심 기반 모델에 직접 접근하고, 인터넷 연결 없이 데이터를 비공개로 처리하는 기능을 구현할 수 있음
  • 더 복잡한 작업에는 서버 모델을 같은 Swift API로 사용할 수 있으며, 도구 호출과 가이드 생성도 지원함
    • 모델 제공자는 Language Model 프로토콜을 준수하는 Swift 패키지를 만들어 프레임워크에 연결 가능함
    • 지원 모델 및 연동 패키지로 Core AI Language Models, MLX Language Models, Claude, Gemini가 있음
  • Private Cloud Compute(PCC)에서 실행되는 Apple Foundation Models는 이용 요건을 충족한 개발자에게 클라우드 API 비용 없이 제공됨
    • App Store Small Business Program에 가입하고, 배포한 각 앱의 App Store 최초 다운로드 수가 200만 건 미만이어야 함
    • 개발자 계정에 Apple의 PCC 사용 권한(entitlement) 이 부여되어야 함
    • 사용자 데이터는 요청 처리에만 쓰이며, 저장되거나 Apple 또는 제3자가 접근할 수 없도록 설계됨
  • 멀티모달 프롬프트에 이미지를 첨부해 시각적 콘텐츠를 추론할 수 있음
    • Vision 프레임워크가 직접 통합되어 정밀한 텍스트 추출을 위한 OCR과 빠른 코드 스캔을 위한 바코드 읽기를 모두 온디바이스에서 제공함
  • Dynamic Profiles는 세션의 모델, 도구, 지침을 실행 중 지속적으로 갱신하는 선언형 API임
    • 프로필별로 모델, 온도(temperature), 추론 수준, 도구 집합을 정의하고 단일 연속 세션 안에서 전환함
    • 모든 프로필 전환에서 세션 대화 기록을 공유해 더 적은 프롬프팅으로 문맥을 활용할 수 있음
    • AI 에이전트, 스킬, 앱에 필요한 상위 수준 추상화를 구성하는 요소로 사용할 수 있음
평가, 개발 도구와 사용 요건
  • Evaluations 프레임워크는 단위 테스트만으로 포착하기 어려운 동적 조건에서 프롬프트와 AI 기능의 동작을 검증함
    • 지침 수정, 모델 교체, Dynamic Profile 조정 후 출시 전에 앱 동작을 확인할 수 있음
  • macOS 27의 fm CLI는 앱 코드를 작성하지 않고 스크립팅, 모델 작업 흐름 자동화, 빠른 프로토타이핑을 지원함
    • fm CLI와 Python SDK 활용 영상에서 AI 기반 스크립트 개발을 다룸
  • Foundation Models framework utilities package는 프레임워크 위에 실험적 추상화를 추가함
    • 사용자 정의 스킬, 컨텍스트 관리 도우미, 원하는 호스팅 모델에 연결하는 Chat Completions 클라이언트를 포함함
  • Foundation Models SDK for Python은 프레임워크를 Python 생태계로 확장하며, Python 도구와 평가 패키지 연동을 지원함
  • 허용 가능한 사용 요건은 Apple Foundation Models의 금지된 사용을 규정함
    • AI Act 제53조 제1항 (b)에 따라 AFM 3 Cloud를 통합하려는 AI 시스템 제공자를 위한 모델 문서도 제공함
그냥 목록으로
원문 보기 ↗