← 목록으로

Mac은 누구를 가족으로 추정할까 - macOS의 개인 지식 그래프

요약
  • 2022년 이후 모든 macOS에 탑재된 백그라운드 데몬들은 연락처, 사진, 일정, 통신 기록 등을 연결하여 기기 내에 개인 지식 그래프를 구축합니다.
  • 이 시스템은 XGBoost 분류기와 온디바이스 모델 등을 활용해 사용자와 주변 인물의 관계 및 활동을 추정하며, 관련 데이터는 평문 SQLite 파일에 저장됩니다.
  • 2022년 이후 모든 macOS에 탑재된 두 데몬 들이 연락처, 사진 속 얼굴, 일정과 통신 기록을 연결해 사용자와 주변 사람의 관계를 기기 안에 기록함
  • macOS 26.6.2에서 확인한 XGBoost 분류기 2개는 같은 성이나 주소, 연락하는 요일과 시간대, 사진에 함께 등장하는 빈도 등 144개 특징으로 가족 및 친구 관계를 추정함
  • 데이터는 전체 디스크 접근 권한으로 보호되는 평문 SQLite 파일에 저장됨. 통신 기록에는 상대, 시각, 앱, 송수신 방향이 담기며 메시지 본문은 포함되지 않음
  • 원본 정보를 지워도 추론 결과가 남을 수 있음. 일정 초대에서 알게 된 두 사람이 그래프에서 사라진 다음 날에도 별도 관계 점수표에는 남아 있었으며, 정확한 보존 기간은 확인되지 않음
  • 오픈소스 도구 iKnow로 자신의 관계 점수, 사진 속 동시 등장, 시간대별 연락 패턴을 로컬에서 읽기 전용으로 확인할 수 있음
분석 대상과 문서화의 공백
  • 2022년 이후 모든 Mac에 탑재된 knowledgeconstructiond와 intelligenceplatformd는 기기와 사용자를 나타내는 지식 그래프를 함께 구축함
    • man 8 knowledgeconstructiond는 기기 콘텐츠를 분석하고, 다른 데몬과 협력해 무거운 처리 작업을 수행한다는 정도만 알려줌
    • 이번 분석은 macOS 26, 작성 시점 기준 26.6.2에서 수집한 자료에 기반함
  • Apple 연구진은 2023년에 그래프 구축 기술에 관한 논문을 공개했지만, macOS 적용 버전, 정확한 수집 및 추론 항목, 친족 관계 추론에 관한 공개 설명은 거의 없음
  • 앞서 Nic Lydon도 같은 데이터베이스를 발견해 개인 지식 그래프 분석을 공개함
  • 그래프는 조회 가능한 저장소이며 LLM이 검색해 활용하는 것으로 알려져 있으나, 실제로 어떤 서비스가 무엇에 접근하는지는 이번 분석에서도 완전히 확인하지 못함
저장 구조와 수집하는 데이터
  • ~/Library/IntelligencePlatform에는 SQLite 데이터베이스 51개가 평문으로 저장되며, 해당 위치는 TCC의 전체 디스크 접근 권한으로 보호됨
  • 핵심 저장소인 graph.db는 181개 엔티티 클래스와 278개 술어를 사용하는 트리플 저장소임
    • 각 행은 주체, 술어, 객체로 구성되며, 객체가 다른 엔티티일 때 그래프의 연결이 생김
    • 46개 관계 유형 클래스는 연결 자체를 엔티티로 만들어 신뢰도 같은 속성을 붙이고 나중에 철회할 수 있게 함
    • 예를 들어 고용주 관계 PS500은 같은 relationshipId를 공유하는 행들로 관계 유형과 상대 엔티티티를 연결함
  • 그래프에는 연락처, Photos의 얼굴, Calendar의 제목과 참석자, 구성원 나이를 포함한 Family Sharing, Health의 의료 정보 긴급 연락처가 들어감
    • Mail과 Messages에서 Siri Suggestions가 찾은 일정 및 연락처, App Intents를 통해 앱이 전달한 인물, 설치된 앱도 수집 대상임
  • 별도 테이블에는 사진 속 동시 등장 관계와 통신 메타데이터가 저장됨
    • 통신 기록은 상대, 시각, 앱, 송수신 방향을 담으며 메시지 본문은 포함하지 않음. 다른 기기의 기록도 들어옴
    • 위치와 이동, 화면 잠금, Wi-Fi, Bluetooth, 충전, 주변 밝기 등의 기기 신호도 존재함
    • ContextualUnderstanding.PhysicalSocial은 이름, 전화번호, 이메일과 시작 및 종료 시각을 담는 형식이어서 주변에 있던 사람의 기록처럼 보이지만, 실제 값이 채워진 사례는 발견하지 못함
온톨로지가 나타내는 범위와 확인 한계
  • 클래스는 기본 엔티티, 사람, 속성, 장소, 이벤트, 활동, 활동 유형, 교통수단, 미디어, 동물, 상거래, 관계 유형으로 나뉨
    • 181개 중 57개가 활동 관련이며 수면, 운동, 마음챙김, 취침, 통근, 식사 등을 포함함
    • 클래스의 intValue는 1~185 범위지만 18, 54, 169, 181은 없으며, 무엇이었는지 알 수 있는 디스크 자료도 없음
  • 술어 값은 원본 복사, 레코드 결합, 규칙, Apple 제공 세계 지식, 모델 추론으로 생성됨
    • 연락처와 일정뿐 아니라 Wallet 및 주문 이메일의 결제, 계좌 끝 네 자리, 배송 정보와 Apple Music, 앱 사용 관련 필드도 선언돼 있음
    • 관심사 점수, 추정 생일과 기념일, 추정 기기 사용자, 장소의 의미, 얼굴 이름과 관계 제안 같은 추론 필드도 존재함
    • 종교, 정당, 언어, 반려동물 등의 항목이 선언돼 있다고 해서 실제 개인 데이터 수집이나 추론이 확인된 것은 아님
  • 표의 구현 확인 표시는 확정적인 실행 검증이 아님
    • 해당 클래스를 만들 수 있는 메커니즘을 찾았다는 역분석 결과이며, 일부 클래스는 사용되지 않는 자리표시자일 수 있음
    • 술어 7개는 값을 얻는 경로를 확인하지 못했고, 다른 여러 항목도 메커니즘을 찾지 못했거나 미검증 상태임
가족 관계와 인물 식별을 추론하는 방식
  • 대부분의 값은 복사와 규칙으로 채워지지만, 인물 식별과 관계 판단에는 여러 종류의 모델이 함께 쓰임
    • 임베딩 모델 2개는 두 레코드가 같은 사람인지 판단하는 10개 신호 중 일부임
    • Photos의 분석기 12개는 함께 등장한 사람, 여행, 휴일 등을 이용해 파트너, 부모, 자녀, 동료, 친구 관계에 점수를 매김
    • Apple Intelligence가 활성화된 경우 온디바이스 LLM이 메시지를 읽어 얼굴에 이름과 관계를 제안함
    • 그래프에 들어가는 각 행에는 0~1 범위의 confidence가 붙음
  • EntityTagging_Family.mlmodelc와 EntityTagging_FamilyAndFriends.mlmodelc는 이진 XGBoost 분류기이며, 같은 순서의 숫자형 특징 144개를 입력받아 클래스와 확률을 반환함
    • 신원 관련 20개: 같은 성, 집이나 직장 주소, 이메일 도메인, 생일, 별명, 즐겨찾기, VIP, iCloud 가족 여부, 나이 차이, 이름이나 별명의 이모지 등을 포함함
    • 통신 관련 40개: 장단기 연락 빈도, 요일, 시간대, 집과 직장, 평일과 주말에 따른 조건부 빈도 및 확률, 주요 연락 수단을 포함함
    • 사진 관련 84개: 함께 등장하는 빈도를 요일, 시간대, 장소, 평일과 주말 및 그 조합에 따라 계산함. 신원 특징 중 나이 관련 2개도 Photos에서 가져옴
    • photosPersonPosteriorProbabilityGivenSaturdayNight처럼 토요일 밤 사진 동시 등장 패턴도 가족 판단에 사용함
  • 분류기 점수는 트리플 저장소가 아니라 entityTagging.db 에 따로 저장됨
    • 사람당 한 행, 가족부터 어머니와 동료까지 관계 열 17개를 두고 매일 다시 계산함
    • 탑재된 모델을 확인한 열은 2개뿐이며, 나머지 15개를 채우는 방식과 이 확률이 그래프 신뢰도로 변환되는 경로는 추적하지 못함
삭제된 사실과 연결된 정보의 민감성
  • 연락처를 삭제하고 다른 출처에서 다시 도출하지 않으면 다음 실행에서 활성 그래프가 이를 잊지만, 철회된 행은 expired_stable_graph로 이동해 신뢰도와 출처를 유지함
    • 정리 기준 시각과 최근 스냅숏에서는 약 48시간 뒤 제거되는 듯했지만, 분석에 사용한 Mac에서는 훨씬 오래된 레코드도 읽을 수 있었음
    • 따라서 정확한 보존 기간은 확인하지 못함
  • 추론 결과가 근거보다 오래 남는 사례도 있었음
    • 일정 초대에서만 알게 된 두 사람이 그래프에서 제거된 다음 날에도 별도 점수표에 남아 있었음
  • 저장소는 사용자뿐 아니라 동의를 묻지 않은 가족, 친구, 기기를 통해 연락한 사람도 담으며, 공유 일정과 그룹을 통해 이들을 서로 연결함
    • 분석에 사용한 저장소에서는 가족 구성원 유형과 나이, 자녀 관계 점수로 가구 내 자녀와 대략적인 나이를 알아낼 수 있었음
    • 연락처에는 어린이집과 연락 가능한 전화번호 2개가 있었지만, 등원 일정은 없어 등원 시각까지 알 수는 없었음
    • 일정의 장소, 시간대, 제목과 가족 관계 정보를 결합하면 가족이 언제 어디에 있을지와 참석할 가족을 파악할 수 있었음
    • 같은 저장소에 비밀번호 관리자를 포함한 설치 앱 정보도 있었음
  • 데이터는 로컬에 머물도록 설계됐지만, 한곳에 결합된 정보가 유출되면 프라이버시의 단일 실패 지점이 될 수 있음
    • 안전 제약을 제거한 LLM과 결합한 가상 악용 시나리오는 별도 분석에서 다룸
    • 사용자에게는 충분한 문서, 공식 조회 수단, 잘못된 추론을 일반적으로 수정할 방법이 없음
iKnow로 확인할 수 있는 정보
  • iKnow는 Python 표준 라이브러리만으로 만든 로컬 웹 대시보드이며 npm이나 CDN을 사용하지 않음
    • 필요한 권한을 받은 뒤 127.0.0.1에 바인딩하고 데이터베이스를 읽기 전용으로 열어 즉석에서 화면을 구성함
    • 데이터를 쓰거나 로그를 남기지 않으며, 값은 루프백을 통해 브라우저로 전달됨. 네트워크가 차단된 환경에서도 실행할 수 있음
  • 시작 화면과 사회관계 그래프는 사람, 고용주, 그룹 채팅, 공유 일정과 친밀도 연결을 보여줌
    • 노드를 클릭하면 요약으로 재구성한 정보가 아니라 저장된 행을 볼 수 있음
    • 관계를 분류하지 못한 사람도 한 번 받은 메시지나 다른 사람의 일정 초대 때문에 저장돼 있을 수 있음
  • 친족 관계 점수표는 17개 관계 열과 관계 간 상위 범주를 보여줌
    • 어머니와 아버지는 부모로, 형제와 자매는 형제자매로, 아들과 딸은 자녀로 묶임. 파트너는 상위 열이 없어 축약 카드에서 빠질 수 있음
    • 파트너 점수, 종합 점수, 가구 엔티티, Family Sharing 토큰, iCloud 가족 여부, 최근 12개월 최다 연락 상대, 얼굴 클러스터, 연락처, 연락 가능한 식별자 등 9개 신호를 교차 확인함
    • 예시 화면의 인물과 점수는 합성 데이터이며 실제보다 관계를 뚜렷하게 보여줌. 실제 분석 기기에서는 어머니만 최고 점수에 도달했고 다른 일부 인물에는 여러 가족 관계에 낮은 점수가 동시에 붙었음
    • 관찰한 표는 0.125, 0.25, 0.5, 0.96 같은 소수의 값만 기록하고 대부분의 사람은 기본값에 머물렀음. 동문과 미상 열은 사용되지 않았음
  • 얼굴 인덱스는 같은 사진에 등장한 얼굴 클러스터만으로 연결망을 만듦
    • 연락처, 메시지, 일정 없이도 누가 자주 함께 있고 어떤 집단이 서로 만나지 않는지 드러남
    • 예시 데이터에서는 29개 클러스터 중 이름이 있는 것은 3개뿐이지만 가족과 직장 집단의 구분은 드러났음
    • 화면 공유용 흐림 처리를 지원하며, 예시 화면의 얼굴은 실제 사진이 아닌 합성 초상임
  • 입력한 사실과 추론한 사실을 비교하는 화면에서는 둘이 같은 테이블에 공존하며 신뢰도 점수만으로 구분되는 상태를 확인할 수 있음
  • 연간 연락 기록은 사람별 송수신, 통화 횟수, 마지막 연락 시점과 요일별 시간 분포를 보여줌
    • 메시지 본문 없이도 일하는 시간대와 주말 패턴, 매일 새벽 1~7시처럼 조용한 구간을 확인할 수 있음
    • 별도 수면 일정이 저장되지 않아도 타임스탬프에서 가장 조용한 6시간 구간을 계산할 수 있음
  • 일정 화면은 시간, 장소, 참석자, 접속 정보를 보여주고, 철회 기록 화면은 삭제된 사실의 신뢰도와 출처를 보여줌
내부 데이터 흐름과 호환성
  • 저장소 화면은 실제 행 2개와 그 연결을 펼쳐 보여주며, 기기 지문 화면은 설치 앱 식별자와 그 식별자의 솔트 없는 SHA-256 토큰을 대조함
    • 브라우저에서 해시를 다시 계산해 저장된 값과 일치하는지 확인할 수 있음
  • 다른 데이터 소비자 화면은 그래프를 구독하는 뷰, 결과를 내보내는 데이터베이스, 같은 사실을 복제하는 테이블, 연결된 하드웨어의 입력 스트림, 아직 실행되지 않은 처리 장치를 보여줌
    • 그래프는 데이터의 첫 사본일 뿐 유일한 사본이 아님
  • iKnow는 macOS 26.6.2와 26.7.1에서 테스트했고, 27.0.1에서는 일부만 테스트함
    • 2026년 9월 14일 출시된 macOS 27의 27.0.1로 업그레이드한 뒤, 연락처, 일정, Siri Suggestions, Family Sharing, 앱 목록에서 만든 행 대부분이 철회됐다가 다음 하루 동안 재구축됐음
    • macOS 27에서는 일부 화면이 아직 완전히 작동하지 않을 수 있음
  • 더 깊이 탐색하려면 저장소 위치와 읽는 방법을 정리한 에이전트용 매뉴얼을 사용할 수 있음
    • 개인 데이터를 다루므로 클라우드 모델이 아닌 자체 호스팅 모델을 연결하도록 권장함
그냥 목록으로
원문 보기 ↗