← 목록으로

자율 에이전트를 위한 데이터 플랫폼 구축

요약
  • 자율 에이전트가 안정적으로 데이터를 운영하기 위해서는 시맨틱 모델을 넘어 연결된 관측 가능성, 비즈니스 맥락, 통제된 실행이라는 세 가지 핵심 요소가 필요하다.
  • Foursquare는 이를 통해 파이프라인 문제 진단 시간을 최대 90% 단축하며 사람 중심에서 에이전트 중심의 데이터 플랫폼으로의 전환을 실현했다.
  • 에이전트가 데이터 플랫폼을 안정적으로 운영하려면 시맨틱 모델만으로는 부족하며, 데이터의 최신성, 완전성, 파이프라인 실행 상태까지 확인할 수 있어야 함
  • 연결된 관측 가능성은 여러 시스템의 로그를 같은 실행에 연결해 최초 장애와 후속 증상을 구분하게 하며, Foursquare는 주요 파이프라인에서 Spark 문제 진단과 해결 시간을 최대 90% 단축함
  • 비즈니스 맥락에는 데이터 계보뿐 아니라 파이프라인의 목적, 적용 범위, 완료 기준, 소유자가 필요하며, 이를 코드와 함께 버전 관리하고 실행 시 게시하는 방식이 적합함
  • 에이전트의 권한은 지침이 아니라 실행 시스템이 강제하는 경계여야 하며, 데이터 접근, 코드 수정, 실행 환경에 대한 권한을 분리해야 함
  • 오케스트레이션은 관측, 메타데이터, 권한 통제를 같은 파이프라인 실행에 맞춰 동기화하는 연결 고리이며, 이러한 개선은 완전한 자율 운영 이전에도 사람의 운영 부담을 줄임
사람 중심 플랫폼에서 에이전트 중심 플랫폼으로
  • Foursquare는 연속된 인수 이후 파편화된 데이터 플랫폼을 운영했음
    • S3 데이터 레이크, 자체 수집 및 전달 시스템, 여러 카탈로그, 서로 다른 오케스트레이션 및 컴퓨팅 엔진이 공존했음
    • 파이프라인 동작 파악, 프로덕션과 스테이징 데이터셋 구분, 중복 사본 탐색, 접근 권한 설정에는 여러 시스템의 정보를 조합해야 했음
    • 고객용 데이터 제품의 의존성 추적도 어려운 일이었음
  • 플랫폼을 Airflow와 DataHub 중심으로 재구축해 파이프라인 실행을 데이터셋 메타데이터 및 데이터 계보(lineage)와 연결함
    • 엔지니어가 데이터 흐름, 의존 관계, 변경이 하위 제품에 미치는 영향을 공통된 화면에서 파악할 수 있게 됨
    • 재구축 방식은 Foursquare’s Data Platform: From Fragmentation to Control Plane에 정리되어 있음
  • 이 플랫폼도 여전히 사람을 운영자로 전제했으며, 문제 조사, 사업 영향 평가, 수정 조치 결정에는 엔지니어의 판단이 필요했음
    • 에이전트가 이 책임을 맡으려면 사람이 보완하던 지식을 시스템이 명시적으로 제공해야 함
시맨틱 모델만으로는 부족한 이유
  • 대화형 분석에서 시맨틱 모델은 일관된 비즈니스 정의에 근거한 답변의 토대지만, 기반 파이프라인을 볼 수 없다면 에이전트가 실제 운영 상태를 잘못 해석하면서도 권위 있는 답변을 내놓을 수 있음
  • 매출 보고서를 만드는 에이전트는 시맨틱 계층에서 매출 감소를 정확히 계산하고도 사업이 둔화했다고 잘못 판단할 수 있음
    • 실제 원인은 상위 수집 장애로 지난주 데이터가 불완전해졌거나, 최근 배포가 집계 시간 구간을 변경했기 때문일 수 있음
  • 신뢰할 수 있는 답변에는 최신성과 완전성 확인, 데이터 계보 추적, 데이터를 생성한 파이프라인의 최근 실행 및 하위 영향 검사가 필요함
  • 에이전트 중심 플랫폼은 허용된 권한 안에서 조사 → 수정 → 검증 전 과정을 지원하고, 사람의 판단이 필요한 사안은 사람에게 넘겨야 함
    • 이를 위한 세 축은 연결된 관측 가능성(Connected Observability), 비즈니스 맥락(Business-Aware Context), 통제된 실행(Governed Execution)임
첫 번째 축: 연결된 관측 가능성
  • Airflow가 조율하고 Amazon EMR에서 실행하는 Spark 파이프라인을 디버깅하려면 여러 계층의 로그를 연결해야 함
    • Airflow 태스크 로그, EMR 클러스터 및 스텝 로그, Spark 드라이버 및 실행기 로그가 서로 다른 시스템과 식별자를 사용함
  • Datadog은 Airflow 로그와 지표를 수집하고 DAG 실행을 추적할 수 있으며, OpenTelemetry는 로그와 실행 추적 사이에 공통 맥락을 전파하는 표준 방식을 제공함
    • 단순 수집만으로는 부족하며, Airflow DAG 실행 및 태스크 시도를 EMR 클러스터와 스텝에 연결하고 다시 Spark 애플리케이션에 대응시켜야 함
    • 이 연결 작업은 흔히 장애를 조사하는 엔지니어에게 남겨짐
  • 플랫폼에 실행 간 연결 관계가 내장되어야 에이전트가 시스템과 재시도를 가로질러 추적하고 최초 장애와 후속 증상을 구분할 수 있음
    • Spark 오류, EMR 스텝 실패, Airflow 태스크 실패는 모두 같은 사고를 나타낼 수 있음
  • Foursquare는 AI 에이전트가 파이프라인 장애를 조사하도록 이러한 연결을 구축함
    • 여러 주요 파이프라인에서 Spark 작업 문제의 진단과 해결 시간을 최대 90% 단축했으며, 수시간 또는 수일 걸리던 작업을 10분 미만으로 줄임
  • 연결된 관측 정보는 디버깅뿐 아니라 분석 결과의 신뢰성 판단에도 필요함
    • 일일 매출 급감이 실제 사용자 행동 변화인지, 주문 처리 파이프라인 지연으로 지표가 불완전해진 것인지 구분하는 데 도움이 됨
두 번째 축: 비즈니스 맥락
  • 관측 정보로 매출 감소의 원인이 주문 처리 지연임을 알아도 사업상 중요도까지 판단할 수는 없음
    • 누락된 주문이 전체 채널에 걸친 것인지, 특정 매장, 지역, 결제 제공자에 국한되는지 알아야 함
    • 일일 매출이 언제 확정되며, 어떤 의사결정과 약속이 그 수치에 의존하는지도 알아야 함
  • 같은 일시적 매출 부족도 준실시간 판매 대시보드에서는 허용할 수 있지만, 이사회 보고서, 가격 실험, 고객 리베이트 약속에 사용된다면 중요할 수 있음
    • 이 맥락에 따라 답변에 붙일 조건과 한계, 알림 대상, 대응의 긴급성이 달라짐
  • DataHub와 Atlan 같은 메타데이터 시스템은 주문이 매출 지표로 흐르는 경로와 하위 의존 자산을 기록할 수 있지만, 데이터 계보만으로는 목적을 알 수 없음
    • 각 파이프라인은 입력뿐 아니라 목적, 대상 채널 및 지역, 출력의 완료 기준, 소유자를 선언해야 함
    • 하위 파이프라인도 목적을 선언하면 에이전트가 계보를 따라가며 어떤 의사결정이 매출 지표에 의존하는지 확인할 수 있음
  • 카탈로그에 맥락을 저장하는 것과 최신 상태로 유지하는 것은 별개의 문제임
    • 대부분의 카탈로그는 일정에 따라 웨어하우스와 쿼리 로그를 수집하는 방식이며, 자동 발견이 불가능한 정보는 수동 입력하거나 비워 둠
  • 더 지속 가능한 방식은 선언을 DAG 및 변환 로직과 함께 정의하고 코드로 버전 관리하는 것임
    • Foursquare에서는 Airflow가 매 실행 종료 시 DataHub에 정보를 게시해, 크롤러가 나중에 재구성하는 대신 데이터를 생성한 파이프라인이 데이터셋 기록을 작성했음
    • 이를 확장하면 실행마다 코드 버전이 붙은 선언, 실제 출력, 품질 검사 결과를 함께 게시할 수 있음
    • 이 방식에서는 에이전트가 읽는 맥락이 마지막으로 실행된 파이프라인보다 오래되지 않도록 유지할 수 있음
세 번째 축: 통제된 실행
  • 장애와 사업 영향을 알아도 에이전트가 무엇을 할 권한이 있는지는 별도로 정의해야 함
  • 기업 데이터 플랫폼의 권한 통제에는 시스템 외에 사람과 조직 절차도 관여함
    • 엔지니어에게 넓은 기술적 접근 권한이 있어도 코드 리뷰, 변경 관리, 팀 소유권, 개인의 책임이 사용 범위를 제약함
    • 에이전트는 같은 인간적 판단을 공유하지 않으며, 약하게 강제되는 통제를 예상치 못한 방식으로 우회할 수 있음
  • 디지털 광고의 데이터 클린룸은 권한 경계를 보여주는 사례임
    • 광고주가 고객 및 구매 데이터와 미디어 플랫폼의 노출 데이터를 결합해 전환을 측정할 때도 데이터, 코드, 실행 환경에 대한 권한은 분리되어야 함
    • 한 영역의 통제권이 다른 영역의 통제권으로 이어져서는 안 됨
  • 에이전트에게 파이프라인 재실행 요청 권한이 있다고 해서 코드 수정이나 처리 대상 데이터셋 전체에 직접 쓰는 권한까지 부여해서는 안 됨
    • Privacera 같은 플랫폼은 사용자, 서비스, 에이전트가 접근할 수 있는 데이터와 노출 방식을 강제하지만, 데이터 권한은 실행 통제의 일부에 불과함
  • 플랫폼은 에이전트가 사용할 워크플로, 매개변수, 데이터 범위, 실행 주체를 제한하고, 위임된 권한을 넘는 조치에는 사람의 승인을 요구해야 함
    • 허용 범위를 지시하는 것만으로는 부족하며, 실제 동작을 수행하는 시스템이 범위 밖 행동을 막아야 함
오케스트레이션으로 세 축을 동기화
  • 세 축은 독립적으로 작동할 수 없으며, 신뢰할 수 있는 자율 운영에는 지속적인 상태 동기화가 필요함
    • 4시간마다 갱신되는 카탈로그는 오래된 계보, 소유권, 코드 맥락을 제공할 수 있음
    • 파편화되거나 지연된 로그는 성공한 재시도를 진행 중인 장애로 보이게 하거나, 하나의 사고를 여러 사고로 나눌 수 있음
    • 정책 엔진이 동기화되지 않으면 한 보안 상태에서 계획한 조치가 다른 보안 상태에서 실행될 수 있음
  • Airflow, Prefect, Dagster 같은 오케스트레이션 시스템은 세 축을 연결하기에 적합한 위치에 있음
    • 이미 의존성 해결, 컴퓨팅 호출, 재시도 관리, 태스크 결과 기록을 담당함
    • 파이프라인 정의와 실행 사이에서 어떤 파이프라인과 태스크가 실행됐는지, 언제 상태가 바뀌었는지, 성공했는지를 알고 있음
    • 적절한 통합을 통해 실행의 각 단계에서 관련 코드, 데이터, 컴퓨팅 작업, 실행 주체를 연결할 수 있음
  • 오케스트레이터는 관측, 메타데이터, 거버넌스 시스템을 대체하지 않고 같은 파이프라인 실행을 중심으로 동기화함
점진적 개선만으로도 사람의 운영이 쉬워짐
  • 에이전트용 플랫폼 구축은 전부 아니면 전무의 선택이 아님
    • 파편화된 신호, 불완전한 맥락, 오래된 메타데이터, 조직의 암묵지와 수동 절차에 묻힌 권한은 에이전트가 새로 만든 문제가 아님
    • 엔지니어는 어디를 보고 누구에게 물으며 언제 행동하지 말아야 하는지 아는 방식으로 기존의 빈틈을 메워 왔음
  • 각 빈틈은 점진적으로 해소할 수 있으며, 에이전트에게 자율 실행을 허용하기 전에도 가치가 생김
    • 로그를 파이프라인 실행과 연결하면 사람이 장애를 진단하기 쉬워짐
    • 목적, 계보, 코드 맥락을 기록하면 데이터 탐색과 영향 분석이 개선됨
    • 파이프라인 완료 시 메타데이터를 게시하면 사람과 에이전트가 프로덕션 상태를 함께 파악할 수 있음
    • 명시적인 권한 통제는 모든 조치를 더 안전하게 만듦
  • 이러한 개선은 플랫폼을 사람이 이해하고 운영하기 쉽게 만들면서 더 높은 에이전트 자율성에 대비하게 함
  • 에이전트는 기존에 숨어 있던 의존성을 더는 무시하기 어렵게 만듦
그냥 목록으로
원문 보기 ↗