Filament - 데이터베이스와 SaaS 데이터를 옮기고 동기화하는 오픈소스 도구

데이터베이스와 업무 서비스의 데이터를 다른 DB, 데이터 웨어하우스, 객체 스토리지로 옮기는 Go 기반 데이터 복제 엔진
전체 데이터를 한 번에 복사하거나, 변경된 데이터만 가져오거나, 변경 데이터 캡처(CDC) 로 추가/수정/삭제를 반영하는 방식 지원
PostgreSQL/MySQL뿐 아니라 GitHub, Slack, Notion, Stripe, HubSpot 등에서 데이터를 가져와 여러 서비스에 흩어진 정보를 한곳에 모으는 데 활용
저장 대상은 PostgreSQL/MySQL, ClickHouse, Snowflake, BigQuery, Redshift, Iceberg, S3/GCS 등이며, 읽기와 쓰기 기능은 커넥터별로 다름
데이터를 일정 크기의 묶음으로 처리하고 안전하게 저장된 진행 위치를 체크포인트로 남겨, 지원되는 작업은 중단 후 처음부터 다시 복사하지 않고 재개함
데이터 전달 과정에서 체크섬을 비교해 값이나 순서가 달라졌는지 검사하고, 지원 커넥터에서는 전송 직전 직렬화된 데이터도 확인
- 모든 저장소에서 데이터를 다시 읽어 검증하거나 중복 처리를 완전히 막는 방식은 아님
웹 화면에서 데이터 출처와 저장 대상을 연결하고, 복제 방식과 실행 일정을 설정하며 처리량, 실행 시간, 성공 여부를 확인
웹에서 수행하는 작업은 API로도 호출할 수 있어, 수동으로 구성한 파이프라인을 이후 자동화에 활용 가능
독립 실행 파일로 운영하거나 Go 애플리케이션에 엔진을 내장할 수 있으며, 커넥터와 상태 저장소, 이벤트 전달 계층을 교체 가능
Kubernetes/Helm 배포를 지원
Apache-2.0 라이선스