- 2014년 공개된 rqlite부터 Litestream, Turso, Cloudflare D1까지, SQLite에 복제와 장애 대응을 더하는 시도가 약 12개 프로젝트를 갖춘 분야로 성장함
- 설계는 합의, 스트리밍, 병합이라는 세 갈래로 발전함. 각각 강한 일관성의 클러스터, 단일 노드의 저비용 복구, 여러 쓰기 주체의 최종 일관성이라는 서로 다른 요구를 해결
- rqlite와 dqlite는 여러 노드의 합의로 데이터 일관성을 유지하며, 장애가 나도 백업 복원을 기다리지 않고 서비스를 이어가려는 요구에 대응
- Litestream은 단일 SQLite의 변경 기록을 S3로 전송해, 클러스터 없이도 저렴하게 장애 후 복구 수단 확보
- 분산 SQLite는 직접 실행하는 오픈소스에서 관리형 서비스로도 확장됨. 투자와 인수는 복제 SQLite를 유료 서비스로 만든 플랫폼에 집중됐고, rqlite, dqlite, Litestream은 무료 오픈소스로 남아 있음
- 2014년 9월 rqlite의 첫 공개 글과 같은 주말에 소스 코드가 공개됨
- SQLite 앞에 Raft 로그를 두고 모든 쓰기를 클러스터에 복제해, 노드 하나를 잃어도 데이터가 사라지지 않도록 설계함
- 개발자가 아는 범위에서는 Raft와 SQLite를 결합한 최초의 오픈소스 시스템이었음
- 출발점은 jut.io의 클러스터 시스템에 필요한 소규모 관계형 저장소였음
- 어느 노드에 데이터를 둘지 마땅한 답이 없었고, 합의 프로토콜로 SQLite를 복제하면 해결할 수 있었음
- 회사에서는 다른 방식을 택했지만, 범용적인 문제를 작은 해법으로 해결할 수 있어 rqlite 개발을 이어감
- 초기에는 당시 InfluxDB와 etcd도 사용하던 goraft를 사용함
- 2016년 초 Hashicorp의 Raft 구현으로 교체했고, 현재도 이를 사용함
- 가장 중요한 설계 결정인 CP 시스템 이라는 성격은 바뀌지 않음
- 쓰기는 리더를 거쳐 과반수의 승인을 받아야 하며, 네트워크 분할로 고립된 소수 노드는 쓰기를 거부함
- HTTP API, 읽기 일관성 수준, 스냅샷도 이 결정에 따라 설계됨
- Expensify는 수년 전부터 내부 인프라에서 Paxos) 계열 프로토콜로 SQLite를 복제했으며, 이를 2016년 Bedrock으로 공개함
- ActorDB는 각 액터에 Raft로 복제되는 SQLite 데이터베이스를 할당하는 Erlang 시스템으로, rqlite와 비슷한 시기에 등장함
- 두 시스템 모두 출발한 환경 밖에서 널리 채택되지는 않았음. rqlite는 이 아이디어를 누구나 실행할 수 있는 독립형 범용 오픈소스로 만듦
- Canonical은 LXD, 이후 MicroK8s에서 etcd를 별도로 실행하지 않고 내장형 복제 저장소를 사용하기 위해 dqlite 를 개발함
- Mark Shuttleworth와 rqlite 개발자가 rqlite 활용 가능성을 논의했지만 요구에 완전히 맞지는 않았음
- Go로 시작한 뒤 자체 Raft 라이브러리를 갖춘 C 구현으로 다시 작성함
- 두 프로젝트의 목적은 유사하지만 핵심 차이는 배포 형태에 있음
- dqlite는 제품 안에 넣는 라이브러리이고, rqlite는 제품 옆에서 별도로 실행하는 서버임
- Ben Johnson은 2021년 초 Litestream 을 공개함
- 합의 프로토콜을 사용하지 않고 SQLite의 WAL을 감시해 S3로 스트리밍함
- 단일 노드 SQLite 데이터베이스에 매우 낮은 비용으로 재해 복구 수단을 제공함
- 한 대의 머신과 복구 수단이면 충분하고 클러스터까지는 필요하지 않은 애플리케이션이 많다는 접근은, 이후 블로그와 콘퍼런스를 통해 확산된 “SQLite면 충분하다”는 흐름에 큰 영향을 줌
- Litestream과 rqlite는 장애 이후의 요구가 다름
- Litestream은 머신이 죽었을 때 어떻게 복구할지에 답함
- rqlite는 머신이 죽었는데 복원이 끝날 때까지 기다릴 수 없는 경우에 답함
- 전자의 요구가 더 흔하지만, rqlite를 찾는 사용자는 후자의 요구를 가짐
- Fly.io는 2022년 Ben Johnson을 채용하고 LiteFS 를 출시함
- Consul의 리스를 이용해 파일시스템 수준에서 SQLite를 복제함
- 복제 SQLite를 사용자가 배포하는 소프트웨어가 아닌 플랫폼 기능으로 만들려는 첫 시도였음
- Litestream은 rqlite v8.0의 SQLite WAL 처리 방식에도 영향을 줌
- cr-sqlite 는 SQLite 확장으로 CRDT를 추가해, 여러 쓰기 주체가 리더 없이 서로 다른 상태로 진행한 뒤 병합할 수 있게 함
- AP 계열 설계로, rqlite의 CP 보장이 오히려 방해가 될 수 있는 로컬 우선 애플리케이션에 적합함
- libSQL 은 SQLite 자체를 포크함
- ChiselStrike, 이후 Turso는 외부 기여를 받지 않는 SQLite 프로젝트에서 바꾸지 않을 엔진 내부를 변경하고자 했음
- 포크 위에 엣지 복제본을 갖춘 호스팅 서비스를 만들고 벤처 투자를 유치함
- 2026년 Supabase가 Turso를 인수함
- 비슷한 시기에 등장한 SQLite Cloud 는 Raft로 복제하는 호스팅 SQLite를 제공함
- rqlite의 원래 설계에 가장 가까운 프로젝트를 클라우드 서비스로 감싼 형태임
- Cloudflare는 2022년 엣지 네트워크 안에서 SQLite를 서버리스 데이터베이스로 제공하는 D1 을 발표함
- 이후 Durable Objects 내부에도 SQLite 저장소를 도입함
- Cloudflare와 Turso의 서비스는 사용자가 내부 동작 방식을 알 필요 없이 구매하는 관리형 복제 SQLite임
- 이 분야는 “직접 실행하는 것”에서 “구매하는 것”으로도 확장됨
- SQLite 저장 엔진 바깥에 복제를 추가하는 구조를 서로 다른 요구와 프로토콜을 가진 최소 8개 팀이 다시 만들어 왔으며, 이 접근은 계속 이어지고 있음
- 설계 공간에는 순서대로 등장한 세 가지 축이 있음
- 합의: rqlite와 dqlite처럼 단일 리더, 강한 일관성, 클러스터를 사용함
- 스트리밍: Litestream처럼 단일 쓰기 주체와 저비용 복구를 제공하고 클러스터는 사용하지 않음
- 병합: cr-sqlite와 일부 로컬 우선 시스템처럼 여러 쓰기 주체와 최종 일관성을 지원함
- 각 방식은 서로 다른 질문에 적합하며, 사용자 간 논쟁도 대체로 어떤 문제를 해결하려는지를 둘러싸고 벌어짐
-
자본은 플랫폼으로 향함
- rqlite, dqlite, Litestream은 무료 오픈소스이며, 투자나 인수로 이어진 프로젝트는 복제 SQLite를 유료 서비스로 만든 쪽임
- 이 아이디어는 판매되기 전 8년 동안 오픈소스로 존재했음
- rqlite 는 2014년과 같은 문제를 더 나은 방식으로 해결하며 개발을 이어가고 있음
- 직접 운영하고, 완전히 이해하며, 누구에게도 비용을 지불하지 않는 내결함성 관계형 데이터베이스가 필요할 때 선택할 수 있음