- GitHub는 저장소 99.99999%의 복사본을 Azure로 이전했으며, 지역 간 지연 때문에 이전이 막힌 고부하 저장소를 위해 쓰기 직렬화 범위를 저장소 전체에서 개별 참조로 바꾸고 있음
- 참조별 쿼럼은 같은 참조를 수정하는 쓰기만 서로 기다리게 해 서로 다른 브랜치의 동시 쓰기를 허용하며, 현실적인 트래픽을 사용한 내부 테스트에서 처리량이 3~4배 높아지고 지연은 낮아짐
- 가상 쓰기 복제본은 Azure Blob Storage에 쓰기가 영속화된 뒤에만 완료를 확인하며, 서로 다른 참조의 트랜잭션을 묶어 네트워크 왕복을 공유함
- 가상 읽기 복제본은 쿼럼에 참여하지 않고 객체 스토리지에서 캐시를 채워 읽기를 처리하므로 쓰기와 독립적으로 확장할 수 있지만, 초기 동기화 방식으로는 모든 읽기 작업을 지원할 수 없음
- 이후에도 쓰기 쿼럼이 병목으로 남으므로, GitHub는 합의 없이 저장할 수 있는 불변 Git 객체와 순서 보장이 필요한 작은 상태를 구분해 추가적인 쓰기 확장을 추진하고 있음
- 차세대 Git 저장소 아키텍처의 두 원칙은 조정 최소화와 스토리지와 컴퓨트의 분리임
- 에이전트 도입에 따른 트래픽 급증, 자체 데이터센터와 주변 지역의 전력 용량 한계, 물리적 공급망 제약 때문에 이전을 서둘러야 했음
- 가능한 증설을 모두 고려해도 안전하게 이전할 시간은 있었지만, 느리게 진행할 여유는 없었음
- 클라우드용 확장 아키텍처를 시제품으로 검증했으나, 급격한 성장 속에서 호스팅 플랫폼과 저장소 아키텍처를 동시에 바꾸는 것은 위험이 너무 컸음
- Git 작업은 GitHub의 거의 모든 기능이 의존하는 Tier 0 서비스이므로, 데이터와 서비스, 모든 의존성을 먼저 옮기고 아키텍처를 발전시키는 순서를 선택함
- 첫 저장소 복사본은 2025년 8월 Azure Central US에 도착했으며, 현재 저장소 대부분은 복제본 5개 중 2개가 Azure에 있음
- 전체 저장소의 99.99999%가 자체 데이터센터와 Azure 양쪽에 복사본을 두고 있음
- Azure는 Git 트래픽의 약 절반을 처리하며, 이전 기간 대부분 동안 자체 데이터센터 규모를 유지한 채 트래픽 증가분을 흡수함
- 저장소 대부분은 내구성, 가용성, 확장성의 균형을 위해 복제본 5개를 사용함
- Spokes는 읽기 지연을 줄이기 위해 요청과 같은 지역 및 가용 영역의 복제본으로 우선 라우팅함
- 복제본을 Azure로 옮길 때마다 Azure가 처리할 수 있는 트래픽 비중이 늘고, 마지막 복제본까지 이전하면 기존 지역으로 향하는 요청이 사라짐
- 남은 0.00001% 는 플랫폼에서 가장 바쁜 저장소들에 속하며, 현재 아키텍처에서는 여러 지역에 걸쳐 배치하면 쓰기 처리량 상한이 낮아짐
- Spokes 쿼럼은 커밋에 과반수만 필요하지만, 다음 쓰기로 넘어가기 전 타임아웃까지 모든 정상 복제본의 응답을 기다림
- 느린 복제본이 뒤처지게 두는 대신 모든 쓰기가 지연되므로, 가장 느린 정상 복제본이 쓰기 지연을 결정함
- 각 쓰기는 커밋까지 저장소 전체 잠금을 유지하므로, 이 지연이 처리량 상한도 결정함
- 대상 Azure 지역은 자체 데이터센터에서 약 1,000마일 떨어져 있으며, 네트워크 왕복은 약 25ms이고 쓰기 하나에 여러 번의 왕복이 필요함
- 이미 처리량 상한에 가까운 저장소는 직렬화된 모든 쓰기에 추가되는 지연을 감당할 수 없으며, 푸시가 들어올수록 더 뒤처지게 됨
- 저장소 전체 잠금은 쿼럼을 한 번에 쓰기 하나만 진행하는 순서가 정해지지 않은 단일 요청 대기열로 만듦
- 쓰기 유입량이 늘수록 대기열이 길어지고, 뒤에 오는 쓰기는 앞선 쓰기보다 더 오래 기다림
- Git의 일관성 요구사항은 개별 참조에 적용됨
- 서버가 참조 업데이트를 수락한 뒤에는 어떤 클라이언트도 이전 값을 보아서는 안 되며, 해당 값 또는 더 새로운 값만 볼 수 있어야 함
- 이는 fast-forward, 강제 푸시, 삭제 모두에 적용됨
- 반면 서로 다른 참조의 업데이트는 대부분 서로 의존하지 않아 독립적으로 적용할 수 있음
- 참조별 직렬화에서는 같은 참조를 두고 경합하는 쓰기만 서로 기다림
- 에이전트와 개발자가 각자의 브랜치에 푸시하는 것처럼, 실제 저장소 쓰기 대부분은 서로 다른 참조를 수정함
- 각 쓰기에는 여전히 지역 간 지연이 발생하지만, 서로 다른 참조의 쓰기를 동시에 진행할 수 있어 저장소 전체의 단일 병목을 없앰
- 쓰기 처리량 상한은 대략 동시에 쓰는 참조 수에 비례해 높아지며, 남은 저장소의 Azure 이전을 가능하게 함
- 현실적인 트래픽을 사용한 내부 테스트에서 서로 다른 참조에 대한 쓰기는 일관되게 3~4배 높은 처리량과 더 낮은 지연을 보였음
- 대부분의 저장소는 쓰기 1회당 읽기 100~1,000회가 발생하지만, 현재는 읽기와 쓰기가 같은 복제본의 자원을 놓고 경쟁해 독립적으로 확장할 수 없음
- 저장소 데이터를 Azure Blob Storage에 영속 저장하고 들어오는 쓰기마다 갱신하면, 읽기 트래픽을 쓰기 쿼럼에서 분리하고 각각의 컴퓨트를 독립적으로 확장할 수 있음
- 읽기는 현재보다 훨씬 큰 메모리 캐시의 이점을 얻을 수 있지만, 지금은 압축 정리(compaction)에도 그 메모리가 필요함
- 둘을 분리하면 각각에 맞는 자원 구성이 가능함
- 첫 단계는 객체 스토리지를 가상 복제본이라는 특별한 쿼럼 구성원으로 만드는 것임
- 이를 대표하는 컴퓨트는 자체 영속 상태를 갖지 않는 최초의 완전한 임시 노드로, 들어오는 쓰기를 객체 스토리지로 스트리밍하고 읽기는 처리하지 않음
- 쓰기는 객체 스토리지에 영속화될 때까지 완료 확인을 받지 못함
- 가상 쓰기 복제본은 각 쓰기에 약간의 지연을 추가하지만, 참조별 직렬화가 이 지연을 처리량 병목으로 번지지 않게 함
- 서로 겹치지 않는 참조의 트랜잭션을 객체 스토리지에 대한 단일 네트워크 입출력 묶음으로 합침
- 바쁜 저장소에서는 쓰기마다 왕복하는 대신 여러 동시 쓰기가 한 번의 왕복을 공유함
- 현재는 압축 정리도 담당하며, 읽기 복제본은 정리된 상태를 이어받음
- 가상 쓰기 복제본이 있으면 저장소가 필요로 하는 만큼 가상 읽기 복제본을 늘릴 수 있음
- 각 복제본은 Azure Blob Storage에서 캐시를 채운 뒤 쿼럼에 가입하지 않고 읽기 트래픽을 처리함
- 객체 스토리지를 기준 데이터로 삼고, 백그라운드에서 로컬 상태를 대조하고 동기화함
- 내부 분산 부하 테스트 하네스는 기존 아키텍처에서는 반복적으로 시스템의 처리 한계에 도달했지만, 가상 읽기 복제본에서는 하네스 자체의 한계에 먼저 도달함
- 초기의 백그라운드 상태 동기화는 일부 읽기 작업에는 적합하지만 모든 읽기에 적합하지는 않음
- 모든 종류의 읽기를 처리하려면 상태 동기화를 요청 처리 경로 안으로 옮겨야 함
- 이때 복제본이 마지막으로 동기화한 이후 변경된 참조 상태와 데이터만 가져와야 함
- 참조별 모델로 쓰기 처리량을 높여도, 추가 확장에는 여전히 쿼럼이 상한으로 남음
- Spokes는 쿼럼 조정자뿐 아니라 라우팅, 부하 분산, 통합 저장소 API, 백그라운드 관리 시스템을 아우름
- 내부 클라이언트는 통합 API로 하루 1,000억 회를 훨씬 넘는 작업을 수행하며 저장소 데이터에 접근하고 트랜잭션을 처리함
- sweepers라는 백그라운드 시스템은 저장소 배치, 복구, 스토리지 노드 간 재균형을 맡음
- 이 기능 대부분은 새 아키텍처에도 그대로 유효하지만, 저장소 10억 개까지 확장해 온 커밋 프로토콜로는 다음 10억 개와 그 이상을 감당할 수 없음
- 현재 모든 쓰기는 저장소 전체 복사본을 가진 복제본들을 기다리지만, 실제로 순서를 보장해야 하는 부분은 매우 작음
- Git 객체는 불변이고 내용으로 이름이 정해지므로 별도의 합의 없이 저장할 수 있음
- 남은 작은 상태의 순서를 최대한 빠르게 정하되, 병목을 다른 곳으로 옮기지 않는 것이 과제임
- 개발자와 에이전트가 상시 쓰는 10억 개 저장소를 운영하면서 아키텍처를 전환하려면, 영속 참조 상태의 위치와 압축 정리 및 가비지 컬렉션의 확장 방식까지 다시 설계해야 함
- 에이전트 트래픽은 계속 늘고 있으며, 각 단계는 최종 구조가 완성되기 전에도 저장소의 처리 여유를 확대함
- 다음 주 GitHub Universe와 연재의 마지막 글에서는 최종 아키텍처의 쓰기 처리량, 함께 해결해야 했던 문제들, 그리고 스택 어딘가에 여전히 작은 합의 그룹이 남는 이유를 공개할 예정임