깃허브, 에이전트 트래픽 대응 위한 차세대 깃 저장소 아키텍처 과도기 설계 공개

인프라 이전과 병목 현상

깃허브 엔지니어링 팀은 지난 1년 동안 급증하는 깃 트래픽에 대응하여 전체 저장소의 99.99999%를 자체 데이터센터와 애저 클라우드 양쪽에 동시 유지하는 형태로 분산 배치했다고 발표했다. 2025년 8월 애저 미국 중부 지역에 첫 저장소 복제본을 배치한 이후 현재 대다수 저장소는 전체 5개 복제본 가운데 2개를 애저에 두고 있으며 전체 깃 트래픽의 약 절반을 애저에서 처리하고 있다. 그러나 트래픽이 극도로 집중되는 상위 0.00001%의 저장소는 자체 데이터센터와 약 1,000마일 떨어진 클라우드 리전 간의 25ms 왕복 네트워크 지연 시간 문제로 인해 완전한 클라우드 전환에 제약을 겪었다.

기존 아키텍처의 스포크스(Spokes) 정족수(Quorum) 시스템은 과반수의 응답만으로 쓰기를 커밋할 수 있지만, 정상 상태의 모든 복제본 응답을 제한 시간까지 대기하도록 설계되어 가장 느린 복제본이 전체 쓰기 지연 시간을 결정했다. 더욱이 각 쓰기 작업마다 저장소 전체에 잠금(Lock)을 걸고 순차 직렬화 처리를 수행했기 때문에 단일 쓰기가 끝날 때까지 다른 요청들이 단일 대기열에 묶여 대기열이 길어지고 처리량 한계선에 부딪히는 문제가 발생했다.

개별 참조 단위 직렬화

깃허브는 이러한 병목을 해결하기 위해 조율을 최소화한다는 원칙에 따라 정족수 직렬화 범위를 저장소 전체에서 개별 참조(Reference) 단위로 세분화했다. 깃의 일관성 보장은 개별 참조 수준에서 적용되므로 서버가 특정 참조의 업데이트를 수락한 뒤에는 이전 값을 보이지 않게 처리하면 충분하며, 서로 다른 참조에 대한 갱신 작업은 상호 의존하지 않는다는 특성을 활용했다.

참조 단위 직렬화가 적용되면서 동일한 참조를 두고 경쟁하는 쓰기 작업만 대기열에서 기다리고, 서로 다른 브랜치나 태그를 수정하는 개발자와 에이전트의 쓰기 작업은 여러 개가 동시에 왕복 네트워크 지연 시간을 거치며 병렬로 처리된다. 깃허브가 현실적인 트래픽을 반영해 진행한 내부 테스트 결과, 서로 다른 참조에 대한 쓰기 처리량은 낮은 지연 시간 환경에서 기존 대비 일관되게 3~4배 증가한 것으로 확인되었다.

가상 복제본과 읽기 확장

대다수 저장소는 쓰기 1건당 읽기 요청이 100건에서 1,000건에 달할 정도로 읽기 편향적이지만, 기존 방식은 읽기와 쓰기가 동일한 복제본을 공유하여 리소스 경합을 피하기 어려웠다. 깃허브는 저장소 데이터를 애저 블롭 스토리지(Azure Blob Storage)에 영구 저장하면서 저장소와 컴퓨팅을 분리하고 가상 복제본(Virtual Replica) 개념을 도입했다. 가상 쓰기 복제본은 자체 영구 상태를 두지 않는 최초의 완전 임시(Ephemeral) 노드로서 정족수에 참여해 데이터를 객체 스토리지로 스트리밍하며, 서로 다른 참조의 트랜잭션을 단일 네트워크 입출력으로 병합 처리하여 왕복 횟수를 절감한다.

가상 쓰기 복제본이 마련됨에 따라 정족수에 직접 참여하지 않고도 객체 스토리지를 신뢰 원천으로 삼아 캐시를 구성하는 가상 읽기 복제본을 수요에 맞춰 자유롭게 수평 확장할 수 있는 기반이 마련되었다. 분산 부하 테스트 환경에서 기존 아키텍처는 빠르게 처리 한계에 도달했던 반면, 가상 읽기 복제본 구성에서는 테스트 도구 자체가 먼저 한계에 부딪힐 정도로 읽기 확장성이 개선되었으며 컴팩션과 같은 유지보수 작업 역시 가상 쓰기 복제본이 일임하게 되었다.

한계점과 향후 과제

이번 과도기 설계는 확장성을 크게 넓혔으나 몇 가지 기술적 제약을 여전히 안고 있다. 현재 단계의 가상 읽기 복제본은 백그라운드 방식으로 객체 스토리지와 상태를 조정하므로 즉각적인 최신성이 필수적인 모든 유형의 읽기 워크로드를 완벽히 대체하지는 못하며, 향후 마지막 동기화 이후 변경된 참조 상태와 데이터만 즉시 가져오는 인라인 조정 방식이 추가되어야 한다.

또한 참조 단위 모델로 쓰기 처리량 한계선이 비례적으로 상승했음에도 불구하고, 여전히 전체 저장소 복사본을 보관하는 복제본들이 정족수를 유지하며 기다려야 하므로 정족수 자체가 추가 처리량 확장의 최종 한계 요인으로 남는다. 깃 객체는 내용 기반 식별자를 사용하는 불변 데이터이므로 정족수 합의 없이 저장이 가능하지만, 쓰기 순서를 결정하는 최소한의 영역을 분목 현상 없이 고속으로 정렬하고 영구 참조 상태의 저장 위치 및 가비지 컬렉션을 최적화하는 과제가 지속적으로 검토되고 있다.