단일 제어기 기반 대규모 모델 분산 학습 시스템 패스웨이

패스웨이(Pathways)는 계산 과정을 전역 데이터플로우 그래프(global dataflow graph)로 나타내 여러 가속기 그룹에 걸친 대규모 모델 학습을 조율하는 단일 제어기(single-controller) 분산 학습 시스템이다.

동기식 집합 통신을 사용하는 DDP나 FSDP 등 기존 단일 프로그램 다중 데이터(SPMD) 방식과 달리 비동기 디스패치와 중앙 스케줄러를 적용한다. 이를 통해 복잡한 작업 환경에서 발생할 수 있는 교착 상태를 방지하고 하드웨어 활용도를 높인다.

또한 가상 장치(virtual devices)를 활용해 물리적 하드웨어와 모델 정의를 분리한다. 개발자는 이를 통해 복잡한 학습 구조를 효율적으로 확장할 수 있으며 강화학습 사후 학습과 같은 동적 워크로드도 유연하게 처리할 수 있다.