메타, 기가와트급 AI 슈퍼클러스터 '프로메테우스' 구축 및 운영 전략 공개

메타의 AI 인프라 혁신

메타는 차세대 파운데이션 모델 훈련을 위해 기가와트급 AI 슈퍼클러스터 '프로메테우스(Prometheus)'를 구축하고 있다. 이 프로젝트는 오하이오주 뉴올버니에 위치한 기존 데이터센터를 AI 훈련에 최적화된 인프라로 전환하는 것을 목표로 한다. 프로메테우스의 1단계 구축은 이미 완료되어 메타의 Muse 파운데이션 모델, 특히 Muse Wonder 모델 훈련에 활용되었다. 최종적으로 프로메테우스는 약 100만 개의 GPU를 통합하여 운영될 예정이다.

프로메테우스는 대규모 AI 훈련 작업의 성능과 안정성을 극대화하기 위해 설계되었다. 기존 웹 트래픽 중심의 데이터센터와 달리, AI 훈련은 높은 대역폭, 낮은 지연 시간, 그리고 수많은 서버 간의 긴밀한 동기화가 필수적이다. 메타는 이러한 요구사항을 충족하기 위해 하드웨어, 네트워킹, 건물 설계 등 전반적인 인프라를 재설계했으며, 폐쇄 루프 액체 냉각과 같은 효율적인 운영 기술을 도입했다.

GPU 플랫폼의 단계적 진화

프로메테우스는 현재 수십만 개의 GPU를 여러 상호 연결된 건물에 분산 배치하여 단일 시스템처럼 작동한다. 메타는 NVIDIA의 여러 세대 GPU 플랫폼을 도입하여 성능과 효율성을 지속적으로 향상시키고 있다. 현재는 Catalina(NVIDIA GB200 NVL72)와 Clemente(NVIDIA GB300 NVL72) 두 가지 플랫폼이 배포되었으며, 향후 San Miguel(NVIDIA Vera Rubin NVL72) 플랫폼이 추가될 예정이다.

Catalina 플랫폼은 NVIDIA GB200 NVL72의 Ariel 변형을 사용하며, 2개 랙 구성으로 72개 GPU 도메인을 형성한다. 각 NVIDIA Blackwell GPU는 NVIDIA Grace CPU 및 2개의 NVIDIA ConnectX-7 400G NIC와 1:1 비율로 연결되어 GPU당 800G의 I/O 대역폭을 제공한다. 이 플랫폼은 72개 Blackwell GPU, 13.4TB HBM3e(GPU당 192GB), 720 피크 PFLOPS FP8 컴퓨팅 성능을 갖추고 있으며, Open Compute Project(OCP)에 기여된 Open Rack V3(ORv3) 고전력 랙 구조를 활용한다.

Clemente 플랫폼은 NVIDIA GB300 NVL72를 기반으로 하며, GPU 및 플랫폼 수준에서 Catalina 대비 개선되었다. GPU당 HBM 용량이 1.5배 증가하여 288GB에 달하며, FP4 처리량도 유사한 비율로 향상되었다. NVIDIA ConnectX-8 SuperNIC를 통해 GPU당 800G 대역폭을 기본으로 제공하며, 2:1 GPU-CPU 비율로 72개 GPU 도메인을 단일 랙에 통합하여 물리적 배포를 간소화한다. Clemente는 72개 Blackwell Ultra GPU, 20.7TB HBM3e, 1 엑사플롭스 이상의 FP4 컴퓨팅 성능을 제공하며, GB200 NVL72 대비 5~10%의 성능 향상을 보인다.

향후 도입될 San Miguel 플랫폼은 NVIDIA Vera Rubin NVL72를 특징으로 하며, GPU당 성능에서 한 세대 도약을 이룰 것으로 예상된다. 이 플랫폼은 72개 Vera Rubin GPU, 288GB HBM4(GPU당 19.2TB/s 피크 대역폭), 랙당 2.52 피크 EFLOPS FP4 컴퓨팅 성능을 제공하며, GB300 NVL72 대비 전력 효율이 10~20% 향상될 것으로 전망된다. 또한, 완전 액체 냉각 컴퓨팅 트레이를 통해 랙당 170kW 이상의 전력을 지원한다.

고성능 네트워크 및 안정성 확보

대규모 AI 훈련의 핵심은 GPU 간의 효율적인 통신이다. 프로메테우스는 기존 데이터센터 네트워크 외에 GPU 간 직접 통신을 위한 전용 백엔드(BE) 네트워크를 추가로 구축했다. 이 네트워크는 건물 내 저지연 고대역폭 패브릭과 건물 간을 연결하는 집계 네트워크로 구성되어 계층적인 트래픽 패턴에 최적화되었다.

건물 수준에서는 최대 20,736개의 GPU를 상호 연결하는 고대역폭, 저지연 다층 토폴로지 패브릭을 사용한다. 초기에는 Disaggregated Scheduled Fabric(DSF)을 사용했으나, 이더넷 NIC 기술 발전으로 Non-Scheduled Fabric(NSF)으로 업데이트되었다. NSF는 Minipack3 및 NVIDIA Spectrum-4 스위치 ASIC 기반의 Minipack3N과 같은 얕은 버퍼 51.2T 이더넷 스위치를 활용한다. 이 모든 패브릭은 메타의 FBOSS 네트워킹 스택을 기반으로 하여 신속한 최적화와 운영 가시성을 제공한다.

백엔드 집계(BAG) 네트워크는 프로메테우스 클러스터 내 건물 수준 패브릭을 2km에서 100km 이상 떨어진 거리까지 연결하는 다층 허브-앤-스포크 네트워크이다. Arista 7800 시리즈 섀시와 Broadcom Jericho3 실리콘으로 구축되어 지역 쌍당 여러 Pbps의 대역폭을 제공한다. 이러한 복잡한 네트워크는 수백만 마일의 광섬유, 수만 개의 스위치, 수백만 개의 광학 부품으로 구성된다.

프로메테우스 규모에서는 모든 구성 요소의 안정성이 중요하다. 메타는 NVIDIA와 공동 엔지니어링 모델을 통해 실시간 원격 측정 데이터를 공유하고 공동 문제 해결 세션을 운영하여 시스템 중단 원인을 분석한다. NVL8 아키텍처에서 NVL72로 전환되면서 장애 영향 범위가 9배 확장되었기 때문에, 72개 GPU 랙을 용량 할당의 기본 단위로 삼고 랙 내 예비 GPU(8개)를 두어 장애 발생 시 즉시 교체하여 훈련 작업을 재시작한다. 또한, 전체 랙 장애에 대비하여 약 2%의 추가 랙을 예비로 확보한다.

장애 복구는 Parallelism-Aware Fault Tolerance(PAFT)와 체크포인트(Checkpointing) 두 가지 메커니즘을 통해 이루어진다. PAFT는 데이터 병렬 모델 복제본으로 격리될 수 있는 장애의 경우, 해당 복제본을 오프라인으로 전환하고 나머지 클러스터가 작업을 계속하도록 하여 전체 시스템 중단을 방지한다. 더 넓은 범위의 장애 발생 시에는 체크포인트 기능을 통해 전체 작업을 마지막 체크포인트부터 재시작한다. 메타는 분산 체크포인트 아키텍처를 통해 모델 상태를 다계층 스토리지에 비동기적으로 저장하며, 델타 체크포인트와 인메모리 스테이징을 활용하여 훈련 처리량에 미치는 영향을 최소화한다.

프로메테우스 초기 단계인 2025년 중반에는 8K GPU당 하루 약 1,000건의 중단이 발생했으나, 1년간의 집중적인 엔지니어링 노력을 통해 중단율을 99% 감소시켰다. 현재 목표는 8K GPU당 하루 2건의 중단(약 10만 GPU 시간 MTBI)이다. 이를 위해 NVLink 신호 무결성, 메모리 안정성(HBM 및 LPDDR), NVLink 스위치 및 패브릭 상태, 백엔드 네트워크 이벤트 등 각 장애 원인에 대한 맞춤형 해결책을 구현했다. 또한, 펌웨어 번들 배포 자동화, 플릿 상태 모니터링, 파트너 간 검증, 자동 신호 스크리닝, 전력 공급 스트레스 테스트, 정밀 액체 냉각, 플릿 유지보수, 사전 작업 상태 점검 등 하드웨어 성숙화를 위한 다각적인 노력을 기울이고 있다.

전력 및 냉각 관리의 효율성

수만 개의 GPU가 동시에 컴퓨팅 집약적인 작업을 수행할 때 발생하는 30~40%의 급격한 부하 변동(전력 과도 현상)은 전력 공급에 큰 도전 과제이다. 메타는 클러스터 전반의 전력 관리 프레임워크인 '다이나모 디머(Dynamo Dimmer)'를 통해 이를 해결한다. 디머는 클러스터가 전기적 한계에 가까워지면 GPU 전력 제한을 점진적으로 조정하여 훈련이 중단 없이 계속되도록 한다. 이 시스템은 랙 수준 배터리 백업(BBU) 모듈, 피크 스무딩을 위한 커패시터 트레이(CBU), 시설 수준 배터리 에너지 저장 시스템(BESS)으로 보강되며, 유틸리티 제공업체와의 긴밀한 조정을 통해 AI 워크로드의 독특한 전력 프로파일을 관리한다.

냉각 관리 또한 프로메테우스의 효율적인 운영에 필수적이다. 메타는 분산된 접근 방식으로 인해 다양한 위치의 전력 및 냉각 제약을 해결하기 위해 여러 세대의 냉각 인프라를 통합했다. 모듈형 공기 보조 액체 냉각(AALC)과 AI 최적화 건물에 사용되는 시설 액체 냉각(FLC)을 혼합하여 사용한다. 특히, GPU 서버 냉각에 가장 효율적인 폐쇄 루프 액체 냉각 시스템은 공간을 절약하고 물 사용 효율성을 높이며, 메타는 액체 냉각 네트워크 랙인 IcePack과 같은 시스템 설계를 OCP를 통해 업계와 공유하여 지속 가능성 노력을 확장하고 있다.

개발자 영향 및 향후 전망

프로메테우스의 구축은 메타가 이전에는 실용적이지 않았던 더 큰 모델과 더 긴 컨텍스트 윈도우를 추구할 수 있게 한다. 이를 통해 Muse Wonder 모델과 같이 개인 및 전문 에이전트 작업에서 최첨단 성능을 제공하는 새로운 AI 경험을 수십억 명의 사람들에게 제공할 수 있다. 시스템 안정성 향상은 엔지니어링 반복 속도를 직접적으로 높여 컴퓨팅 효율성을 증대시키고 고급 AI 경험 제공에 필요한 시간을 단축한다.

프로메테우스는 메타의 향후 슈퍼클러스터 설계에 청사진을 제공한다. 루이지애나주 리치랜드 패리시에 건설될 예정인 차세대 슈퍼클러스터 '하이페리온(Hyperion)'은 프로메테우스에서 얻은 통찰력을 바탕으로 처음부터 설계되고 있다. 하이페리온은 폐쇄 루프 액체 냉각, 유틸리티 파트너와의 완전한 그리드 연결, 차세대 네트워크 설계를 특징으로 할 예정이다.

프로메테우스는 대규모 AI 인프라 구축의 복잡성을 보여주며, 초기 높은 중단율, 장거리 네트워크 통신 제약, 예비 자원 할당으로 인한 유효 컴퓨팅 자원 감소 등 여러 도전 과제를 극복해야 했다. 특히, NVL72 랙의 64-of-72 슬라이스 구조는 활성 GPU 외에 약 11%의 GPU가 안정성 확보를 위한 예비 자원으로 할당됨을 의미한다. 이러한 제약에도 불구하고 메타는 지속적인 엔지니어링 개선을 통해 대규모 AI 훈련 인프라의 안정성과 효율성을 확보하고 있다.