엔비디아, AI 공장용 운영 관측 플랫폼 '미네르바' 공개

대규모 AI 인프라의 관측 한계

엔비디아가 대규모 AI 데이터센터의 운영 효율성을 높이기 위한 AI 네이티브 AIOps 플랫폼인 미네르바(Minerva)를 공개했다. 수십만 개의 GPU와 고속 패브릭, 분산 스케줄러가 결합된 환경에서는 동기식 분산 학습 특성상 단 하나의 장치 성능 저하만으로도 전체 작업 속도가 지연되는 문제가 발생한다.

기존의 규칙 기반 모니터링은 특정 지표가 정해진 임계값을 넘을 때만 경보를 발생시키기 때문에 장치가 완전히 정지하지 않고 성능만 떨어지는 이른바 '회색 실패(gray failures)'를 감지하기 어렵다. 또한 네트워크, 연산, 머신러닝 모델 운영팀이 각자 분리된 대시보드를 사용하면서 단일 장애가 발생해도 연관된 수많은 경보가 쏟아져 근본 원인을 파악하는 데 긴 시간이 소모되었다.

지식 그래프와 머신러닝 기반 탐지

미네르바는 GPU, 스펙트럼-X(Spectrum-X) 및 엔비링크(NVLink) 스위치, 슈퍼NIC(SuperNIC), DPU, 스토리지, NCCL 통신 라이브러리, 스케줄러 전반에서 텔레메트리 데이터를 수집한다. 자동 검색 기능을 통해 인프라와 실행 중인 AI 작업을 실시간 지식 그래프로 연결하며, 작업의 시작과 종료 또는 노드 격리 상태에 맞춰 관계도를 지속적으로 갱신한다.

수집된 시간당 수십억 건의 지표와 로그 데이터는 지도 학습과 비지도 학습 모델을 거쳐 분석된다. 비지도 학습 모델은 동일한 부하 아래에서 작동하는 주변 하드웨어와 비교 분석을 수행하여 임계값 범위 내에 있더라도 비정상적인 전력, 온도, 대역폭 저하를 보이는 장치를 사전에 식별한다. 자연어 처리(NLP) 기반 이상 탐지는 시스템 로그에서 이전에 나타나지 않았던 비정상적인 패턴을 포착해 스케줄러와 연동하여 문제가 있는 노드를 격리하도록 지원한다.

경보 압축과 에이전트 분석

위상 인식 상관관계 엔진은 지식 그래프를 활용하여 네트워크 경로와 물리적 위치를 공유하는 종속 증상들을 단일 인시던트로 묶어 정리한다. 이를 통해 수십 건으로 분산되어 쏟아지는 경보 소음을 줄이고, 운영자가 실제로 영향받는 토폴로지와 작업을 즉각 파악할 수 있도록 탐색 범위를 축소한다.

플랫폼 내부에는 실시간 원격 계측 데이터와 지식 그래프를 기반으로 작동하는 전용 AI 에이전트 셜록(Sherlock)이 내장되어 있다. 운영 엔지니어는 일상적인 자연어 질의를 통해 특정 작업의 속도가 느려진 이유나 결함 도메인을 공유하는 노드 목록을 확인할 수 있으며, 근거 데이터와 복구 권고안을 함께 전달받는다. 아울러 외부 에이전트 연동 표준 서버를 제공하여 조직의 기존 자동화 도구에서도 미네르바의 운영 데이터를 질의하고 승인 정책에 따라 복구 작업을 수행할 수 있도록 구성했다.

실제 클러스터 적용과 절감 성과

엔비디아 내부 AI 공장 환경에서 진행된 검증 결과에 따르면 약 40만 개의 네트워크 인터페이스 중 대역폭이 미세하게 저하되던 단 하나의 엔비링크 연결을 수 분 만에 특정해 분산 학습 처리량을 정상화했다. 또한 슈퍼NIC 경로의 미세한 하드웨어 오류 로그를 사전에 감지해 작업 할당 전에 노드를 제외함으로써 수백 GPU 시간의 낭비를 방지했다.

저전력 상태에서 복구되지 못한 NVMe 스토리지 장애로 발생한 작업 지연을 추적해 노드를 교체함으로써 약 5,530시간의 작업 손실을 막았으며, 스위치 오류로 발생한 81건의 연쇄 경보를 단일 인시던트로 통합해 처리함으로써 약 54시간의 클러스터 가동 시간을 보존했다. 이러한 선제적 유지보수와 자동 원인 분석은 장애 간 평균 시간(MTBI)을 늘리고 평균 복구 시간(MTTR)을 단축하는 성과를 냈다.

DSX OS 통합 로드맵과 운영 조건

미네르바는 엔비디아 DSX OS와의 통합을 염두에 두고 개발되고 있으며, 어트리뷰션(Attribution)을 비롯한 복원력 구성 요소를 통합할 예정이다. 데이터 수집기를 시작으로 주요 기능들이 오픈소스로 제공되어 엔비디아 참조 아키텍처에 맞춘 모듈식 관측 환경을 구성할 수 있게 된다.

다만 단일 신호로 압축된 고신뢰 인시던트를 수신하더라도 최종적인 근본 원인 판별과 장애 복구 조치는 운영자의 확인을 필요로 한다. 자동화 조치를 적용할 때도 작업의 위험도와 로컬 운영 정책에 따라 승인 단계를 거치도록 설계되어 있으며, 복구 효과는 셜록이 제시하는 토폴로지와 지표 근거의 확인 과정에 의존한다.