엔비디아, 다이나모 추론 환경을 검증하는 AI 클러스터 런타임 공개

추론 인프라 패키징

엔비디아가 쿠버네티스 환경에서 대규모 인공지능 분산 추론 프레임워크인 다이나모를 안정적으로 배포하고 운영할 수 있도록 지원하는 인프라 런타임 기술을 공개했다. 이번에 소개된 엔비디아 에이아이 클러스터 런타임은 복잡한 하드웨어 드라이버와 스케줄러, 모니터링 체계를 사전에 검증된 레시피 형태로 묶어 제공하는 것이 핵심이다. 인공지능 공장 플랫폼 생태계의 오픈소스 구성 요소로 제공되며, 모델 서빙 작업에 필요한 인프라 준비 시간을 단축하고 일관된 운영 환경을 조성하도록 돕는다.

레시피 안에는 다이나모 플랫폼 차트 일 점 사 점 이 버전을 비롯해 노드 특성 탐지 도구, 동적 리소스 할당 드라이버, 스케줄러, 노드 상태 감시 도구, 프로메테우스 스택 등 필수 지원 소프트웨어가 지정된 버전으로 포함된다. 기존에 사용되던 알파 버전 사용자 정의 자원 정의는 정식 베타 버전으로 대체되었으며, 서비스 간 탐색 방식이 쿠버네티스 네이티브 자원 기반으로 전환되면서 기존 나츠 메시징 시스템은 기본 설치 항목에서 제외되고 선택 사양으로 변경되었다.

표준화 도입 배경

쿠버네티스 클러스터에서 분산 추론 모델을 운영하려면 단순히 서빙 엔진을 배포하는 것만으로는 부족하며 하부 인프라 계층의 정밀한 조율이 선행되어야 한다. 노드에 적합한 그래픽 처리 장치 드라이버가 설치되어 있는지, 가속기 노드가 올바르게 라벨링되어 탐색 가능한지, 토폴로지를 고려한 갱 스케줄링이 작동하는지 등을 일일이 점검해야 하는 부담이 존재했다.

특히 긴 대화 이력과 도구 정의를 반복해서 처리하는 에이전트 워크로드는 이전 계산 결과인 키-값 캐시를 얼마나 효율적으로 재사용하느냐에 따라 처리 성능이 크게 좌우된다. 캐시를 보유하지 않은 워커로 요청이 전달되면 동일한 토큰 연산을 처음부터 다시 수행해야 하므로 병목이 발생한다. 엔비디아는 이러한 인프라 종속성과 분산 캐시 라우팅 문제를 단일화된 검증 표준으로 해결하기 위해 런타임 패키징 방식을 도입했다.

라우팅 구조와 동작

다이나모 런타임은 프롬프트를 처리하는 사전 계산 풀과 토큰을 생성하는 디코드 풀을 분리하는 분리형 서빙 구조를 지원한다. 요청을 전달하는 데이터 평면에는 전송 제어 프로토콜을 사용하고, 캐시 이벤트를 전파하는 이벤트 평면에는 제로엠큐 프로토콜을 분리 적용하여 부하를 낮췄다. 각 서빙 워커 엔진은 로컬 발행기를 통해 캐시 상태를 알리고, 다이나모 런타임이 이를 취합하여 라우팅 결정에 실시간으로 반영한다.

지원하는 트래픽 전달 경로는 크게 두 가지다. 첫 번째는 단일 모델 서빙에 최적화된 프런트엔드 라우터 경로로, 수신된 요청을 토큰화한 뒤 캐시 일치도와 워커 부하를 점검하여 대상 워커를 직접 선택해 전달한다. 두 번째는 쿠버네티스 게이트웨이 인터페이스와 추론 확장을 결합한 경로로, 공유 수신 관문이 엔드포인트 선택기를 호출해 목적지를 지정받은 뒤 워커 포드 내부의 사이드카로 요청을 프록시 전달하는 구조를 취한다.

배포와 검증 절차

플랫폼 팀은 클러스터 상태를 먼저 스냅샷 파일로 기록한 뒤 이를 기반으로 대상 인프라에 최적화된 레시피를 생성한다. 아마존 웹 서비스의 쿠버네티스 환경과 지비이백 또는 지비삼백 시스템을 기준으로 엔비디아 지피유 오퍼레이터 이십육 점 칠 점 일 버전, 케이에이아이 스케줄러 영 점 십육 점 구 버전, 에이전트 게이트웨이 일 점 오 점 영 버전 등 상호 호환성이 입증된 패키지 조합이 명시된다.

생성된 레시피는 선언적 릴리스 도구나 깃옵스 관리 도구와 연동할 수 있는 배포 번들로 렌더링된다. 설치 작업이 완료되면 애플리케이션을 즉시 올리지 않고, 유효성 검증 작업이 실행되어 할당 가능한 가속기 용량, 드라이버 정상 동작 여부, 스케줄링 제어기 안정성, 수신 게이트웨이 준비 상태를 단계별로 확인한다. 성능 검증은 임시 서빙 워크로드를 띄워 실제 자원을 소모하므로 적합성 검증과 분리되어 진행된다.

제약 사항과 전망

이번에 제시된 게이트웨이 연동 방식은 다이나모 오퍼레이터가 직접 관리하는 전용 배포 구조를 전제로 하며, 실험 단계인 독립형 바닐라 브이엘엘엠 연동 방식과는 구조가 구별된다. 다이나모 일 점 사 버전에서는 게이트웨이 플러그인 프레임워크와 씨지오 브리지를 경유해 러스트 기반 라우터를 호출하므로 요청당 오버헤드가 일부 발생한다. 또한 캐시 상태를 추정치로 예측하는 방식을 취할 경우 메모리 부족 상황에서 캐시 퇴출을 감지하지 못해 라우팅 효율이 저하될 수 있으므로 실시간 이벤트 연동이 필수적이다.

엔비디아는 차기 다이나모 일 점 오 버전에서 내부 브리지를 걷어내고 게이트웨이의 경량 엔드포인트 선택기 인터페이스를 직접 구현한 순수 러스트 선택기를 도입할 계획이라고 밝혔다. 이를 통해 환경 변수 기반으로 설정을 일원화하고 요청당 처리 오버헤드를 낮추는 개선이 이루어질 예정이다. 다만 전체 런타임의 정상 가동 여부는 기저에 깔린 쿠버네티스 스토리지 클래스와 노드 전용 허용 설정 등 인프라 사전 요구 조건의 충족 여부에 종속된다.