엔비디아, 8노드 DGX 스파크 클러스터 지원 발표…통합 메모리 1TB 확장

8노드 확장 개요

엔비디아가 GTC 베를린에서 데스크톱 인공지능 개발 장비인 DGX 스파크(DGX Spark)를 최대 8개 노드까지 연결하는 구성을 공식 지원한다고 발표했다. 단일 DGX 스파크는 128GB의 통합 메모리를 제공하며 4개 노드에서 512GB, 8개 노드에서는 총 1TB의 통합 메모리를 확보할 수 있다. 이로써 단일 장비나 4노드 시스템에서는 적재하기 어려웠던 대규모 프론티어급 인공지능 모델을 로컬 데스크톱 환경에서 실행할 수 있게 됐다.

클러스터 구성과 기기 관리는 엔비디아 싱크(NVIDIA Sync) 소프트웨어 내 클러스터 어시스턴트 기능이 담당한다. 엔비디아 싱크의 8노드 클러스터 지원 기능은 올해 말까지 정식 제공될 예정이다.

대형 모델 구동 수치

1TB 통합 메모리를 갖춘 8노드 클러스터 환경에서는 Z.ai의 풀 버전 GLM 5.3(753B) 모델 체크포인트를 구동할 수 있다. NVFP4 정밀도로 양자화된 약 470GB 크기의 GLM 5.3 모델을 8노드 클러스터에서 동시 요청 수 1, 4, 8 환경으로 측정한 결과, 입력 시퀀스 길이 8K 기준으로 동시성 1일 때 프리필 초당 1,600토큰과 디코드 초당 31토큰을 기록했다. 동시성 4에서는 프리필 초당 750토큰과 디코드 초당 21토큰, 동시성 8에서는 프리필 초당 473토큰과 디코드 초당 18토큰의 처리량을 나타냈다.

또한 경량화 모델인 GLM 5.3 플래시(Flash)를 8노드 클러스터에 분산 배치했을 때는 대화형 로컬 개발에 적합한 초당 약 80토큰(TPS) 수준의 생성 속도를 확보했다.

통신 백엔드 최적화

텐서 병렬 추론 환경에서는 올리듀스(all-reduce) 같은 집합 통신 연산이 상당한 지연 시간을 유발한다. 엔비디아는 소형 메시지와 낮은 동시성, 적은 수의 랭크를 갖는 로컬 하드웨어 텐서 병렬 디코드 환경에 맞춰 스파크 최적화 집합 통신 백엔드인 RoCEnante를 평가했다. 이 방식은 단일 GPU 커널 내에서 노드 간 전대전(all-to-all) 교환을 수행한 뒤 로컬에서 축약(reduction) 연산을 진행하여 링 올리듀스 대비 통신 단계를 줄인다.

스위치 연결 환경에서 Qwen3.8-27B(NVFP4) 모델로 디코드 확장성을 측정한 결과, 8노드 기준 RoCEnante를 적용했을 때 단일 노드 대비 4.43배의 속도 향상을 기록했다. 이는 해당 백엔드가 없을 때 기록한 3.05배 대비 확장 효율성이 약 45% 개선된 수치다. 4노드 NVFP4 환경에서는 프리필 처리량이 약 5%, 디코드 처리량이 약 21% 향상됐으며, 8노드 비양자화 모델 환경에서도 디코드 처리량이 약 18% 개선됐다. 커뮤니티 기여를 바탕으로 제작된 이 백엔드는 FlashInfer에 통합됐으며 초기화 테스트 실패 시 표준 NCCL로 자동 대체된다.

네트워크 구성과 제약

노드 간 통신에는 초저지연 엔비디아 커넥트X-7(ConnectX-7) 네트워크 인터페이스 카드와 RoCE(RDMA over Converged Ethernet) 통신 기술이 사용된다. 소규모 구성인 4노드 환경에서는 노드 간을 직접 원형으로 연결하는 스위치리스 링(switchless ring) 토폴로지를 구성할 수 있어 스위치 구매 비용을 줄이고 설치를 단순화할 수 있다. NCCL은 4노드 배포에서 링 기반 알고리즘을 기본값으로 사용하므로 단일 모델 추론 시 물리적 링 구성으로도 우수한 디코드 성능을 낼 수 있다.

하지만 8노드로 확장하거나 클러스터를 4노드 2개 그룹처럼 독립적인 모델 풀로 분할하려는 경우에는 물리적 링 토폴로지를 적용할 수 없어 반드시 네트워크 스위치가 필요하다. 아울러 RoCEnante 백엔드는 노드 간 직접적인 점대점 전송에 의존하므로 스위치 연결 환경에서만 동작한다. 데이터 이동량이 커지거나 동시성 및 노드 수가 늘어나는 대규모 클러스터에서는 링 올리듀스의 대역폭 효율성이 더 높기 때문에 기본 표준인 NCCL을 사용하는 편이 적합하다.

멀티 모델 오케스트레이션

모든 요청을 단일 대형 모델로 처리하지 않고 요청 난이도에 따라 모델을 분기 처리할 수 있도록 엔비디아 니모 스위치야드(NeMo Switchyard) 오케스트레이션 기술이 적용된다. 경량 분류기가 유입되는 세션을 검사해 적절한 모델 풀로 전달하고 로드 밸런서가 복제본 간 트래픽을 분산하는 구조다. 서로 다른 모델 풀로 노드를 나누어야 하므로 스위치 연결 클러스터 환경이 요구된다.

간단한 작업에는 MiniCPM5 2B를 분류기 겸 실행 모델로 할당하고 복잡한 작업에는 Qwen3.8 Flash Next를 할당하는 구성이 프로토타입으로 테스트됐다. 92개 테스트 케이스로 구성된 도구 사용 벤치마크에서 이 라우팅 방식은 91점을 획득해 Qwen 단독 구성과 동일한 작업 품질을 유지했다. 8개 노드를 2노드 크기의 Qwen 복제본 3개와 1노드 크기의 MiniCPM 복제본 2개로 분할했을 때, 요청의 절반을 Qwen으로 보낸 환경에서는 단독 구성 대비 약 1.5배, 요청의 4분의 1만 Qwen으로 보낸 환경에서는 약 3.0배의 전체 집계 처리량 증가를 나타냈다. 라우팅 정책은 YAML 설정 파일을 통해 조율할 수 있다.

스크래치 사전 학습 성능

각 노드가 모델의 전체 복제본을 유지하는 데이터 병렬 학습 환경에서는 매 스텝마다 한 차례의 그래디언트 동기화만 발생하므로 거의 선형적인 성능 확장이 가능하다. 약 8억 9,650만 개 파라미터와 20개 트랜스포머 레이어로 구성된 나노챗(nanochat) 모델을 스크래치부터 사전 학습하며 처리량을 측정한 결과 수치가 공개됐다.

글로벌 배치 524,288토큰 조건에서 단일 노드는 초당 8,741토큰을 기록했으나, 2노드에서 17,202토큰(1.97배, 효율 98.4%), 4노드에서 33,640토큰(3.85배, 효율 96.2%), 8노드에서는 68,079토큰을 달성했다. 이는 단일 노드 대비 7.79배의 속도 향상과 97.4%의 확장 효율성을 나타낸 결과로, 로컬 환경에서 소형 모델을 초기 프로토타이핑하고 직접 사전 학습할 수 있는 처리 효율을 입증했다.