엔비디아 CUDA 13.4, 쿠버네티스에서 GPU 메모리 강제 공유 기능 도입

무엇이 어떻게 달라졌는가

엔비디아는 CUDA 13.4 버전을 통해 GPU 자원 공유 방식에 중요한 변화를 도입했다. 기존 시간 공유(time-slicing) 모드에 메모리 경계 강제 기능을 추가하여, 애플리케이션에 투명하게 특정 메모리 양을 할당하고 관리할 수 있게 되었다. 이는 기존 MPS(Multi-Process Service)의 연산 공유(sm-sharing) 모드와 함께 제공된다. 이와 더불어, 쿠버네티스 환경에서 이러한 기능을 활용할 수 있도록 새로운 오픈소스 `gpu-fractioning` 오퍼레이터가 KAI 스케줄러 조직에서 공개되었다. `gpu-fractioning` 오퍼레이터는 GPU 노드에 MPS를 설정하고, 각 Pod 컨테이너의 메모리 제한 및 연산 모드를 적용하며, GPU 전체가 아닌 각 분할된 자원의 실제 사용량을 측정하는 역할을 수행한다.

CUDA 13.4의 새로운 기능은 워크로드가 정확한 메모리 양을 요청하고, CUDA가 이를 유지하도록 한다. 할당된 크기를 초과하는 메모리 요청은 작은 GPU에서와 마찬가지로 실패한다. 또한, 워크로드는 보장된 최소 메모리 양과 함께 여유 메모리가 있을 때 확장할 수 있는 최대 범위를 지정할 수 있다. 연산 모드의 경우, 기본 시간 공유 모드 대신 기존 MPS의 연산 공유 모드를 선택할 수 있다. 이러한 기능들을 통해 각 워크로드는 GPU 메모리의 일부만 보게 되며, 이는 애플리케이션에 투명하게 적용된다.

변화의 배경과 맥락

많은 AI 워크로드는 GPU 전체가 아닌 일부 자원만을 필요로 한다. 각 워크로드에 GPU 전체를 할당하는 방식은 유휴 용량을 발생시켜 인프라 효율성을 저해한다. GPU 공유는 플랫폼 팀이 기존 인프라로 더 많은 워크로드를 처리할 수 있도록 돕는다. 엔비디아 GPU는 이미 여러 공유 방식을 지원해왔다. MIG(Multi-instance GPU)는 GPU를 하드웨어적으로 격리된 인스턴스로 분할하며, 시간 공유는 여러 프로세스가 메모리 강제 없이 번갈아 가며 실행되도록 한다. MPS는 별도의 주소 공간에서 동시 실행(sm-sharing)을 가능하게 했다.

그러나 기존 시간 공유 방식은 메모리 경계 강제 기능이 없어, 한 워크로드가 다른 워크로드의 메모리 영역을 침범할 가능성이 있었다. CUDA 13.4는 이러한 문제를 해결하기 위해 시간 공유 모드에 메모리 경계 강제 기능을 추가하여, 더욱 안정적이고 효율적인 GPU 자원 공유를 가능하게 했다. 쿠버네티스 클러스터에서 이 기능을 활용하려면 노드에서 데몬을 실행하고 감독하며, Pod 컨테이너의 메모리 제한 및 연산 모드를 적용하고, 각 분할된 자원의 사용량을 보고하는 메커니즘이 필요했다. `gpu-fractioning` 오퍼레이터는 이러한 "누락된 부분"을 채워 쿠버네티스 환경에서 CUDA 13.4의 새로운 기능을 사용할 수 있도록 지원한다.

구체적인 동작 및 설정

`gpu-fractioning` 오퍼레이터는 엔비디아 GPU 오퍼레이터와 함께 실행되며, 드라이버 및 컨테이너 런타임 설정을 제공받는다. 이 오퍼레이터는 모든 GPU 노드에서 MPS를 설정하고 실행하며, 각 워크로드의 메모리 제한과 연산 모드를 적용한다. 또한, GPU 단위가 아닌 분할된 자원 단위로 메모리 및 연산 사용량을 측정한다. 쿠버네티스 스케줄러는 Pod YAML에 리소스 및 모드 어노테이션을 작성하여 GPU 할당을 `gpu-fractioning` 오퍼레이터에 전달한다. 오퍼레이터는 이 어노테이션을 읽어 할당된 GPU에 워크로드의 메모리 제한 및 연산 모드를 적용한다.

KAI 스케줄러는 v0.18.0부터 `gpu-fractioning`과 통합된 NvFractions라는 GPU 공유 모드를 제공한다. KAI 스케줄러는 각 워크로드가 어떤 GPU의 어떤 부분을 사용할지 선택하고 필요한 어노테이션을 작성하며, `gpu-fractioning` 오퍼레이터는 이를 노드에 적용한다. KAI 스케줄러 설치 시 헬름 명령어를 통해 NvFractions를 활성화하면 `gpu-fractioning` 오퍼레이터가 종속성으로 함께 설치된다.

개발자 및 사용자에게 미치는 영향

이번 변화는 AI 워크로드를 쿠버네티스 환경에서 운영하는 플랫폼 팀과 개발자에게 상당한 이점을 제공한다. 플랫폼 팀은 기존 GPU 인프라를 활용하여 더 많은 워크로드를 효율적으로 서비스할 수 있게 되어 자원 활용률을 극대화할 수 있다. 개발자는 Pod 어노테이션을 통해 GPU 메모리 요청량, 최대 사용 가능량, 그리고 연산 공유 모드(시간 공유 또는 SM 공유)를 명시적으로 제어할 수 있다. 이는 워크로드의 특성에 맞춰 GPU 자원을 세밀하게 할당하고 관리할 수 있는 유연성을 제공한다.

예를 들어, 추론 서버와 같이 안정적인 성능과 높은 동시성이 요구되는 워크로드에는 SM 공유 모드를 사용하여 여러 워크로드가 동시에 GPU의 스트리밍 멀티프로세서(SM)를 공유하도록 설정할 수 있다. 반면, 개발 또는 배치 작업, 예를 들어 노트북이나 소규모 미세 조정 작업과 같이 오류 격리가 중요한 워크로드에는 시간 공유 모드를 사용하여 각 워크로드가 독립적인 오류 도메인에서 실행되도록 할 수 있다. 또한, 워크로드가 보장된 최소 메모리 외에 여유 메모리가 있을 때 추가로 사용할 수 있는 버스트 기능을 통해 자원 활용의 효율성을 높일 수 있다. 컨테이너 내에서 `nvidia-smi` 명령어를 실행하면 해당 워크로드에 할당된 분할 메모리 공유량을 확인할 수 있다.

적용 조건과 한계

이러한 GPU 공유 기능을 활용하려면 엔비디아 CUDA 13.4 이상 버전이 필요하며, 쿠버네티스 클러스터 환경에서 `gpu-fractioning` 오퍼레이터가 배포되어야 한다. 또한, Pod 어노테이션을 작성하고 GPU를 할당할 수 있는 스케줄러가 필요하며, KAI 스케줄러 v0.18.0 이상 버전이 현재 `gpu-fractioning`과 통합된 첫 번째 스케줄러이다. 스케줄러는 충분한 여유 메모리를 가진 GPU를 선택해야 하며, 특히 중요한 제약 사항은 하나의 GPU에 시간 공유 워크로드와 SM 공유 워크로드를 혼합하여 배치할 수 없다는 점이다. 다만, 한 노드 내에서는 다른 GPU에 각각 다른 모드의 워크로드를 호스팅할 수 있다.

메모리 제한 설정 시, 비율 기반의 `gpu-fraction.limit`는 `gpu-fraction` 값보다 크고 1보다 작아야 한다. 만약 메모리 제한 어노테이션이 생략되면, 제한 값은 요청 값과 동일하게 설정되어 워크로드는 요청한 만큼만 사용할 수 있다. SM 공유 모드는 워크로드들이 단일 오류 도메인을 공유하므로, 함께 실행되는 워크로드들이 서로 신뢰할 수 있는 경우에 적합하다. 반면, 시간 공유 모드는 각 워크로드에 완전한 오류 격리를 제공하여 한 작업의 충돌이 다른 작업에 영향을 미치지 않도록 한다. 이러한 조건과 제약을 고려하여 워크로드의 특성에 맞는 GPU 공유 전략을 수립해야 한다.