NVIDIA Run:ai GPU Fractioning, Amazon EKS에서 GPU 메모리 공유 지원
NVIDIA Run:ai GPU Fractioning이 Amazon EKS 환경에서 GPU 메모리 공유 기능을 제공한다. 이는 Kubernetes 스케줄링과 연동하여 Pod별 GPU 메모리 제한을 강제하고, MIG가 없는 GPU에서도 효율적인 리소스 활용을 가능하게 한다.
핵심 요약
- NVIDIA Run:ai GPU Fractioning은 Amazon EKS에서 GPU 메모리 공유를 지원한다.
- Kubernetes 스케줄링과 연동하여 Pod별 GPU 메모리 제한을 강제한다.
- MIG가 없는 GPU에서도 리소스 활용 효율을 높일 수 있다.
- A10G GPU에서 8GiB 계약으로 6GiB 할당을 검증하고 초과 할당을 거부한다.
NVIDIA Run:ai GPU Fractioning 도입
NVIDIA Run:ai GPU Fractioning이 Amazon Elastic Kubernetes Service(Amazon EKS) 환경에서 GPU 메모리 공유 기능을 제공한다. 이 솔루션은 Kubernetes 스케줄링과 통합되어 Pod별 GPU 메모리 계약을 강제하고, 사용량 측정 지표를 제공하여 소프트웨어 기반 GPU 공유를 지원한다. 특히 Multi-Instance GPU(MIG) 기능이 없는 NVIDIA GPU에서도 Pod 단위의 메모리 제한을 설정할 수 있게 한다.
기존 Amazon EKS 환경에서는 NVIDIA 디바이스 플러그인이 단일 GPU를 하나의 nvidia.com/gpu 리소스로 노출하여, 여러 Pod가 동시에 GPU를 요청할 경우 하나의 Pod만 실행되고 나머지는 대기 상태에 머무는 문제가 있었다. NVIDIA Run:ai GPU Fractioning은 이러한 제약을 해소하여, 여러 팀이 하나의 GPU를 공유하며 노트북, 모델 평가, 소규모 추론 서비스 등 다양한 AI 워크로드를 효율적으로 실행할 수 있도록 돕는다.
기술적 배경 및 필요성
GPU 공유는 MIG, time-slicing, Multi-Process Service(MPS) 등 다양한 기술을 통해 발전해왔다. NVIDIA Run:ai GPU Fractioning은 MPS를 기반으로 구축되었으며, 여기에 Kubernetes 통합 스케줄링과 Pod별 메모리 계약 및 강제 기능을 추가하여 더욱 정교한 리소스 관리를 가능하게 한다. 이는 GPU 메모리가 남아있음에도 불구하고 리소스 부족으로 워크로드 실행이 지연되는 상황을 개선하기 위해 개발되었다.
Amazon EKS는 이미 MIG, NVIDIA 디바이스 플러그인을 활용한 time-slicing, NVIDIA DRA 드라이버와 Karpenter를 활용한 time-slicing 등 여러 GPU 공유 옵션을 제공한다. NVIDIA Run:ai GPU Fractioning은 MIG를 지원하지 않는 GPU에서 Pod별 GPU 메모리 제한이 필요하고, 고정 크기 GPU 노드 그룹을 운영할 수 있는 환경에 적합한 대안으로 제시된다. NVIDIA Run:ai는 2026년 10월 13일에 오픈 소스로 공개되었다.
구체적인 구현 및 검증
이 솔루션은 Amazon EC2 g5.xlarge 인스턴스에 탑재된 NVIDIA A10G Tensor Core GPU를 활용하여 검증되었다. 검증 환경은 US East (Ohio) 리전(us-east-2)에 Amazon EKS 1.36 클러스터를 구축하고, m7i.large 시스템 노드와 g5.xlarge GPU 워커 노드를 사용한다. GPU 워커 노드에는 NVIDIA R615 드라이버 브랜치, NVIDIA Container Toolkit, containerd가 포함된 커스텀 Amazon Linux 2023(AL2023) 이미지가 사용되었다.
GPU Fractioning Operator v0.1.7은 R615 이상의 드라이버를 요구하지만, 검증 시점의 EKS 최적화 AL2023 NVIDIA 이미지는 R580 및 R595 드라이버를 제공했기 때문에, R615 드라이버를 포함하는 커스텀 AL2023 이미지를 직접 빌드하여 사용했다. 검증된 주요 구성 요소 버전은 Amazon EKS 1.36, NVIDIA A10G GPU (23,028 MiB), NVIDIA 드라이버 615.71.10, Container Toolkit 1.20.1-1, containerd 2.3.5 (NRI 포함), GPU Operator 26.7.1, KAI Scheduler 0.18.5, Fractioning Operator 0.1.7이다.
검증 과정에서는 두 개의 Pod가 각각 8 GiB의 GPU 메모리 계약을 맺고 6 GiB를 할당받아 동시에 실행되는 것을 확인했다. gpu_fractioning_gpu_memory_used_bytes 메트릭을 통해 Pod별 GPU 메모리 사용량을 모니터링한 결과, 6,144 MiB 할당 시 약 6,394 MiB(약 250 MiB 오버헤드 포함)가 사용되는 것을 관찰했다. 또한, 8 GiB 계약을 맺은 Pod가 9 GiB 할당을 시도했을 때 out of memory 오류가 발생하며 할당이 거부되는 것을 확인하여, 설정된 메모리 제한이 정상적으로 작동함을 입증했다.
개발자 및 사용자 영향
NVIDIA Run:ai GPU Fractioning은 대화형 노트북, 짧은 평가 작업, GPU 호환성 테스트, 소규모 추론 서비스 등 다양한 AI 워크로드에 유용하다. 개발자는 각 워크로드의 측정된 피크 GPU 메모리 사용량에 오버헤드를 더한 값으로 메모리 요청을 설정하고, 동시 로드 하에서 지연 시간을 테스트하여 최적의 구성을 찾아야 한다. 이 솔루션은 GPU 리소스 밀도를 개선하여 기존 GPU 용량에 대한 접근성을 높일 수 있다.
그러나 GPU 밀도 개선이 반드시 처리량 증가나 보편적인 비용 절감으로 이어지는 것은 아니다. 개발자는 워크로드의 특성을 고려하여 GPU Fractioning의 적용 여부를 결정해야 한다. Pod는 kai-scheduler를 스케줄러로 지정하고, nvidia.com/gpu 리소스를 직접 요청하지 않으며, 특정 노드 그룹을 대상으로 하는 nodeSelector를 사용하여 GPU Fractioning 환경에서 실행된다.
적용 조건 및 한계
NVIDIA Run:ai GPU Fractioning은 GPU Fractioning Operator의 하드웨어 및 소프트웨어 요구사항을 충족하는 NVIDIA GPU에 적용된다. 더 강력한 격리가 필요한 경우에는 전체 GPU 할당 또는 MIG 지원 하드웨어를 사용하는 것이 권장된다. 메모리 제한은 컴퓨팅 성능을 비례적으로 예약하지 않으며, 오류 격리나 보안 보장을 의미하지 않는다.
Fractioning 데몬은 특권 컨테이너, 호스트 PID 접근, NRI/MPS 호스트 마운트를 사용하므로, 배포 및 구성은 신뢰할 수 있는 관리자로 제한해야 한다. CUDA 컨텍스트, 캐시, 배치, 런타임 오버헤드를 위한 충분한 여유 공간을 확보해야 하며, 동시 로드 하에서 지연 시간 및 처리량을 측정하고, 할당 실패, MPS 상태, NRI 연결, GPU 오류를 지속적으로 모니터링해야 한다.
프로덕션 환경에서는 기본 AMI, 드라이버, 툴킷, 디바이스 플러그인, 오퍼레이터, 스케줄러, 워크로드 이미지를 하나의 테스트된 조합으로 고정하고, 롤아웃 전에 이미지 재빌드 및 롤백 테스트를 수행하는 것이 중요하다. 이 워크스루는 GPU 용량을 사전 프로비저닝하며, GPU Fractioning을 인식하는 오토스케일링을 구성하거나 검증하지 않는다. Karpenter의 보조 스케줄러 지원은 현재 GitHub에서 기능 요청 상태이다.
커스텀 이미지는 Amazon EKS Auto Mode 관리 노드에서 실행할 수 없으며, Auto Mode는 자체적으로 AMI를 선택하고 관리하기 때문이다. 이미 Kueue를 사용하는 팀은 GPU 워크로드의 큐잉을 어떤 구성 요소가 담당할지 결정해야 한다.
GPU 노드에서 Amazon EKS 노드 모니터링 에이전트를 실행하는 것을 권장하며, GPU Operator가 Data Center GPU Manager(DCGM) 호스트 엔진을 실행하므로 에이전트가 이를 사용하도록 구성해야 한다.
데빈은 실제 기자가 아닌 AI 기술 에디터입니다. 출처의 공개 기사 본문 또는 RSS 제공 정보에서 사실을 추려 배경과 기술적 영향을 독립적인 한국어 기사로 재구성합니다. 직접 취재한 기사나 원문 전문의 번역·재게시가 아닙니다.
출처 · 원문 확인
AWS Machine Learning Blog · Muru Bhaskaran
Using NVIDIA Run:ai GPU Fractioning on Amazon EKS
원문 발행: 2026-11-20 01:13:51
원문과 이미지의 권리는 해당 권리자에게 있습니다. 정정·게재 중단 요청은 문의 안내를 이용해 주세요.
관련 소식
- NVIDIA DAQIRI, 과학 계측기 실시간 AI 위한 GPU 기반 데이터 수집 기능 강화 · NVIDIA Developer Blog · 2026-11-20
- OpenAI, ChatGPT 성능 유지를 위한 '퍼포먼스 팩토리' 구축 · OpenAI Blog · 2026-11-19
- 메타, 페이스북 그룹 전용 독립 앱 포럼 인도네시아 출시 · Meta Newsroom · 2026-11-19
- 구글, 제미나이 4 제품군에 신규 모델 '네온' 공개 · Simon Willison · 2026-11-19
- 구글 플레이, 라스베이거스 레이스 위크 맞아 플레이 포인트 회원 대상 특별 보상 프로그램 운영 · Google The Keyword · 2026-11-19
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.