아마존 세이지메이커 추론, 다중 인스턴스 GPU 파티셔닝 지원으로 활용도 극대화

GPU 파티셔닝과 도입 배경

아마존 웹서비스가 아마존 세이지메이커 AI 추론 서비스에서 엔비디아의 다중 인스턴스 GPU(Multi-Instance GPU) 기술을 활용한 가속기 파티셔닝 기능을 지원한다고 발표했다. 기존에는 그래픽 처리 장치(GPU) 엔드포인트에 모델을 배포할 때 물리 가속기 단위로만 자원을 할당할 수 있었으나, 이제는 단일 가속기를 독립된 하드웨어 파티션으로 분할해 여러 모델을 안전하게 호스팅할 수 있다. 이번 지원을 통해 개발자는 더 적은 인스턴스에서 다수의 모델을 운영하고 최신 가속기의 성능을 세분화된 단위로 선택할 수 있게 되었다.

지금까지는 가속기 수보다 많은 모델을 운영할 때 배치 크기를 극단적으로 늘리거나 모델을 동적으로 적재하는 다중 모델 엔드포인트를 사용해야 했다. 그러나 다중 모델 엔드포인트는 첫 요청 시 적재 지연이 발생하고 하드웨어 격리가 없어 한 모델의 부하가 다른 모델의 응답 지연을 유발하는 문제가 있었다. 이를 회피하기 위해 쿠버네티스 환경에서 다중 인스턴스 GPU를 직접 구축하기도 했으나, 드라이버 관리와 장치 플러그인 설정 및 클러스터 일정 조율에 과도한 운영 부담이 수반되었다.

세이지메이커 추론의 가속기 파티셔닝은 복잡한 플랫폼 관리 작업 없이 관리형 서비스 내에서 하드웨어 격리를 구현한다. 각 파티션은 전용 연산 단위와 독립된 메모리 대역폭을 보장받으므로 트래픽 급증이나 메모리 오류가 인접 파티션으로 전이되지 않는다. 또한 모델이 항상 메모리에 상주하므로 콜드 스타트 지연 없이 일정한 성능을 유지할 수 있으며, 팀별 또는 테넌트별 비용 추적과 부하 예측도 한층 쉬워진다.

가속기 분할 구조와 규격

가속기 파티셔닝은 추론 컴포넌트를 기반으로 동작하며 기존 엔드포인트 생성 설정에 분할 구조를 선언하는 방식으로 적용된다. 분할 구성은 변형 내 모든 가속기에 균일하게 적용되며, 엔드포인트 프로비저닝 시점에 가속기 분할 작업이 이루어져 약 17초의 추가 시간이 소요된다. 배포 단계에서 모델은 추론 컴포넌트의 자원 요구 사항에 원하는 파티션 프로필을 지정하여 해당 파티션에 독립적으로 배치된다.

분할 가능한 프로필 규격은 인스턴스 계열에 탑재된 물리 가속기 종류에 따라 결정된다. 엔비디아 A100을 사용하는 P4d 인스턴스와 H100을 사용하는 P5 인스턴스는 연산 7개 및 메모리 8개 단위로 세분화되어 최대 7개 파티션을 구성할 수 있다. 블랙웰 아키텍처 기반의 G7 인스턴스는 2분할, 서버용 에디션인 G7e 인스턴스는 4분할을 지원하며, 각 프로필은 연산 단위와 전용 메모리 용량의 조합으로 정의된다.

파티션 프로필을 설계할 때는 연산 요구량과 메모리 사용량을 면밀히 계산해야 한다. 프롬프트를 처리하는 사전 채우기 단계는 연산 자원에 크게 좌우되며, 토큰을 생성하는 디코딩 단계와 동시 접속 수용량은 메모리 대역폭 및 키-값(KV) 캐시 크기에 제약을 받는다. 특히 파티션 메모리는 모델 가중치뿐 아니라 문맥 길이에 비례하는 캐시와 약 1~2기가바이트의 실행 환경 오버헤드를 함께 수용해야 하므로 가중치 크기만 기준으로 선택하면 부하 상황에서 오류가 발생할 수 있다.

성능 검증 결과와 활용 가치

성능 검증 결과에서는 H100 가속기의 3연산 단위 분할 파티션과 40기가바이트 메모리를 갖춘 구형 A100 가속기 전체를 비교했다. 라마 8B 모델을 기반으로 다양한 트래픽 형태와 동시 요청을 시험한 결과, H100 분할 파티션은 모든 부하 구간에서 초당 토큰 처리량이 53퍼센트에서 89퍼센트 향상되었으며 토큰 간 응답 지연 시간도 대폭 단축되었다. 특히 긴 문맥 처리 환경에서 전체 A100 가속기는 기한 초과로 요청의 최대 절반을 실패한 반면, 분할 파티션은 실패 없이 정상 처리했다.

비용 측면에서도 일정 동시 요청 수 이상에서는 최신 가속기 파티션이 구형 가속기 전체를 대여하는 방식보다 백만 출력 토큰당 18퍼센트에서 34퍼센트 저렴한 것으로 나타났다. 이를 통해 개발자는 파인튜닝된 파생 모델, 임베딩, 재순위화 모델 등 단일 가속기를 온전히 채우지 못하는 경량 모델들을 단일 GPU에 통합 서빙할 수 있다. 또한 음성 인식부터 텍스트 생성까지 이어지는 다단계 파이프라인이나 안전성 검사 모델을 단일 인스턴스에 네트워크 홉 없이 구축할 수 있다.

적용 조건과 설계 제약 사항

가속기 파티셔닝은 추론 컴포넌트를 사용하는 실시간 엔드포인트에서만 동작하며 서버리스 엔드포인트, 이종 인스턴스 풀, 비동기 호출 방식에는 지원되지 않는다. 비용 체계는 기존과 동일하게 인스턴스 단위 시간당 요금으로 청구되므로, 파티셔닝의 목적은 단일 인스턴스의 가동률을 극대화하는 데 있다. 또한 여러 가속기에 걸쳐 단일 파티션을 구성하는 것은 불가능하므로 다중 가속기가 필요한 대규모 모델은 전체 장치를 계속 사용해야 한다.

운영상의 제약 조건도 사전에 검토해야 한다. 추론 컴포넌트에 할당된 파티션 규격은 생성 후 변경할 수 없으므로 다른 규격으로 변경하려면 컴포넌트를 새로 생성해야 하며, 엔드포인트 전체 분할 구성을 바꾸려면 새 엔드포인트를 생성해 트래픽을 이전해야 한다. 아울러 GPU 연산과 메모리는 하드웨어 수준에서 격리되지만 호스트 중앙처리장치(CPU), 시스템 메모리, 네트워크, 스토리지 등은 인스턴스 내 모델들이 공유한다는 점에 유의해야 한다.

지원 리전은 미국 동부, 미국 서부, 아시아 태평양의 도쿄와 싱가포르, 유럽의 프랑크푸르트와 아일랜드 등 주요 지역이다. P4d 인스턴스에서 특정 10기가바이트 프로필을 사용할 경우 기본 이미지의 드라이버 제약으로 인해 최신 머신 이미지 버전을 명시적으로 지정해야 한다. 개발자는 대상 리전의 인스턴스 제공 여부와 엔드포인트 사용 할당량을 확인한 후 서비스에 적용할 수 있다.