AWS 배치, 세이지메이커 훈련 작업 위한 쿼터 관리 기능 출시

쿼터 관리 스케줄링 도입

아마존웹서비스(AWS)가 세이지메이커 훈련 작업을 지원하는 AWS 배치(AWS Batch)에 쿼터 관리(quota management) 스케줄링 기능을 추가했다. 조직 내 여러 팀이 머신러닝 모델을 훈련할 때 한정된 그래픽 처리 장치(GPU) 자원을 효율적으로 분배하고 공유하도록 돕는 기능이다.

기존에는 여러 팀이 공유 인프라를 활용할 때 관리자가 큐를 개별 구성하고 용량 제한을 수동으로 조율해야 하는 운영 부담이 컸다. 이번 업데이트로 팀이나 프로젝트 단위로 연산 용량을 가상 큐 형태의 쿼터 지분(quota share)으로 나누고, 유휴 자원을 자동으로 대여하거나 차용할 수 있게 되었다.

자원 공유 방식과 선점 제어

각 쿼터 지분은 연산 용량 한도와 함께 유휴 자원 공유 전략을 설정할 수 있다. 공유 전략은 유휴 연산을 그대로 유지하는 예약(RESERVE), 다른 지분에 빌려주는 대여(LEND), 빌려주기와 빌려오기를 모두 허용하는 대여 및 차용(LEND_AND_BORROW)의 세 가지로 분류된다.

자원 선점 기능은 지분 간 선점(cross-share preemption)과 지분 내 선점(in-share preemption) 두 가지로 작동한다. 자원을 빌려준 지분에 새 작업이 인입되면 시스템이 차용 중인 자원을 자동으로 회수하며, 지분 내 선점을 활성화하면 같은 지분 내에서 대기열 앞쪽의 우선순위 높은 작업이 실행 중인 낮은 순위 작업을 중단시키고 즉시 시작된다.

설정 구성과 실제 동작 구조

쿼터 관리 환경을 구축하려면 쿼터 지분 정책이 포함된 스케줄링 정책, 인스턴스 용량을 명시한 서비스 환경, 그리고 두 요소를 연결하는 훈련 작업 큐를 생성해야 한다. 세이지메이커 파이썬 소프트웨어 개발 키트(SDK) 3버전의 배치 모듈을 통해 이러한 자원과 작업을 프로그래밍 방식으로 제어할 수 있다.

예를 들어 체크포인트를 지원하는 배경 작업 지분에는 대여 및 차용 전략과 지분 내 선점을 적용해 자원 활용을 극대화할 수 있다. 반면 중단 없이 신속하게 실행되어야 하는 민감한 작업 지분에는 예약 전략을 적용하고 지분 내 선점을 해제해 외부 영향 없이 안정적으로 실행되도록 구성한다.

우선순위 변경과 자원 회수

대여된 유휴 자원을 사용 중인 상태에서 원래 지분에 새 작업이 제출되면 지분 간 선점이 즉시 발동되어 대여 용량이 회수된다. 이때 차용해 실행되던 낮은 우선순위 작업은 실행 가능 상태로 전환된다.

대기 중인 작업의 긴급도가 변경될 경우 서비스 작업 업데이트 API를 통해 제출된 작업의 우선순위를 동적으로 높일 수 있다. 차용 가능한 유휴 자원이 없는 상황에서도 우선순위가 조정되면 지분 내 선점이 트리거되어 기존 작업이 양보되고 높은 우선순위 작업이 배치된다.

적용 요건과 운영상 기대 효과

해당 기능을 사용하기 위해서는 AWS 배치 및 세이지메이커 API 호출 권한을 갖춘 AWS 계정이 필요하며, 개발 환경에는 세이지메이커 파이썬 SDK 3버전이 설치되어 있어야 한다. 명령줄 인터페이스(CLI)와 콘솔, 예제 노트북을 통해서도 동일한 구성이 가능하다.

이번 기능은 세이지메이커 AI 훈련 계획(Training Plans)과 연계할 때 필요한 수량과 기간에 맞춰 확보한 용량을 최대한으로 활용할 수 있게 한다. 인프라 관리자의 수동 조율 작업을 줄이고 머신러닝 연구자가 훈련 작업 자체에 집중할 수 있는 환경을 제공한다.