AWS CDK 기반 세이지메이커 AI 엔드포인트 자동 확장 제어 방안 공개

배포 실패 문제의 원인

아마존 세이지메이커 AI 실시간 엔드포인트의 인스턴스 유형이나 수량, 환경 변수 같은 설정을 변경할 때 클라우드포메이션과 CDK 배포가 실패하는 구조적 문제가 발생해 왔다. 세이지메이커 AI 서비스는 엔드포인트를 갱신하기 전에 애플리케이션 자동 확장 타깃을 먼저 해제하도록 요구하지만, 타깃을 해제하면 클라우드포메이션이 기존 확장 리소스를 추적하지 못하게 된다.

자동 확장이 등록된 상태에서 엔드포인트 설정을 수정하면 세이지메이커 AI가 업데이트를 거부하며 오류를 반환한다. 반대로 명령행 인터페이스로 확장 타깃을 수동 해제한 뒤 엔드포인트만 배포하면 템플릿에 설정이 남아 있어도 확장이 다시 등록되지 않아 무확장 상태로 방치되는 문제가 생긴다. 타깃을 수동 해제한 상태에서 확장 매개변수까지 수정해 재배포할 경우 리소스를 찾지 못해 롤백까지 실패하면서 스택이 망가지는 현상이 일어난다.

커스텀 리소스 기반 조율

이러한 문제를 해결하기 위해 기존 네이티브 자동 확장 리소스를 대체하는 재사용 가능한 CDK 콘스트럭트가 제시되었다. 세 가지 클라우드포메이션 커스텀 리소스를 도입하고 CDK 의존성 설정으로 실행 순서를 강제하여 엔드포인트 갱신 전후의 자동 확장 해제와 등록 과정을 단일 배포 안에서 자동으로 조율한다.

첫 번째 커스텀 리소스는 엔드포인트 갱신이 시작되기 전에 확장 타깃을 안전하게 해제하며 최초 배포 시에는 대상이 없다는 예외를 정상적으로 넘긴다. 이어 CDK가 엔드포인트를 새 설정으로 갱신하면, 두 번째 커스텀 리소스가 엔드포인트가 정상 서비스 상태에 도달할 때까지 대기한 뒤 확장 타깃을 등록한다. 마지막 커스텀 리소스는 타깃 조회가 가능해지는 시점을 확인한 뒤 대상 추적 확장 정책을 적용한다.

비동기 대기 처리 구조

엔드포인트 준비 대기 시간을 안정적으로 다루기 위해 CDK 프로바이더의 비동기 완료 패턴이 적용되었다. 이벤트 핸들러는 즉시 응답을 반환하고 대기자 프레임워크가 완료 여부 확인 핸들러를 30초 간격으로 반복 호출하여 상태를 점검한다. 확장 타깃 등록 단계는 최대 1시간, 확장 정책 연결 단계는 최대 15분의 총 제한 시간을 두고 작동하여 단일 람다 함수의 실행 시간 한계를 극복한다.

각 커스텀 리소스에는 설정 해시 속성이 부여되어 엔드포인트나 자동 확장 값이 바뀔 때마다 클라우드포메이션이 람다 함수를 강제로 다시 실행하도록 유도한다. 엔드포인트와 자동 확장 설정은 동일한 설정 해시를 공유하도록 함께 정의되어 어느 한쪽의 변경이라도 전체 오케스트레이션 과정을 동작시킨다.

배포 아키텍처 및 요구 사항

콘스트럭트 내부에는 세 개의 커스텀 리소스가 정의되지만 실제 배포되는 스택에는 더 많은 인프라 리소스가 포함된다. 동기 프로바이더 1개와 비동기 프로바이더 2개가 동작하면서 대기자를 구동하기 위한 스텝 펑션스 상태 머신 2개와 프로바이더 프레임워크 생성 함수를 포함해 총 12개의 람다 함수가 배포된다. 이 가운데 5개는 콘스트럭트 자체 핸들러 코드이며 7개는 CDK 프레임워크가 자동 생성하는 지원 함수다.

해당 구성을 적용하려면 세이지메이커 AI와 람다, IAM, 애플리케이션 자동 확장, 클라우드워치 권한을 가진 AWS 계정과 CDK 버전 2, 파이썬 3.12 이상의 실행 환경이 필요하다. 또한 S3에 저장된 모델 아티팩트와 ECR의 컨테이너 이미지 또는 세이지메이커 내장 알고리즘 컨테이너가 준비되어 있어야 한다.

실무 적용과 운영상 유의점

새로운 프로젝트에서는 예제 스택을 그대로 활용할 수 있으며 이미 세이지메이커 리소스가 구축된 기존 CDK 스택에는 해당 콘스트럭트 디렉터리를 복사해 추가하는 방식으로 통합할 수 있다. 엔드포인트 매개변수는 세이지메이커 생성 인터페이스와 매핑되고 자동 확장 매개변수는 확장 타깃 등록 및 정책 반영 인터페이스로 전달된다.

개발자는 수동 개입 없이 인스턴스 사양 변경과 자동 확장 매개변수 조정을 한 번의 배포로 완결할 수 있게 된다. 다만 비동기 대기 처리를 위해 스텝 펑션스와 다수의 관리용 람다 함수가 스택에 생성되므로 배포 리소스 내역을 검토할 때 프레임워크 생성 리소스의 규모를 미리 인지하고 계정 리소스 한도와 비용 관리에 유의해야 한다.