Amazon SageMaker AI 추론 최적화를 위한 코딩 에이전트 스킬 출시

무엇이 어떻게 달라졌는가

Amazon SageMaker AI는 `aws-ai-ml` 스킬을 새롭게 도입하여 코딩 에이전트의 기능을 확장한다. 이 스킬은 Agent Toolkit for AWS를 통해 제공되며, Kiro, Claude Code, Codex와 같은 코딩 에이전트에 SageMaker AI 추론 최적화 및 벤치마킹 전문성을 부여한다. 개발자는 이 스킬을 설치함으로써 기존 에이전트가 엔드포인트 벤치마킹, 배포 구성 추천, 성능 실행 비교, 그리고 실행 가능한 SageMaker Python SDK v3 코드 생성을 대신 수행하도록 할 수 있다. `aws-ai-ml` 스킬은 Model Context Protocol (MCP)을 지원하는 모든 코딩 에이전트에 플러그인 형태로 작동하여, 에이전트를 SageMaker AI 추론 최적화 전문가로 전환한다.

변화의 배경과 맥락

현대 소프트웨어 개발에서 엔지니어들은 개발 워크플로우를 가속화하기 위해 코딩 지원 도구를 적극적으로 활용한다. Amazon SageMaker AI는 실시간, 배치, 비동기 모드에서 서버형 호스팅을 지원하며, 온디맨드 및 예약 용량, 이종 인스턴스, 가상 프라이빗 클라우드(VPC) 격리, 자동 스케일링, 모든 SageMaker AI 훈련 경로와의 통합 등 광범위하고 심층적인 기능을 제공한다. 그러나 대부분의 엔지니어는 자신의 요구사항에 가장 적합한 인스턴스 패밀리나 서빙 컨테이너를 즉시 파악하기 어렵다. 이들은 특정 성능 목표 달성, 비용 제약 준수, 또는 프로덕션 배포 전 모델 평가와 같은 구체적인 사용 사례를 가지고 있다.

SageMaker AI 추론 최적화를 위한 에이전트 경험은 이러한 '의도'와 '인프라' 사이의 간극을 해소하기 위해 고안되었다. 사용자가 에이전트에게 달성하고자 하는 바를 자연어로 설명하면, 에이전트는 사용자가 검토, 수정, 실행할 수 있는 SageMaker Python SDK v3 코드를 생성한다. 이 과정에서 에이전트는 명확한 질문을 던지고, 실제 벤치마크 및 측정된 성능 데이터를 기반으로 코드를 생성하며, 솔루션 아키텍트처럼 사용자의 비즈니스 제약 조건에 맞춰 조정한다. 모든 단계는 실시간으로 가시적이며 코드로 표현되어 사용자가 전 과정을 투명하게 제어할 수 있다.

구체적인 기능 및 사용 방법

`aws-ai-ml` 스킬은 Agent Toolkit for AWS를 통해 로컬 머신에 설치하거나, Amazon SageMaker Studio JupyterLab 공간 내에서 사용할 수 있다. 로컬 설치 시에는 AWS Command Line Interface (AWS CLI) 2.35+ 및 uv가 필요하며, `aws configure agent-toolkit` 명령으로 에이전트 자동 감지, 스킬 설치, AWS MCP Server 구성이 가능하다. 이후 `aws-ai-ml` 스킬을 추가하고 에이전트 채팅 패널에서 스킬 목록을 확인한 뒤 자연어로 의도를 설명하면 된다. SageMaker Studio에서는 사전 구성된 이미지를 사용하여 JupyterLab 공간을 생성하고, 해당 공간 내 터미널에서 코딩 에이전트를 인증한 후 동일하게 스킬을 활용할 수 있다. 이때 JupyterLab 공간은 'Private'으로 설정해야 한다.

이 스킬은 추론 최적화 수명 주기 전반에 걸쳐 다양한 기능을 제공한다. 첫째, 기존 엔드포인트 벤치마킹 기능이다. 사용자가 테스트할 엔드포인트를 지정하면, 에이전트는 SageMaker Python SDK의 Workload.synthetic() 및 start_benchmark() API를 활용하여 부하 테스트를 실행하는 Python 노트북을 생성한다. 벤치마크 완료 후에는 처리량(초당 요청 수, 초당 출력 토큰), 지연 시간(p50, p99, 첫 토큰까지의 시간, 토큰 간 지연 시간), 동시성 등 정량적인 성능 보고서와 함께 prefill decoding과 같은 성능 향상 메커니즘을 추천한다.

둘째, 모델에 적합한 인스턴스 유형을 찾아주는 기능이다. 모델이 Amazon S3에 저장된 미세 조정 모델이든, Amazon SageMaker JumpStart의 공개 파운데이션 모델이든, Hugging Face Hub의 모델이든 상관없이 에이전트에게 모델 정보와 최적화 목표를 제공하면 된다. 에이전트는 후보 인스턴스 및 구성에 대해 모델을 평가하는 코드를 생성하고, 비용, 처리량, 지연 시간 백분위수, 첫 토큰까지의 시간, 동시성 등 구체적인 성능 지표를 포함한 순위별 배포 옵션을 제시한다. Hugging Face Hub의 게이트 모델(예: Llama 변형)의 경우, 에이전트는 라이선스 약관 수락 및 Hugging Face 토큰 제공을 요청한다.

셋째, 여러 벤치마크 실행 결과를 비교하는 기능이다. 사용자가 두 벤치마크 작업 이름을 제공하면, 에이전트는 처리량, 지연 시간 백분위수, 첫 토큰까지의 시간 등 주요 지표의 변화율(델타)을 계산하여 비교 보고서를 생성한다. 양수 값은 성능 개선을 의미하며, 이를 통해 구성 변경이나 인스턴스 유형 변경이 성능에 미친 영향을 한눈에 파악할 수 있다. 예를 들어, Qwen3-1.7B 모델(단일 L4 GPU)과 Qwen3-8B 모델(4x A10G 4-GPU)의 비교에서는 Qwen3-8B가 처리량 및 지연 시간에서 약 44~47% 높은 성능을 보였으며, 이는 약 4배의 컴퓨팅 자원 차이를 반영한다. 에이전트는 벤치마크 실행이 존재하지 않을 경우 먼저 실행할 것을 제안하기도 한다.

개발자 및 사용자에게 미치는 영향

`aws-ai-ml` 스킬은 SageMaker AI 추론 최적화 과정에서 개발자와 사용자가 겪는 복잡성을 크게 줄여준다. 엔지니어는 더 이상 특정 인스턴스 유형이나 서빙 컨테이너에 대한 깊은 전문 지식 없이도, 자연어로 자신의 의도를 설명함으로써 최적화된 배포 구성을 찾고 성능을 벤치마킹할 수 있다. 이는 모델을 개발 환경에서 프로덕션 환경으로 더 빠르고 효율적으로 전환하는 데 기여한다.

이 스킬은 실제 벤치마크 및 측정된 성능 데이터를 기반으로 의사결정을 지원하므로, 추측이나 경험에 의존하는 대신 데이터에 기반한 최적화가 가능하다. 또한, 에이전트가 생성하는 모든 출력은 검사, 수정, 실행 가능한 SageMaker Python SDK v3 코드 형태로 제공되므로, 사용자는 모든 과정을 투명하게 확인하고 자신의 환경에 맞춰 유연하게 조정할 수 있다. 이는 개발자에게 강력한 제어권을 부여하며, 불투명한 UI 뒤에서 작업이 진행되는 것에 대한 우려를 해소한다. 여러 기능이 필요한 복합적인 요청(예: Hugging Face 모델 스테이징 후 배포 추천)도 에이전트가 대화 내에서 자연스럽게 연결하여 처리하므로, 개발자는 복잡한 워크플로우를 간소화할 수 있다.

적용 조건 및 한계

`aws-ai-ml` 스킬을 사용하기 위한 주요 전제 조건은 AWS 자격 증명에 SageMaker AI API 호출 권한이 있어야 한다는 점이다. 이는 엔드포인트 생성, 벤치마크 및 추천 작업 실행과 같은 작업을 수행하기 위해 필요하며, 스킬 자체에는 추가적인 AWS Identity and Access Management (IAM) 구성이 요구되지 않는다.

이 스킬은 사용자에게 예측 가능하고 안전한 경험을 제공하기 위해 몇 가지 동작 원칙을 따른다. 필요한 정보(예: 엔드포인트 이름 또는 S3 URI)가 누락된 경우 에이전트는 추측하는 대신 사용자에게 명확하게 요청한다. 또한, 라이브 엔드포인트에 실제 트래픽을 유발하는 벤치마크 실행과 같이 영향이 큰 작업을 수행하기 전에는 사용자에게 경고하고 명시적인 확인을 요청하여 잠재적인 위험을 관리한다. 에이전트가 수행할 수 없는 요청(예: 모델 직접 배포)에 대해서는, 대신 제공할 수 있는 기능(예: 배포 구성 생성)을 설명하여 사용자의 기대를 명확히 한다.

사용자는 벤치마킹 또는 추천 과정에서 생성된 SageMaker AI 엔드포인트, JupyterLab 공간, SageMaker AI 기본 버킷에 저장된 S3 객체 등 모든 리소스를 수동으로 삭제하여 불필요한 요금 발생을 방지해야 한다. SageMaker Studio 내에서 스킬을 사용할 경우, JupyterLab 공간은 반드시 'Private'으로 설정해야 하며, 로컬에서 스킬 버전이 수정된 재사용 공간 대신 새로운 공간을 사용하는 것이 사전 구성된 이미지를 올바르게 활용하는 데 권장된다.