AWS, 세이지메이커 하이퍼팟 기반 SkyRL 멀티모달 강화학습 파이프라인 공개

아마존웹서비스(AWS)가 대규모 분산 훈련 인프라인 아마존 세이지메이커 하이퍼팟(Amazon SageMaker HyperPod) 환경에서 오픈소스 강화학습 프레임워크 SkyRL을 활용해 시각-언어 모델(VLM)을 훈련하는 엔드투엔드 워크플로를 공개했다. 이번 파이프라인은 세이지메이커 하이퍼팟의 클러스터 복원력과 레이(Ray) 통합 기능을 결합해 멀티모달 에이전트 구축에 필요한 사후 강화학습(RL post-training)을 안정화하는 데 초점을 맞춘다. 실제 2D 시각 미로 탐색 벤치마크(VisGym) 환경에서 Qwen3-VL-8B 모델을 그룹 상대 정책 최적화(GRPO) 알고리즘으로 훈련한 결과, 고정된 64개 미로 평가 세트 기준 문제 해결률이 지도 미세 조정(SFT) 기준점인 43.75%(64개 중 28개)에서 최고 96.875%(64개 중 62개)로 상승했다.

언어 모델 기반 에이전트 개발에서 강화학습 사후 훈련은 복잡한 다단계 추론과 행동 생성을 최적화하는 핵심 단계로 자리 잡고 있다. 에이전트가 상태를 관찰하고 행동하며 환경의 피드백을 전달받는 다중 턴(Multi-turn) 강화학습에서는 개별 행동 하나의 단편적인 결과가 아니라 에피소드 전체의 누적 보상을 기반으로 정책 모델이 학습한다. 2D 미로 탐색 문제의 경우 이동 횟수 제한 내에 목표 지점에 도달해야만 1.0의 보상이 주어지는 희소 보상(Sparse reward) 구조를 가지며, 행동별 정답 데이터가 존재하지 않는다. 이에 따라 SkyRL은 별도의 가치 모델이나 비평자(Critic) 없이 동일한 시작 위치에서 도출된 여러 궤적의 성과를 그룹 내에서 상호 비교해 평균을 웃도는 행동을 강화하는 GRPO 방식을 사용해 훈련 효율을 확보했다.

훈련 클러스터는 아마존 EKS(Amazon EKS) 오케스트레이션 기반의 세이지메이커 하이퍼팟 환경에서 총 4대의 인스턴스로 구성되었다. 연산 작업을 담당하는 워커 노드에는 인스턴스당 2개의 엔비디아 RTX 프로 6000 블랙웰(Blackwell) GPU가 탑재된 ml.g7e.12xlarge 3대가 배치되어 총 6개의 GPU가 투입되었으며, 제어 작업을 맡는 헤드 노드로는 512GB 대용량 RAM을 갖춘 ml.r5d.16xlarge 인스턴스 1대가 사용되었다. 헤드 노드는 Ray GCS 관리와 대시보드 호스팅 외에도 체크포인트 저장 시 워커 노드들로부터 분산된 LoRA(Low-Rank Adaptation) 어댑터 파편을 수집해 단일 가중치 세트로 병합하는 메모리 집약적 연산을 담당한다. 노드 간 체크포인트 저장, 어댑터 동기화, 평가 결과 저장에는 공유 파일시스템인 아마존 FSx 포 루스트레(Amazon FSx for Lustre)가 /shared 경로에 마운트되어 활용된다.

SkyRL 파이프라인의 핵심 구조적 특징 중 하나는 동일한 GPU 자원 내에 추론(Rollout) 엔진과 훈련 프로세스를 함께 배치하는 코로케이션(Colocation) 기법이다. 훈련 설정에서 trainer.placement.colocate_all=true를 지정하면 vLLM 추론 엔진과 파이토치 완전 공유 데이터 병렬(PyTorch FSDP) 정책 워커가 단일 GPU 풀을 번갈아 점유한다. 이는 별도의 추론용 GPU 풀과 훈련용 GPU 풀을 분리 운영할 때 발생하는 유휴 대기 시간(Ping-pong pattern)을 제거해 연산 자원 낭비를 줄인다. 이때 각 GPU가 FSDP 파편과 vLLM의 KV 캐시를 동시에 감당할 수 있도록 GPU 메모리 활용률(gpu_memory_utilization)은 0.45로 보수적으로 설정된다. 정책 모델로는 랭크 32 크기의 LoRA가 적용된 Qwen3-VL-8B가 사용되며, 프롬프트당 8개의 궤적(n_samples_per_prompt=8)을 생성하고 최대 이동 수는 15턴(max_turns=15)으로 제한된다.

수백 GPU 시간에 달하는 대규모 강화학습 훈련에서는 단일 하드웨어 오류로 롤아웃 진도가 소실되는 문제를 방지하는 인프라 안정성이 요구된다. 세이지메이커 하이퍼팟은 노드 상태를 상시 감시해 결함 노드를 감지하고 자동으로 교체하는 클러스터 복원 기능을 수행한다. 훈련 작업은 모델 가중치, 옵티마이저 상태, 학습률 스케줄, 데이터로더 위치를 포괄하는 전체 훈련 체크포인트를 20스텝(ckpt_interval=20)마다 공유 스토리지에 기록하며, 작업 재개 모드(resume_mode=latest) 설정을 통해 장애 복구 후 중단된 지점부터 즉시 훈련을 이어갈 수 있도록 지원한다. 또한 20스텝마다 추론용 LoRA 어댑터를 별도로 내보내며(hf_save_interval=20), 10스텝마다 64개 미로 세트를 대상으로 평가(eval_interval=10)를 실행해 성능 지표를 추적한다.

작업 제출과 관측 환경 역시 개발 편의성을 높이는 방식으로 구성되었다. toolkit-for-ray-on-sagemaker-ai 패키지를 활용하면 별도의 kubectl 포트포워딩 없이 AWS 자격 증명 기반의 sagemaker_ray:// 프로토콜을 통해 로컬 환경이나 CI/CD 파이프라인에서 원격으로 작업을 제출하고 로그를 스트리밍할 수 있다. 작업 상태와 GPU 사용률은 세이지메이커 스튜디오의 Tasks 탭에서 제공하는 단기 인증 URL 기반의 Ray 대시보드로 확인 가능하다. 또한 하이퍼팟 관측성(HyperPod Observability) 애드온이 아마존 매니지드 그라파나(Amazon Managed Grafana) 내에 Ray Core, Ray Data, Ray Train, Ray Serve로 분류된 사전 구축 대시보드를 프로비저닝하여 CPU, GPU, 메모리 사용률을 모니터링할 수 있다.

훈련이 완료된 후에는 모델 전체가 아닌 훈련된 LoRA 어댑터 가중치(adapter_model.safetensors)만 아마존 S3(Amazon S3) 버킷으로 복사해 서빙에 활용된다. 추론 인프라는 AWS 딥러닝 컨테이너 기반의 Ray Serve 환경에서 KubeRay로 관리되는 RayService 형태로 배포되며, ray.serve.llm:build_openai_app 빌더를 통해 커스텀 이미지 제작 없이 오픈AI 규격 호환 엔드포인트를 구성한다. 이 아키텍처는 공유 스토리지의 기본 SFT 모델을 기반으로 두고 S3에 저장된 복수의 LoRA 어댑터를 요청 시점에 동적으로 로드하는 구조를 채택했다. 클라이언트는 모델 식별자 뒤에 어댑터 이름을 덧붙여 호출할 수 있으며, 레플리카는 최초 요청 시 어댑터를 다운로드해 캐시한 뒤 재사용함으로써 다중 모델 서빙의 자원 효율성을 높인다.

해당 파이프라인을 운영하기 위해서는 EKS 오케스트레이션 기반의 세이지메이커 하이퍼팟 클러스터뿐만 아니라 KubeRay 오퍼레이터, 하이퍼팟 관측성 애드온, 하이퍼팟 Ray 엔드포인트 오퍼레이터가 사전에 구성되어 있어야 한다. 또한 다중 파드가 동시에 읽고 쓸 수 있는 ReadWriteMany 볼륨 클레임을 지원하는 FSx 포 루스트레 파일시스템과 CSI 드라이버 구축이 요구된다. 헤드 노드의 경우 체크포인트 저장 시 워커들의 LoRA 어댑터 파편을 CPU 메모리로 모아 병합하므로 512GB RAM 수준의 고용량 메모리 사양이 필수적이다. 원문에서는 모델의 최종 미로 해결률이 하이퍼파라미터 및 세부 환경 설정에 따라 달라질 수 있음을 밝히고 있으며, 작업 완료 후 지속적인 비용 발생을 막기 위해 스튜디오 콘솔과 kubectl 명령을 통해 Ray 클러스터, RayService, 하이퍼팟 인스턴스 자원을 순차적으로 삭제할 것을 안내하고 있다.