AWS 트레이니엄 환경에서 SGLang 공식 지원 및 전용 컨테이너 출시
아마존이 SGLang-Neuron을 공개하여 개발자가 기존 SGLang 인터페이스 그대로 AWS 트레이니엄 칩에서 대규모 AI 모델 서빙과 강화학습 롤아웃을 수행할 수 있게 되었다.
핵심 요약
- AWS 트레이니엄 환경에서 기존 SGLang 인터페이스로 모델을 서빙한다.
- 외부 플러그인과 토치 컴파일을 결합해 네이티브 파이토치로 실행한다.
- 프리필과 디코드 서버를 분리해 패브릭 통신망으로 캐시를 전송한다.
- 전용 딥러닝 컨테이너를 통해 검증된 대형 모델 환경을 즉시 배포한다.
- 1전용 컨테이너 실행
- 2뉴런 플랫폼 환경 등록
- 3토치 컴파일 그래프 실행
- 4프리필 키값 캐시 연산
- 5디코드 서버 토큰 생성
트레이니엄 지원 공식 공개
아마존은 아나푸르나 랩스와 래딕스아크의 협업으로 제작된 딥러닝 컨테이너를 통해 에스지엘랭 뉴런을 공식 공개했다. 이번 공개로 개발자는 에이더블유에스 트레이니엄 인프라 위에서 기존과 동일한 에스지엘랭 인터페이스를 유지하며 대규모 언어 모델을 서빙하고 강화학습 롤아웃을 수행할 수 있게 되었다. 동일한 서버 인터페이스와 생성 응용프로그램 인터페이스를 그대로 활용할 수 있어 추가적인 도구 학습 없이 트레이니엄 칩으로 작업 전환이 가능하다.
트레이니엄은 대규모 인공지능 모델의 학습과 추론 과정에서 높은 경제성을 제공하도록 설계된 에이더블유에스의 전용 가속기 칩군이다. 모델 규모가 커지고 서빙 및 강화학습 파이프라인의 비용 부담이 늘어남에 따라 하드웨어 비용을 낮추는 동시에 기존 소프트웨어 사용 방식을 유지하려는 요구가 커졌다. 이에 대응하여 트레이니엄 하드웨어의 가격 대비 성능을 기존 에스지엘랭 서빙 파이프라인에 즉각 결합할 수 있도록 이번 통합이 마련되었다.
플러그인 구조와 커널 컴파일
에스지엘랭 뉴런은 코어 코드베이스와 분리된 외부 플러그인 구조로 설계되어 트레이니엄 지원 기능과 프레임워크 핵심 기능이 독립적으로 개발되고 배포된다. 플러그인을 설치하고 환경 변수를 지정하면 서버 구동 시점에 뉴런 플랫폼이 자동으로 등록되는 방식이다. 서버의 요청 생명주기 관리, 접두사 캐시 추적, 래딕스 어텐션과 같은 핵심 엔진 기능은 에스지엘랭 본체가 처리하고, 트레이니엄 전용 모델 구현체와 어텐션 구조 및 전문가 혼합 아키텍처는 플러그인이 담당한다.
소프트웨어 계층 아래에서는 토치뉴런이 트레이니엄을 네이티브 파이토치 장치로 인식시켜 표준 파이토치 연산 경로를 활용한다. 연산 성능을 극대화하기 위해 뉴런 커널 인터페이스로 작성된 전용 가속 커널을 결합하고, 이를 토치 컴파일 도구를 통해 실행 가능한 프로그램 형태로 컴파일한다. 변환된 프로그램은 서빙 시점에 그래프 러너가 준비하여 하드웨어에서 직접 실행함으로써 연산 오버헤드를 줄이고 처리 속도를 높인다.
분리 서빙과 세부 구동 설정
또한 에스지엘랭 뉴런은 대규모 환경을 위한 프리필과 디코드의 분리 구성을 지원한다. 이 구성에서는 프롬프트 키-값 캐시를 계산하는 프리필 전용 서버와 토큰을 생성하는 디코드 전용 서버가 분리되어 동작한다. 프리필 서버에서 연산된 키-값 캐시는 고속 통신망인 일래스틱 패브릭 어댑터 상의 통신 라이브러리를 통해 디코드 서버로 고속 전송된다. 양 서버는 에스지엘랭의 요청 생명주기와 스케줄러를 공유하면서 트레이니엄 실행과 캐시 전송을 유기적으로 이어간다.
원문에서 공개된 실습 절차에 따르면 트레이니엄3 아마존 일래스틱 컴퓨트 클라우드 가상머신과 우분투 26.04 기반 파이썬 3.14 및 뉴런 소프트웨어 개발 키트 2.33.0이 포함된 컨테이너 이미지가 사용된다. 모델 구동 단계에서는 오픈에이아이의 지피티 오픈소스 120B 모델을 대상으로 텐서 병렬화 크기 8, 전문가 병렬화 크기 8, 고정 메모리 비율 0.8 등의 수치를 지정할 수 있다. 더불어 키-값 캐시 데이터 유형을 8비트 부동소수점 형식으로 두고, 최대 문맥 길이 10240, 청크 단위 프리필 크기 8192, 최대 실행 요청 수 64, 최대 총 토큰 수 655360 같은 세부 자원 한도를 정의한다.
개발 영향과 지원 조건
개발자는 기존 에스지엘랭 기반 추론 애플리케이션의 클라이언트 코드나 요청 인터페이스를 변경하지 않고도 트레이니엄 인프라를 채택할 수 있다. 이는 인공지능 모델 서빙 시점에 요구되는 비용을 절감하면서도 검증된 서빙 스케줄러와 메모리 관리 방식을 온전히 누릴 수 있음을 뜻한다. 또한 강화학습 롤아웃 생성 작업에서도 동일한 환경을 재사용할 수 있어 인프라 파편화에 따른 엔지니어링 관리 부담을 덜어준다.
다만 이 기능을 활용하려면 트레이니엄3 인스턴스와 공식 배포된 뉴런 전용 딥러닝 컨테이너 환경을 갖추어야 한다. 지원되는 모델 종류와 기능, 검증된 세부 설정 조합은 프로젝트 저장소 문서와 시작 안내서에 기재된 사양에 종속된다. 원문은 추가적인 모델 지원과 기능 확장을 위해 오픈소스 저장소를 통한 사용자 피드백과 기여를 권장하고 있으므로, 지원 대상 외 모델을 다루거나 특수한 설정이 필요한 작업에는 별도의 확인과 검증이 필요하다.
데빈은 실제 기자가 아닌 AI 기술 에디터입니다. 출처의 공개 기사 본문 또는 RSS 제공 정보에서 사실을 추려 배경과 기술적 영향을 독립적인 한국어 기사로 재구성합니다. 직접 취재한 기사나 원문 전문의 번역·재게시가 아닙니다.
출처 · 원문 확인
AWS Machine Learning Blog · Alex Nails
Deploy frontier AI models on AWS Trainium with SGLang-Neuron
원문 발행: 2026-11-13 07:03:34
원문과 이미지의 권리는 해당 권리자에게 있습니다. 정정·게재 중단 요청은 문의 안내를 이용해 주세요.
관련 소식
- AWS, 어셈블리어를 코볼 거쳐 자바로 전환하는 클라우드 현대화 방법론 공개 · AWS Machine Learning Blog · 2026-11-17
- 구글 AI 스튜디오, 작업 공간 내 구글 클라우드 크레딧 수령 및 결제 연동 지원 · Google The Keyword · 2026-11-14
- 클라우드플레어, AI 에이전트 전용 서버리스 브라우저 카이트서프 오픈소스 공개 · Cloudflare Blog · 2026-11-14
- 어셈블리AI, AWS EC2 스팟 기반으로 GPU 음성 인식 추론 비용 70% 절감 · AWS Machine Learning Blog · 2026-11-14
- AWS, 코딩 에이전트 기반 아마존 베드록 완전 관리형 지식 기반 이전 가이드 공개 · AWS Machine Learning Blog · 2026-11-13
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.