Meta의 Muse Spark Open, Amazon SageMaker JumpStart에서 사용 가능

무엇이 어떻게 달라졌는가

Meta의 코딩 최적화 오픈 가중치 모델인 Muse Spark Open이 Amazon SageMaker JumpStart에 출시되었다. 이 모델은 개발자들이 SageMaker AI 엔드포인트를 통해 직접 AWS 계정 내에 배포할 수 있도록 지원한다. 이를 통해 개발자는 서빙 인프라 관리에 대한 부담 없이 모델을 활용할 수 있다.

Muse Spark Open은 BF16(Muse-Spark-Open-816B-A42B)과 NVFP4 양자화(Muse-Spark-Open-816B-A42B-NVFP4)의 두 가지 변형으로 제공된다. 이 모델은 실제 개발자 워크플로우에 맞춰 훈련되었으며, 100만 토큰의 컨텍스트 윈도우를 지원한다.

변화의 배경과 맥락

Meta는 Muse Spark Open을 에이전트 기반 코딩 워크플로우에 최적화된 모델로 설명한다. 이는 첫 시도 정확성, 도구 호출, 대규모 코드베이스 이해에 중점을 둔다. 모델은 텍스트, 이미지, 문서, 오디오, 오디오-비디오를 입력으로 받아 텍스트를 반환하는 추론 모델이다.

이 모델은 8160억 개의 총 파라미터와 각 토큰에 대해 420억 개의 활성 파라미터를 가진 MoE(Mixture-of-Experts) 아키텍처를 사용한다. 이는 매우 큰 네트워크 용량을 가지면서도 각 토큰에 대한 컴퓨팅 비용은 더 작은 밀집 모델과 유사하게 유지한다. Meta는 Muse 모델 라이선스 및 Muse Spark 사용 정책에 따라 가중치를 공개했다.

구체적인 동작 및 설정

Muse Spark Open은 코드 생성, 디버깅, 다중 파일 리팩토링 등 개발자가 실제 저장소에서 수행하는 장기 실행 작업에 맞춰 훈련되었다. 100만 토큰 컨텍스트 윈도우를 통해 모델은 종속성, 레거시 코드, 수천 개의 파일을 포함한 전체 프로젝트를 한 번에 처리할 수 있다.

모델은 계획, 실행, 결과 관찰, 장기적인 자체 수정이 가능한 에이전트 기반 모델로 설계되었다. 추론 모델로서, 행동하기 전에 작업을 처리하며, SageMaker AI 엔드포인트는 추론 결과와 함께 답변을 반환하여 에이전트의 동작과 이유를 파악할 수 있게 한다. 웹 브라우징, 하위 에이전트 조정, 데스크톱, 모바일, 브라우저 환경에서의 컴퓨터 작동 능력도 훈련되었다.

모델 서빙 방식은 두 가지 주요 속성에 의해 결정된다. 첫째, 희소 활성화(sparse activation)는 토큰당 컴퓨팅을 낮게 유지하지만, 8160억 개의 모든 파라미터를 저장하기 위한 충분한 GPU 메모리가 필요하다. 둘째, NVFP4 변형은 NVIDIA의 4비트 부동 소수점 형식으로 가중치를 저장하여 BF16 변형 메모리의 약 4분의 1만 필요하다.

SageMaker AI에서 NVFP4 변형은 ml.p5e.48xlarge 인스턴스에서 실행되며, BF16 변형은 ml.p6-b300.48xlarge 인스턴스에서 실행된다. 비용 효율성을 고려할 때 NVFP4 변형이 먼저 고려될 수 있다. 배포는 SageMaker Studio 또는 SageMaker Python SDK를 통해 수행할 수 있으며, 각 경로는 AWS 계정 내에 실시간 SageMaker AI 엔드포인트를 생성한다.

배포 시, Muse Spark Open은 게이트 모델이므로 최종 사용자 라이선스 계약(EULA)에 동의해야 한다. SageMaker Studio에서는 모델 상세 카드에서 배포 옵션을 선택하고, 인스턴스 유형(NVFP4는 ml.p5e.48xlarge, BF16은 ml.p6-b300.48xlarge)을 지정한다. 배포는 일반적으로 15~20분 소요된다. SDK 사용 시에는 모델 ID를 지정하고 EULA 동의를 명시적으로 설정해야 한다.

추론 요청은 OpenAI 호환 채팅 페이로드 형식으로 메시지 목록을 포함하며, invoke 메서드를 사용한다. 응답에는 최종 답변과 모델의 추론 과정이 포함된다. 최대 토큰 수는 추론과 최종 답변을 위한 충분한 공간을 확보해야 한다. 스트리밍 지원을 위해 스트림 옵션을 요청 본문에 추가하고 스트림 응답 메서드를 호출할 수 있다.

개발자 및 사용자 영향

SageMaker AI에서 오픈 가중치 모델을 사용하면 개발자가 배포를 직접 제어할 수 있다. 엔드포인트는 개발자의 AWS 계정에서 실행되므로, 소스 코드와 프롬프트는 개발자가 구성하고 제어하는 인프라에서 처리된다. Amazon Virtual Private Cloud(Amazon VPC)에 엔드포인트를 연결하고, AWS Key Management Service(AWS KMS) 키로 저장 볼륨을 암호화하며, 컨테이너에 대한 네트워크 격리를 활성화할 수 있다.

개발자는 인스턴스 유형과 스케일링 제한을 선택하고 모델 버전을 고정할 수 있어, 재배포 시에만 모델이 변경된다. 이러한 제어는 개인 저장소에 대한 코딩 지원, 장기 실행 코딩 에이전트, 멀티모달 엔지니어링 워크플로우 등 다양한 애플리케이션에 Muse Spark Open을 활용하는 데 적합하다.

예를 들어, 대규모 코드베이스에 대한 질문에 답하고, 리팩토링하며, 전체 프로젝트 컨텍스트 내에서 디버깅하는 코딩 어시스턴트를 구축할 수 있다. 또한, 변경 사항을 계획하고, 여러 파일을 편집하고, 샌드박스에서 테스트를 실행하며, 결과에 따라 경로를 수정하는 장기 실행 에이전트를 운영할 수 있다. 스크린샷, 디자인 문서, 오디오 및 비디오가 포함된 버그 보고서를 재현 계획이나 수정 초안으로 변환하는 멀티모달 엔지니어링 워크플로우도 가능하다.

적용 조건 및 한계

Muse Spark Open을 배포하기 위해서는 AWS 계정에 SageMaker AI 모델 및 엔드포인트 생성 권한이 있어야 하며, SageMaker AI용 IAM 실행 역할이 필요하다. SageMaker Studio를 사용하는 경우 SageMaker 도메인이 필요하며, 엔드포인트 인스턴스 유형(ml.p5e.48xlarge 또는 ml.p6-b300.48xlarge)에 대한 서비스 할당량이 충분해야 한다. SDK 경로의 경우 Python 3.10 이상 및 SageMaker Python SDK v3이 요구된다.

현재 Muse Spark Open은 미국 동부(버지니아 북부) 및 미국 동부(오하이오) AWS 리전에서 사용할 수 있다. 다른 리전에서의 가용성은 SageMaker JumpStart에서 확인해야 한다. Muse Spark Open을 호스팅하는 인스턴스는 다중 GPU 인스턴스이며, 요청 처리 여부와 관계없이 엔드포인트가 실행되는 동안 요금이 부과된다. 따라서 사용 후에는 엔드포인트를 삭제하여 비용 발생을 중단해야 한다.

생산 환경에 적합한 인스턴스를 선택하기 전에 자체 워크로드에서 BF16 및 NVFP4 두 가지 변형을 모두 벤치마킹하여 품질이 사용 사례에 맞는지 확인하는 것이 권장된다. 배포 전에 Muse 모델 라이선스를 검토해야 하며, SageMaker JumpStart는 모델 배포 시 이 라이선스를 표시한다.