메타, 에이전트 코딩 특화 816B 오픈 모델 '뮤즈 스파크 오픈' 공개

에이전트 코딩 모델 공개

메타가 복합 코딩 워크플로 수행을 목표로 설계된 신규 언어 모델인 뮤즈 스파크 오픈(Muse Spark Open)을 공개했다. 이번 모델은 전체 8160억(816B) 개 매개변수를 갖춘 희소 다중 전문가(MoE) 구조로 이루어졌으며, 엔비디아 GB300 NVL72 블랙웰 울트라 환경에서 학습되었다.

기존 코딩 모델이 단일 함수 작성이나 단위 테스트 생성처럼 즉각적인 단발성 작업에 치중했던 것과 달리, 장기적 시야에서 여러 단계의 과업을 지속 수행하도록 훈련된 점이 특징이다. 첫 시도 정확도 향상과 신뢰성 높은 도구 호출 능력을 내세우며, 프로젝트 전체를 아우르는 깊이 있는 코드베이스 이해도를 제공한다.

희소 구조와 통합 인지

뮤즈 스파크 오픈은 총 256개 전문가 네트워크 중 토큰당 상위 8개 전문가만 선택하여 라우팅하는 방식을 채택했다. 이를 통해 매 토큰 생성 시 전체 816B 중 420억(42B) 개의 활성 매개변수만 연산에 참여하므로 동급 규모의 밀집 모델 대비 서비스 비용을 크게 절감한다.

문맥 창 크기는 100만(1M) 토큰에 달해 수천 개 파일과 복잡한 종속성, 레거시 코드로 구성된 대형 프로젝트 전체를 분할하지 않고 한 번에 유지한다. 장기 세션 진행 시 지식을 보존하는 문맥 압축 기술과 작업 방향을 잃지 않는 목표 조건화 기술을 함께 적용했다.

텍스트뿐 아니라 18억(1.8B) 매개변수 규모의 자체 인지 인코더를 갖추어 이미지, 오디오, 비디오를 별도 처리 파이프라인 없이 단일 과정에서 통합 처리한다. 개발자는 음성 설명이 포함된 화면 녹화 영상이나 다이어그램, 스크린샷, 오류 로그를 세션에 전달해 버그 원인을 분석하고 해결책을 도출할 수 있다.

자율 실행과 작업 제어

이 모델은 계획 수립, 실행, 결과 관찰, 자체 수정으로 이어지는 다단계 과업 처리를 지원한다. 실행 단계마다 별도의 작업 설명을 먼저 생성하도록 설계되어 개발자가 에이전트의 현재 동작과 판단 근거를 실시간으로 파악할 수 있다.

단순 코드 편집을 넘어 웹 검색과 멀티모달 브라우징을 지원하며, 복잡한 과업을 세부 단위로 나누어 다중 하위 에이전트를 생성하고 조율하는 역량을 제공한다. 데스크톱, 모바일, 웹 브라우저 환경 전반에 걸쳐 통합된 컴퓨터 조작 기능도 함께 활용할 수 있다.

하드웨어 최적화 수치

엔비디아 GB300 NVL72 시스템은 72개의 블랙웰 울트라 GPU를 단일 랙으로 통합하고 초당 130테라바이트(130 TB/s) 대역폭의 통신망을 지원한다. 전문가 간 데이터 전송 병목을 제거하여 256개 전문가 분산 환경에서도 연산 효율을 극대화한다.

엔비디아 FP4 텐서 코어 가속에 맞춘 NVFP4 체크포인트를 사용하면 전체 816B 매개변수의 메모리 점유율을 줄이고 토큰당 이동 바이트를 감소시킨다. 이를 통해 확보된 여유 메모리는 동시 다발적인 장기 문맥 세션의 키-값 캐시 확장에 투입된다.

블랙웰 4대 기반 환경에서 투기적 디코딩을 병행한 에이전트 워크플로 구동 시 사용자당 초당 최대 600토큰의 생성 속도를 나타냈다. 또한 GPU당 초당 최대 5만 개 연산 처리량을 기록해 대형 매개변수 모델의 지연 시간을 낮추었다.

배포 체계와 추가 학습

엔비디아는 오픈소스 추론 프레임워크인 SGLang, vLLM, TensorRT-LLM을 공식 지원하여 개발자가 병렬 처리와 배치 방식을 직접 제어할 수 있도록 했다. 엔비디아 다이나모(Dynamo)는 프롬프트 처리와 토큰 생성을 전용 GPU 풀로 분리하고, 접두사 캐시를 보유한 작업자로 요청을 라우팅해 중복 연산을 방지한다.

추가 학습은 네모 오토모델(NeMo AutoModel)을 통해 별도 변환 없이 허깅페이스 가중치를 직접 불러와 전체 지도 미세조정(SFT)과 저순위 적응(LoRA) 기법으로 수행할 수 있다. 대규모 운영 환경 학습으로 확장할 경우에는 메가트론 브릿지(Megatron Bridge)를 활용해 체크포인트 형식을 변환하는 경로를 제공한다.

뮤즈 스파크 오픈의 NVFP4 가중치는 허깅페이스를 통해 배포된다. 하드웨어 사양을 자동 감지해 최적 백엔드와 정밀도를 구성하는 컨테이너 환경인 엔비디아 NIM(NVIDIA NIM)을 사용하면 단일 명령어로 상용 배포 체계를 구성할 수 있다.