엔비디아, 특화 에이전트 구축용 멀티모달 오픈 모델 '네모트론 3.5 슈퍼 VL' 공개

변화 개요와 신규 모델

엔비디아가 복잡한 엔터프라이즈 워크플로를 수행하는 특화 인공지능 에이전트를 위한 오픈 멀티모달 모델인 네모트론 3.5 슈퍼 VL(Nemotron 3.5 Super VL)을 공개했다. 이 모델은 전문가 혼합(MoE) 아키텍처를 기반으로 설계되어 전체 1200억 개(120B) 매개변수 가운데 토큰당 120억 개(12B) 매개변수만 활성화하여 동작 효율을 크게 끌어올렸다.

기존에는 텍스트 모델과 시각 언어 모델을 분리하여 에이전트를 구성하고 모델 간에 작업 문맥을 주고받아야 했으나 이번 모델은 추론, 지시 이행, 도구 사용, 텍스트·이미지·문서·영상 이해를 단일 모델에 통합했다. 이를 통해 동급 크기의 기존 오픈 모델 대비 단일 그래픽 처리 장치(GPU) 환경에서 에이전트 작업 처리량을 최대 5배까지 달성했다.

도입 배경과 에이전트 역할

기업 환경에서 상시 구동되는 에이전트는 단일 요청 안에서 사내 규정을 확인하고 여러 출처의 문서를 읽으며 외부 도구를 호출하는 등 복합적인 단계를 거쳐야 한다. 이러한 환경에서는 정형 텍스트뿐만 아니라 표, 차트, 복잡한 레이아웃을 가진 문서를 함께 분석하고 시각 정보를 추론과 즉시 결합할 수 있는 지능이 필수적이다.

네모트론 3.5 슈퍼 VL은 코딩 검증 및 오류 분석, 웹 검색을 통한 교차 검증, 문서 내 표와 차트 요약, 사이버 보안 위협 분석, 영상 내용 검색 등 고난도 다단계 작업에 대응하도록 위치를 잡았다. 고용량 텍스트 처리를 담당하는 경량 모델이나 대규모 계획을 수립하는 최상위 모델과 결합하여 계층적 모델 체계를 구성할 수 있도록 지원한다.

학습 체계와 성능 지표

해당 모델은 최상위 모델인 네모트론 3 울트라로부터 지식을 증류(Distillation)하는 방식으로 기초 모델을 구축했으며 왜곡 역전 손실(SkewReverse loss)을 활용해 코딩 정확도를 개선했다. 사후 학습 단계에서는 다중 교사 정책 기반 증류(MOPD) 기법을 적용해 텍스트와 시각 분야 전문 교사 모델들로부터 영상 추론, 도구 활용, 정렬에 대한 채점 지도를 통합 반영했다.

문서 지능 분야의 성능을 높이기 위해 차트 질의응답 및 다중 페이지 이해 데이터를 집중 학습했으며 차트 추론 벤치마크인 CharXiv에서 80.8% 점수를 기록해 63%에 그친 기존 네모트론 3 나노 옴니를 크게 앞섰고 파이썬 코드 해석 결합 시 84%까지 상승했다. 에이전트 평가 지표인 Hermes Bench와 LangChain 평가에서도 각각 63.44%와 87.05%를 기록하며 기반 모델이었던 네모트론 3 울트라(56.33%, 84.3%)를 뛰어넘는 성능을 입증했다.

추론 가속과 내부 기술 구조

엔비디아는 에이전트의 반복 호출 비용을 낮추기 위해 하이브리드 구조, 투기적 디코딩, 문맥 재사용, 혼합 정밀도 기술을 종합 적용했다. 특히 병렬 투기적 디코딩 기법인 LiLiCorr를 도입하여 경량 네트워크로 후보 토큰 간 호환성을 한 번에 평가함으로써 단일 드래프트 생성 속도를 투기적 디코딩 미사용 대비 최대 2.3배 향상시켰다.

또한 블랙웰 아키텍처에서 4비트 가중치와 4비트 활성화를 적용하는 NVFP4 양자화 조리법을 제공하며 비블랙웰 환경에서는 4비트 가중치와 16비트 활성화로 구동할 수 있게 했다. 양자화 인식 증류(QAD)를 통해 양자화 손실을 방지하고 키-값(KV) 캐시를 기존 FP8 대신 NVFP4로 저장할 수 있도록 지원하며, 다중 토큰 예측(MTP) 및 에이전트의 대화 이력과 도구 정의를 재활용하는 접두사 캐싱(Prefix caching)을 결합해 반복 추론 부하를 줄였다.

산업 현장 적용과 개발자 영향

기업들은 네모트론 3.5 슈퍼 VL을 자체 도메인 데이터와 정책에 맞춰 미세조정하여 운영 워크플로에 도입하고 있다. 스케일 AI는 스카이댄스의 공급업체 크레딧 처리 자동화에 이를 적용하여 추론 비용을 40배 절감하고 지연 시간을 5배 단축했으며, 램프는 영수증 이미지를 정형 데이터로 변환하는 작업에서 처리량을 최대 50% 높이고 지연 시간을 10배 줄이는 효과를 거두었다.

개발자는 지도 미세조정(SFT)과 저순위 적응(LoRA), 강화학습(RL) 도구를 제공하는 오픈 라이브러리를 통해 도메인별 행동 양식을 직접 학습시킬 수 있다. 엔비디아는 오픈 모델 가중치 배포와 함께 도구 사용, 금융 추론, 대화 이력, 40여 종의 시각 언어 데이터셋과 22개 인도 언어를 포괄하는 2.8조 토큰 규모의 다국어 사전학습 데이터셋을 허깅페이스 등에 공개하여 자체 데이터가 부족한 조직도 사후 학습에 활용할 수 있도록 했다.

구동 요건과 배포 환경의 제약

네모트론 3.5 슈퍼 VL은 로컬 워크스테이션인 엔비디아 DGX 스파크 환경에 최적화되어 파레토 프런티어 상에서 속도와 정확도의 균형을 달성하도록 설계되었다. 클라우드 및 데이터센터 규모의 운영 환경에서는 패키징 엔진인 엔비디아 NIM과 분산 추론 프레임워크인 엔비디아 다이나모를 통해 배포된다.

다만 최적의 효율을 구현하기 위해서는 인프라 조건이 뒷받침되어야 한다. 16개의 엔비디아 B200 GPU 클러스터에서 분산 추론 기술을 적용할 경우 세션 친화도 기반의 캐시 관리와 오프로드를 통해 동시 사용자 수를 최대 8배 늘리고 첫 토큰 지연 시간을 85% 줄일 수 있으나, 이러한 고도화된 가속 효과는 지원 하드웨어 구성과 분산 서빙 프레임워크가 결합된 환경을 전제로 한다.