NVIDIA, Nemotron 3.5 임베드, 리랭크, 파스 모델 공개로 에이전트 검색 기능 강화

새로운 Nemotron 3.5 검색 모델 제품군 출시

이러한 모델들은 에이전트가 불완전하거나 관련 없는 증거를 반복적으로 검색하여 발생하는 추론 토큰 낭비를 줄이는 데 중점을 둔다. 이를 통해 에이전트는 더 적은 토큰으로 정확한 답변을 도출하고, 엔터프라이즈 규모에서 발생하는 비효율성을 크게 개선할 수 있다.

멀티모달 검색 및 재순위화 기능

Nemotron 3.5 Embed 및 Rerank 모델은 텍스트와 이미지 전반에 걸쳐 증거를 검색하고 에이전트의 컨텍스트에 맞게 우선순위를 지정한다. Nemotron 3.5 Embed는 이전 세대 Nemotron 3 Embed 텍스트 임베딩 모델을 기반으로 하며, 테이블, 차트, 인포그래픽, 데이터시트, 회로도 등 문서 이미지에서 증거를 검색할 수 있다. 이를 통해 애플리케이션은 문서 텍스트와 함께 시각적 콘텐츠가 전달하는 정보를 검색할 수 있다.

Nemotron 3.5 Embed는 8B BF16, 1B BF16, 1B NVFP4의 세 가지 모델로 제공된다. 8B BF16 모델은 텍스트 및 시각적으로 풍부한 문서에 대한 고품질 검색에 중점을 둔다. 1B BF16 모델은 8B 모델의 멀티모달 검색 기능을 소형 모델로 압축하여 더 작은 모델 풋프린트로 멀티모달 색인 및 쿼리 서비스를 제공한다. 1B NVFP4 모델은 NVFP4 양자화를 적용하여 효율적인 멀티모달 추론을 가능하게 하며, 지원되는 하드웨어에서 대규모 문서 색인 및 고처리량 검색에 적합하다.

Nemotron 3.5 Rerank 8B BF16은 쿼리-문서 쌍을 공동으로 평가하여 텍스트 및 이미지 후보 전반에 걸쳐 관련성 순위를 개선한다. 이 모델은 광범위하게 관련된 콘텐츠와 질문에 직접적으로 답하는 증거를 구분하여 에이전트가 컨텍스트 예산을 더 효과적으로 사용하고 작업 완료에 필요한 정보에 집중하도록 돕는다.

이 모델들은 텍스트 및 이미지 검색, 34개 언어에 대한 텍스트 검색 및 MIRACL Vision(18개 언어) 및 KoViDoRe에서 평가된 다국어 시각 검색을 포함한 다국어 지원 기능을 제공한다. 또한, 8B 크로스 인코더를 통한 멀티모달 재순위화와 BF16 및 NVFP4 배포 옵션을 지원한다.

성능 및 최적화

Nemotron 3.5 Embed 및 Rerank는 에이전트의 추론 비용 절감과 증거 품질 향상에 기여한다. Nemotron 3.5 Rerank를 추가하면 Nemotron 3.5 Embed 8B 사용 시 에이전트의 쿼리당 토큰 비용이 약 14% 감소하고, Nemotron 3.5 Embed 1B 사용 시 약 13% 감소하며, 두 구성 모두에서 검색 정확도가 향상된다.

ViDoRe v3.1 벤치마크에서 Nemotron 3.5 Embed 8B BF16은 61.17 nDCG@10을 달성하여 밀집 검색 모델 중 1위를 차지했다. 이는 이전 Llama Nemotron Embed VL 1B 모델의 52.23점보다 8.94점 향상된 수치이다. 1B BF16 모델은 58.38 nDCG@10을 기록하며 8B 모델 점수의 95.4%를 유지한다. 다국어 성능 평가에서 8B 모델은 MIRACL Vision에서 72.6 nDCG@10을 달성하여 Qwen3-VL-Embedding-8B를 4.3점 초과했다.

Nemotron 3.5 Rerank 8B BF16은 ViDoRe v3.1 재순위화 리더보드에서 60.49 nDCG@10을 기록하여 Qwen-3-VL-Reranker-8B의 59.17점보다 높은 성능을 보였다. Nemotron 3.5 Embed 1B NVFP4 모델은 NVIDIA GB200에서 1B BF16 모델 대비 27.1% 높은 처리량(초당 101.3에서 128.8 문서)을 제공하며, ViDoRe v3에서 99.85%의 검색 정확도를 유지한다. NVIDIA NIM을 통한 배포 시, NVIDIA RTX PRO 6000 Blackwell Server Edition에서 초당 6,031 쿼리 요청을 처리하여 vLLM 구성 대비 약 2.9배 높은 처리량을 달성한다.

Nemotron 3.5 Parse를 통한 문서 구조화

Nemotron 3.5 Parse는 631M 파라미터 모델로, 문서 이미지를 기계 판독 가능한 텍스트로 변환하면서 콘텐츠의 의미를 부여하는 구조를 보존한다. 이 모델은 PDF 문서에서 텍스트 추출 시 발생할 수 있는 읽기 순서 손실, 테이블 값과 헤더 분리, 차트 정보 누락 등의 문제를 해결한다. 스캔된 문서나 이미지 기반 PDF의 경우 유용한 텍스트 레이어가 전혀 없을 수 있는데, Parse 모델은 이러한 문제를 해결하여 정보를 구조화된 콘텐츠로 변환한다.

Parse 모델은 문서 요소, 위치, 읽기 순서를 식별하고 테이블과 차트를 구조화된 표현으로 추출한다. 결과물은 마크다운, HTML 테이블, 구조화된 블록 형태로 제공되어 개발자가 색인, 검색 및 다운스트림 처리에 더 적합한 콘텐츠를 얻을 수 있도록 돕는다.

ParseBench 벤치마크에서 Nemotron 3.5 Parse는 10억 개 미만의 파라미터를 가진 모델 중 1위를 차지하며 75.20점을 기록했다. 또한, NVIDIA H100 GPU 한 대에서 초당 10.5페이지를 처리하는 속도를 제공한다. 개발자는 단일 패스(초당 16.1페이지, 72.74점), 이중 패스(초당 11.2페이지, 74.92점), 삼중 패스(초당 10.5페이지, 75.20점)의 세 가지 처리 모드를 선택하여 속도와 정확도 사이의 균형을 조절할 수 있다.

개발자 활용 및 적용 조건

Nemotron 3.5 Embed 및 Rerank 모델은 기업 에이전트가 전문 용어 및 회사별 정보를 검색하는 데 필요한 도메인 적응 기능을 제공한다. NVIDIA NeMo AutoModel을 활용한 미세 조정 레시피는 합성 데이터 생성, 하드 네거티브 마이닝, 미세 조정을 통합하여 사용자 정의 문서 컬렉션에 모델을 적용할 수 있도록 지원한다. 차트 및 인포그래픽 이미지 실험에서 Nemotron-3.5-Embed-1B-BF16은 nDCG@10에서 18%의 상대적 이득을, Nemotron-3.5-Embed-8B-BF16은 3%의 상대적 이득을 보였다.

개발자는 Hugging Face에서 오픈 가중치, 데이터, 훈련 레시피에 접근할 수 있으며, NVIDIA NIM을 통해 프로덕션 추론을 배포하거나 Baseten, DeepInfra, FriendliAI, OpenRouter와 같은 AI 클라우드 및 추론 파트너를 통해 모델을 배포할 수 있다. Nemotron 3.5 Embed 1B 모델의 언어 구성 요소는 Nemotron-3-Embed-1B-BF16에서 초기화되며, 임베딩 모델 훈련 내내 고정된다. 따라서 기존 텍스트 임베딩 및 벡터 색인을 재사용할 수 있다.

Nemotron 3.5 Parse는 다양한 엔터프라이즈 문서, 과학 논문, 양식, 테이블, 차트 및 다국어 텍스트의 혼합 데이터로 훈련되었으며, Group Relative Policy Optimization (GRPO)을 통해 견고성과 신뢰성을 향상했다. Elastic, Vectorize, Perplexity, Turbopuffer 등 초기 엔터프라이즈 파트너들은 Nemotron 3.5 모델의 성능을 긍정적으로 평가했다. 예를 들어, Vectorize는 Nemotron 3.5 Embed가 장문 대화 메모리 벤치마크에서 1위를 차지했다고 밝혔다.