멀티버스 컴퓨팅, MCP 에이전트의 출처 인식 사실성 검증 시스템 'ProvenanceGuard' 발표

무엇이 어떻게 달라졌는가

멀티버스 컴퓨팅은 Model Context Protocol (MCP) 기반 LLM 에이전트의 답변에 대한 출처 인식 사실성 검증 시스템 'ProvenanceGuard'를 2026년 9월 29일 발표했다. 이 시스템은 에이전트가 여러 도구에서 얻은 정보를 통합하여 답변을 생성할 때, 특정 사실이 실제로는 다른 출처에서 비롯되었음에도 불구하고 잘못된 출처에 귀속되는 '교차 출처 혼동(cross-source conflation)' 문제를 해결한다. 기존의 사실성 검증 시스템들은 모든 증거를 한데 모아 주장이 증거에 의해 뒷받침되는지 여부만 확인했으나, ProvenanceGuard는 각 주장을 뒷받침하는 특정 MCP 도구의 출력이 무엇인지, 그리고 그 출처가 답변에서 명시하거나 암시하는 출처와 일치하는지를 개별적으로 검증한다.

변화의 배경과 맥락

최근 LLM 에이전트는 단일 검색 결과에 의존하는 것을 넘어, 검색 도구 호출, 구조화된 환자 또는 계정 기록 검사, 데이터베이스 쿼리, 메타데이터 추출 등 다양한 도구를 활용하여 정보를 통합한다. 이러한 다중 도구 활용 환경에서는 답변의 사실성 문제가 더욱 복잡해진다. 예를 들어, 고객 지원 에이전트가 "계정 기록에 따르면, 이 요금제는 30일 환불 기간을 포함합니다"라고 답변했을 때, 환불 기간이 정책 문서에는 명시되어 있지만 계정 기록에는 없는 경우, 기존 검증 시스템은 두 출처를 통합하여 사실로 판단할 수 있다. 그러나 ProvenanceGuard는 답변이 지목하는 출처와 실제 사실을 뒷받침하는 출처의 불일치를 감지하여 잘못된 귀속을 식별한다. 이는 데이터 민감 환경에서 잘못된 출처 귀속이 잘못된 사실만큼이나 심각한 문제를 야기할 수 있기 때문에 중요하다.

구체적인 동작 방식 및 구성

ProvenanceGuard는 블랙박스 MCP 에이전트 위에 위치하는 후처리 검증 계층으로, 에이전트가 답변을 생성한 후에 작동한다. 이 시스템은 증거를 익명의 단일 컨텍스트로 통합하지 않고, 출처 식별 정보를 파이프라인 전체에 유지한다. ProvenanceGuard는 캡처된 MCP 트레이스(도구 출력 및 해당 출처 ID 포함)를 읽으며, 에이전트를 재훈련할 필요가 없다. 검증 과정은 다음 다섯 단계를 순차적으로 수행한다. 첫째, 답변을 특정 주장들로 분해한다. 둘째, 각 주장에 가장 관련성이 높은 출처를 찾는다. 셋째, 해당 출처가 실제로 주장을 뒷받침하는지 확인한다. 넷째, 답변이 명시하거나 암시하는 출처와 실제 출처를 비교한다. 마지막으로, 주장별 출처 판정 결과와 전체 답변 수준의 허용 또는 차단 결정을 내린다.

실험에서는 로컬 모델을 활용한 오프라인 설정이 사용되었다. MiniLM은 관련 출처를 찾는 데, DeBERTa NLI 검증 모델은 출처가 주장을 뒷받침하는지 확인하는 데, 그리고 로컬 언어 모델은 답변을 주장으로 분해하는 데 사용되었다. ProvenanceGuard는 숫자, 날짜, 식별자와 같은 리터럴 값도 엄격하게 확인하여, 출처에 없는 정보는 문장이 그럴듯하게 들리더라도 통과시키지 않는다. 이러한 신호들을 결합하여 보정된 결정 단계를 거친다. 답변이 차단될 경우, RARR 스타일의 복구(repair) 단계를 통해 출처 기반 수정 또는 안전한 대체 텍스트를 시도할 수 있으며, 이후 검증기가 이를 다시 확인한다. 이러한 모델 구성은 실험을 위한 설정이며, ProvenanceGuard의 필수 요구사항은 아니다. 클라우드 서비스를 선호하는 팀은 호스팅된 모델에 맞춰 동일한 주장, 출처, 결정 단계를 적용할 수 있다.

개발자 및 사용자에게 미치는 영향

ProvenanceGuard는 MCP 에이전트의 답변 신뢰성을 획기적으로 향상시킨다. 특히 의료나 금융과 같이 데이터 민감성이 높은 분야에서 잘못된 정보 귀속으로 인한 위험을 줄이는 데 기여한다. 개발자는 기존 에이전트를 재훈련할 필요 없이 ProvenanceGuard를 추가하여 검증 계층을 구축할 수 있다. 이 시스템은 각 주장에 대한 출처 연결을 명확하게 보여주므로, 검토자는 각 주장에 대해 확인된 출처와 그에 대한 결정을 직접 확인할 수 있다. 이는 기존의 출처 불분명 검증 시스템들이 제공하지 못했던 투명성을 제공한다.

의료 에이전트를 대상으로 한 테스트에서 ProvenanceGuard는 인간 전문가가 차단해야 한다고 판단한 139개의 주장 중 138개를 성공적으로 차단하여 99.3%의 높은 정확도를 보였다. 또한, 동일한 주장에 대해 다른 4가지 검증 시스템(MiniCheck, RAGAS Faithfulness, AlignScore, SummaC-ZS)과 비교했을 때, ProvenanceGuard는 차단/거부 F1 점수 0.802로 가장 높은 성능을 기록했다. 다른 시스템들은 주장별 출처 ID를 제공하지 않았지만, ProvenanceGuard는 이를 제공한다. 이는 시스템이 보수적인 결정 정책을 채택하여, 일부 뒷받침되는 주장도 추가 검토나 복구를 위해 보류하는 경향을 반영한다.

적용 조건과 한계

ProvenanceGuard는 에이전트가 도구 출력과 출처 ID를 기록하는 모든 분야에 적용될 수 있다. 멀티버스 컴퓨팅은 ProvenanceGuard가 기존 에이전트를 확인하고 민감한 트레이스를 통제된 환경에서 유지하는 방법을 제공한다고 설명한다. 실제로 NVIDIA NVFlow는 금융 에이전트를 위한 선택적 접지 검증(grounding-verification) 단계를 통합했으며, 이는 ProvenanceGuard의 출처 인식 검증 접근 방식을 사용한다.

그러나 유사한 출처가 많을 경우, 정확한 출처를 식별하는 데는 여전히 개선의 여지가 있다. 여러 유사한 출처가 있는 더 어려운 테스트에서 ProvenanceGuard는 차단 결정에 대해 0.846의 F1 점수를 기록했지만, 정확한 출처를 올바르게 식별한 경우는 50.3%였다. 이는 유사한 출처를 구별하는 것이 중요한 개선 영역임을 시사한다.

차단된 답변의 복구 기능도 제공된다. RARR 스타일의 복구 루프와 연결되었을 때, 전체 트레이스 실행에서 173개의 차단된 답변이 모두 해결되었으나, 이 중 144개는 실질적인 재작성 대신 대체 텍스트로 처리되었다. 이는 시스템이 검증 불가능한 답변을 생성하기보다 회피하는 것을 선택했음을 의미한다. 오버헤드는 로컬 구성에서 답변당 약 0.5초로, NLI 및 라우팅 호출 자체는 수십 밀리초 수준이다. ProvenanceGuard는 UC 버클리에서 열린 Agentic AI Summit 2026에서 포스터로도 발표되었다.