KDD 컵 2026 데이터 에이전트 경쟁에서 배우는 신뢰할 수 있는 데이터 분석 에이전트 구축 전략

무엇이 어떻게 달라졌는가

NVIDIA KGMON 팀은 KDD 컵 2026 데이터 에이전트 경쟁에서 준우승을 차지하며, 신뢰할 수 있는 데이터 분석 에이전트 구축 전략을 공개했다. 이 전략은 에이전트의 하네스(harness)를 작고 명확하며 검증하기 쉽게 만드는 데 중점을 둔다. 경쟁은 에이전트가 데이터베이스, CSV, JSON 파일, 문서, PDF, 브리핑 비디오 등 이질적인 데이터 소스에 걸쳐 자연어 질문에 답하도록 요구했다.

KGMON 팀은 제한된 LLM을 활용해야 하는 경쟁 환경에서 전처리, 제약된 툴, 영구적인 상태 유지, 그리고 평가를 통해 모델의 작업 부담을 줄이는 데 집중했다. 이는 모델 자체의 개방성을 높이기보다는 모델 주변에 적절한 하네스를 구축하는 것이 신뢰성을 높이는 핵심이라는 교훈을 제시한다.

변화의 배경과 핵심 원칙

KDD 컵 2026 경쟁은 에이전트가 단순히 데이터를 검색하는 것을 넘어, 사용 가능한 데이터를 검사하고, 올바른 도구를 선택하며, 여러 소스에 걸쳐 추론하고, 최종 답변 파일을 생성하며, 분석 워크플로우에서 발생할 수 있는 함정을 처리하도록 요구했다. 특히, 팀들은 에이전트 구동을 위해 작고 고정된 LLM을 사용해야 했으므로, 하네스 설계가 주요 최적화 영역이 되었다.

KGMON 시스템은 두 가지 핵심 원칙에 기반을 둔다. 첫째, 에이전트의 행동 공간(action space)을 제약한다. 데이터 검사, 도구 호출, 파일 작성, 오류 복구 등 너무 많은 방법은 실패로 이어질 수 있으므로, KGMON은 데이터 접근을 통합하고, 작은 툴셋을 노출하며, 최종 답변이 단일 출력 경로를 따르도록 요구했다. 둘째, 모든 시도를 검사 가능하게 만든다. 실행 추적, 반복 시도, 궤적 검사를 통해 팀은 실패를 식별하고 하네스를 개선할 수 있었다.

구체적인 구현 방법론

KGMON은 CSV 및 JSON 파일을 기존 SQLite 데이터베이스의 테이블로 변환하여 에이전트가 모든 정형 데이터에 대해 단일 SQL 인터페이스를 사용하도록 했다. 사용자 정의 `inspect()` 및 `query()` 함수를 통해 에이전트는 통합된 데이터 표면을 발견하고 쿼리할 수 있었다. 이는 라우팅 실패와 불필요한 턴을 줄여 LLM이 데이터 추론에 더 집중할 수 있게 했다.

주요 추론 루프 이전에 스키마 스카우팅 단계를 추가하여 테이블, 컬럼, 조인 키, 중복 이름, 단위, NULL 패턴 등 스키마 컨텍스트를 에이전트에 미리 제공했다. 이는 잘못된 컬럼 사용, 조인 누락, 답변 행의 의미 혼동으로 인한 오류를 줄였다.

에이전트는 스키마 검사, SQL 쿼리, 문서 조회, 산문 추출, 답변 작성 등 제한된 헬퍼 함수만 사용하도록 했다. `schema()`, `sql(query)`, `write_answer(df)`, `prose_helper()`와 같은 함수를 제공했으며, 미들웨어는 잘못된 도구 호출을 복구하여 한 번의 오류로 시도가 종료되지 않도록 했다. 상태 유지 Python 환경은 도구 호출 간 변수를 보존하여 중간 결과를 재사용할 수 있게 했다.

PDF, 마크다운 파일 등 산문 데이터를 1급 입력으로 취급하되, 정형 데이터와 분리했다. `open()` 함수나 `.read()` 메서드를 통한 전체 파일 직접 읽기를 차단하고, 문자 수나 정규 표현식(regex) 일치로 미리보기 및 검색을 제한하는 도구를 제공했다. 관련 섹션을 찾으면 `prose_helper`를 호출하여 문서 청크를 별도의 LLM 호출(온도 0, 추론 비활성화)로 전달하여 답변을 추출하거나 테이블로 변환했다(`mode="answer"`, `mode="table"`).

브리핑 비디오가 포함된 작업의 경우, 에이전트 루프 내에서 비디오를 처리하는 계산 비용을 피하기 위해 키프레임을 추출하고 오디오를 전사하며, 전사 세그먼트를 프레임과 정렬하여 에이전트에 증거로 제공했다.

개발 및 운영에 미치는 영향

모든 시도에 대해 프롬프트, 도구 호출, SQL 쿼리, 중간 결과, 오류, 복구, 문서 조회, 최종 답변 등을 기록했다. 이를 통해 전문 검사 에이전트나 사람이 실패한 궤적을 검토하고 오류를 분류하며, 반복되는 실패를 파악하여 개선 우선순위를 정할 수 있었다. 추적은 잘못된 답변의 원인이 스키마 혼동, 잘못된 조인, 산문 증거 누락, 출력 형식 문제 등 어디에 있는지 밝혀냈다.

KGMON은 반복 시도와 답변 선택을 통해 커버리지와 신뢰성을 향상시켰다. 답변 값별로 시도를 그룹화하고, 논쟁의 여지가 있는 작업에 추가 실행을 할당하여 안정적인 답변과 일회성 실수를 구별하는 데 도움을 주었다.

에이전트가 평가 피드백을 사용하여 프롬프트, 도구, 후처리, 평가 로직을 개선하는 자율 개선 루프는 성능을 향상시킬 수 있지만, 벤치마크에 과적합될 위험이 있다. KGMON은 훈련 예제를 프롬프트에 하드코딩하거나, 모순된 지침을 축적하거나, 취약한 후처리 규칙을 추가하거나, 일반화 능력을 저해하는 등의 위험을 인지하고, 보류된 작업, 프롬프트 감사, 추적 검토, 인간 승인을 요구하여 변경 사항을 신중하게 적용했다.

팀은 인간의 지침과 에이전트 규모의 실험을 결합했다. 사람은 작업 요구 사항을 정의하고, 추적을 감사하며, 초기 에이전트 동작을 안내하고, 취약한 변경 사항을 거부하며, 하네스에 유지할 개선 사항을 선택했다. 이는 모든 도구 호출을 감독할 필요 없이 미래 실행을 개선하는 데 도움이 되었다.

적용 조건과 한계

KDD 컵 솔루션은 고정된 모델, 인터넷 접근 불가, 이질적인 작업 번들, 값 수준 채점, 긴 실행 예산 등 특정 벤치마크 조건에 맞춰 설계되었다. 따라서 모든 설계 선택이 실제 프로덕션 환경에 직접 적용될 수는 없다.

예를 들어, 산문에서 테이블을 추출하는 기능은 문서에 정형 정보가 내장된 경쟁 작업에 적합했지만, 프로덕션 시스템에서는 표적 산문 조회만 필요할 수 있으며 테이블 추출은 선택 사항으로 남을 수 있다. 또한, 비디오 전처리는 경쟁 설정에 적합했으나, 많은 비디오가 있는 애플리케이션에서는 `prose_helper`와 유사한 온디맨드 헬퍼가 더 유용할 수 있다.

반복 시도는 토큰 사용량, 지연 시간, 계산 비용을 증가시키므로, 프로덕션 환경에서는 그 가치, 불확실성 또는 위험이 비용을 정당화하는 작업에만 앙상블(여러 시도 결과 결합)을 예약해야 한다. 에이전트의 신뢰성은 모델과 하네스에 달려 있으며, 이 둘은 검사 가능하고 반복 가능하며 유용한 분석을 지원해야 한다.