구글 딥마인드와 아티피셜 애널리시스, 다중 모달 지식 에이전트 벤치마크 MKA 공개

벤치마크 공개와 도입 배경

구글 딥마인드가 인공지능 평가 기관인 아티피셜 애널리시스와 협력하여 새로운 다중 모달 지식 에이전트 벤치마크인 MKA를 발표했다. MKA는 인공지능 에이전트가 시각적으로 복잡한 파일을 분석하고 추론하여 실제 지식 기반 업무 과제를 얼마나 잘 해결하는지 평가하기 위해 설계되었다. 구글 딥마인드는 이번 벤치마크 공개와 함께 자사의 제미나이 4 카본 모델이 유사 모델 대비 매우 낮은 비용으로 최상위권 품질을 기록했다고 밝혔다.

기존의 지식 업무 관련 벤치마크들은 대부분 이미지나 문서 서식을 살펴볼 필요 없이 텍스트만으로 해결할 수 있는 구조였다. 그러나 실제 산업 현장에서 이루어지는 일상적인 전문 업무는 건축 청사진 대조, 엔지니어링 도면 추적, 정교한 보고서나 발표 자료 및 스프레드시트 취합처럼 시각적 요소를 깊이 다룬다. 연구진은 이러한 현실 업무의 특성을 반영해 에이전트의 시각적 복잡성 처리 능력을 정밀하게 측정하고자 벤치마크를 개발했다.

과제 구성과 자동 채점 체계

평가 과제를 실제 작업 흐름에 일치시키기 위해 시각 업무 비중이 높은 10개 산업군과 83개 직군의 전문가들이 참여했다. 건축가, 생물학자, 보험 인수 심사자, 데이터 과학자 등 현장 전문가들이 자신의 업무를 보조할 수 있는 200개의 다단계 프로젝트 과제를 직접 제작했다. 각 과제는 숙련된 전문가가 완료하는 데 3시간에서 8시간이 걸리는 규모로, 현실적인 지시문과 다중 모달 입력 파일 묶음, 그리고 약 70개의 예·아니오 검사항목으로 구성된 채점 기준표를 포함한다.

과제의 채점 기준표는 사실적 정확도에 75%, 시각적 디자인 요소에 25%의 가중치를 배정하여 결과물의 완성도를 종합적으로 검토한다. 모든 모델 평가는 동일한 도구와 샌드박스 환경, 동일한 턴 예산을 갖춘 오픈소스 에이전트 실행 도구인 스터럽에서 진행된다. 산출물 평가는 구글 모델이 아닌 외부 모델로 구축된 에이전트 기반 자동 채점기가 수행하며 파일 열기, 페이지 렌더링, 스프레드시트 수식 검사 등을 거쳐 기준표와 대조한다. 도메인 전문가가 직접 채점한 결과와 자동 채점기의 판정은 96%의 일치율을 보였다.

모델별 효율성과 시각의 한계

기술 보고서 분석에 따르면 첨단 모델들은 과제를 해결하는 과정에서 동작 방식과 효율성에 극단적인 차이를 드러냈다. 동일한 과제를 수행할 때 모델별로 과제를 마치는 데 평균 30턴에서 130턴까지 큰 편차를 보이며 자원 소모 수준이 다르게 나타났다. 과제를 해결하기 위해서는 강력한 시각 인지 능력이 필수적이었으며, 입력에서 시각 정보를 제거했을 때 모델들이 이를 다른 방식으로 보완하려 시도했으나 실패하는 한계도 확인되었다.

평가 결과의 신뢰성을 확보하고 학습 데이터 오염을 막기 위해 평가 세트 관리 방식도 분리하여 운영된다. 아티피셜 애널리시스는 200개 과제로 구성된 전체 평가 세트를 비공개로 유지하여 모델이 훈련 과정에서 문제를 학습하거나 검색으로 답을 찾는 행위를 차단했다. 동시에 외부 개발자와 연구자가 평가 체계의 형식을 파악하고 자체 에이전트를 시험해 볼 수 있도록 10개의 과제로 이루어진 별도 공개 세트를 허깅페이스에 배포했다.

제미나이 4 카본 성능과 배포

이번 평가에서 구글의 제미나이 4 카본은 테스트 대상 모델 중 종합 품질 2위를 달성했다. 특히 최고 점수를 기록한 모델과 비교했을 때 평균 6배 낮은 비용으로 과제를 완료하여 파레토 최적 수준의 가격 대 성능비를 입증했다. 이는 복잡한 시각 작업과 다단계 추론을 수행하는 고성능 에이전트를 실무 환경에 도입할 때 비용 부담을 대폭 절감할 수 있음을 보여준다.

제미나이 4 카본은 현재 구글 에이아이 스튜디오의 제미나이 응용프로그램 인터페이스를 통해 개발자에게 제공되고 있다. 구글 딥마인드는 개발자가 모델을 실제 서비스나 워크플로에 적용할 수 있도록 갱신된 제미나이 4 개발자 안내서와 기술 문서를 함께 공개했다. 모델을 자체 에이전트 환경에서 검증하고자 하는 사용자는 아티피셜 애널리시스 플랫폼을 통해 벤치마크 평가를 탐색하고 직접 실험을 진행할 수 있다.