아마존, 대규모 합성 데이터로 학습한 표 파운데이션 모델 '미트라-v2' 공개

합성 표 파운데이션 모델 공개

아마존 커넥트 커스터머 팀이 합성 데이터로 사전 학습한 표 데이터 기반 모델인 미트라-v2를 공개했다. 미트라-v2는 분류와 회귀 작업을 모두 지원하는 2세대 모델이며, 추론 및 미세조정 코드와 함께 아파치 2.0 라이선스로 오픈소스 저장소에 배포되었다. 기존 1세대 모델과 비교해 더 넓고 큰 표 데이터를 처리할 수 있도록 합성 데이터 학습 규모와 다양성을 크게 확장한 것이 이번 공개의 핵심이다.

기업 데이터의 상당 부분은 고객이나 거래 내역을 담은 표 형태로 관리되며, 결측치나 미래 수요를 예측하는 작업이 머신러닝의 주요 과제다. 기존에는 그래디언트 부스팅 결정 트리처럼 표마다 특성 공학과 하이퍼파라미터 튜닝을 거쳐 개별 모델을 만들어야 했다. 표 기반 파운데이션 모델은 사전 학습된 단일 모델이 레이블이 있는 일부 행을 예시로 읽고 나머지 행을 곧바로 예측하는 문맥 내 학습을 통해 파이프라인 구축 주기를 줄이고자 고안되었다.

사전 학습 규모 확장과 원리

미트라-v2는 실제 고객 데이터를 전혀 사용하지 않고 순수 합성 예측 문제 수백만 개로만 사전 학습을 진행했다. 모델 구조는 행과 열을 동시에 처리하는 2차원 어텐션 트랜스포머를 유지했으나, 사전 학습 데이터의 크기를 이전 대비 행 기준 10배, 열 기준 약 3배로 대폭 확대했다. 또한 인과 관계 그래프 안에 신경망, 결정 트리, 가우시안 프로세스, 자기회귀 과정을 결합한 새로운 하이브리드 구조적 인과 모델을 도입해 실제 표 데이터의 복합적인 관계를 모사하도록 설계했다.

확장된 합성 데이터 분포에서 학습을 안정화하기 위해 새로운 하이브리드 최적화 기구를 적용했다. 실제 배포 환경에서 사전 학습 범위를 넘어서는 입력이 주어질 때를 대비해 두 가지 경량 래퍼 기법도 함께 구성했다. 열이 지나치게 많은 표는 특이값 분해를 통해 원래 데이터의 분산을 최대한 보존하면서 크기를 축소해 입력한다. 또한 모델 출력층 노드가 10개로 제한되어 있으므로 10개를 초과하는 다중 분류 작업에는 계층적 트리를 연결해 세부 분류를 수행하도록 했다.

벤치마크 검증과 회귀 성과

실제 환경 51개 데이터셋으로 구성된 탭아레나 벤치마크에서 미트라-v2는 단일 모델 부문 1위를 기록했다. 이전 세대 모델과 직접 비교가 가능한 33개 데이터셋 중 32개에서 더 우수한 결과를 냈으며, 1세대 모델이 3분의 1 이상 실패했던 1시간 제한 시간 내 평가를 51개 데이터셋 전체에서 완주했다. 체스 순위 산정 방식인 엘로 평점 기준 분류와 회귀 모두에서 이전 세대 대비 큰 폭의 상승을 보였으며, 300여 개 데이터셋을 다루는 탤런트 벤치마크에서도 상위권에 올랐다.

회귀 작업에서 미트라-v2는 단일 예측값만 내놓는 대신 발생 가능한 값의 전체 구간을 함께 추정한다. 사용자는 점 추정치와 함께 예측 구간을 제공받아 결과의 신뢰도를 함께 평가할 수 있다. 구간 예측의 정확도와 보정 수준을 종합 평가하는 스코어링벤치 평가에서도 미트라-v2는 1위를 기록했다. 이는 단순 수치 적합을 넘어 예측 결과의 불확실성을 체계적으로 계산해야 하는 비즈니스 의사결정 환경에서 유용한 특성이다.

적용 방식과 운영상의 제약

미트라-v2는 완전한 제로샷 모델로만 동작하지 않고, 새로운 표를 입력받으면 기본값으로 짧은 자동 미세조정을 수행한다. 이 과정에서 모델 복제본 8개를 생성하고 배깅 기법을 적용해 개별 예측치를 평균 내어 최종 결과를 도출한다. 이러한 적응 방식은 정확도를 높여주지만 추가적인 계산 비용과 지연시간을 수반하므로 자원이 제한된 환경에서는 연산 부하를 고려해야 한다.

새로운 표를 다룰 때마다 처음부터 모델을 학습시키는 번거로움을 크게 줄일 수 있어 데이터 분석 현장의 편의성을 높였다. 아마존 커넥트 커스터머는 고객 상호작용 이력과 운영 맥락을 기반으로 비즈니스 이벤트를 예측하는 데 이 모델을 도입하고 있다. 다만 10개 초과 클래스 처리 시 계층 트리에 의존해야 하고, 극단적으로 넓은 표에서는 특이값 분해를 통한 차원 축소가 필수적이라는 구조적 제약이 원문에 명시되어 있다.