ALTK-Evolve: 학습된 메모리로 τ²-bench 고객 서비스 벤치마크 선두 달성

ALTK-Evolve의 새로운 접근 방식

IBM Research는 ALTK-Evolve라는 새로운 방법을 통해 대규모 언어 모델(LLM) 기반 에이전트의 성능을 향상시키는 연구 결과를 발표했다. 이 방법은 모델의 가중치를 업데이트하거나 수동으로 데이터를 주석 처리하는 과정 없이, 에이전트의 과거 작업 시도에서 학습된 행동 가이드라인을 시스템 프롬프트에 추가하여 적용한다. 특히, GPT-4.1과 같은 이전 세대 모델을 사용하는 ReAct 에이전트가 τ²-bench 고객 서비스 벤치마크에서 최신 모델들을 능가하는 성능을 달성하는 데 기여했다.

ALTK-Evolve는 에이전트가 훈련 작업에서 수행한 시도를 분석하고, 성공 및 실패 사례로부터 "고객 인증 방법", "거래 확인", "반품 처리"와 같은 짧은 행동 규칙을 추출한다. 이렇게 추출된 가이드라인은 이후 대화에서 에이전트의 프롬프트에 추가되어 에이전트의 행동을 안내한다. 가이드라인 추출과 에이전트 구동에 동일한 LLM을 사용하므로, 별도의 모델 학습이나 데이터 준비 과정이 필요하지 않다.

배경 및 τ²-bench 벤치마크

기존 에이전트 성능 개선 방식은 주로 모델 미세 조정(fine-tuning)에 의존한다. 그러나 미세 조정은 높은 비용이 들고, 특정 도메인에 특화되어 다른 도메인으로의 전이성이 낮다는 한계가 있다. ALTK-Evolve는 이러한 제약을 극복하고, 프롬프트 수준의 메모리만으로 에이전트의 행동을 효과적으로 개선하는 대안을 제시한다.

이 연구는 Sierra의 τ²-bench 벤치마크를 활용하여 고객 서비스 에이전트의 성능을 측정했다. τ²-bench는 LLM으로 시뮬레이션된 고객과 에이전트가 상호작용하며, 에이전트는 특정 도메인 정책을 준수하고 도구를 사용하여 고객의 요청을 처리해야 한다. 작업은 최종 데이터베이스 상태가 예상 결과와 정확히 일치할 때만 성공으로 간주되는 엄격한 이진 보상 체계를 따른다. 벤치마크는 소매(retail) 및 항공(airline) 두 가지 고객 서비스 도메인을 포함하며, 각 작업은 4회 시도된다. 에이전트 모델로는 GPT-4.1을, 고객 시뮬레이터 모델로는 GPT-5.5를 사용했다.

구체적인 구현 및 성능 수치

ALTK-Evolve는 τ²-bench의 기본 ReAct 에이전트 구현에 학습된 가이드라인 블록을 시스템 프롬프트에 추가하는 방식으로 적용된다. 가이드라인은 도메인 정책 뒤에 일반 마크다운 목록 형태로 붙여진다. 예를 들어, "주문 관련 조치 전 사용자 인증", "모든 변경 사항 명확히 요약 후 사용자 승인 필수", "한 단계에 한 가지 조치만 수행"과 같은 규칙들이 포함된다.

가이드라인의 양에 따른 효과를 비교하기 위해 세 가지 구성이 평가되었다. `baseline`은 가이드라인을 사용하지 않는 경우이며, `sup3`는 훈련 작업에서 3회 이상 지원된(support count ≥ 3) 고신뢰 가이드라인만 포함한다(소매 31개, 항공 14개). `lossless`는 통합 후 모든 가이드라인을 포함한다(소매 292개, 항공 101개). 성능 지표로는 4회 시도 평균 성공률인 `Mean Accuracy`와 4회 시도 모두 성공한 작업의 비율인 `Pass^4`를 사용했다. `Pass^4`는 τ²-bench 리더보드에서 보고되는 신뢰성 지표이다.

GPT-4.1 에이전트의 테스트 세트 성능은 가이드라인 적용 후 크게 향상되었다. 소매 도메인에서 `Mean Accuracy`는 78.1%에서 82.5%로 4.4%p 증가했으며, `Pass^4`는 57.5%에서 67.5%로 10%p 증가했다. 항공 도메인에서는 `Mean Accuracy`가 57.5%에서 65.0%로 7.5%p, `Pass^4`는 35.0%에서 45.0%로 10%p 증가했다. 가이드라인의 양은 도메인에 따라 최적의 효과가 달랐는데, 소매에서는 `lossless` 구성이 모든 지표에서 가장 우수했지만, 항공에서는 `lossless`가 `Mean Accuracy`에서 앞서는 반면, `sup3`가 `Pass^4`에서 더 높은 신뢰성(45% vs 40%)을 보였다.

비용 효율성 및 최신 모델 적용

가이드라인 추가는 프롬프트 입력 토큰 비용을 증가시킨다. 소매 도메인의 `lossless` 구성은 대화당 비용을 65% 증가시켰고, 항공 도메인에서는 32% 증가시켰다. 그러나 흥미롭게도 가이드라인은 대화의 턴 수를 늘리지 않았다. 오히려 `lossless` 구성은 소매에서 약 0.43턴, 항공에서 약 0.33턴 대화 길이를 단축시켰다. 이는 LLM 왕복 횟수 감소로 이어져 고객의 문제 해결 시간을 단축시키는 효과를 가져온다. 프롬프트 캐싱을 통해 증가하는 입력 토큰 비용의 상당 부분을 상쇄할 수 있어, 실제 운영 환경에서는 비용 효율성이 더욱 높아진다.

ALTK-Evolve는 GPT-4.1과 같은 이전 모델뿐만 아니라 GPT-5.5와 같은 최신 모델에도 효과적임을 입증했다. GPT-5.5를 에이전트 및 가이드라인 추출 모델로 사용하여 항공 도메인에서 테스트한 결과, `Mean Accuracy`는 72.5%에서 82.5%로 10%p, `Pass^4`는 55.0%에서 70.0%로 15%p 향상되었다. 이는 GPT-4.1에서 관찰된 향상 폭(10%p)보다 더 큰 신뢰성 향상이다. 이 결과는 ALTK-Evolve가 강력한 기본 모델을 사용하는 에이전트의 성능도 더욱 개선할 수 있음을 보여준다.

리더보드 성과 및 개발자 영향

ALTK-Evolve는 τ²-bench 리더보드에서 인상적인 성과를 거두었다. 소매 도메인에서는 학습된 가이드라인을 적용한 GPT-4.1 에이전트가 `Pass^4` 67.5%를 기록하며 모든 최신 모델과 τ²-bench 소매 데이터로 미세 조정된 RAFT-30B-A3B(61.4%)를 6.1%p 차이로 앞서 1위를 차지했다. 항공 도메인에서는 GPT-4.1 에이전트가 `Pass^4` 44%로 8위를 기록하며 GPT-5.2 및 Claude Sonnet 4.5와 유사한 성능을 보였다. GPT-5.5를 사용했을 때는 `Pass^4` 82.0%로 모든 최신 모델(66-72%)을 크게 능가하며 1위를 달성했다.

이러한 결과는 개발자에게 중요한 시사점을 제공한다. 모델 가중치 업데이트 없이 프롬프트 수준의 메모리만으로 에이전트 성능을 자동적으로, 그리고 비용 효율적으로 향상시킬 수 있기 때문이다. 이는 미세 조정의 높은 비용과 도메인 전이의 어려움을 피하면서도, 다양한 기본 모델의 잠재력을 최대한 활용할 수 있는 유연한 방법을 제공한다. 사용자 측면에서는 에이전트의 정확도와 신뢰성 향상, 그리고 대화 시간 단축을 통해 더욱 만족스러운 고객 서비스 경험을 기대할 수 있다.

적용 조건 및 한계

ALTK-Evolve는 ReAct 스캐폴드와 같은 표준 에이전트 구조에 적용 가능하며, 고객 서비스와 같이 명확한 도메인 정책과 도구 사용이 요구되는 정책 기반 작업에 특히 효과적이다. 가이드라인 추출 및 에이전트 구동에 동일한 LLM을 사용할 수 있다는 점은 구현의 복잡성을 줄인다.

그러나 이 방법에는 몇 가지 고려사항이 있다. 가이드라인 추가로 인한 프롬프트 입력 토큰 비용 증가는 불가피하지만, 프롬프트 캐싱을 통해 상당 부분 완화할 수 있다. 또한, 가이드라인의 최적 양은 도메인에 따라 다르므로, `support count`와 같은 매개변수를 도메인별로 신중하게 조정해야 한다. 예를 들어, 소매 도메인에서는 더 많은 가이드라인(lossless)이 유리했지만, 항공 도메인에서는 적은 수의 고신뢰 가이드라인(sup3)이 더 나은 신뢰성을 보였다. 최신 모델(GPT-5.5)의 경우, `sup3` 기준을 충족하는 가이드라인이 충분하지 않아 `sup2`를 사용해야 했던 점은 가이드라인 추출의 일반성에 대한 추가적인 연구가 필요함을 시사한다. 이 연구는 τ²-bench 벤치마크 내의 특정 고객 서비스 도메인에 초점을 맞추고 있으므로, 다른 도메인이나 복잡성이 다른 작업에서의 일반화 가능성은 추가 검증이 필요하다.