ThinkingBox 활용 데이터베이스 상태 기반 RL 보상: 에이전트 후속 훈련 개선

에이전트 후속 훈련의 새로운 접근 방식

Microsoft와 Hugging Face는 ThinkingBox를 활용하여 에이전트의 후속 훈련(post-training) 방식을 개선했다. 이들은 에이전트가 수행한 작업의 최종 데이터베이스 상태를 검사한 결과를 강화 학습(RL) 보상으로 사용하는 새로운 방법론을 제시했다. ThinkingBox는 에이전트의 작업 결과를 예상되는 데이터베이스 상태와 비교하여 정확성을 평가하는 도구로, 이 평가 신호를 훈련 과정에 직접 통합한다.

이 방법론을 Qwen3.8-27B 모델에 적용한 결과, 모델의 평균 성공률(pass@1)은 51.70%에서 60.78%로 9.08%포인트 증가했다. 특히, 20회 시도 모두 정확하게 작업을 완료한 비율을 나타내는 Observed 20/20 지표는 38개 작업에서 107개 작업으로 약 2.8배 증가하는 성과를 보였다. 이러한 개선은 GRPO(Generalized Reinforcement Learning with Policy Optimization)를 50단계 수행하여 달성되었다.

신뢰성 문제와 ThinkingBox의 등장 배경

ThinkingBox는 에이전트가 작업 완료를 보고했음에도 불구하고 실제 데이터베이스 상태가 예상과 다른 경우를 포착하기 위해 개발되었다. 초기 연구에서는 에이전트가 고객 티켓을 해결했다고 보고했지만, 실제로는 관련 예외 처리가 완료되지 않은 사례를 발견하며, 에이전트의 '완료' 보고와 실제 데이터베이스 상태 간의 불일치 문제를 확인했다.

ThinkingBox-Bench 벤치마크 데이터셋은 507개의 작업으로 구성되며, 각 작업은 실제 백엔드와 도구 세트를 에이전트에 제공하고, 작업 완료 후 데이터베이스 변경 사항을 실행 가능한 검사를 통해 확인한다. 이 과정에서 최종 데이터베이스 상태로부터 직접 1 또는 0의 이진 보상을 생성할 수 있음을 발견했으며, 이를 강화 학습의 보상 함수로 활용하는 아이디어가 도출되었다.

기존 벤치마크 결과는 모델의 '헤드라인 정확도'(pass@1)가 높더라도, 프로덕션 환경에서 요구되는 '반복 가능한 성공률'(Observed 20/20)은 낮을 수 있음을 보여주었다. 예를 들어, Kimi-K3 모델은 pass@20에서 93.89%의 높은 성공률을 보였지만, 20회 시도 모두 성공한 작업은 전체 507개 중 68개(13.41%)에 불과했다. 이는 단순히 더 크거나 성능이 좋은 모델이 이러한 신뢰성 격차를 자동으로 해소하지 못한다는 점을 시사하며, 에이전트의 일관된 성능 확보를 위한 새로운 훈련 방법의 필요성을 강조한다.

훈련 과정 및 구체적인 성능 지표

훈련 풀은 ThinkingBox-Bench 벤치마크에 포함되지 않은 ThinkingBox 형식의 작업들로 구성되었다. 훈련에 효과적인 작업을 선별하기 위해 '오프라인 정책 상대적 난이도(offline policy-relative difficulty)' 개념이 도입되었다. 이는 훈련 전 기본 정책을 사용하여 각 후보 작업의 성공 확률을 한 번 추정하고, 이 추정치를 기반으로 훈련 풀을 고정하여 사용한다. 이 방식은 모델이 이미 완벽하게 해결하거나 전혀 해결할 수 없는 작업을 제외하고, 학습을 통해 개선될 여지가 있는 '중간 난이도' 작업을 선별하는 데 중점을 둔다.

Qwen3.8-27B 모델은 이 선별된 훈련 풀을 사용하여 GRPO로 50단계 미세 조정되었다. 평가는 507개의 벤치마크 작업 각각에 대해 20회씩 반복 수행되었다. 주요 평가 지표는 pass@1(전체 시도 중 평균 성공률), pass@20(최소 한 번 성공한 작업의 비율), 그리고 Observed 20/20(모든 20회 시도에서 성공한 작업의 비율)이다.

훈련 결과, Qwen3.8-27B RL 미세 조정 모델은 Observed 20/20에서 107개 작업을 달성하여 기본 모델의 38개 대비 크게 향상되었다. pass@1은 51.70%에서 60.78%로 증가했으나, pass@20은 262개에서 255개로 소폭 감소했다. 이는 모델이 더 넓은 범위의 작업을 한 번이라도 해결하는 능력보다는, 특정 작업을 반복적으로 안정적으로 해결하는 능력, 즉 '신뢰성'이 크게 향상되었음을 나타낸다. 훈련된 모델은 벤치마크에 포함되지 않은 187개의 훈련 풀 작업으로 학습되었으며, 벤치마크 작업은 훈련 중 접하지 않은 도메인, 데이터베이스, MCP 도구를 포함하는 OOD(Out-of-Distribution) 테스트 세트 역할을 수행했다.

훈련 루프는 총 6단계로 구성된다. 먼저 후보 작업을 입력받아 오프라인에서 기본 정책 모델에 대한 프로브를 통해 난이도를 분류하고 훈련 풀을 선택한다. 이후 훈련 과정에서는 롤아웃 그룹 생성, 최종 데이터베이스 상태 등급 지정, GRPO 업데이트가 반복된다. 최종적으로 훈련된 체크포인트는 ThinkingBox-Bench를 통해 평가된다. 보상은 에이전트의 궤적과 무관하게 작업의 실행 가능한 최종 상태 판정(1 또는 0)에 따라 결정되며, 대부분은 결정론적 검사를 통해, 소수의 경우 LLM 판독기의 도움을 받아 이루어진다.

개발자 및 사용자에게 미치는 영향과 비용 효율성

이 새로운 훈련 방법론은 에이전트의 반복 가능한 성공률을 크게 향상시켜, 실제 프로덕션 환경에서 에이전트의 신뢰성을 높이는 데 중요한 기여를 한다. 특히, 데이터베이스 레코드를 다루는 비즈니스 워크플로우에서 에이전트의 일관된 성능은 시스템 안정성과 직결된다.

비용 효율성 측면에서도 긍정적인 변화가 나타났다. 훈련 후 신뢰할 수 있는 작업당 비용(Cost per dependable task)은 기본 모델 대비 67.2% 감소한 $8.00로 추정되었다. 이는 GPT-5.4($6.80), GPT-6 Astra($7.45), Claude Opus 5.5($7.80)와 같은 고성능 모델들과 유사한 수준의 비용 효율성을 달성한 것이다. 모델 서빙 비용은 기본 모델과 동일하므로, 훈련을 통해 더 높은 신뢰성을 더 효율적인 비용으로 얻을 수 있음을 의미한다.

개발자는 microsoft/thinkingbox-training GitHub 저장소에 공개된 데이터 선택, 롤아웃, 보상 및 Verl 통합 스택을 활용하여 이 훈련 루프를 구현할 수 있다. 이 저장소는 작업 준비, 정책 프로브, 벤치마크 제외, 훈련/검증 분할에 대한 상세 가이드, Qwen3.8-27B 참조 실행 구성, 그리고 체크포인트 병합 및 ThinkingBox-Bench 평가 방법을 제공한다. 이 방법론은 에이전트 훈련 전 '프로브'를 통해 작업 난이도 분포를 분석하고, 훈련 및 평가 파서 간의 '패리티'를 확인하여 보상 측정과 평가가 일치하는지 검증하며, '커버리지'와 '반복 가능성' 두 가지 지표를 모두 보고할 것을 권장한다. 이는 개발자가 에이전트의 성능을 보다 포괄적으로 이해하고 개선하는 데 도움을 준다.

적용 조건 및 한계점

이 연구에서 사용된 RL 훈련 풀에는 ThinkingBox-Bench 벤치마크의 어떤 작업도 포함되지 않았다. 벤치마크는 오직 평가 목적으로만 사용되었으며, 훈련 풀과 벤치마크는 도메인, 데이터베이스, 정책 및 대부분의 도구 측면에서 OOD(Out-of-Distribution) 관계를 가진다. 이는 훈련된 모델이 훈련 중 접하지 않은 새로운 환경에서도 성능을 발휘할 수 있음을 보여주지만, 동시에 전이 학습의 범위에 대한 제한을 의미한다.

훈련 풀 선택 과정에서, 모든 롤아웃이 실패하거나 성공하는 그룹은 GRPO가 학습할 수 있는 유의미한 대비를 제공하지 못한다. 이러한 '제로-그래디언트' 문제는 과표집(oversample) 및 실패 그룹 재충전(refill)과 같은 방식으로 해결할 수 있으나, 이는 낭비되는 롤아웃에 대한 비용을 발생시킨다는 한계가 있다.

비용 계산에는 모델 추론 비용이 포함되지만, 훈련 실행 비용 및 훈련 데이터셋 큐레이션을 위한 정책 프로브 비용은 제외되었다. 따라서 실제 총 비용은 제시된 수치보다 높을 수 있다. 또한, 공개된 샘플 작업 목록은 인터페이스 연습용이며, 실제 훈련에 사용된 187개 작업으로 구성된 비공개 훈련 풀과는 다르다. 개발자는 훈련을 위해 공용 벤치마크와 분리된 자체 권한 있는 훈련 소스를 제공해야 한다.

ThinkingBox 벤치마크의 모든 작업은 실제 엔터프라이즈 에이전트 패턴을 모델링한 합성 재구성된 워크플로우와 정책을 기반으로 하지만, 고객 정보는 실제가 아닌 가상의 데이터이다. 이는 실제 프로덕션 환경과의 완벽한 일치를 보장하지는 않는다.