Agent Lightning v1.0: 실제 하네스 활용한 경량 에이전트 강화 학습 프레임워크 공개

새로운 강화 학습 패러다임 도입

Microsoft Research Asia는 최근 Agent Lightning v1.0을 공개하며 'Harnessed Agentic RL'이라는 새로운 강화 학습 훈련 패러다임을 도입했다. 이 프레임워크는 배포 환경에서 사용되는 실제 에이전트 하네스를 강화 학습 훈련 과정에 직접 참여시켜, 기존 방식의 한계였던 훈련 프레임워크 내 에이전트 재구현 필요성을 제거한다. Agent Lightning v1.0은 경량 설계, 쿠버네티스 기본 지원, 그리고 데이터 효율적인 훈련 방식을 특징으로 한다.

이러한 변화의 핵심은 에이전트가 대규모 언어 모델(LLM)에 접근할 때 Agent Lightning v1.0의 LLM 프록시를 통하도록 하여, 기존 하네스 코드를 변경하지 않고도 훈련 프레임워크가 에이전트의 모델 호출을 관찰하고 기록할 수 있게 하는 것이다. 이를 통해 개발자는 배포될 에이전트와 동일한 에이전트를 훈련시킬 수 있으며, 훈련된 에이전트의 행동이 배포 환경에서 일관되게 유지될 수 있도록 돕는다.

기존 방식의 한계와 배경

최근 AI 에이전트는 단순 모델을 넘어 모델, 도구, 실행 환경이 결합된 복잡한 풀스택 시스템으로 발전하고 있다. 이러한 에이전트의 역량은 모델 외부에서 이들을 조율하는 에이전트 하네스에 크게 의존한다. 강화 학습(RL)은 시행착오를 통해 에이전트가 학습하도록 유도하여 성능을 향상시키는 강력한 방법론으로 인식된다.

그러나 기존의 에이전트 강화 학습 시스템은 개발자가 훈련 프레임워크 내에 에이전트를 재구현해야 하는 제약을 가졌다. 이는 개발 비용을 증가시키고, 훈련 과정에서 재구현된 에이전트가 실제 배포될 에이전트와 미묘하게 다르게 동작할 수 있는 문제를 야기했다. verl, AReaL, slime과 같은 초기 RL 시스템은 훈련 프레임워크가 환경과의 상호작용 루프를 관리하는 방식으로 설계되어, 에이전트 훈련을 위해 루프를 재구축해야 했다.

mini-SWE-agent, OpenHands, OpenCode, Claude Code, Codex와 같은 실제 에이전트 하네스들은 각기 고유한 컨텍스트 관리, 도구 프로토콜, 실행 로직 및 의존성을 가지고 있다. 이러한 복잡성 때문에 훈련을 위해 하네스를 재구현하는 것은 비효율적이며, 훈련된 에이전트가 배포된 에이전트와 동일하게 작동하지 않을 위험이 있었다. Harnessed Agentic RL은 이러한 문제를 해결하기 위해 배포에 사용되는 하네스를 훈련에 직접 활용하는 접근 방식을 채택했다.

Agent Lightning v1.0의 구체적 구현

Agent Lightning v1.0은 약 3,500줄의 코드로 구성된 경량 프레임워크로, 단순성을 최우선 원칙으로 설계되었다. 이 시스템은 API Gateway, Rollout Controller, Customized Trainer의 세 가지 핵심 구성 요소로 이루어진다. API Gateway는 롤아웃, 모델, 이벤트를 저장하고 OpenAI 호환 LLM 프록시 역할을 수행한다. 이는 하네스의 모든 모델 호출을 해당 롤아웃에 연결하고 훈련에 필요한 프롬프트, 응답, 로그 확률을 기록한다.

Rollout Controller는 에이전트 실행을 시작하고 관리하며, 로컬 프로세스 또는 표준 쿠버네티스 작업으로 에이전트를 실행한다. 이는 에이전트 실행을 트레이너와 분리하여 독립성을 보장한다. verl 기반으로 구축된 Customized Trainer는 롤아웃을 생성하고 완료를 기다린 후 샘플을 수집하며, 샘플 어댑터를 통해 최종 훈련 샘플을 조립한다. 이러한 설계 덕분에 기존 에이전트 하네스는 모델 엔드포인트를 Agent Lightning 프록시로 지정하는 것만으로 강화 학습 훈련에 빠르게 연결될 수 있다.

Agent Lightning v1.0은 또한 'Collocated Async RL' 방식을 도입하여 롤아웃과 모델 업데이트가 동일한 GPU 세트를 공유하도록 한다. 이 방식은 시스템이 충분한 롤아웃을 수집하면 업데이트를 시작하고, API Gateway는 새로운 요청을 일시 중지한 후 진행 중인 요청이 완료될 때까지 기다린다. 업데이트가 완료되면 롤아웃이 재개되며, 이 모든 상태 전환은 외부 에이전트 하네스에 투명하게 이루어진다. 실험 결과, 이 접근 방식은 동기식 RL 대비 약 2배의 엔드투엔드 속도 향상을 달성했으며, 기존 비동기식 RL보다 적은 GPU를 사용하면서도 높은 활용도를 보였다.

대규모 롤아웃을 위해 많은 에이전트를 동시에 실행하는 것은 상당한 CPU, 메모리, 컴퓨팅 자원을 소모한다. Agent Lightning v1.0은 이러한 에이전트를 Modal Sandbox나 E2B와 같은 상용 샌드박스 서비스 대신 표준 쿠버네티스 작업으로 실행한다. 이를 통해 기존의 자체 관리 클러스터, 클라우드 쿠버네티스 또는 로컬 인프라를 재활용할 수 있어, 대규모 롤아웃 비용을 절감하고 전체 파이프라인의 오픈 소스 및 재현성을 유지한다.

개발자 영향 및 성능 개선

Agent Lightning v1.0의 도입은 에이전트 개발자들에게 상당한 이점을 제공한다. 가장 큰 장점은 기존 에이전트 하네스 코드를 수정할 필요 없이 강화 학습 훈련에 쉽게 통합할 수 있다는 점이다. 이는 개발 시간을 단축하고, 배포 환경과 훈련 환경 간의 불일치로 인한 잠재적 문제를 줄여준다. 또한, 쿠버네티스 기본 지원을 통해 개발자는 기존 컴퓨팅 자원을 효율적으로 활용하고, 상용 서비스에 대한 의존성을 줄여 비용을 절감할 수 있다.

연구팀은 SWE-smith, mini-SWE-agent, Qwen3.5-9B를 기반으로 한 코딩 에이전트 파이프라인을 구축하여 이 접근 방식을 테스트했다. 데이터 정제, 환경 구축, 보상 해킹 방지, RL 훈련을 포함하는 이 파이프라인은 약 6,000개의 훈련 샘플만을 사용하여 Qwen3.5-9B 모델의 SWE-bench Verified Pass@1 점수를 41.8%에서 56.4%로, 14.6%p 향상시키는 성과를 보였다. 이는 대규모 컴퓨팅 자원 없이도 데이터 효율적인 훈련을 통해 에이전트 성능을 크게 개선할 수 있음을 입증한다.

적용 조건 및 한계점

Harnessed Agentic RL은 훈련 프레임워크 대신 에이전트 하네스가 환경 상호작용 루프를 처리한다는 점에서 기존 방식과 차이가 있다. 이로 인해 훈련 시스템은 LLM 요청 및 응답 쌍의 연속만을 관찰하게 되며, 단일 롤아웃이 가변적인 수의 훈련 샘플로 분할될 수 있다. 이러한 특성은 네 가지 주요 도전 과제를 야기한다.

첫째, '재토큰화 및 샘플 병합' 문제이다. 하네스는 컨텍스트를 텍스트로 유지하지만 RL 훈련에는 롤아웃 중 샘플링된 토큰 ID가 필요하다. 텍스트를 다시 채팅 템플릿과 토크나이저를 통과시키면 토큰 경계가 이동하여 인접 호출을 하나의 샘플로 병합하기 어려울 수 있다. 둘째, '어드밴티지 계산' 문제이다. 재토큰화, 서브에이전트, 컨텍스트 요약 등으로 인해 하나의 롤아웃이 여러 샘플로 분할될 수 있으며, 샘플 수준에서 직접 기준선과 어드밴티지를 계산하면 롤아웃 수준의 통계적 관계가 왜곡될 수 있다.

셋째, '손실 정규화' 문제이다. 샘플 수에 따라 손실을 평균화하면 더 많은 샘플을 생성하는 롤아웃에 더 많은 가중치가 부여되어 손실 정규화가 왜곡될 수 있다. 넷째, '훈련 백엔드 스케줄링' 문제이다. 샘플 수와 길이는 하네스가 완료된 후에야 알 수 있지만, GPU 수와 데이터/텐서 병렬 구성은 일반적으로 고정되어 있다. 따라서 백엔드는 가변적인 워크로드를 고정된 자원에 매핑해야 하는 과제를 안고 있다. Agent Lightning v1.0의 코딩 에이전트 실험은 어드밴티지 계산과 손실 정규화에 있어 샘플 수준 처리보다 롤아웃 수준의 어드밴티지 및 정규화가 더 높은 검증 보상을 달성하고 훈련 중 정책 엔트로피를 더 안정적으로 유지함을 확인했다.