실시간 모바일 환경 기반 고밀도 강화학습을 적용한 사용자 인터페이스 탐색 기술 공개

실시간 모바일 조작 에이전트의 등장

연구진이 실제 구동 중인 모바일 운영체제 환경에서 직접 강화학습을 수행하는 새로운 사용자 인터페이스 탐색 프레임워크를 공개했다. 이번 기술은 인공지능 에이전트가 화면을 인지하고 작업을 수행할 때 작업 흐름을 계획하는 부분과 실제 화면 구성 요소를 집어내는 부분을 서로 다른 전용 모듈로 나누어 처리하도록 구성했다. 이러한 설계를 통해 소형 모델에서도 복잡한 모바일 응용 프로그램을 안정적으로 제어하고 예기치 못한 조작 실패를 스스로 복구할 수 있는 기술적 기틀을 마련했다.

대형 시각 언어 모델은 뛰어난 화면 이해 능력을 갖추었으나 높은 추론 비용 탓에 일반 사용자가 일상적인 작업에 지속해서 활용하기에는 현실적인 제약이 컸다. 반면 지도 학습 기반 미세조정이나 오프라인 강화학습으로 학습된 소형 모델은 사전에 녹화된 정적 조작 경로만을 단순 암기하는 경향을 보여왔다. 이러한 기존 소형 모델들은 화면 구성이나 인터페이스 배치가 조금만 바뀌거나 실행 중 한 번이라도 오류가 발생하면 상태를 복구하지 못한 채 동작을 멈추는 한계를 드러냈다.

계획 접지 분리와 이중 보상 구조

새로운 프레임워크는 전체적인 작업 흐름을 이끄는 계획 에이전트와 구체적인 화면 좌표를 결정하는 접지 모델로 역할을 명확히 구분했다. 또한 조작 상태를 평가하는 과정에는 대형 언어 모델을 심사자로 활용하여 작업 완료 여부를 따지는 최종 보상뿐만 아니라 각 단계의 진행 상황을 세밀하게 측정하는 고밀도 중간 피드백을 동시에 제공하도록 설계했다. 이러한 이중 보상 체계를 통해 에이전트는 전체 작업이 끝날 때까지 대기하지 않고도 매 조작 순간마다 즉각적이고 유의미한 강화학습 신호를 전달받게 된다.

연구진은 단계별 이점 추정을 지원하는 근접 정책 최적화 기법을 도입하여 복합적인 보상 체계를 효율적으로 학습에 반영했다. 더불어 동시에 진행되는 다수의 조작 경로에서 시각적으로 유사한 상태의 보상 신호를 교차 활용하는 이웃 조건부 가치 추정 기법을 도입하여 비판자 신경망의 수렴 안정성을 크게 끌어올렸다. 이와 같은 가치 추정 개선을 통해 가상 환경에서 발생하는 보상 변동성을 줄이고 전체 모델의 학습 수렴 속도를 비약적으로 단축할 수 있었다.

대규모 가상화와 성능 검증

실시간 환경에서 대규모 온라인 강화학습을 원활하게 수행하기 위해 수백 대의 가상 모바일 기기를 동시에 조율하는 전용 인프라를 구축했다. 에이전트는 수백 대의 가상 화면에서 병렬로 다양한 앱 조작을 시도하며 지연 없이 풍부한 상호작용 피드백을 수집하고 정책을 지속해서 갱신했다. 이처럼 안정적인 동시 가상화 인프라를 바탕으로 방대한 실제 탐색 경험 데이터를 실시간으로 확보함으로써 온라인 학습의 실효성을 극대화했다.

제안된 체계는 표준 사용자 인터페이스 탐색 벤치마크와 모바일 조작 성능 평가에서 기존 지도 학습 기반 모델과 최종 보상만을 활용한 강화학습 모델을 큰 격차로 앞질렀다. 특히 80억 매개변수 규모의 강화학습 에이전트는 실제 아이오에스 환경에서 제미나이 3.5 플래시 모델을 능가하는 성적을 거두었으며 제미나이 3.1 프로 모델과 대등한 작업 성공률을 달성했다. 이는 매개변수 규모가 상대적으로 작은 모델로도 정교한 온라인 강화학습을 거치면 대형 모델에 버금가는 모바일 조작 능력을 확보할 수 있음을 증명한 결과다.

플랫폼 확장성과 적용 한계

이번 연구 성과는 고비용 대규모 모델을 외부 서버에서 지속해서 호출하지 않고도 모바일 기기 환경에서 자율적이고 신뢰성 높은 작업 에이전트를 운영할 수 있는 가능성을 열었다. 특히 아이오에스 앱 환경에서 학습된 80억 매개변수 에이전트는 안드로이드 환경을 대상으로 한 벤치마크 평가에서도 지도 학습 기준 모델 대비 약 7배에 달하는 뛰어난 성능 향상을 나타냈다. 이는 운영체제가 달라져 화면 레이아웃과 디자인 양식이 바뀌더라도 에이전트가 습득한 핵심 탐색 논리가 플랫폼 경계를 넘어 성공적으로 전이될 수 있음을 보여준다.

다만 이러한 시스템을 실무에 도입하기 위해서는 수백 대의 가상 기기 인스턴스를 안정적으로 구동하고 관리할 수 있는 대규모 컴퓨팅 인프라가 필수적이다. 또한 학습 과정에서 단계별 중간 피드백을 산출하는 심사자 역할로 대형 언어 모델을 지속해서 호출해야 하므로 훈련 단계의 연산 자원 소모가 적지 않다는 점도 고려해야 한다. 아울러 통제된 가상 환경을 벗어나 실제 단말기에서 발생할 수 있는 네트워크 지연, 배터리 제약, 외부 알림 팝업 등 돌발적인 예외 상황에 대한 에이전트의 강건성은 지속적인 개선 과제로 남아 있다.