엔비디아, AI 에이전트와 시뮬레이션을 결합한 로봇 보행 학습 워크플로 공개

AI 에이전트 기반 로봇 학습

엔비디아가 소형 로봇 마이크로덕을 기준으로 AI 에이전트와 시뮬레이션 기술을 통합해 로봇의 보행 및 장애물 탐색 능력을 훈련하는 전체 개발 워크플로를 공개했다. 기존의 로봇 보행 정책 개발은 환경 자산 제작, 물리 시뮬레이션 설정, 대규모 강화 학습과 검증에 이르는 과정이 개별적으로 나뉘어 있어 많은 수작업이 필요했다. 이번에 제시된 체계는 계획 수립과 3D 자산 제작부터 클라우드 기반 대규모 강화 학습 및 로컬 검증까지 전 과정을 유기적인 파이프라인으로 연결한 점이 특징이다.

전체 작업 흐름은 국소 개발 허브 역할을 하는 엔비디아 RTX 스파크에서 출발한다. 사용자가 요구하는 장애물 코스와 학습 목표를 자연어 프롬프트로 전달하면, 헤르메스와 네모트론 3.5 볼트가 이를 세부 프로젝트 계획서로 변환한다. 이 계획서에는 로봇의 기능 명세, 코스 배치, 장애물 치수, 에이전트가 후속 단계에서 수행할 구체적인 지침이 체계적으로 포함된다.

개념 이미지와 3D 자산 생성

기획 단계에서는 로컬 이미지 생성 모델을 사용해 장애물 코스의 개념 이미지를 먼저 도출한다. 이후 헤르메스와 네모트론이 해당 이미지를 분석해 재사용 가능한 사물 자산 목록을 정리하고 고유 식별자와 특징 설명, 잘라낸 참조 이미지를 부여한다. 이 과정에서 가려지거나 잘린 영역을 명확히 기록해 후속 모델링 작업에서 시각적 사실과 추정을 구분할 수 있도록 패키지화한 뒤 아스트라 에이전트에게 전달한다.

작업을 넘겨받은 아스트라는 해상도가 낮은 참조 이미지를 클라우드 이미지 편집 도구로 정리하여 선명도를 높인다. 아스트라는 원본 참조 이미지의 실루엣, 비율, 색상과 일치하는지 비교 검증한 후 자동화된 프리CAD 실행을 통해 기본 형상과 편집 가능한 CAD 구조를 세운다. 이어서 블렌더를 프로그래밍 방식으로 제어해 세부 형상과 재질을 입히고, 최종 결과물을 편집 가능한 모델 및 개방형 표준인 OpenUSD 규격으로 내보낸다. 또한 제작 부담을 덜기 위해 2,000개 이상의 검증된 무료 3D 자산을 제공하는 심레디 센트럴 라이브러리의 데이터도 함께 조합해 활용한다.

가상 환경 구축과 병렬 강화 학습

준비된 3D 자산들은 엔비디아 아이작 심 가상 환경 안에 배치되어 완성된 장애물 코스로 조립된다. 로봇의 다관절 구조와 움직임은 링크, 관절, 액추에이터로 정밀하게 정의되며, 뉴턴 물리 엔진이 지면 접촉과 균형 유지를 계산한다. 옴니버스 렌더링 라이브러리는 가상 환경에 장착된 헤드 카메라 깊이 센서와 로봇 상태 정보를 시뮬레이션하여 관측 데이터를 지속해서 생성한다.

시뮬레이션 환경 구축이 끝나면 오픈소스 로봇 학습 프레임워크인 엔비디아 아이작 랩을 통해 대규모 정책 학습이 진행된다. 마이크로덕은 곡면 경사로와 불규칙한 지면 환경에서 넘어지지 않고 균형을 유지하며 이동해야 한다. 이 실험에서는 엔비디아 RTX 프로 6000 블랙웰 워크스테이션 에디션 GPU를 기반으로 4,096개의 병렬 가상 환경을 동시에 가동하여 정책을 훈련했다. 로봇은 가상 관측, 행동 예측, 물리 운동, 상태 갱신의 순환 주기를 거치며 보행 안정성을 점진적으로 높인다.

정책 평가와 가상·현실 격차 완화

훈련이 완료된 정책은 로컬 RTX 스파크 장치의 아이작 심 환경으로 가져와 별도의 평가 단계를 거친다. 지속해서 가중치가 바뀌는 학습 단계와 달리, 평가 단계에서는 특정 정책의 완주율, 충돌 빈도, 넘어짐, 진행 불가 상황 등을 체계적으로 기록하고 주행 영상을 분석해 환경 및 훈련 설정을 보완한다.

가상 환경에서 훈련된 정책을 실제 물리 로봇에 탑재할 때 발생하는 가상과 현실 간의 성능 격차를 줄이기 위한 방안도 마련되었다. 아이작 랩은 서보 모터의 명령 지연, 구동계의 기계적 유격인 백래시, 배터리 전압 강하 등을 실제 수치와 맞추는 향상된 액추에이터 모델을 지원한다. 아울러 센서 노이즈와 물리 상수를 일정 범위 내에서 흔들어 주는 도메인 무작위화를 적용해 실제 로봇이 현실 환경에서 겪는 오차에 안정적으로 대응할 수 있도록 유도한다.

개발자 영향과 적용 한계

이번 워크플로는 복잡한 가상 환경 구축과 3D 자산 모델링 과정을 AI 에이전트로 자동화하여 개발자가 로봇 제어 논리와 강화 학습 보상 설계에 집중할 수 있도록 돕는다. 자연어 지시를 통해 CAD 모델링 도구와 물리 시뮬레이터를 자동으로 조율할 수 있다는 점에서 다양한 보행 및 조작 로봇 환경 구축에 응용될 수 있다.

다만 본 발표는 가상 환경 내 자산 생성, 시뮬레이션 조립, 정책 학습 및 검증까지의 단계에 초점을 맞추고 있으며 상세한 물리 하드웨어 배포 과정은 다루지 않았다. 정밀하게 보정된 시뮬레이션을 거치더라도 실제 하드웨어의 지면 마찰 특성, 센서 측정 편차, 제어 타이밍에서 차이가 발생할 수 있으므로 최종 배포를 위해서는 실물 로봇 기반의 추가 테스트와 보정 작업이 수반되어야 한다.