엔비디아, 로봇 정밀 조작과 에이전틱 로보틱스 지원 오픈소스 기술 공개

로봇 정밀 조작 기술 발표

엔비디아가 미국 텍사스 오스틴에서 열린 로봇 학습 학술대회(CoRL)에서 미세 조작과 에이전틱 로보틱스를 지원하는 개방형 로봇 기술군을 발표했다. 이번 발표에는 파운데이션 모델인 그루트 2(GR00T 2)와 시뮬레이션 프레임워크인 아이작 랩 3.0, 새로운 물리 엔진 연동 기술 및 산업용 평가 기준이 대거 포함되었다. 이동성 중심 연구에서 기어 정렬이나 케이블 연결과 같은 정밀 조작 작업으로 로봇 연구의 중심축이 이동하는 흐름을 반영한 조치다.

그동안 로봇 시뮬레이션은 보행이나 주행 같은 이동 능력 검증에 주로 집중되었으나, 점차 작은 부품 조립이나 섬세한 접촉이 요구되는 환경으로 연구 영역이 확장되고 있다. 여기에 첨단 에이전트가 물리 로봇 시스템을 제어하는 해석 가능한 코드를 생성하는 에이전틱 로보틱스 패러다임이 결합하면서 정밀도와 자율성을 함께 확보하려는 시도가 본격화되었다. 연구진은 복잡한 작업을 훈련하고 가변적인 조건에서 성능을 평가하며 실패 사례를 통해 학습을 보완하는 체계를 필요로 하고 있다.

정밀 조작 모델과 시뮬레이션

엔비디아 코스모스를 기반으로 구축된 오픈 프론티어 월드 액션 모델 그루트 2는 10만 시간 분량의 인간 1인칭 시점 오픈소스 데이터를 포함한 다양한 로봇과 인간 데이터를 사전 학습했다. 이 모델은 과제별 시연 데이터 없이도 50개 평가 과제 중 40개를 최소 한 번 이상 성공적으로 완수하는 초기 성능을 보였다. 과제당 단 한 번의 시연만으로도 평균 71%의 성공률을 기록했으며, 시연 횟수를 다섯 번으로 늘렸을 때는 성공률이 95%까지 상승했다. 인공지능 에이전트는 제공되는 프로그래밍 인터페이스와 보조 도구를 활용해 여러 기술을 순차적으로 실행하고 오류 발생 시 스스로 복구할 수 있다.

아이작 랩 3.0은 오픈소스 물리 엔진인 뉴턴과의 긴밀한 연동을 통해 케이블이나 천 같은 변형체, 다관절 로봇 손의 정밀한 물리적 상호작용을 계산할 수 있도록 개선되었다. 시각 기반 미세 조작 벤치마크 환경에서 뉴턴을 결합한 아이작 랩 3.0은 기존 버전 대비 최대 2.5배 높은 훈련 처리량을 달성했다. 또한 성공 유도 샘플링 기법을 적용해 성공률이 50% 안팎인 미숙련 과제에 훈련 자원을 집중함으로써 100만 개 이상의 대규모 병렬 환경으로 시뮬레이션을 확장할 수 있게 지원한다. 표준 조립 작업판을 다루는 알파엔아이에스티는 단일 정책으로 20개 정밀 조작 과제에서 98% 이상의 훈련 성공률을 기록했으며, 과제별 개별 정책 대비 그래픽 처리 장치 소모 시간을 약 39배 단축했다.

에이전틱 작업 흐름과 평가 기준

복잡한 다단계 작업을 안정적으로 수행하기 위해 에이전트가 개별 기술을 로봇 프로그램으로 엮어내는 정책 그래프(Graph-as-Policy) 프레임워크가 도입되었다. 에이전트는 시뮬레이션 환경에서 생성한 프로그램을 가상으로 시험하고 실패 원인을 분석하여 프로그램을 지속해서 개선하며, 엔지니어는 배포 전에 사람이 검증할 수 있는 형태의 코드를 확인할 수 있다. 데이터 수집 단계에서는 인간의 동작 영상을 가상 로봇 시연 데이터로 변환하는 비디오 투 데이터 워크플로와 3차원 손 동작을 복원하는 개방형 에고핸드 모델이 함께 제공되어 데이터 확보 부담을 줄인다.

대규모 정책 평가 프레임워크인 아이작 랩-아레나 0.4 개발자 프리뷰와 함께 덱스벤치, 바바(VABAR) 등 산업용 평가 벤치마크가 공개되었다. 덱스벤치는 유통, 물류, 제조, 접객 등 4개 영역 15개 과제를 대상으로 물체와 공간, 물리적 조건 변화에 대응하는 로봇의 적응력을 측정하며 전용 평가 플랫폼에서 별도 설정 없이 즉시 구동할 수 있다. 6개 산업 과제를 난이도별로 표준화해 평가하는 바바를 비롯한 신규 프레임워크는 실제 작업 환경에서 발생할 수 있는 실패 요인을 정량적으로 분석하도록 돕는다.

산업계 적용 현황과 운용 한계

이번에 공개된 기술들은 폭스콘의 서버 제조 공장 자동화, 넥스유니의 로봇 기반 세탁물 분류, 지멘스의 산업 공정 등 다양한 제조 및 물류 현장에서 실제 검증 단계에 진입했다. 마이크로에이지아이는 강화학습으로 사후 훈련된 그루트 2 모델과 로봇 팔을 활용해 시뮬레이션에서 가상 환경 생성과 보정을 자동화하고 이더넷 케이블을 교체하는 시연을 진행했다. 학계와 기업 연구진은 실제 물리적 하드웨어가 준비되기 전 가상 환경에서 사전 학습을 진행함으로써 개발 기간을 단축하고 위험 비용을 절감하고 있다.

다만 새로운 기술군을 실제 현장에 완전히 안착시키기 위해서는 여전히 충족해야 할 조건과 한계가 존재한다. 그루트 2는 사전 시연 없이도 기본 동작이 가능하지만 95% 이상의 높은 신뢰도를 확보하려면 과제당 최소 5회 이상의 시연 데이터 확보와 사후 강화학습 과정이 뒷받침되어야 한다. 아울러 평가 프레임워크와 일부 핵심 기능은 현재 개발자 프리뷰 및 조기 접근 형태로 제공되고 있어, 대규모 산업 현장에 즉시 전면 배치하기보다는 시뮬레이션 기반의 단계적 검증과 세부 튜닝을 거쳐야 한다.