5단계 워크플로우로 로봇 시뮬레이션용 SimReady 자산 생성 지원

무엇이 어떻게 달라졌는가

엔비디아는 프론티어 AI 모델과 엔비디아 옴니버스(NVIDIA Omniverse) 도구를 활용하여 로봇 시뮬레이션에 필요한 SimReady 자산을 생성하고 검증하는 5단계 워크플로우를 공개했다. 이 워크플로우는 CAD 자산을 OpenUSD 형식으로 변환하는 것부터 시작하여, 재료, 충돌 지오메트리, 조인트 및 기타 물리 속성을 구성하고 검증하는 과정을 포함한다. 이를 통해 개발자는 시뮬레이션 환경에서 로봇 동작을 테스트하기 위한 준비 작업을 간소화할 수 있다.

특히 GPT-6 Astra와 같은 프론티어 AI 모델이 참조 자료를 해석하고 옴니버스 도구를 호출하여 개발자를 지원함으로써, 자산 준비에 필요한 수동 작업을 크게 줄이는 것이 핵심적인 변화이다. 이 과정은 STEP 파일 변환, 외관 검증, 물리 속성 구성, SimReady 검증, 그리고 엔비디아 아이작 심(NVIDIA Isaac Sim)에서 양팔과 그리퍼를 사용한 최종 픽앤플레이스(pick-and-place) 작업으로 구성된다.

변화의 배경과 맥락

로봇 시뮬레이션용 CAD 자산을 준비하는 과정은 단순히 지오메트리를 OpenUSD로 변환하는 것을 넘어선다. 개발자는 시뮬레이션에서 로봇이 올바르게 작동하도록 재료, 충돌 지오메트리, 조인트 및 기타 물리 속성을 정확하게 구성하고 검증해야 한다. 예를 들어, 충돌 지오메트리가 없으면 객체가 그리퍼를 통과할 수 있고, 잘못된 조인트는 협응 동작을 방해할 수 있어 시뮬레이션 실패로 이어진다.

SimReady는 특정 시뮬레이션 사용 사례를 위한 OpenUSD 자산 준비 요구사항을 정의하는 표준이다. 개발자는 의도된 사용 목적에 맞는 SimReady 프로파일을 선택하고, 자산이 해당 요구사항을 충족하는지 검증한다. 이 프로파일별 검사는 자산의 구조, 재료, 물리 속성을 확인하고, 문제가 발견되면 개발자가 수정하고 재확인하도록 플래그를 지정한다.

이 워크플로우는 OpenUSD, SimReady Foundation, 엔비디아 옴니버스 라이브러리, 엔비디아 아이작 심, 그리고 엔비디아 옴니버스 AI 에이전트 스킬 등 여러 기술과 도구의 지원을 받는다. OpenUSD는 지오메트리, 어셈블리 구조, 재료, 시뮬레이션 속성을 공통 자산 표현으로 통합하며, SimReady Foundation은 자산 준비를 위한 사양과 검증 지침을 제공한다.

구체적인 워크플로우 내용

워크플로우는 ABB 로보틱스 유미(YuMi) 로봇을 예시로 5단계로 진행된다. 첫 번째 단계는 로봇의 STEP 파일을 OpenUSD로 변환하고 아이작 심으로 가져오는 것이다. 이 과정에서 CAD-to-SimReady 스킬이 변환을 안내하며, 양쪽 그리퍼가 로봇 팔의 올바른 장착 지점에 배치된다. 입력으로는 YuMi 로봇 STEP 파일, ABB 로보틱스의 참조 이미지 및 비디오, SimReady Foundation 사양 저장소, CAD-to-SimReady 스킬이 사용된다.

두 번째 단계에서는 가져온 로봇의 시각적 외관을 검사하여 예상되는 재료와 텍스처가 올바르게 로드되었는지 확인한다. 개발자는 제공된 ABB 이미지 및 비디오와 비교하여 자산의 스케일, 방향, 부품 배치를 점검하고, AI 에이전트에게 참조 자료를 사용하여 재료와 텍스처를 추가하거나 수정하도록 요청한다. 에이전트는 색상, 금속성 반응, 거칠기를 조정하여 시각적 일치를 시도한다.

세 번째 단계는 물리 속성을 구성하는 것으로, OpenUSD 자산에 조인트, 강체, 충돌 지오메트리를 설정한다. 에이전트는 데이터시트를 활용하여 조인트 범위와 속도 제한을 실제 로봇과 일치시킨다. 제조사 데이터가 불완전할 경우, 에이전트는 누락된 매개변수를 식별하고 기술 매뉴얼이나 URDF 로봇 설명을 확인하여 질량 속성을 추정할 수 있다. 이 단계에서는 조인트 정의, 축 및 제한, 질량 및 관성, 충돌 지오메트리, 베이스 장착, 그리퍼 동작 등을 검증한다.

네 번째 단계에서는 로봇의 OpenUSD 자산을 의도된 시뮬레이션 작업에 대한 SimReady 요구사항에 따라 검증한다. 에이전트에게 SimReady Foundation 검사를 실행하고 결과를 검토하며 필요에 따라 자산을 수정하도록 지시한다. 이 검사는 YuMi 자산의 단위, 자산 종속성, 지오메트리, 재료, 강체, 조인트, 드라이브, 관절 등을 SimReady Foundation 요구사항에 대해 확인한다. 또한 아이작 심 자산 검사를 통해 스케일, 방향, 부품 배치, 그리퍼 장착, 재료 적용 범위, 텍스처 종속성 등을 확인한다.

마지막 다섯 번째 단계는 시각, 물리, SimReady 검사를 픽앤플레이스 작업과 결합하여 아이작 심에서 최종 검증을 실행하는 것이다. 예시로 큐브 픽앤플레이스 작업에서는 에이전트가 색상 타겟과 상자를 테스트 장면에 추가하고, 로봇이 큐브를 잡고, 들어 올리고, 유지하고, 이동하고, 놓는 전체 시퀀스를 수행한다. 다른 예시에서는 참조 이미지에서 생성된 Sharpie 마커를 로봇이 집어 드는 작업을 시뮬레이션하여, 이미지 기반 객체에 대한 픽앤플레이스 기능도 시연한다.

개발자 및 사용자에게 미치는 영향

이 워크플로우는 개발자가 CAD 파일과 참조 자료를 시뮬레이션에서 직접 구성, 검증, 테스트할 수 있는 SimReady 자산으로 효율적으로 변환할 수 있도록 지원한다. 프론티어 AI 모델의 활용은 자산 준비 과정에서 발생하는 복잡하고 반복적인 수동 작업을 자동화하여 개발자의 작업 부담을 줄이고 생산성을 향상시키는 데 기여한다.

SimReady Foundation과 엔비디아 옴니버스 도구를 활용함으로써, 개발자는 로봇 시뮬레이션 작업을 위한 자산을 표준화된 방식으로 준비할 수 있다. 이는 시뮬레이션 결과의 신뢰성을 높이고, 다양한 로봇 시스템 및 시뮬레이션 환경 간의 호환성을 개선하는 데 도움이 된다.

이 접근 방식은 ABB 로보틱스 YuMi 로봇 외에도 다른 로봇 시스템이나 다양한 프론티어 AI 모델에 적용될 수 있다. 개발자는 필요한 도구와 스킬에 접근하고, 관련 참조 자료를 제공하며, 자산 및 작업 검증 과정을 반복함으로써 자신들의 특정 요구사항에 맞춰 워크플로우를 조정할 수 있다.

적용 조건 및 한계

이 워크플로우의 시뮬레이션 과정에는 몇 가지 가정이 포함된다. 예를 들어, 시각적 외관 일치 단계에서 에이전트는 CAD 지오메트리와 장착 변환을 보존하면서 색상, 금속성 반응, 거칠기를 조정하여 재료를 시각적으로 일치시키지만, 이는 측정된 재료 재구성이나 AI 생성 텍스처 없이 시각적 추정치에 기반한다.

물리 속성 구성 단계에서는 조인트 구성이 공개 URDF에서 식별되고, 링크별 질량은 STEP 지오메트리 볼륨에서 추정되며, 질량 중심 및 관성은 균일 밀도 가정하에 계산된다. 접촉 속성은 정적 마찰 0.8, 동적 마찰 0.6, 복원력 0으로 가정하며, 이러한 매개변수는 물리적 YuMi 측정값과 보정되지 않았다.

SimReady 속성 검증은 시뮬레이션 구현을 검증하지만, 실제 로봇 역학 또는 모든 가능한 자세에서의 충돌 안전성과의 일치를 확립하지는 않는다. 최종 픽앤플레이스 작업에서도 접촉 마찰 계수는 가정치이며, Sharpie 마커의 치수와 질량은 에이전트가 추정하는 등 시뮬레이션 가정에 따라 결과가 달라질 수 있다.

전반적으로, 이 워크플로우의 결과는 사용된 프론티어 AI 모델, 추론 노력, 그리고 사용된 프롬프트에 따라 달라질 수 있다. 또한, 카메라 기반 인지 기능은 현재 워크플로우에 포함되지 않으며, 별도의 워크플로우에서 추가될 수 있는 한계가 있다.