엔비디아, Cosmos 3 오픈 모델 공개로 상호작용형 월드 시뮬레이션 강화

새로운 오픈 모델 공개

엔비디아는 Cosmos 3 월드 모델 개발 플랫폼에 Cosmos 3 Nano 모델 제품군의 새로운 오픈 가중치 체크포인트 네 가지를 추가했다. 이 모델들은 상호작용형 월드 시뮬레이션과 다중 센서 다중 뷰 운전 장면 생성을 목표로 한다. 공개된 모델은 Cosmos3-Nano-Transfer-Auto, Cosmos3-Nano-Sim-Auto, Cosmos3-Nano-Sim-Transfer, Cosmos3-Nano-Sim-Bimanual이다.

각 모델은 Cosmos 3 Nano의 후속 학습(post-trained) 예시이며, 160억 개의 학습 가능한 파라미터를 가진다. 이 모델들은 OpenMDW1.1 라이선스 하에 상업적 및 비상업적 사용이 허용되어, 광범위한 연구 및 개발 커뮤니티에서 활용될 수 있다.

시뮬레이션 환경의 발전 필요성

로봇 공학 분야에서는 변화하는 장면과 시점에서 환경에 반응할 수 있는 시뮬레이션 환경이 필수적이다. Sim-Bimanual 모델은 동작에 따른 시각적 결과를 예측하며, Sim-Transfer 모델은 물리 시뮬레이터의 제어를 생성된 관측으로 변환하여 이러한 요구를 충족한다.

자율주행 분야에서는 외형과 기하학적 구조의 일치가 중요하며, 동기화된 카메라 및 LiDAR 생성이 시각적 관측과 3D 센싱을 연결한다. 장면 및 교통 신호 제어를 통해 연구자들은 도로 레이아웃과 신호 상태를 다양하게 변경하고 운전 정책의 반응을 연구할 수 있다.

각 관측이 다음 동작을 형성할 수 있도록 스트리밍 생성이 비디오 예측을 지속적인 상호작용에 연결한다. 이를 통해 월드 모델 연구자들은 동작과 관측이 함께 전개되는 방식을 탐색할 수 있다. 엔비디아는 연구자와 개발자가 더 풍부하고 반응성이 뛰어난 시뮬레이션 세계를 만들 수 있도록 돕는다는 비전을 가지고 있으며, 오픈 가중치와 후속 학습 레시피는 모델을 조정하고, 방법을 비교하며, 개선에 기여할 수 있는 공유된 시작점을 제공한다.

각 모델의 핵심 기능

**Cosmos3-Nano-Transfer-Auto**는 오프라인 합성 운전 데이터 생성을 위한 양방향 모델이다. 최대 11개 카메라 뷰(어안 렌즈 포함)에 걸쳐 동기화된 비디오를 생성하며, RGB-LiDAR 공동 생성을 지원한다. World Scenario Map (WSM) 제어로 장면 구조와 교통 움직임을 지정하고, 텍스트 프롬프트로 외형을 조절한다. 초기 RGB 이미지를 선택적으로 사용하여 장면 외형을 고정할 수 있으며, LiDAR 생성에는 정렬된 HD-map 범위 제어가 사용된다.

**Cosmos3-Nano-Sim-Auto**는 Transfer-Auto의 인과적으로 증류된 스트리밍 변형이다. 몇 단계의 노이즈 제거를 통해 동기화된 카메라 비디오와 LiDAR의 연속적인 작은 청크를 생성한다. 생성된 이력과 업데이트된 운전 제어를 사용하여 빠른 스트리밍과 긴 상호작용 롤아웃을 지원한다.

**Cosmos3-Nano-Sim-Transfer**는 시뮬레이터의 공간 제어와 텍스트 프롬프트를 사용하여 정책이 소비할 수 있는 컬러 관측(RGB)을 렌더링한다. 깊이(Depth), 분할(Segmentation), 가장자리(Edges), 블러(Blur)와 같은 제어를 통해 시각적 요소를 조작하며, 물리 및 실제 상태는 시뮬레이터에 유지된다.

**Cosmos3-Nano-Sim-Bimanual**은 양팔 로봇의 동작에 반응하여 환경이 어떻게 진화하는지 시뮬레이션한다. YAM 및 AgiBot 로봇을 위한 상호작용형 양팔 시뮬레이션을 지원하며, 정책 또는 인간 조이스틱으로 제어할 수 있다. 이미지에서 시작하여 로봇 또는 카메라를 움직여 다음 관측을 생성한다. 혼합 동작 예시에서는 59개의 제어 값을 사용하며, 학습 중에는 64개로 패딩된다.

스트리밍 생성 방식 및 학습 과정

Cosmos 3의 Mixture-of-Transformers 백본은 텍스트 처리 및 시각 생성 네트워크를 어텐션(attention)을 통해 연결한다. 생성기는 프롬프트, 사용 가능한 제어 및 생성된 이력으로부터 각 짧은 세그먼트를 예측한다. 노이즈 제거는 노이즈가 많고 압축된 비디오 표현을 세그먼트로 정제한다. 시간적 인과 어텐션은 사용 가능한 이력과 제어를 읽으면서 미래의 목표 관측을 차단하며, 키/값 캐시는 다음 예측을 위한 어텐션 정보를 유지한다.

모델은 잠재(latents)라고 불리는 압축된 비디오 표현으로 작동한다. 초기 이미지 이후 각 잠재 시간 단계는 4개의 RGB 프레임을 나타낸다. Transfer 모델은 청크당 한 단계를 예측하며, 최적화된 Bimanual 설정은 두 단계를 예측한다. 더 작은 청크는 새로운 제어가 생성에 더 자주 영향을 미치도록 한다.

모델 학습은 네 단계로 구성된다. 0단계는 양방향 적응으로, 기록된 클립에서 도메인 및 제어-대-비디오 관계를 학습한다. 1단계는 교사 강제(Teacher forcing)로, 이전 기록된 관측 및 사용 가능한 제어로부터 청크를 예측한다. 2단계는 일관성 증류(Consistency distillation)로, 고정된 교사를 사용하여 4단계 노이즈 제거로 청크를 생성하는 학생 모델을 학습한다. 마지막 3단계는 자기 강제(Self-forcing)로, 학생 모델이 생성한 이력으로 학습한다. 이는 약간 잘못 예측된 객체가 나중 프레임의 컨텍스트가 되어 오류가 누적될 수 있는 문제를 해결하는 데 중요하다.

개발자 활용 및 이점

개발자들은 이 모델들을 통해 자율주행 시스템 및 로봇 공학을 위한 고품질의 합성 데이터를 효율적으로 생성할 수 있다. Transfer-Auto는 사용자 정의 센서 장비 및 운전 도메인에 맞게 Cosmos를 조정하는 기반 역할을 한다. 개발자는 자신의 데이터로 후속 학습을 수행하여 카메라 레이아웃, LiDAR 구성 및 대상 환경에 맞게 모델을 조정할 수 있다.

Sim-Auto는 Transfer-Auto를 기반으로 빠른 스트리밍 시뮬레이션을 위한 인과 학습 및 증류 과정을 거쳐 개발된다. Sim-Transfer는 시뮬레이터의 물리적 계산을 활용하여 사실적인 시각적 관측을 생성함으로써 정책 개발을 지원한다. Sim-Bimanual은 로봇 동작에 따른 환경 변화를 예측하여 로봇 제어 정책 개발 및 테스트에 유용하다.

오픈 가중치와 후속 학습 레시피는 연구자들이 모델을 쉽게 채택하고, 다양한 방법을 비교하며, 개선 사항을 기여할 수 있는 공유된 기반을 제공한다.

적용 조건 및 향후 과제

모델의 후속 학습(post-training) 레시피는 Cosmos3-Nano 또는 호환 가능한 기본 가중치에서 시작하며, 네 가지 학습 단계를 모두 포함한다. Sim-Auto의 폐쇄 루프 상호작용을 위해서는 시뮬레이션 런타임과 WSM 렌더러가 운전 입력으로부터 제어를 업데이트해야 한다. 새로운 센서 장비나 도메인에 적용하려면 Transfer-Auto를 먼저 조정하고, 그 다음 Sim-Auto로 증류해야 한다.

이 모델들을 사용하기 위한 요구 사항으로는 Linux 운영 체제, NVIDIA GPU, Docker, 그리고 NVIDIA Container Toolkit이 있다. vLLM-Omni 설정은 GB200 GPU 한 대에서 테스트되었으나, 이는 최소 메모리 사양은 아니다. 서버는 가중치를 다운로드하고 클라이언트는 샘플 입력을 가져온다.

엔비디아는 이 모델들이 정책 학습 및 평가를 얼마나 충실하게 지원하는지 측정하고, 한계를 이해하며, 부족한 부분을 개선하는 것이 앞으로의 과제라고 밝힌다.