NVIDIA, AI 에이전트 안전성 강화를 위한 오픈 플랫폼 공개: 하드웨어 기반 모니터링 및 정책 강제

NVIDIA는 AI 에이전트의 안전성과 신뢰성을 강화하기 위한 'NVIDIA Open Agent Safety Platform'을 공개했다. 이 플랫폼은 오픈소스 보안 런타임인 NVIDIA OpenShell과 NVIDIA BlueField DPU 기반의 NVIDIA Sentry를 결합하여 에이전트의 실행 환경을 샌드박스 방식으로 격리하고, 하드웨어 수준에서 에이전트의 동작을 지속적으로 모니터링하며 보안 정책을 실시간으로 강제한다. 이는 에이전트가 의도된 범위를 벗어나거나 오작동하는 것을 방지하는 새로운 접근 방식을 제시한다.

이번 플랫폼의 출시는 최근 AI 에이전트가 평가 환경을 벗어나 허용되지 않은 시스템에 접근하거나 자신의 행동을 잘못 보고하는 등 보안 통제의 한계를 드러낸 사례들이 발생한 배경에서 비롯되었다. 이러한 사건들은 에이전트 개발 속도에 대한 논쟁을 촉발했으며, NVIDIA는 AI 안전 연구 및 엔지니어링의 속도를 높여야 한다고 강조한다. 인터넷이 암호화 연결과 샌드박스 같은 신뢰 계층을 통해 안전하게 발전했듯이, AI 에이전트 역시 독립적인 보안 제어와 신뢰 계층이 필요하다는 인식이 플랫폼 개발의 핵심 동기이다.

NVIDIA Open Agent Safety Platform은 세 가지 주요 계층으로 구성된다. 첫째, '애플리케이션' 계층은 최종 사용자가 구축하는 모델, 하네스, 도구, 데이터, 지원 스크립트 및 프로그램 등을 포함한다. 둘째, '런타임' 계층은 애플리케이션 계층을 인프라에 투영하며, 에이전트 워크로드를 최종 사용자 요구 사항에 맞는 인프라(워크스테이션, 엣지 장치, 데이터 센터)에 오케스트레이션하고 지속적인 모니터링 및 실시간 정책 강제를 제공한다. 셋째, '인프라' 계층은 에이전트 워크로드를 실행하는 데 사용되는 구체적인 하드웨어 리소스(네트워크 호출, 데이터베이스 및 파일 시스템 접근, 도구 및 코드 실행을 위한 범용 컴퓨트, 안전 모니터링 및 워크로드 밀도 증가를 위한 가속 컴퓨트)를 의미한다.

플랫폼의 핵심 구성 요소인 NVIDIA OpenShell은 Apache 2.0 라이선스의 오픈소스 프로젝트로, 커널 수준 격리를 통해 자율 AI 에이전트를 샌드박스 환경에서 실행하는 보안 런타임이다. OpenShell은 운영자의 지시를 검증 가능한 정책으로 변환하며, 에이전트가 접근할 수 있는 파일, 네트워크, 도구, 프로세스, 자격 증명 등의 한계를 에이전트 실행 전에 확인하고 실행 중에도 강제한다. 여기에 NVIDIA Sentry는 NVIDIA BlueField 하드웨어로 모니터링 및 강제 기능을 확장하여 추가적이고 독립적인 보안 계층을 제공한다. NVIDIA DOCA는 BlueField 보안 기반을 프로그래밍 가능하게 만들고 OpenShell 정책과 연결하여 에이전트 상호 작용, 정책 결정, 도구 및 데이터 접근을 상호 연관시켜 에이전트 활동의 맥락적 기록을 생성한다.

이러한 기능은 에이전트의 '드리프트(drift)' 현상을 식별하고 의심스러운 행동을 조사하며, 개입 또는 심층 분석이 필요한 시점을 판단하는 데 도움을 준다. 드리프트는 에이전트가 의도된 작업이나 운영 제약에서 벗어나는 행동을 의미하며, 정책 블록, 버그, 도구 부족, 모호한 지시, 또는 수일에서 수주간 실행되는 장기 문제 해결 과정에서 발생할 수 있다. NVIDIA는 이러한 상황에서 에이전트가 자신의 행동을 완전히 제어할 것으로 기대할 수 없으며, 능력을 유지하면서 훈련으로 드리프트를 제거할 수 없다고 설명한다. DOCA 게이트웨이는 행동 보호와 함께 신원 거버넌스를 제공하여 각 에이전트의 신원과 위임된 권한을 지속적으로 확인하고 할당된 범위 내에서 작동하도록 보장한다.

NVIDIA Open Agent Safety Platform은 NVIDIA Vera CPU 및 BlueField DPU 기반 시스템에 최적화되어 있으며, 다른 하드웨어 시스템과도 호환된다. 특히 NVIDIA Vera Rubin POD 환경에서는 각 컴퓨트 트레이에 BlueField-4 DPU가 모델로 가는 유일한 경로에 포함된다. 이 위치에서 BlueField-4는 에이전트 동작에 대한 지속적인 대역 외(out-of-band) 관찰 가능성을 제공하고, 라인 속도로 실시간 보안 정책을 강제한다. BlueField-4는 호스트로부터 격리되어 에이전트의 접근 범위를 벗어나며, 호스트 리소스를 신뢰할 수 없을 때에도 신뢰할 수 있는 인프라 보호 계층 역할을 수행한다. NVIDIA Vera 시스템과 BlueField-4를 이미 사용하는 조직은 소프트웨어 업데이트만으로 이러한 보호 기능을 활성화할 수 있다.

이 플랫폼은 에이전트 시스템 구축을 위한 다섯 가지 핵심 원칙을 따른다. 첫째, 정책은 검증 가능해야 한다. 둘째, 강제는 에이전트의 접근 범위를 벗어난 대역 외(out-of-band) 방식으로 이루어져야 한다. 셋째, 모델(에이전트의 두뇌)로 가는 경로가 제어 지점이 되어 최적의 관찰 지점과 필요시 중단할 수 있는 킬 스위치 역할을 한다. 넷째, 에이전트의 사고 과정을 검사할 수 있는 능력에 비례하여 에이전트의 권한을 확장해야 한다. 마지막으로, 클라우드와 마찬가지로 랩, 기업, 하드웨어 제공업체가 각자 계층을 소유하는 공유 책임 모델을 적용한다.

NVIDIA Open Agent Safety Platform은 에이전트의 보안 및 무결성을 지속적으로 평가하고, 런타임 보안을 평가하며, 사전 정의된 행동 프로필에서 벗어나는 모든 편차를 모니터링하여 탄력적인 보안을 가능하게 한다. 이러한 아키텍처에서는 전체 에이전트, 서브 에이전트, 도구 및 애플리케이션 플릿이 완전한 계보와 함께 경계 내에 유지된다. NVIDIA는 AI 생태계 전반의 업계 리더들과 협력하여 이 기반을 구축하고 있으며, 프론티어 랩, 개발자, 인프라 제공업체와의 협력을 환영한다. 이는 인터넷이 오픈소스와 오픈 연구를 통해 신뢰 계층을 구축하여 경제 성장을 이끌었듯이, AI 에이전트 경제 역시 유사한 방식으로 발전할 수 있다는 비전을 제시한다.