엔비디아, DGX 스파크 기반 텐서RT 엣지-LLM 모델 구동 및 가속 방식 공개

엣지 AI 개발을 위한 추론 환경

엔비디아가 임베디드 및 엣지 장치용 인공지능 개발을 지원하기 위해 경량 C++ 추론 런타임인 텐서RT 엣지-LLM(TensorRT Edge-LLM)과 64기가바이트 메모리를 갖춘 DGX 스파크(DGX Spark) 환경을 연계한 개발 방식을 공개했다. 개발자는 전용 명령줄 도구를 활용해 복잡한 시스템 설정 없이 텍스트 전용 언어 모델인 네모트론 3.5 라이트닝(Nemotron-3.5 Lightning)을 내려받고 최적화 엔진을 구축할 수 있다. 전문을 검토한 결과, 해당 도구는 모델 다운로드와 엔진 빌드를 일원화하여 개발자가 터미널 환경에서 즉각 추론을 검증하도록 지원한다.

데이터센터를 넘어 차량 내 운전자 모니터링, 산업용 로봇의 작업 계획, 생산 설비 자동화 등 물리적 인공지능 수요가 늘어남에 따라 엣지 장치의 제한된 전력과 메모리 한계를 극복할 개발 플랫폼의 필요성이 대두되었다. 이번에 제시된 환경은 개발 단계의 DGX 스파크에서 최적화한 추론 엔진을 젯슨 토르, 드라이브 AGX 토르, IGX 토르와 같은 다양한 엣지 플랫폼에 그대로 이식할 수 있도록 동일한 추론 프레임워크를 제공하는 것이 특징이다.

로컬 API 서버와 모델 배포

개발 환경 구성을 위해서는 DGX 스파크 장비와 엔비디아 쿠다 13(CUDA 13), 텐서RT 10.x 계열 중 10.16.1.11 이상의 소프트웨어 스택과 파이썬 3.10에서 3.12 버전이 요구된다. 전용 명령줄 도구를 실행하면 약 21기가바이트 크기의 네모트론 모델 파일을 내려받고 시스템에 맞춘 추론 엔진을 빌드하여 사용자 기본 캐시 디렉터리에 저장한다. 한 번 생성된 엔진은 캐시에 유지되어 이후 재실행 시 별도의 빌드 과정 없이 즉시 대화형 프롬프트를 띄운다.

터미널 기반 대화 확인에 그치지 않고 로컬 환경에서 오픈AI 규격과 호환되는 응용프로그램 인터페이스 서버를 구동할 수 있다. 전용 명령줄 도구에 호스트 주소와 포트 번호를 지정하여 서버를 실행하면 외부 애플리케이션 프로토타이핑을 위한 대화형 완성 서비스가 활성화된다. 클라이언트는 스트리밍 방식을 통해 실시간으로 생성되는 토큰을 전달받으며, 온도값이나 최대 생성 토큰 수 등의 제어 변수를 함께 전달할 수 있다.

추측 디코딩과 처리 속도 향상

생성 속도를 극대화하기 위해 디스파크(DSpark) 추측 디코딩(Speculative Decoding) 기법이 지원된다. 이 방식은 메인 모델보다 작은 초안 모델이 한 번에 복수의 초안 토큰을 제안하고 메인 모델이 단일 연산 과정에서 이를 검증하여 처리 효율을 높인다. 서버 실행 옵션에서 초안 토큰 수를 세 개로 설정하고 추측 디코딩 모델을 연결하면 기존 생성 파이프라인의 구조를 유지한 채 생성 처리량을 크게 높일 수 있다.

우분투 24.04.4 장기 지원 버전을 기반으로 하는 DGX OS 7.6.0 운영체제와 NVFP4 정밀도 환경에서 진행된 측정 결과, 디스파크 추측 디코딩 적용 시 토큰 생성 속도가 대폭 향상되었다. 입력 길이가 평균 1,153토큰인 벤치마크에서는 초당 73.3토큰에서 108.5토큰으로 증가했고, 2,247토큰 입력에서는 초당 72.8토큰에서 105.3토큰으로 개선되었다. 평균 139토큰의 짧은 입력에서는 초당 73.4토큰에서 126.9토큰까지 상승했으며, 첫 토큰 도달 시간은 추측 디코딩 적용 여부와 관계없이 98밀리초에서 331밀리초 수준을 유지했다.

자원 점유율 측정과 적용 한계

높은 추론 처리량을 기록하는 동안에도 메모리 사용량은 엣지 하드웨어의 허용 한도 내로 억제되었다. 디스파크 추측 디코딩을 활성화하고 사고 과정을 켜둔 상태의 단일 배치 스트리밍 추론 조건에서 운영체제를 포함한 시스템 전체 피크 메모리 점유율은 27.9기가바이트를 기록했다. 이는 64기가바이트 용량을 갖춘 DGX 스파크 환경의 절반 이하에 해당하는 수치로, 복합 에이전트 시스템을 동시 실행할 여유 자원을 확보할 수 있음을 보여준다.

다만 해당 벤치마크 결과는 배치 크기 1과 단일 동시 스트리밍 요청, 최대 128개의 출력 토큰 제한이라는 특정 조건에서 도출된 수치라는 한계가 있다. 또한 본 튜토리얼에서 직접 다룬 대상은 텍스트 전용 언어 모델에 한정되며, 시각 언어 모델이나 음성 인식 및 음성 합성 모델을 탑재하기 위해서는 각 엣지 대상 하드웨어별 전용 워크플로와 제약 사항을 별도로 검토해야 한다.