NVIDIA, AI 에이전트로 아파치 스파크 UDF GPU 가속화 지원

스파크 UDF GPU 가속화

엔비디아는 아파치 스파크(Apache Spark)용 cuDF 플러그인에 AI 에이전트를 활용한 사용자 정의 함수(UDF) 재작성 기능을 도입한다. 이 새로운 접근 방식은 기존 CPU 기반 UDF를 GPU 가속화에 적합한 형태로 자동 변환하여 데이터 처리 성능을 크게 향상하는 것을 목표로 한다. 특히, 이 기능은 UDF로 인해 발생하던 성능 병목 현상을 해결하고, 개발자가 수동으로 코드를 재작성하는 데 드는 시간과 노력을 절감한다.

엔터프라이즈 애플리케이션의 데이터 처리 요구사항이 증가하면서, 방대한 양의 데이터를 빈번하고 복잡하게 질의하는 작업이 늘어나고 있다. 엔비디아 cuDF는 GPU의 대규모 병렬 처리와 고대역폭 메모리를 활용하여 이러한 데이터 분석 과제를 해결하며, 아파치 스파크에 GPU 가속화를 제공하여 주요 워크로드에서 총소유비용(TCO) 대비 성능을 개선한다.

UDF의 가속화 병목

아파치 스파크는 선언적 프로그래밍 인터페이스를 통해 SQL 및 데이터프레임 추상화를 제공하며, 이는 cuDF 플러그인이 사용자 코드 변경 없이 GPU의 SIMD(Single Instruction, Multiple Data) 기능을 활용하여 행 단위 작업을 병렬화할 수 있도록 한다. 그러나 사용자 정의 로직을 구현하는 데 유용한 UDF는 이러한 선언적 추상화를 깨뜨린다. UDF는 시스템이 추론하거나 일반적인 방식으로 병렬화할 수 없는 임의의 사용자 코드를 포함하기 때문이다.

UDF 실행 시, GPU 가속기는 데이터를 컬럼 형식에서 행 형식으로 변환하고, UDF를 행 단위로 실행하기 위해 CPU로 폴백(fallback)해야 한다. 이 과정에서 데이터 왕복 전송 오버헤드가 발생하며, GPU 가속 프리미티브를 사용했을 때 얻을 수 있는 잠재적인 연산 속도 향상을 포기하게 된다. 결과적으로 UDF는 가속화된 쿼리 파이프라인에서 성능 저하의 주요 원인이 된다.

AI 에이전트 재작성

엔비디아는 UDF의 성능 병목을 해결하기 위해 AI 에이전트를 활용한 재작성 방법을 제시한다. 이 방법은 UDF를 GPU 가속 가능한 형태로 변환하여 가속기 폴백과 관련된 오버헤드를 제거하고, 20배 이상의 속도 향상을 달성할 수 있다. UDF를 재작성하는 세 가지 주요 접근 방식은 SQL, cuDF, 그리고 CUDA이다.

SQL 방식은 가장 추상화 수준이 높고 복잡도가 낮으며, 간단한 관계형 로직에 적합하다. UDF를 동등한 스파크 SQL 표현식으로 대체하여 스파크의 표현식 트리에 노출시키면, cuDF 플러그인이 쿼리 계획 단계에서 해당 표현식을 GPU 구현으로 대체하여 데이터 처리와 실행을 전적으로 GPU에서 수행한다.

cuDF 방식은 중간 수준의 복잡도를 가지며, 실행에 대한 더 많은 유연성과 제어를 제공한다. SQL 프리미티브가 불충분할 경우, cuDF 플러그인이 제공하는 RapidsUDF 인터페이스를 사용하여 UDF가 GPU 컬럼에서 직접 작동할 수 있다. 이 인터페이스는 evaluateColumnar 메서드를 요구하며, GPU 상주 ColumnVector를 받아 cuDF의 자바 API 연산을 조합하여 컬럼을 병렬로 처리한다. 이는 문자열 파싱이나 중첩 타입과 같은 중간 복잡도의 로직에 적합하다.

CUDA 방식은 가장 높은 복잡도를 가지며, 최대의 유연성과 커널 수준의 제어를 제공한다. 기존 cuDF 연산으로 효율적으로 구성하기 어려운 매우 복잡한 로직의 경우, RapidsUDF가 자바 네이티브 인터페이스(JNI)를 통해 사용자 정의 CUDA 커널을 호출할 수 있다. 이는 가장 복잡하거나 성능에 민감한 로직에 활용된다.

에이전트 역할 및 성과

UDF 재작성은 성능 이점에도 불구하고, API 선택, 의미론적 유효성 검사, 성능 측정 등 상당한 엔지니어링 노력이 필요하다. 특히 벡터화 프로그래밍 경험이 적은 개발자에게는 컬럼형 API가 익숙하지 않을 수 있다. AI 에이전트는 이러한 작업에 매우 적합하며, 적절한 안전 장치(guardrails) 하에 익숙하지 않은 API를 탐색하고, 후보 재작성 코드를 구현하며, 실행 가능한 테스트와 성능 측정을 통해 각 변경 사항의 수용 여부를 빠르게 반복할 수 있다.

아파치 스파크용 cuDF 스킬은 재작성 과정을 네 가지 집중적인 피드백 루프로 분해한다. 각 스킬은 수행할 작업과 다음 단계로 진행하기 전에 필요한 증거를 정의한다. 이 스킬들은 테스트, 변환, 벤치마킹, 최적화 단계를 안내하며, 각 단계에서 검증 기반 피드백 루프를 통해 신뢰할 수 있는 에이전트 실행을 보장한다. 또한, cuDF 및 스파크 관련 스캐폴딩(scaffolding)을 포함하는 완전한 프로젝트 템플릿을 제공하여 에이전트가 UDF 자체에 집중할 수 있도록 돕는다.

한 주요 소비재 기술 기업은 이 워크플로우를 사용하여 프로덕션 데이터 파이프라인에서 사용되는 30개 이상의 UDF를 GPU 가속 구현으로 변환했다. 이 재작업은 원본 CPU UDF의 동작을 유지하면서도, GPU 가속 워크로드에서 발생하는 비용이 많이 드는 폴백을 제거했다. 예를 들어, 6천억 행 규모의 워크로드에서 특정 UDF의 연산 시간이 274.55시간에서 12.78시간으로 단축되어 22배의 속도 향상을 기록했다. 이 UDF는 3,000개 이상의 작업에 영향을 미쳤다.

개발자 영향 및 조건

AI 에이전트의 도움으로 이러한 성능 향상은 훨씬 더 쉽게 달성할 수 있으며, 개발자는 정확성을 손상시키지 않으면서도 며칠 또는 몇 주가 아닌 몇 시간 내에 UDF 재작업을 반복할 수 있다. 이는 UDF를 GPU 구현으로 변환함으로써 GPU 가속 파이프라인에서 주요 속도 향상과 전반적인 비용 절감을 가져올 수 있음을 의미한다.

아파치 스파크용 cuDF 스킬은 GitHub에서 직접 설치하거나 npx skill installer를 사용하여 설치할 수 있다. 이 기술은 개발자가 UDF 병목 현상을 신속하게 해결하고, 테스트부터 벤치마킹, 통합에 이르는 엔드투엔드 개발 과정을 지원한다. GPU 가속화를 위한 아파치 스파크용 cuDF 플러그인 시작 가이드를 통해 스파크 파이프라인 전반에 걸쳐 더 나은 성능과 TCO를 확보할 수 있다.