엔비디아 블랙웰 기반 플럭스 3 이미지 생성 4.45배 가속

블랙웰 환경 최적화 성과

엔비디아가 텐서알티-엘엘엠 비주얼젠 런타임을 통해 블랙웰 아키텍처 기반 그래픽 처리 장치에서 플럭스 3 이미지 클라인 모델의 추론 성능을 대폭 개선하는 최적화 기법을 공개했다. 이번 발표는 블랙 포레스트 랩스가 개발한 고해상도 생성 및 편집 모델을 대상으로 커널 융합, 저정밀도 양자화, 희소 어텐션, 캐싱 기법을 종합 적용한 결과를 다룬다. 단일 엔비디아 비200 환경에서 2048×2048 해상도 기준 텍스트-이미지 변환 속도는 최대 3.46배, 이미지-이미지 변환 속도는 최대 4.45배까지 향상되었다.

플럭스 3 이미지 클라인은 텍스트 조건 처리를 위한 언어 모델과 디퓨전 트랜스포머, 잠재 벡터를 이미지로 복원하는 오토인코더가 결합된 구조다. 고해상도 시각 작업에서는 수십억 개의 매개변수를 반복 통과해야 하므로 디노이징 과정이 전체 연산 지연 시간의 대부분을 차지하는 병목 현상이 발생한다. 실제로 단일 장비 기준 기본 모델의 전체 생성 시간 중 96퍼센트 이상이 디노이징 단계에 집중되어 이 구간의 가속이 핵심 과제로 확인되었다.

연산 효율화와 가속 기술

비주얼젠 런타임은 기본 모델과 16단계 경량화 모델에 엔비디아 4비트 부동소수점 포맷을 지원하여 연산 지연을 1차적으로 줄였다. 여기에 특화 커스텀 행렬 곱셈 커널을 기본 적용하고 활성화 함수 및 회전 위치 임베딩 연산을 융합해 기존 자동 튜닝 커널 대비 추가 속도 개선을 이끌어냈다. 저정밀도 4비트 양자화만으로도 기존 16비트 대비 텍스트 생성에서 1.62배, 이미지 변환에서 1.58배의 속도 향상을 기록했다.

어텐션 연산 부하를 낮추기 위해 두 가지 저정밀도 방식과 블록 희소 어텐션 기법이 도입되었다. 전용 8비트 부동소수점 연산을 통해 토큰별 오차를 보정하면서 1.16배에서 1.18배의 속도 개선을 얻었으며, 블록 희소 어텐션 연산을 통해 초기 단계 이후의 연산량을 1.2배 이상 단축했다. 인지적 이미지 차이를 측정하는 지표에서도 원본 출력과 매우 유사한 수치를 유지해 품질 저하를 최소화했다.

반복되는 디노이징 단계에서 중간 트랜스포머 출력을 재사용하는 캐싱 기술도 적용되었다. 모델 가중치를 재학습하거나 수정하지 않고 잔차 차이 임계값을 기준으로 연산 결과를 캐싱함으로써 기본 모델의 지연 시간을 절반 가까이 줄였다. 2048×2048 해상도 단일 장비 시험에서 캐싱 기술만으로 기본 모델 기준 1.94배의 속도 향상이 측정되었다.

다중 분산 환경과 성능 확장

여러 그래픽 처리 장치를 사용하는 대규모 분산 환경에서는 분류기 없는 유도 방식과 시퀀스 병렬 처리가 결합된다. 기본 모델은 긍정 프롬프트와 부정 프롬프트 처리를 별도 그룹으로 분리하고 시퀀스를 나누어 연산하며, 8개의 비200 장치로 확장했을 때 지연 시간이 14.90초에서 3.00초로 대폭 단축되었다. 저해상도 환경에서는 커널 호출 오버헤드를 줄이는 실행 그래프 최적화를 결합하여 2배 이상의 추가 성능 향상을 거뒀다.

서버용 엔비디아 알티엑스 프로 6000 블랙웰 환경에서도 융합 커널과 캐싱 기법을 통해 1.73배에서 3.25배의 속도 향상이 확인되어 다양한 시스템으로 확장 가능성을 입증했다. 개발자는 정형화된 설정 파일과 독립 실행 엔드포인트를 구성하여 오프라인 배치 생성이나 실시간 온라인 서비스에 최적화 설정을 바로 투입할 수 있다.

적용 시 고려 조건과 한계

이번 최적화 기법을 도입할 때는 사전 조건과 단계별 병목 현상을 면밀히 검토해야 한다. 제공된 지연 시간 측정치에는 외부 프롬프트 확장 모델 처리 시간이 제외되어 있어 실제 서비스 구축 시 전처리 부하를 별도로 산정해야 한다. 또한 특화 어텐션 커널을 활성화하기 위해 전용 라이브러리 환경을 갖추어야 하며, 노이즈 수준 기준의 임계값 설정에 따라 출력 품질과 생성 속도 간의 절충이 발생한다.

분산 확장 시 디노이징 연산이 단축될수록 텍스트 준비와 오토인코더 디코딩 같은 비디노이징 구간이 전체 지연 시간에서 차지하는 비중이 커지는 한계가 나타난다. 특히 경량화 모델을 8개 장비에서 실행할 때는 전체 실행 시간의 약 절반이 디노이징 외부 작업에 소요되어 종단간 가속 비율이 제한된다. 따라서 시스템 설계자는 모델 종류와 목표 해상도에 맞춰 병렬화 규모와 캐시 임계값을 균형 있게 선택해야 한다.