엔비디아, 정수 텐서 코어로 배정밀도 연산 가속하는 cuBLAS 신규 알고리즘 공개

배정밀도 연산 가속 체계 도입

엔비디아가 쿠다 툴킷 13.4.2 라이브러리 cuBLAS에 배정밀도(FP64) 및 복소수 배정밀도(CFP64) 행렬 곱셈 속도를 높이는 신규 알고리즘을 추가했다. 이번 업데이트는 분자 화학이나 재료 과학 같은 고성능 컴퓨팅 환경에서 계산 시간의 상당 부분을 차지하는 고정밀 밀집 행렬 곱셈 연산의 병목을 해결하기 위해 마련되었다. 개발자는 기존 응용 프로그램 코드를 수정하지 않고도 실수 배정밀도 행렬 곱셈과 복소수 배정밀도 행렬 곱셈을 즉시 가속할 수 있다.

기존 고성능 컴퓨팅 분야는 고속 연산 장치인 텐서 코어의 발전에도 불구하고 배정밀도 연산의 높은 정밀도 요구치 때문에 하위 정밀도 전용 가속 하드웨어를 충분히 활용하기 어려웠다. 엔비디아는 자동 동적 정밀도(ADP) 프레임워크를 기반으로 배정밀도 실수를 정수 조각으로 분할한 뒤 정수 텐서 코어에서 처리하고 원래의 배정밀도 정밀도로 복원하는 에뮬레이션 기법을 확장했다. 이를 통해 하드웨어의 배정밀도 네이티브 연산 속도 한계를 극복하면서도 수학적 정확도를 온전히 보존하는 경로를 확립했다.

오자키-II와 2M의 동작 원리

신규 알고리즘의 핵심 축인 오자키-II는 중국인의 나머지 정리(CRT)를 기반으로 거대 정수 곱셈을 분할 처리한다. 이전 방식인 오자키-I은 큰 정수를 8비트 단위 슬라이스로 잘라 삼각형 패턴으로 곱했기 때문에 필요한 텐서 코어 행렬 연산 수가 슬라이스 개수의 제곱에 비례해 증가하는 구조적 한계가 있었다. 반면 오자키-II는 서로소인 작은 정수 모듈러 집합을 사용해 각 모듈러스당 단 한 번의 정수 행렬 곱셈만 수행하므로 연산 횟수가 모듈러스 개수에 선형으로 비례한다. 그 결과 배정밀도 정밀도를 구현하는 데 필요한 텐서 코어 연산 횟수를 이전 세대 대비 절반 수준으로 줄였다.

복소수 배정밀도 연산을 담당하는 2M 알고리즘은 복소수 행렬 곱셈 구조를 실수 행렬 곱셈 2회로 압축한다. 기존 표준 연산은 네 번의 실수 행렬 곱셈을 수행하며, 세 번으로 줄이는 3M 방식은 부동소수점 덧셈과 뺄셈 과정에서 발생하는 오차 누적으로 수치 안정성이 저하되는 위험이 있었다. 그러나 오자키-II 기반 환경에서는 덧셈과 뺄셈 및 곱셈이 오차 없는 정수 연산으로 수행되기 때문에 수치 안정성 저하 없이 연산 횟수를 절반으로 줄일 수 있다. 아울러 중간에 생성되는 모듈러 잉여 행렬을 연산 직후 바로 폐기하는 메모리 타일링 방식을 적용하여 작업 메모리 점유율을 크게 낮췄다.

실제 시뮬레이션 성능 검증

하드웨어 벤치마크 측정 결과 오자키-II를 적용한 실수 행렬 곱셈은 네이티브 배정밀도 연산 대비 엔비디아 VR NVL72에서 5.5배, GB200에서 3.9배 빨라졌다. 이전 세대 방식인 오자키-I과 비교해도 GB200 기준 2배 향상된 처리 속도를 기록했다. 연산 성능 수치로는 VR NVL72에서 최대 175 테라플롭스, GB200에서 147 테라플롭스, RTX PRO 6000 블랙웰 서버 에디션에서 37 테라플롭스를 나타냈다. 특히 정수 텐서 코어 처리량 비율이 높은 RTX PRO 6000 환경에서는 행렬 크기에 따라 네이티브 연산 대비 10배에서 23배에 달하는 성능 개선을 보였다.

실제 연구 분야 워크로드에서도 실질적인 처리 시간 단축이 확인되었다. 양자 화학의 대표적인 전자 구조 계산 기법인 단일 및 이중 여기 결합 클러스터(CCSD) 계산에서 오자키-II는 네이티브 연산 대비 VR NVL72에서 2배, GB200에서 1.4배의 전체 수행 속도 향상을 나타냈다. 32비트 가수부를 할당하는 응용 맞춤형 혼합 정밀도 모드를 적용했을 때는 상관 에너지 오차를 10의 마이너스 10승 하트리(Eh) 미만으로 유지하면서 가속 성능이 최대 5배까지 확대되었다. 물질 과학 분석 프로그램인 버클리GW의 엡실론 모듈 테스트에서도 2M 알고리즘을 통해 VR NVL72에서 6.6배, GB200에서 3.9배 향상된 처리 성능을 달성했다.

적용 조건과 연산 한계

이번 기술은 라이브러리가 행렬 크기와 하드웨어 특성을 분석해 오자키-I, 오자키-II, 네이티브 연산 경로 중 최적의 경로를 런타임에 스스로 선택한다. 최신 엔비디아 루빈 아키텍처에서는 오자키 연산 가속을 위해 새로 도입된 부호-크기 표현 방식의 12비트 정수 포맷인 TI16과 전용 명령어를 결합하여 고효율 연산을 지원한다. 개발자는 세부 제어가 필요한 경우 라이브러리가 제공하는 에뮬레이션 전략 설정 함수나 명시적인 가수 비트 수 지정 인터페이스를 활용해 정밀도와 속도의 균형을 수동으로 조율할 수 있다.

다만 모든 행렬 크기에서 무조건적인 성능 이득이 보장되는 것은 아니다. 행렬 크기가 매우 작은 영역에서는 정수 분할 및 복원 과정에 드는 고정 비용이 이득을 상회하므로 자동 동적 정밀도 프레임워크가 가속 모드 대신 네이티브 배정밀도 하드웨어 실행 경로로 자동 우회한다. 또한 런타임에 배정밀도 수준의 정확도를 유지하는 데 필요한 가수 비트 수가 라이브러리 기본값이나 사용자가 지정한 한도를 초과할 경우에도 정확도 보장을 위해 네이티브 연산으로 대체 실행되므로 대상 데이터의 수치적 특성에 따른 분기 조건을 고려해야 한다.