어셈블리AI, AWS EC2 스팟 기반으로 GPU 음성 인식 추론 비용 70% 절감

비용 최적화 개요와 당면 과제

음성 인식 인공지능 기업 어셈블리AI가 아마존웹서비스 환경에서 대규모 음성-텍스트 변환 추론 비용을 온디맨드 대비 70퍼센트 절감한 고가용성 컴퓨팅 아키텍처를 공개했다. 이 시스템은 아마존 컨테이너 관리 서비스와 스팟 인스턴스, 메시지 대기열을 결합하여 수천 대 규모의 그래픽 처리 장치 인스턴스를 경제적이면서도 안정적으로 운영하도록 설계되었다.

음성-텍스트 변환은 음향 모델과 언어 모델, 후처리 단계를 거치며 대규모 심층 학습 연산을 유발하므로 대기 시간을 맞추기 위해 상시 수천 대의 그래픽 처리 장치 인스턴스가 필요하다. 그러나 이를 온디맨드 인스턴스만으로 운영하면 감당하기 어려운 비용이 발생하고, 비용이 저렴한 스팟 인스턴스는 인스턴스 회수 시 2분의 사전 경고만 주어지므로 엄격한 서비스 수준 계약을 유지하기 어려웠다.

GPU 다변화와 용량 공급 전략

어셈블리AI는 특정 지피유 모델에 의존하지 않고 세 가지 아마존 지피유 인스턴스 계열을 혼합 배치하여 가용 스팟 용량을 대폭 확장했다. 엔비디아 T4 기반의 g4dn 계열은 표준 음성 인식 모델을 위한 경제적인 기준점으로 활용하고, A10G 기반의 g5 계열은 복잡한 모델 처리에, L4 기반의 g6 계열은 대규모 언어 모델 기반 추론의 가성비를 높이는 데 투입하며 g4dn부터 g6 계열까지 다양한 세부 사양을 고루 채택했다.

컴퓨팅 자원 확장은 아마존 컨테이너 서비스의 용량 공급자 전략을 기반으로 운영된다. 상시 기본 부하를 감당하는 온디맨드 용량 공급자와 수요 급증을 처리하는 스팟 용량 공급자를 결합하고, 최저 비용과 최고 가용성을 동시에 만족하는 최적화 할당 전략을 통해 인스턴스 회수 가능성을 구조적으로 낮추었다. 작업 대기열이 늘어나면 분산된 스팟 풀에서 자원을 신속히 추가하고 수요가 줄면 안전하게 회수한다.

대기열 기반의 중단 복구 체계

스팟 인스턴스의 급작스러운 중단에 대응하기 위해 작업 접수와 실제 실행 단계를 메시지 대기열 서비스로 완전히 분리했다. 전사 요청이 들어오면 대기열에 쌓이고 컨테이너 태스크가 이를 가져와 15초에서 수 분에 이르는 음성 추론 작업을 수행한다. 인스턴스 중단 신호가 발생하면 이벤트 감지 서비스와 연계된 함수가 실행 중인 작업을 대기열로 되돌려 정상 상태의 다른 작업 단위가 즉시 처리할 수 있도록 인계한다.

회수 알림이 전달된 후 2분 안에 완료할 수 있는 작업은 그대로 끝마치며, 초과 작업은 즉시 대기열로 반환되어 다른 가용 영역이나 다른 인스턴스에서 재시도된다. 어셈블리AI는 모델 산출물과 컨테이너 이미지를 담은 맞춤형 머신 이미지를 사전에 구성하여 신규 인스턴스의 준비 시간을 약 2분으로 단축함으로써 장애 복구에 따른 처리 지연을 최소화했다. 반복 실패한 작업은 별도의 실패 전용 대기열로 격리되어 원인 분석을 거친다.

데이터 주권 준수와 적용 한계

의료, 금융, 법률 등 엄격한 규제를 적용받는 고객사를 지원하기 위해 미국 오리건과 영국 런던 리전에 각각 완전히 독립된 추론 인프라를 분리 구축했다. 각 리전은 자체 대기열, 컨테이너 클러스터, 용량 공급자, 지피유 자원을 갖추고 있어 오디오 데이터가 지정된 지리적 경계를 벗어나지 않도록 보장한다. 유럽 리전에서도 다중 지피유 계열을 지원하여 데이터 주권 규제를 만족하면서도 스팟 가격 경쟁력을 확보했다.

이 아키텍처를 적용한 결과 어셈블리AI는 연간 연산 수요가 4배 가까이 급증하는 상황에서도 추론 인프라 비용을 온디맨드 대비 70퍼센트 절감하는 성과를 거두었다. 다만 이 방식은 수십 초에서 수 분 단위로 짧게 분할되어 개별 재시도가 가능한 배치형 및 준실시간 지피유 추론 작업에 적합하며, 스팟 회수 발생 시 사용자 관점에서 약간의 처리 시간 지연이 불가피하다는 한계가 존재한다.