메타, 모델-시스템 공동 설계로 차세대 광고 검색 엔진 '안드로메다' 효율성 대폭 향상

안드로메다의 주요 변화

메타는 개인 맞춤형 광고 검색 엔진인 안드로메다(Andromeda)의 차세대 버전을 공개하며, 모델, 시스템, GPU 하드웨어의 공동 설계를 통해 효율성을 대폭 개선했다고 밝혔다. 이 새로운 접근 방식은 검색 단계에서 랭킹 수준에 근접하는 모델 성능을 제공하며, 초당 10억 개 이상의 광고를 처리하는 새로운 처리량 기준을 수립한다. 이는 2024년 안드로메다 시스템 대비 100배 향상된 수치이다.

이번 업데이트의 핵심은 대규모 언어 모델(LLM)에서 영감을 받은 MoE(Mixture-of-Experts) 아키텍처를 검색 단계에 도입한 것이다. 또한, 모델 실행과 시스템 워크로드를 단일 GPU 커널로 통합하고, 인덱스 매칭, 스코어링, Top-K 선택과 같은 사용자 요청 로직을 단일 GPU 서버에 공동 배치하는 전략을 채택했다. 이러한 혁신은 2025년부터 페이스북에서 전환율을 2.4% 증가시키는 데 기여했다.

변화의 배경과 필요성

안드로메다는 광고 추천 파이프라인의 첫 단계로, 방대한 광고 후보 풀에서 소수의 강력한 후보를 밀리초 단위로 선별하는 역할을 한다. 이후 단계에서 더 많은 연산이 필요한 랭킹 시스템이 이 후보들을 상세하게 평가한다. 과거에는 랭킹 단계의 정교한 딥 모델링 품질을 검색 단계의 대규모 처리량에 적용하기에는 비용이 너무 많이 들었다.

2024년 안드로메다는 NVIDIA GH200 Grace Hopper Superchip 기반으로 출시되어 모델 용량을 4배 확장하며 검색 시스템의 기반을 다졌다. 그러나 생성형 AI 크리에이티브 도구의 발전으로 광고주들이 수억 개의 새로운 광고를 빠르게 생성하면서 메타의 광고 후보 풀은 전례 없는 규모로 증가했다. 이처럼 방대한 광고 후보 풀을 더 정확한 모델로 처리하고 훨씬 높은 시스템 처리량을 달성하기 위해서는 모델 품질, 시스템 아키텍처, 하드웨어 활용 측면에서 근본적인 기술적 돌파구가 필요했다.

검색 모델 성능의 작은 개선도 광고주 가치에 큰 영향을 미치기 때문에, 지속적인 성능 향상과 함께 컴퓨팅 비용을 효율적으로 관리하는 것이 중요해졌다. 기존 2024년 안드로메다 시스템은 GPU당 초당 수천만 개의 광고를 평가했지만, 새로운 비즈니스 요구사항을 충족하려면 GPU당 초당 수십억 개의 광고를 처리해야 했다. 이 과정에서 메모리 대역폭과 네트워크 링크 포화가 새로운 병목 현상으로 대두되었으며, 이를 해결하기 위해 분산된 워크로드를 단일 GPU 파이프라인으로 통합하는 새로운 시스템 공동 설계가 요구되었다.

구체적인 기술 혁신과 수치

차세대 안드로메다는 세 가지 시너지 효과를 내는 아키텍처 혁신을 도입했다. 첫째, 사용자 모델링 측면에서 단일 사용자 타워 대신 전문화된 사용자 타워(전문가 앙상블)로 전환했다. 이는 순차적 광고 참여 이벤트, 사용자 코호트 표현, LLM 기반 의미론적 특징, 교차 표면 공동 참여 신호 등 다양한 고정밀 신호를 통합하여 사용자의 다각적이고 시간 변화에 따른 관심사를 포착한다. 둘째, 광고 후보 타워에서는 실시간 서빙 컨텍스트를 통합하는 공동 인코딩 전략을 사용하여 하위 상호작용 모델이 컨텍스트를 인식하는 표현을 받도록 한다. 셋째, 상호작용 오버아치 레이어에서는 밀집 신경망(dense neural networks)이 MoE 어텐션 기반 게이팅 네트워크로 진화하여 가장 관련성 높은 사용자 전문가에게 후보를 동적으로 라우팅한다. 이 아키텍처는 2024년 안드로메다 검색 모델 대비 약 300배 적은 추론 시간 FLOPs로 랭킹 수준에 근접하는 모델 성능을 달성하며, 단일 GH200 GPU에서 초당 100억 개 이상의 광고 추론 처리량을 기록한다.

시스템 측면에서는 모델-시스템 공동 설계를 한 단계 더 발전시켰다. 첫 번째 혁신은 모델 실행과 시스템 로직(임베딩 수집, 사용자-광고 상호작용 모델 실행, 스코어링)을 단일 GPU 커널로 통합한 것이다. MoE 게이팅 아키텍처의 FLOPs 감소는 이러한 완전한 통합을 가능하게 했으며, 통합 커널은 단일 GH200에서 초당 100억 개 이상의 광고를 처리한다. 이 통합 커널은 중간 결과를 GPU 레지스터와 스레드 블록 공유 메모리에 유지하여 HBM(고대역폭 메모리) 트래픽 병목 현상을 완전히 제거한다.

두 번째 혁신은 인덱스 매칭, 스코어링, Top-K 선택과 같은 사용자 요청 로직을 동일한 GPU에 공동 배치하는 전략이다. 기존에는 이러한 작업이 별도의 로컬 CPU 호스트에서 실행되고 원격 가속기와 네트워크를 통해 통신하여 네트워크 대역폭이 병목 현상이 되었다. 공동 배치 전략은 사용자 특징과 타겟팅 쿼리 같은 간결한 요청 페이로드만 단일 GPU 서버로 전송하여 네트워크 트래픽을 약 100배 감소시키고 시스템을 다시 GPU 컴퓨팅 중심 체제로 전환한다. 인덱스 매칭을 GPU로 옮기기 위해 복잡한 광고주 정의 타겟팅 로직과 실시간 인덱스 업데이트를 지원하면서 GPU 병렬 실행에 적합하도록 인덱스 구조를 재설계했다.

메타와 NVIDIA의 협력은 이러한 최적화를 더욱 가속화했다. 최적화된 게이팅 커널은 5.3배 향상되어 초당 24억 개에서 100억 개 이상의 광고를 처리하며, GPU HBM 대역폭의 약 85%에 도달했다. INT8 양자화는 최적화된 FP16 커널 대비 최대 2배의 처리량 증가를 달성하면서도 16비트 정밀도와 유사한 정확도를 유지했다. 인덱스 매칭 처리량은 2배 이상 향상되어 초당 1000억 개 이상을 기록했으며, 이는 스코어링 네트워크보다 한 자릿수 높은 수준이다. 종단 간 파이프라인 최적화에서는 데이터 레이아웃을 공동 설계하여 파이프라인 구성 요소 간의 불필요한 데이터 이동 오버헤드를 제거했다.

개발자 및 사용자 영향

이러한 안드로메다의 발전은 메타 제품 사용자에게 직접적으로 더 관련성 높은 광고를 동일한 지연 시간 예산 내에서 제공한다. 광고주에게는 더 큰 후보 풀에서 광고를 매칭하여 자동으로 더 나은 성능을 얻고, 더 나은 고객 매칭과 더 많은 전환을 달성할 수 있음을 의미한다.

메타 입장에서는 광고주로부터의 비즈니스 증가와 함께 비용 절감 효과를 얻는다. 각 GPU가 초당 더 많은 광고를 평가할 수 있기 때문이다. Advantage+ 자동화 및 생성형 AI 크리에이티브 도구로 인해 적격 광고의 양이 계속 증가하더라도, 안드로메다의 공동 설계 아키텍처는 이러한 증가에 맞춰 확장할 수 있는 역량을 갖춘다.

적용 조건 및 향후 계획

인덱스 매칭을 GPU로 옮기는 과정은 복잡한 광고주 정의 타겟팅 로직과 실시간 인덱스 업데이트 지원을 위해 인덱스 구조를 GPU 병렬 실행에 맞게 재설계해야 하는 과제를 수반했다. 그러나 이러한 노력을 통해 단일 GPU 서버에서 초당 10억 개 이상의 광고를 처리하면서 후보 풀의 모든 적격 광고를 스코어링하는 새로운 처리량 기준을 달성했다.

현재 시스템은 아직 성능 한계에 도달하지 않았으며, 상당한 여유 공간이 남아있다. 양자화를 통해 스코어링 처리량을 더욱 높이고, 인덱스 매칭이 스코어링 네트워크보다 한 자릿수 높은 수준으로 작동하므로, 아키텍처는 비례적인 인프라 증가 없이 더 깊은 상호작용 네트워크, 더 풍부한 특징 공간, 추가 검색 경로 등 훨씬 더 많은 모델 복잡성을 수용할 수 있다.

메타는 NVIDIA Grace Blackwell과 같은 차세대 플랫폼으로 최적화 및 공동 설계 작업을 확장하고 있다. 특히 CPU-GPU 컴퓨팅 비율의 유연성을 높이는 플랫폼 설계 최적화에 중점을 두며, 이는 안드로메다와 유사한 워크로드에 중요한 요소로 작용할 수 있다고 보고 있다. 이러한 노력은 모델, 시스템, 하드웨어를 통합된 스택으로 설계할 때 가장 큰 이득을 얻을 수 있다는 원칙을 기반으로 한다.