메타, 유휴 추론 자원을 광고 추천에 활용하는 탄력적 시스템 공개

유휴 자원의 활용 체계

메타는 자사 인프라에 존재하는 유휴 인공지능 추론 자원을 통합하여 광고 추천 품질을 향상시키는 시스템을 구축해 운영 중이라고 발표했다. 이 시스템은 추가 하드웨어를 주문하지 않고도 기존 유휴 용량을 공유 풀로 묶어 사용자에게 더 관련성 높은 광고를 제공하도록 지원한다. 기본 트래픽 성능에 영향을 주지 않으면서 작업량을 탄력적으로 확장하고 축소할 수 있도록 설계된 점이 특징이다.

인공지능 추론 환경에서는 전체 클러스터가 부족하더라도 특정 지역이나 시점에 유휴 자원이 발생하는 용량 역설이 나타난다. 트래픽 변동에 대비한 최대치 기준 프로비저닝과 실제 수요 차이, 모델 배포 일정과 하드웨어 도입 주기의 불일치가 주요 원인이다. 또한 중앙처리장치와 가속기 간 비율 불일치, 여러 하드웨어 벤더와 세대 차이로 인한 비호환성 때문에 묶인 유휴 자원도 발생한다.

두 가지 탄력 레버

유휴 용량은 사전 예고 없이 회수될 수 있는 선점형 자원이므로 작업량 탄력성과 확장된 품질 유지력이 필요하다. 메타는 이러한 제약을 충족하기 위해 더 많은 광고 후보를 평가하는 방식과 고성능 모델을 제공하는 방식이라는 두 가지 상호보완적 레버를 도입했다. 두 레버는 결합되어 단일 방식보다 훨씬 넓은 범위의 이종 유휴 자원을 활용한다.

더 많은 광고 순위 매기기 방식은 유휴 용량이 생기면 순위 평가 단계에서 검토하는 후보 광고 수를 늘려 적합한 광고를 찾을 확률을 높인다. 이 방식은 검색 및 특징 추출 같은 중앙처리장치 작업과 가속기 추론 작업을 동시에 소모하므로 두 자원이 모두 남을 때 주로 적용된다. 반면 고성능 모델 제공 방식은 후보 광고 수는 일정하게 유지하면서 더 복잡하고 강력한 모델을 거치는 요청 비율을 조절한다. 중앙처리장치 수요를 급증시키지 않고 가속기 잉여 자원만을 집중 활용할 수 있다는 차이가 있다.

격리 및 피드백 제어

기회주의적 자원이 급격히 회수되더라도 기본 서비스 용량에 과부하를 주지 않도록 물리적 및 논리적 격리를 적용했다. 고성능 모델 제공 방식은 기본 모델과 고성능 모델의 라우팅 대상을 물리적으로 분리해 유휴 자원이 줄어들면 요청을 기본 모델로 즉시 복귀시킨다. 반면 후보 확대 방식은 유휴 복제본이 감당할 수 있는 추가 작업량을 계산해 전역 예산을 논리적으로 제한하는 방식을 취한다.

후보 수 확장은 지연 시간 관측값에 따라 조정되는 중앙 피례적분미분 제어기와 클라이언트 적용 루프를 통해 통제된다. 지연 시간이 목표치 이하일 때는 평가 광고 수를 늘리고 지연 시간이 증가하면 후보 수를 줄여 시스템의 지속 가능성을 유지한다. 고성능 모델 제공 방식 역시 중앙 제어기가 모델 적용 비율을 정하고 클라이언트 라우터가 사용자 반응 가능성에 기반한 가치 신호에 따라 모델을 선별 배정한다.

다계층 부하 차단 체계

중앙 제어기의 피드백 루프는 분 단위 주기로 동작하므로 자원이 갑자기 회수되면 동기화 이전에 병목이 생길 위험이 있다. 이를 방지하기 위해 서버와 클라이언트 양쪽에서 밀리초 단위로 반응하는 다계층 가치 인식 부하 차단 정책을 함께 운영한다. 서버는 용량이 급감하면 가치가 낮은 작업부터 즉시 축소하거나 후보 수를 줄여 부하를 흡수한다.

클라이언트는 중앙 목표치를 참조하는 동시에 서버의 상태를 직접 감시하며 서버 과부하가 포착되면 선제적으로 작업량을 줄인다. 이러한 이중 차단 구조는 제어 루프가 새로운 상태로 수렴하기 전까지의 공백을 메워 서비스 안정성을 유지한다. 가치 신호를 바탕으로 제거 대상을 정하기 때문에 작업이 축소되는 과도기에도 광고 가치 손실을 최소화한다.

적용 제약과 향후 과제

기회주의적 유휴 용량은 지역과 가속기 종류별로 분편화되어 있어 호환 모델과 보조 자원이 한곳에 갖춰져야만 쓸 수 있는 제약이 따른다. 메타는 모델 이식성과 지역 간 추론 능력을 확장해 자원 접근성을 높이는 방안을 추진하고 있다. 또한 실시간 트래픽 위치와 시간 제약을 덜 받는 사전 연산 방식 같은 신규 레버를 개발하여 작업 탄력성을 높이고 있다.

각 레버의 증분 효과는 트래픽 규모, 현재 적용 범위, 가용 자원 조합에 따라 수시로 변한다는 특성이 있다. 메타는 하드웨어 호환성, 지역적 제약, 유휴 용량의 지속성 등을 고려해 자원 배분을 자동으로 최적화하는 시스템을 구축하고 있다. 이를 통해 사용자 편익과 광고주 가치를 극대화하는 방향으로 추론 인프라 회수율을 끌어올릴 계획이다.