메타, 통합 광고 AI 파운데이션 모델 GEM 2026세대 공개

통합 광고 파운데이션 모델로의 전환

메타는 페이스북과 인스타그램, 릴스 등 개별 서비스 단위로 분리되어 운영되던 광고 추천 시스템을 단일 파운데이션 모델로 통합한 2026년형 GEM을 발표했다. 새 모델은 대규모 언어 모델 방식의 설계를 채택하여 메타의 모든 광고 영역과 퍼널 단계 전반에 걸쳐 클릭률과 전환율을 동시에 예측하도록 중앙 엔진 구조를 개편했다.

기존 시스템은 광고 영역과 최적화 목표마다 독립적인 예측 체계를 운영했으나, 이번 통합으로 클릭 데이터가 풍부한 작업에서 학습된 일반화 표현을 데이터가 희소한 전환 작업으로 직접 전이할 수 있게 되었다. 메타는 이를 통해 전체 광고 영역에서 전환율 18.9%, 클릭률 12%의 개선 효과를 기록했다고 밝혔다.

쿤룬 아키텍처와 확장 법칙

추천 시스템은 데이터 이종성과 빈번한 분포 변화로 인해 기존 트랜스포머 구조에서 연산량 증가에 따른 성능 향상 법칙을 온전히 누리기 어려웠다. 메타는 이를 극복하기 위해 최신 그래픽 처리 장치 하드웨어와 공동 설계한 쿤룬 아키텍처를 도입하여 이전 세대 모델인 인터포머 대비 동일 연산량에서 두 배의 성능 향상을 달성했다.

새 아키텍처는 사용자 행동의 장기 문맥을 다루기 위해 전체 셀프 어텐션을 블록 단위 희소 어텐션으로 대체하여 연산 복잡도를 선형 수준으로 줄였다. 또한 예제별 피드포워드 신경망을 일반화된 점곱 어텐션으로 재구성해 단일 GPU 커널로 융합함으로써 순전파 처리 속도를 최대 2배 가속했다.

초장기 시퀀스 처리를 위해 특정 모듈을 선택적으로 비활성화하고 잔차 연결로만 라우팅하는 스킵 메커니즘을 적용하여 연산량을 43% 절감했다. 서로 다른 출처의 사용자 행동 데이터를 시간순으로 통합 처리하는 기법을 더해 실제 서비스 환경에서 사용자 문맥 길이를 2배 늘렸으며, 인프라 차원에서는 최대 25배까지 확장할 수 있음을 검증했다.

사후 학습과 지연 시간 없는 전이

수십억 매개변수 규모의 거대 파운데이션 모델을 실시간 광고 요청 환경에서 직접 추론 엔진으로 구동하는 것은 지연 시간과 비용 측면에서 불가능하다. 메타는 이러한 제약을 해결하기 위해 대규모 사후 학습 기법인 LoopFM을 도입하여 모델 내부 표현과 장기 이력을 하위 실시간 서빙 모델로 전이하도록 구성했다.

LoopFM은 지식 증류 과정에서 소프트 라벨을 생성하는 연산을 공유함으로써 추가 연산 비용 없이 지능 전이 효율을 기존 대비 2배로 높였다. 하위 모델은 사후 학습으로 구축된 구조화된 표현을 활용해 실시간 서빙 지연 시간을 늘리지 않으면서도 상위 파운데이션 모델의 장기 문맥 분석 능력을 이어받는다.

실시간 광고 요청 직전에는 대규모 언어 모델의 투기적 디코딩 개념을 응용한 Solaris 사전 연산 시스템이 동작한다. Solaris는 다단계 랭킹 과정에서 유력 후보군으로 좁혀진 사용자-광고 쌍의 임베딩을 비동기 백그라운드 작업으로 미리 연산하여 실시간 서빙 경로에 전달하며, 정확한 임베딩이 없으면 최근 임베딩 집계값이나 유사 사용자의 값을 대체 활용한다.

대규모 분산 훈련과 데이터 혼합

대규모 추천 모델 학습은 거대 언어 모델과 데이터 특성이 달라 수천 대의 GPU 환경에서 높은 하드웨어 연산 활용률을 달성하기 어렵다. 메타는 맞춤형 커널 라이브러리와 저정밀도 연산 기술을 결합하고, 밀집 매개변수와 희소 매개변수를 분리하여 다층 네트워크 계층에 맞춘 5차원 병렬화 전략을 구축했다.

그 결과 총 훈련 연산량을 4배로 늘리면서도 종단간 훈련 효율을 나타내는 모델 연산 활용률을 20~25% 수준으로 2배 끌어올렸다. 이는 하드웨어 계층부터 커널, 정밀도, 병렬화 방식, 메모리 구조를 모두 아우르는 통합 공동 설계를 통해 달성한 수치다.

서로 다른 데이터 파이프라인을 물리적으로 병합하지 않고 가상으로 로딩하는 비용 없는 데이터 혼합 방식을 적용해 저장 비용 증가를 방지했다. 단일 공유 전문가 네트워크가 전체 영역의 공통 패턴을 학습하고 영역별 전문가가 플랫폼 고유의 신호를 포착하는 도메인 전문가 프레임워크를 결합해 대규모 이종 데이터 학습의 안정성을 확보했다.

적용 범위와 향후 과제

현재 2026년형 GEM은 페이스북과 인스타그램의 피드, 릴스, 비디오 등 핵심 노출 영역과 오프사이트 전환, 모바일 앱 설치와 같은 심층 광고 목표에 적용되어 있다. 지난 1년간 페이스북 전환율 5.8%, 인스타그램 전환율 4.1%, 오프사이트 전환율 1.6%의 상승을 기록하며 성과를 입증했다.

메타는 향후 GEM을 텍스트, 이미지, 비디오 전반을 아우르는 일반 게시물과 광고 반응 데이터 전체로 확장 학습시킬 계획이라고 밝혔다. 아울러 더 큰 규모의 컴퓨팅 클러스터로 모델을 확장하고 추론 능력을 갖춘 사후 학습 체계를 구축하는 연구를 지속할 방침이다.