메타, 도메인 추론을 배제한 경량 오케스트레이터로 AI 파이프라인 신뢰도 개선

단일 에이전트 한계와 경량 구조 전환

메타 엔지니어링 팀은 추천 시스템 전반의 데이터 칼럼 등록 절차를 자동화하기 위해 중앙 라우터의 역할을 최소화하는 경량 오케스트레이터 패턴을 구축했다. 기존에는 단일 인공지능 에이전트에 파이프라인 전반의 모든 도메인 지식과 규칙을 부여하는 방식을 시도했으나, 시연 단계와 달리 실제 운영 환경에서는 문맥 간섭으로 인한 환각 현상이 발생했다.

데이터 칼럼 등록 작업은 세 개의 코드 저장소와 세 개의 프로그래밍 언어, 그리고 최대 여섯 단계의 파이프라인을 동기화해야 하는 구조를 갖는다. 파이썬 환경의 설정이 C++ 코드 생성을 유도하고 데이터 처리 서비스를 거쳐 분석 시스템으로 이어지는 과정에서, 단일 에이전트는 특정 하위 시스템의 명명 규칙이나 코드 생성 방식을 다른 영역에 잘못 적용하는 문제를 겪었다.

연구진은 작업별 수동 프롬프트 엔지니어링을 적용할 경우 단일 에이전트의 성공률이 70~80%에 도달하지만, 전담 엔지니어의 수동 보조가 없으면 성공률이 10~20%로 급감한다는 점을 확인했다. 이는 프롬프트 조정의 문제가 아니라 아키텍처 자체의 구조적 결함에서 기인한 것으로 평가되었다.

결정론적 라우터와 14개 하위 에이전트

메타는 시스템을 결정론적 오케스트레이터와 도메인 지식이 격리된 14개의 전문 서브에이전트 계층으로 분리했다. 약 1300라인 규모로 작성된 오케스트레이터는 직접 코드를 분석하거나 설정을 생성하지 않으며 도메인 수준의 결정을 전혀 내리지 않는 순수 라우터 역할을 수행한다.

오케스트레이터는 모든 요청에 대해 고정된 7단계 프로토콜을 따른다. 관련 서브에이전트 지침 파일 확인, 중복 생성을 막기 위한 대상 존재 여부 확인, 사용자 필수 입력값 수집, 저장소 유형 및 기존 설정의 자동 탐색, 경고 및 필수 검토자를 점검하는 신뢰도 게이트 확인, 서브에이전트 위임, 결과 처리 및 오류 확인 순으로 진행된다.

이 프로토콜에서 대형 언어 모델의 추론은 6단계인 서브에이전트 위임 과정에서만 독립적으로 실행된다. 스키마 관리, 10개 이상의 데이터 소스별 코드 생성, 빌드 시스템과 품질 검증 등 각 전문 에이전트는 자신이 담당하는 제한된 도메인 문맥만을 로드하여 작업을 완수한다.

워크플로 템플릿과 런타임 지식 로드

시스템은 작업의 단계 순서를 정의하는 워크플로 템플릿을 통해 모델의 결정 범위를 제한한다. 칼럼 등록은 스키마, 검증, 생성, 테스트 순으로 진행되며 이벤트 등록과 파이프라인 마이그레이션 등 서로 다른 워크플로는 14개 서브에이전트를 각기 다른 순서로 재조합하여 지원한다.

신규 유스케이스인 파이프라인 마이그레이션을 추가할 당시에도 새로운 에이전트 코드를 작성하지 않고 기존 에이전트의 실행 순서를 정의한 템플릿만 추가해 상용 환경에 대응했다. 14개 서브에이전트는 런타임 로드 지식원, 사전 수집 점검 목록, 도메인 실행 단계, 탐색 패턴, 문제 해결 매핑이라는 표준 구조를 공유한다.

도메인 지식은 오케스트레이터에 내장되지 않고 25개 이상의 독립된 지식 파일 형태로 관리되며 서브에이전트 실행 시 런타임에 동적으로 로드된다. 지식 파일이 갱신되면 별도의 오케스트레이터 재배포 없이 다음 세션부터 즉시 변경 사항이 반영된다.

운영 성과와 아키텍처 설계 기준

새로운 칼럼의 설정 준비 작업은 과거 수작업 시 3~4일이 걸렸고 초기 설정 기반 시스템에서는 약 하루가 소요되었으나, 경량 오케스트레이터 도입 후 1시간 이내로 단축되었다. 또한 시스템이 생성한 변경 사항의 약 3분의 2는 별도의 대규모 인간 수정 없이 그대로 프로덕션 코드에 반영되고 있다.

메타는 상용 인공지능 에이전트를 구축하는 기준으로 라우팅과 추론의 명확한 분리, 서브에이전트 구조의 규격화, 신규 에이전트 개발 대신 워크플로 템플릿 재사용, 지식의 런타임 동적 로딩, 결정론적 영역과 확률론적 영역의 명시적 분리를 제시했다. 라우팅 단계의 환각을 방지하여 하위 시스템으로의 오류 전파를 차단하는 것이 핵심이다.

도입 제약과 향후 확장 과제

이 패턴은 범용성을 제한하는 대신 깊이 있는 도메인 전문 지식을 선택한 의도적인 설계 결과물이다. 따라서 업무 처리 순서를 결정론적 상태 머신으로 사전에 정의하기 어렵거나, 에이전트 간 재사용 가능한 전문 분업 구조를 수립하기 힘든 환경에서는 워크플로 템플릿 기반 확장에 제약이 따를 수 있다.

메타는 현재 이 아키텍처를 새로운 파이프라인 도메인으로 확장 적용하고 있으며, 상용 환경의 실패 패턴을 분석해 서브에이전트 지식을 지속적으로 개선하는 자동 피드백 루프를 모색하고 있다. 다만 지식 수정 및 변경 사항의 최종 승인 단계에는 반드시 인간의 검토 게이트를 유지하는 조건을 전제하고 있다.