LLM 에이전트의 불확실성을 통제하는 결정론 계층 설계 방식 공개

제안과 실행의 분리

LLM 기반 에이전트 시스템을 고위험 실제 서비스 환경에 배포하기 위해 불확실성을 통제하는 결정론 계층 아키텍처가 제시되었다. 핵심 원칙은 에이전트에게 실제 비즈니스 데이터를 수정할 권한을 부여하지 않고 순수 함수 형태로 제안만 생성하도록 제한하는 데 있다. 외부 상태를 변경하는 작업은 승인 절차를 거친 뒤 별도로 분리된 실행 기저 계층이 전담한다.

동일한 입력 맥락에 대해 언제나 동일한 제안을 반환하도록 설계하면 단위 테스트 단계에서 복잡한 외부 환경을 흉내 낼 필요가 없어진다. 모델 결함이나 악의적인 우회 시도가 발생하더라도 시스템 피해는 부적절한 제안 단계에서 차단되며 실제 동작으로 이어지지 않는다. 또한 에이전트가 다른 에이전트를 직접 호출하지 않고 스케줄러와 데이터베이스를 통해서만 작업을 이어가므로 예측하기 힘든 연쇄 부작용을 원천 차단한다.

고정 그래프와 상태 관리

모델이 자율적으로 다음 행동을 결정하며 반복 실행하는 자유 형식 순환 구조는 비용과 지연 시간을 통제하기 어렵고 감사 추적이 까다롭다. 반면 기능별로 사전에 정의된 고정 실행 그래프를 적용하면 복잡한 입력을 해석하는 단 하나의 노드에만 거대언어모델을 배치하고 나머지 모든 단계를 일반 코드로 제어할 수 있다.

전체 실행 흐름은 8개의 공통 공유 노드와 기능별로 특화된 약 4개의 전용 노드를 포함해 총 12개 노드로 구성된다. 모든 노드는 단일한 형식의 상태 객체를 읽고 갱신하는 일관된 인터페이스를 따르기 때문에 개별 노드를 독립적으로 단위 테스트할 수 있다. 모델이 관여하는 추론 노드를 제외한 입력 검증, 출력 보호 조치, 결정론적 규칙 검증 등 나머지 단계는 모두 일반 코드로 동작한다.

구조화 출력과 검증 루프

자연어 형태의 자유 텍스트 출력은 모델 어투 변경이나 사소한 문장 표현 차이로 인해 하류 시스템의 구문 분석 실패를 유발하는 주된 원인이다. 이를 해결하기 위해 JSON 스키마 지정, 도구 호출 형식, 문법 제약 디코딩 등을 활용하여 사전에 정해진 자료형으로 출력을 강제한다.

제약 생성 방식을 사용하더라도 잘못된 형식이 생성될 가능성은 여전히 존재하므로 반환값을 엄격하게 검증하고 불일치 발생 시 원본 프롬프트를 기준으로 재시도해야 한다. 정해진 재시도 횟수를 초과하면 기본적으로 실패로 처리하여 불완전한 추정 데이터가 다음 단계로 넘어가지 않도록 방어벽을 세운다. 다만 이러한 출력 구조화는 데이터의 형식적 적합성만 보장할 뿐 내용의 논리적 정답 여부까지 보증하지는 않는다.

신뢰도 합성 및 원장 감사

모델의 자체 점수와 결정론적 검증 결과, 표본 추출된 2차 모델의 판정 신호를 결합하여 최종 신뢰도 점수를 도출한다. 라우팅 노드는 기능별로 설정된 기준 임계값을 바탕으로 자동 승인, 인간 검토 권장, 인간 필수 검토, 즉각 거절의 4가지 경로 중 하나로 제안을 분류한다. 기준 임계값을 보수적으로 시작해 시스템 안정성이 검증됨에 따라 점진적으로 조정함으로써 고비용 인적 자원을 불확실한 영역에 집중 투입할 수 있다.

모든 제안과 결정 과정은 수정이나 삭제 권한이 없는 불변 데이터베이스 원장에 단일 행으로 무조건 기록된다. 원장에는 민감한 원본 데이터를 보관하는 대신 입력값의 해시, 모델 버전, 프롬프트 버전, 합성 신뢰도, 라우팅 결과를 보관한다. 과거 결정에 오류가 발생해 수정이 필요할 때도 기존 행을 덮어쓰지 않고 이전 항목을 대체하는 새로운 행을 추가하는 방식으로 감사 무결성을 유지한다.

제약적 순환과 한계점

검색과 추론을 다단계로 반복해야 하는 개방형 탐색 작업에는 무제한 실행을 금지하는 제약적 도구 순환 방식이 예외적으로 허용된다. 이 경우에도 엄격한 최대 반복 횟수 설정, 기능별 허용 도구 목록 지정, 매 단계별 실행 추적 기록 유지, 동일한 사후 검증 절차 거치기라는 4가지 제약 기준을 필수적으로 충족해야 한다. 정해진 반복 횟수를 채우고도 결론에 도달하지 못하면 작업을 무리하게 이어가지 않고 즉시 인간 검토 단계로 이관한다.

모델이 생성한 자체 신뢰도 수치를 그대로 신뢰하거나 유연성을 핑계로 제약 없는 순환 루프를 도입하는 것은 대표적인 설계 결함으로 지적된다. 제시된 결정론 계층은 에이전트 시스템 6단계 성숙도 모델의 첫 번째 기반 단계로서 모델의 추론 오류 자체를 완전히 없애지는 못한다. 복잡한 지능적 판단은 모델에 맡기되 시스템 전체의 실행 경로와 상태 변경을 일반 코드로 감싸 예측 가능성을 확보하는 것이 이 설계의 핵심이다.