Amazon Quick과 Adjudicated Query 패턴으로 대규모 규정 준수 검사 자동화

변화의 핵심과 배경

아마존 웹 서비스(AWS)는 Amazon Quick과 Adjudicated Query 패턴을 도입하여 수만 건의 임대 계약에 대한 규정 준수 검사를 자동화하고, 그 검토 과정을 증명할 수 있는 새로운 방법을 제시한다. 이 패턴은 대규모 규정 준수 검사에서 요구되는 '완전성 증명'과 '방어 가능성'을 확보하는 데 중점을 둔다.

기존에는 수만 건에 달하는 임대 계약을 지속적으로 변화하는 주(state)별 임대인-임차인 법규에 맞춰 검토하고, 그 결과를 증명하는 것이 대부분의 규정 준수 팀에게는 어려운 과제였다. 법률 보조원이 수작업으로 검토하는 방식은 소규모에서만 가능했으며, 소프트웨어 사용 시에는 결과의 신뢰성과 독립적인 검증 가능성 문제가 발생했다.

기존의 엔터프라이즈 검색, RAG(Retrieval Augmented Generation), 유사성 검색, Text-to-SQL과 같은 기술들은 이러한 대규모 규정 준수 검사의 핵심 요구사항인 완전성 증명과 방어 가능성을 충족시키지 못했다. 특히 Text-to-SQL은 환각(hallucinated predicate)으로 인해 모집단이 조용히 축소될 위험이 있어 결과의 정확성에 대한 우려가 있었다.

Adjudicated Query 패턴 작동 방식

Adjudicated Query 패턴은 결정론적 규칙 엔진 위에 제한된 대화형 계층을 제공한다. 이 패턴에서 AI 모델은 자연어 질문을 고정된 유형의 작업 호출로 변환하고, 규칙 엔진에서 반환된 결과를 사용자에게 설명하는 두 가지 역할만 수행한다. 모델은 쿼리를 직접 작성하거나, 검사 대상 모집단을 고정하거나, 규정 준수 여부를 결정하지 않는다.

패턴의 핵심인 규칙 엔진은 버전 관리되는 데이터를 기반으로 작동하며, 일반적인 비교 연산자(gte, lte, equals, exists)를 포함한다. 법규 변경은 코드 배포가 아닌 규칙서의 행을 편집하는 방식으로 처리되어 유연성을 높인다. 이는 규칙 관리의 복잡성을 줄이고 신속한 대응을 가능하게 한다.

모든 규정 준수 검사는 '완전성 영수증(completeness receipt)'을 생성한다. 이 영수증은 '준수 + 위반 + 모호 + 읽을 수 없음 = 스캔된 전체'라는 불변성을 주장하며, 데이터가 영구 저장되기 전에 계산되고 확인된다. 이를 통해 어떤 기록도 조용히 누락되지 않고 모든 검사 대상이 정확히 하나의 범주에 포함됨을 보장한다.

참조 아키텍처 및 구성 요소

참조 아키텍처는 규정 준수 담당자가 Amazon Quick의 챗 에이전트와 Amazon QuickSight 대시보드를 통해 상호작용하는 구조를 가진다. 챗 에이전트는 Amazon Cognito를 통해 OAuth 토큰을 획득하고, Amazon API Gateway HTTP API를 거쳐 AWS Lambda 함수에 Model Context Protocol (MCP) 요청을 보낸다. Lambda 함수는 MCP 서버와 규칙 엔진을 호스팅하며, Amazon Aurora Serverless v2와 연동된다.

MCP 서버는 `sweep_compliance`, `simulate_rule_change`, `explore_clauses`, `get_finding`, `list_rules`, `check_connection`의 여섯 가지 도구만 노출한다. 이 제한된 작업 표면은 AI 모델이 잘못된 모집단을 구성할 위험을 제거하며, 각 도구는 명확한 의미론적 역할을 수행한다.

실제 적용 및 결과 확인

이 패턴의 완전한 참조 구현은 GitHub에서 제공되며, 합성 데이터, 결정론적 코퍼스 생성 및 배포된 스택에 대한 승인 테스트를 포함한다. 배포를 위해서는 AWS 계정, Amazon Bedrock 모델 액세스(Amazon Titan Text Embeddings V2 및 Anthropic Claude Sonnet 5, US East (N. Virginia) 리전), AWS CLI v2, Python 3.12, Node.js 24 등의 전제 조건이 필요하다.

Amazon Quick 챗 응답은 규정 위반 샘플, 완전성 영수증(예: 10,111건 위반, 689건 모호, 20건 읽을 수 없음), 합성 데이터 주의사항, 그리고 Amazon QuickSight 대시보드 링크를 포함한다. 대시보드에서는 모든 임대-규칙 쌍이 행으로 표시되며, 심각도 필터링, 임대 ID, 적용된 규칙, 추출된 값, 예상 값 등 상세한 증거 체인을 확인할 수 있다. 단일 발견 사항을 선택하면 임대 조항 원문과 적용된 규칙의 버전, 인용, 비교 값을 함께 볼 수 있어 방어 가능성을 높인다.

개발자 및 사용자 영향

이 패턴은 규정 준수 담당자에게 자연어 질문을 통해 대규모 임대 계약의 규정 준수 여부를 쉽게 확인할 수 있는 기능을 제공한다. '완전성 영수증'을 통해 모든 계약이 검토되었음을 증명하고, '방어 가능성'을 통해 특정 위반 사항의 결정 과정을 상세히 파악하여 감사, 소송, 규제 검사 시 효과적으로 대응할 수 있다. 또한, 규칙 변경 시 시뮬레이션을 통해 잠재적 영향을 미리 파악할 수 있다.

개발자와 조직은 규정 준수 로직을 코드 배포가 아닌 데이터(규칙서 행) 편집으로 관리할 수 있어 유연성과 신속성을 확보한다. AI 모델의 환각 위험 없이 결정론적이고 검증 가능한 규정 준수 시스템을 구축할 수 있으며, 인증된 액세스, 최소 권한 모델 액세스, 데이터 경로의 네트워크 격리, 쿼리 경로에 자연어 미사용, 감사 가능한 추가 전용 발견 기록 등 강력한 보안 모범 사례가 적용된다.

Adjudicated Query 패턴은 임대 준수 외에도 보험 청구 심사, 제재 심사, 수출 통제, 임상 시험 프로토콜 모니터링, 건축 법규 검사, 재무 보고 통제 테스트, 자격 증명 확인 등 기록 누락이 중대한 책임으로 이어지는 다양한 고위험 규정 준수 도메인에 적용될 수 있다.

적용 조건과 한계

이 패턴은 몇 가지 비협상적 설계 규칙을 따른다. 규칙은 데이터로 관리되며, 법규 변경은 규칙서 행 편집으로 처리된다. 자연어는 SQL 쿼리 계층에 도달하지 않으며, AI 모델의 개입 없이 결정론적인 숫자 비교를 통해 검사가 수행된다. 완전성을 위해 정확한 필터링을 사용하고, 유사성 검색은 순위 지정에만 활용되며 멤버십을 결정하지 않는다. 모든 영수증은 계산되며, 발견 사항은 추가 전용으로 기록되어 변경될 수 없다.

모델의 요약 기능으로 인한 위험을 완화하기 위한 안전 장치도 마련되어 있다. 모델이 주의사항 접두사를 제거하거나 샘플에서 전체 모집단 범위를 추론하는 등의 문제가 관찰되었기 때문이다. 이를 위해 주의사항은 제거 불가능한 괄호 접미사로 여러 페이로드 수준에서 반복하고, 실제 집계 데이터를 모델에 제공하며, 모드 레이블을 여러 구조적 수준에서 반복하여 패러프레이즈를 통해 살아남도록 한다.

이 패턴은 기록 누락이 책임으로 이어지고, 답변이 나중에 이의 제기될 수 있으며, 관리 로직이 외부 소유이고 기록 집합을 열거할 수 있는 경우에 적합하다. 그러나 규칙이 실제로 결정론적이지 않거나(예: 조항의 불합리성 판단), 완전성이 질문에 중요하지 않거나, 모집단 자체가 모호한 경우에는 이 패턴의 사용을 피해야 한다. 이러한 경우 패턴의 복잡성이 불필요한 비용을 추가할 수 있다.

보안 측면에서는 인증된 액세스만 허용하고, Amazon Cognito 클라이언트 시크릿은 디스크에 기록되지 않으며, Amazon Bedrock 모델 액세스 권한은 특정 모델 ARN에만 부여된다. Amazon QuickSight는 VPC 연결을 통해 Aurora에 접근하며, 쿼리 경로에 자연어가 사용되지 않아 인젝션 위험을 제거한다. 발견 기록은 감사 가능하도록 추가 전용으로 유지되며, 샘플은 합성 데이터를 사용한다. 최종 사용자 귀속은 Amazon Quick 감사 계층에 기록되지만, 규정 준수 저장소에 필요하면 별도로 스레딩해야 한다.