바이엘 크롭 사이언스, Amazon Bedrock AgentCore 기반 에이전트 의사결정 엔진 구축

에이전트 의사결정 엔진 도입

바이엘 크롭 사이언스는 Amazon Bedrock AgentCore와 AWS Unified Operations를 활용하여 Agentic Decision Engine (ADE)을 구축했다고 발표했다. ADE는 기존의 Connected Decision Engine (CDE) 위에 자연어 인터페이스를 제공하는 다중 에이전트 시스템이다. 이 시스템은 사용자가 복잡한 머신러닝(ML) 워크플로우의 상태, 결과, 모델 동작 및 실패 원인 등을 자연어로 쉽게 파악할 수 있도록 돕는다.

ADE 도입으로 엔지니어의 직접적인 개입 없이 사용자 질문의 약 80%를 해결할 수 있게 되었다. 특히, 과거에는 수동으로 로그를 검색하고 엔지니어의 지원을 기다려 1시간 이상 소요되던 워크플로우 실패 진단 시간이 ADE를 통해 10분 이내로 크게 단축되는 성과를 보였다.

복잡한 ML 워크플로우 이해의 필요성

바이엘 크롭 사이언스는 유전체학, 현장 시험, 이미지, 환경 조건, 모델 출력 등 방대한 데이터를 기반으로 식물 육종 결정을 내린다. 이러한 결정을 지원하기 위해 수백 가지 ML 모델 구성을 실행하며, 이 과정의 반복 가능성과 거버넌스를 확보하고자 Connected Decision Engine (CDE)을 개발했다. CDE는 ML 워크플로우의 배포, 오케스트레이션, 모니터링, 재사용을 위한 핵심 시스템으로, 실행 기록과 운영 제어를 일관되게 유지한다.

그러나 CDE의 도입이 확산되면서 새로운 병목 현상이 발생했다. 워크플로우 실행 자체보다는 그 결과를 '이해'하는 데 어려움이 커진 것이다. 사용자들은 결과 설명을 위해 API, 문서, 메타데이터 저장소, 대시보드, 로그 등 여러 시스템에서 컨텍스트를 직접 조합해야 했다. 워크플로우가 왜 실패했는지, 모델이 어떤 작업을 수행했는지, 결과의 출처가 어디인지 등을 파악하려면 어떤 시스템을 확인해야 하는지 사용자가 직접 알아야 하는 불편함이 있었다. 이러한 정보 격차를 해소하고 사용자 접근성을 높이기 위해 ADE 개발이 추진되었다.

ADE의 아키텍처 및 핵심 기능

ADE는 사용자 경험, 에이전트 오케스트레이션, 전문 에이전트, 그리고 이들이 호출하는 도구 및 데이터 소스 등 네 가지 계층으로 구성된다. 사용자들은 React 웹 프런트엔드를 통해 ADE에 접근하며, 요청은 Microsoft Entra ID를 위한 신원 프록시를 거쳐 에이전트에 도달한다. 에이전트 컨테이너 이미지는 GitHub Actions를 통해 빌드되어 Amazon Elastic Container Registry (Amazon ECR)에 푸시된 후 Amazon Bedrock AgentCore 런타임에 배포된다.

Amazon Bedrock AgentCore 런타임은 에이전트를 호스팅하며, 프레임워크에 구애받지 않는 특성 덕분에 LangGraph 기반의 오케스트레이션을 직접 실행할 수 있다. LangGraph는 명시적인 그래프 기반 제어 흐름과 다단계 워크플로우를 위한 체크포인팅 기능을 제공한다. 감독 에이전트는 요청을 분류하고 전문 에이전트를 선택하며, 여러 도메인에 걸친 질문의 결과를 통합한다. 데이터 계층은 책임에 따라 분리되어, LangGraph 체크포인트 상태는 Amazon DynamoDB에, 세션 기록, 사용자 피드백, 분석 데이터는 Amazon Aurora PostgreSQL에 저장된다. 에이전트 응답은 Amazon ElastiCache에 TTL(Time To Live)과 함께 캐시된다. RAG(Retrieval Augmented Generation)를 위해 Amazon Simple Storage Service (Amazon S3)의 도메인 콘텐츠는 Amazon Titan Text Embeddings V2로 임베딩되고 Amazon OpenSearch Serverless에 인덱싱된다. Amazon CloudWatch는 런타임 및 애플리케이션 텔레메트리를 수집하며, AgentCore Gateway는 백엔드 API를 Model Context Protocol (MCP) 도구로 노출하여 인증 및 권한 부여를 에이전트 코드 외부에서 처리한다.

현재 운영 중인 ADE는 22개의 전문 에이전트를 포함하며, 각 에이전트는 특정 도메인에 한정된 도구와 데이터 소스를 가진다. 예를 들어, 도메인 전문가 에이전트는 RAG를 통해 개념적 질문에 답변하고, 운영 에이전트는 CDE에서 실시간 워크플로우 상태 및 결과를 검색한다. 문제 해결 에이전트는 운영 텔레메트리를 분석하며, 시각화 에이전트는 차트를 생성하거나 기존 대시보드를 반환한다. 또한, 'Models as Skill' 패턴을 통해 모델 코드와 문서를 중앙 레지스트리에 저장된 스킬 정의로 변환하여 에이전트가 모델의 구현에서 모델별 질문에 답변할 수 있도록 한다. 예를 들어, 육종가가 "어제 내 표현형 워크플로우가 왜 실패했나요?"라고 질문하면, 감독 에이전트가 의도를 분류하고 문제 해결 에이전트로 요청을 라우팅한다. 이 에이전트는 CloudWatch에서 워크플로우의 텔레메트리를 읽고 AgentCore Gateway를 통해 CDE API에서 상태를 가져와 실패 지점을 식별한 후 감독 에이전트를 통해 진단을 반환한다.

개발 및 운영 과정의 주요 설계 원칙과 영향

ADE 구축 과정에서 AWS Unified Operations의 기술 계정 관리자(TAM)와 생성형 AI 도메인 전문가 엔지니어(DSE)는 설계팀의 일원으로서 중요한 역할을 수행했다. 이들의 참여는 바이엘이 각 설계를 AWS 서비스 동작에 맞춰 사전에 테스트할 수 있도록 지원했으며, 아키텍처 소유권과 최종 결정 권한은 바이엘에 유지되었다. 이 과정에서 다섯 가지 주요 설계 결정이 이루어졌으며, 이는 개발자와 운영팀에 직접적인 영향을 미쳤다.

첫째, 오케스트레이션 상태를 외부화하여 런타임을 무상태로 취급하지 않는 원칙을 적용했다. AgentCore 런타임 세션은 활성 실행 컨텍스트를 유지하지만, 다단계 워크플로우의 내구성 있는 저장을 위해 LangGraph 체크포인트를 Amazon DynamoDB에 저장하여 스케일 아웃, 재시작, 세션 경계 이후에도 워크플로우를 재개할 수 있도록 했다. 이는 시스템의 복원력을 높여 개발 및 운영 부담을 줄였다. 둘째, 엔터프라이즈 ID, 게이트웨이 접근, 다운스트림 권한 부여를 분리했다. 사용자 ID는 Microsoft Entra ID를 표준으로 사용하고, 서비스 간 호출은 AWS Identity and Access Management (IAM)으로, 다운스트림 CDE 서비스 접근은 AgentCore Gateway 아웃바운드 권한 부여로 처리했다. 각 신뢰 경계마다 고유한 메커니즘을 적용하여 토큰 재사용으로 인한 보안 및 관리 문제를 방지함으로써 개발자가 인증 및 권한 부여 로직을 더 명확하게 관리할 수 있게 했다.

셋째, 모델 선택을 인터페이스 계약으로 취급했다. 도구 사용 에이전트의 경우, 모델 선택은 도구 호출, 구조화된 출력, 스트리밍 동작, 추론 기능, 지연 시간, 할당량 가용성, 모델별 요청 의미론 등 전체 인터페이스에 의해 제약된다는 점을 명확히 했다. 이는 최신 모델 버전이 항상 기존 모델을 즉시 대체할 수 있는 것은 아님을 개발팀이 인지하고 신중하게 모델을 선택하도록 유도했다. 넷째, 도구 표면을 제어하여 프롬프트에 미치는 영향을 최소화했다. CDE가 500개 이상의 모델 구성을 관리하므로, ADE는 OpenAPI 사양을 AgentCore Gateway에 등록하여 REST 작업을 MCP 도구로 노출했다. 또한, 전문 에이전트별로 도구 카탈로그를 범위화하여 토큰 사용량을 줄이고 모델의 의사결정 공간을 제어했다. AgentCore Gateway는 대규모 카탈로그를 위한 의미론적 도구 검색도 지원하여 개발자가 효율적으로 도구를 관리하고 활용할 수 있도록 했다. 다섯째, 복잡한 기능을 도구에서 에이전트로 승격했다. 초기에는 도구였던 시각화 기능이 자체 데이터 검색, 차트 선택 로직, 재시도, 오류 처리 등 복잡성이 증가하자 전문 시각화 에이전트로 분리되었다. 이 에이전트는 Amazon Bedrock AgentCore의 AgentCore Code Interpreter에서 차트를 생성하고, Amazon S3를 통해 데이터를 교환한다. 이러한 분리는 기능의 모듈성을 높여 개발 및 유지보수를 용이하게 했다.

이러한 설계 원칙과 AWS Unified Operations의 지원은 ADE의 안정성과 효율성을 크게 향상시켰다. 특히, API 통합 오버헤드를 99% 이상 절감하는 등 개발 및 운영 비용을 줄이는 데 기여했으며, 개발팀은 에이전트 호스팅 및 운영 부담을 줄이고 핵심 에이전트 로직 개발에 집중할 수 있었다. 사용자 측면에서는 자연어 인터페이스를 통해 복잡한 ML 워크플로우 정보에 쉽게 접근하고, 문제 진단 시간을 대폭 단축하는 등 업무 효율성 향상을 경험했다.

ADE의 운영 준비 및 향후 계획

ADE의 출시를 앞두고 바이엘은 설계에서 운영 가능성으로 초점을 전환했다. 에이전트 실패 감지, 추론 비용 할당, 배포 강화에 집중했다. 관측 가능성 측면에서는 단순히 예외뿐만 아니라 작업 실패를 측정하도록 개선했다. 감독 아키텍처에서는 모든 HTTP 요청이 성공하더라도 최종 답변이 잘못될 수 있음을 인지하고, CloudWatch 사용자 지정 지표와 에이전트별 조건(도구 호출 오류, 스로틀링, 모델 타임아웃, 구조화된 출력 검증 실패)에 대한 알람을 추가했다.

비용 할당을 위해 Amazon Bedrock 애플리케이션 추론 프로필, 요청 메타데이터 및 모델 호출 로깅, IAM 주체 할당 등 세 가지 메커니즘을 조합하여 비용을 추정했다. 이 분석을 통해 시각화 및 운영 에이전트가 가장 많은 토큰을 소비한다는 사실을 파악했으며, 안정적인 지침과 도구 정의를 캐시 가능한 프롬프트 접두사에 배치하여 입력 토큰 비용을 20-30% 절감했다. 보안 측면에서는 IAM 역할을 각 에이전트의 책임 범위로 제한하고, 최소 권한, 읽기 전용 도구 접근, 구조화된 출력 검증, CDE 데이터 및 텔레메트리에 기반한 답변을 통해 에이전트 응답을 제어했다. 또한, Amazon Bedrock Guardrails를 추가 보안 계층으로 평가할 계획이다.

AWS Unified Operations는 Critical Workload Review와 Well-Architected Review (Generative AI Lens 포함)를 수행하여 ADE의 특정 실패 모드, 용량 위험, 배포 격차를 식별하고 개선을 지원했다. 이를 통해 더 강력한 알람, 불변 버전 이미지, Amazon ECR에서의 푸시 시 스캔, 미사용 이미지에 대한 수명 주기 정책 등을 적용했다. 로드 테스트를 통해 애플리케이션 및 서비스 할당량을 검증하고 네트워킹 실패 모드를 수정하는 등 출시 전 35개의 문제 해결을 지원했다.

ADE는 제한된 그룹에 먼저 출시되었으며, 현재 바이엘 크롭 사이언스의 100명 이상의 사용자(육종가, 분석가, 연구원, 데이터 과학자, 엔지니어)가 사용하고 있다. 22개의 전문 에이전트 외에 약 20개의 API 도구를 노출하며, 타사 에이전트 호스팅도 가능하다. AWS Unified Operations의 DSE는 출시 이후에도 지속적인 운영 지원을 제공하며, ADE의 주요 CloudWatch 알람은 AWS Incident Detection and Response에 온보딩되어 AWS Incident Management Engineers가 5분 이내에 대응한다. AWS Security Incident Response 엔지니어는 잠재적 또는 실제 보안 이벤트 시 팀을 지원하여 운영 및 보안 문제에 대한 AWS 모니터링 및 대응 범위를 확보했다.

바이엘은 현재 에이전트 간 통신이 구현된 상태에서 다음 단계로 하이브리드 클라우드 에이전트 상호 운용성, 즉 다른 환경에서 실행되는 에이전트 간의 수동 구성 없는 자동 검색 및 통신 방안을 탐색하고 있다. ADE는 CDE를 대체하는 것이 아니라, CDE를 더 쉽게 쿼리하고 운영할 수 있도록 돕는 보완적인 시스템으로서 그 역할을 확장해 나갈 예정이다.