TCS, Amazon Bedrock AgentCore 기반 에이전트형 테스트 오케스트레이터 구축

새로운 테스트 오케스트레이터 도입

타타 컨설턴시 서비스(TCS)는 Amazon Bedrock AgentCore를 활용하여 금융, 은행, 보험(BFSI) 고객을 위한 에이전트형 테스트 오케스트레이터를 구축했다. 이 솔루션은 요구사항을 실행 가능한 거버넌스 테스트로 전환하는 역할을 수행한다. 기존의 수동적이고 반복적인 테스트 작업의 비효율성을 개선하고, 대규모 테스트 환경에서 발생하는 제약 사항을 해소하는 데 중점을 둔다.

이 오케스트레이터는 요구사항 해석, 시나리오 설계, 자동화 스크립트 작성 및 유지보수, 실행 환경 준비, 실패 조사, 검토를 위한 증거 취합 등 복잡한 일련의 작업을 자동화한다. 이를 통해 품질 엔지니어는 반복적인 번역 및 실행 작업에서 벗어나 위험 분석, 탐색적 테스트, 릴리스 결정과 같은 핵심 업무에 더 많은 시간을 할애할 수 있게 된다.

기존 방식의 한계와 솔루션 배경

TCS는 이미 전통적인 테스트 자동화 방식을 사용하고 있었으나, 이는 주로 실행 속도 개선에 초점을 맞췄다. 시나리오 생성, 스크립트 변환, 로케이터 및 종속성 유지보수, 오류 진단과 같은 느린 작업은 여전히 수동으로 진행되어 병목 현상을 유발했다. 연결된 사용자 스토리가 변경될 경우 이전에 생성된 스크립트가 빠르게 구식이 되는 문제도 발생했다.

단일 생성형 AI 프롬프트 방식으로는 다단계 엔지니어링 워크플로우에 필요한 정교한 제어를 제공하기 어려웠다. BFSI 고객들은 금융 서비스에서 요구되는 엄격한 통제 수준을 유지하면서도 테스트 처리량을 늘려야 하는 과제에 직면했다. 이러한 산업적 요구사항을 해결하기 위해 TCS는 네 가지 구체적인 요구사항을 설정했다. 모든 테스트는 프로젝트별 컨텍스트에 기반해야 하고, API 및 브라우저 기반 UI 테스트를 모두 지원해야 하며, 각 테넌트의 데이터와 지식 저장소가 격리되어야 하고, 요구사항 수집부터 테스트 증거 및 보고까지 반복 가능한 경로를 제공해야 한다는 점이다.

에이전트형 오케스트레이터의 주요 기능

TCS는 테스트 작업을 전문화된 태스크로 분해하는 에이전트형 테스트 오케스트레이터를 설계했다. 각 태스크는 자체 에이전트, 도구, 검증 규칙 및 컨텍스트를 가지며, 확정적 감독자가 작업을 라우팅하고 실행 워크플로우가 재시도, 오류 분류, 지속성 및 보고를 제어한다. 에이전트 실행을 위해 TCS는 Amazon Bedrock AgentCore를 선택했다.

Amazon Bedrock AgentCore는 다양한 모델 선택지를 제공하여 각 에이전트가 시나리오 설계나 코드 생성 등 해당 태스크에 가장 적합한 모델을 사용할 수 있게 한다. 또한, AgentCore 런타임은 수요에 따라 확장되므로 TCS가 에이전트 서버를 프로비저닝하거나 튜닝할 필요 없이 여러 테넌트의 테스터들이 동시에 생성 및 실행 세션을 운영할 수 있다. 런타임은 각 세션을 격리된 마이크로VM에서 실행하여 다중 테넌트 플랫폼에 세션 수준의 격리를 제공한다. 이러한 기능들을 통해 TCS는 에이전트 인프라 구축 대신 테스트 로직 개발에 집중하여 BFSI 고객에게 플랫폼을 더 빠르게 제공할 수 있었다.

이 플랫폼은 Jira 스토리, 비즈니스 요구사항 문서(BRD), Swagger 사양, 업로드된 문서, GitLab 소스 폴더, 캡처된 UI 흐름 등 다양한 입력으로부터 테스트 시나리오, Gherkin 피처 파일, 실행 가능한 Java 또는 Python 테스트를 생성한다. 생성된 테스트는 Amazon Elastic Container Service(Amazon ECS)에서 실행되며, 결과는 Amazon Simple Storage Service(Amazon S3)와 Amazon DynamoDB에 저장되고 Amazon CloudWatch를 통해 로그가 캡처된다.

구체적인 아키텍처 및 보안 구현

TCS Agentic Test Orchestrator는 AWS 기반의 다중 테넌트 서비스형 소프트웨어(SaaS) 솔루션이다. 각 테넌트의 ID, 데이터, 키에 대한 엄격한 격리를 위해 공유 제어 플레인과 개별 테넌트 애플리케이션 플레인을 분리하여 사용한다. 공유 제어 플레인은 Amazon Elastic Kubernetes Service(Amazon EKS) 클러스터, 컨테이너 레지스트리, 관리 포털, 테넌트 레지스트리, 온보딩 자동화, Amazon CloudFront 배포, AWS WAF 보호를 제공한다.

각 테넌트 애플리케이션 플레인은 자체 Kubernetes 네임스페이스, Amazon Cognito 사용자 풀, AWS Key Management Service(AWS KMS) 키, Amazon S3 버킷, Amazon DynamoDB 테이블, Amazon Bedrock Knowledge Bases를 할당받는다. 이러한 분리는 BFSI 테넌트에게 금융 서비스 통제에 필요한 데이터 및 키 경계를 제공한다. 테넌트 온보딩은 이벤트 기반으로, 관리 API가 보류 중인 테넌트 레코드를 작성하고 Amazon EventBridge를 통해 이벤트를 발행하며 AWS CodeBuild 프로젝트를 시작하여 AWS Cloud Development Kit(AWS CDK)로 테넌트 인프라를 배포한다.

에이전트가 프로젝트별 도메인 컨텍스트를 반영하도록, 업로드된 요구사항과 생성된 아티팩트는 Amazon S3에, 세션 메타데이터는 Amazon DynamoDB에 저장된다. 프로젝트 문서와 동기화된 소스 파일은 벡터 임베딩을 사용하여 Amazon Bedrock Knowledge Bases에 인덱싱되며, 검색은 테넌트, 프로젝트, 세션 컨텍스트로 필터링되어 클라이언트 간 컨텍스트 혼합을 방지한다. UI 자동화를 위해 별도의 캡처 서비스가 Puppeteer를 사용하여 URL과 자연어 목표를 UI 흐름 문서 및 XPath 로케이터 문서로 변환한다.

단일 프롬프트의 한계를 극복하기 위해 플랫폼은 작업을 전문화된 에이전트들로 나눈다. 이 에이전트들은 Strands Agents SDK를 사용하여 Amazon Bedrock AgentCore 런타임에서 컨테이너화된 서비스로 실행된다. 주요 에이전트로는 시나리오 생성, Gherkin 변환, 코드 생성 및 검증을 담당하는 '생성 에이전트', 요청 분류 및 아티팩트 수정을 담당하는 '챗 에이전트', BRD 컨텍스트 기반 사용자 스토리 생성을 담당하는 '동적 태스크 에이전트', 연결된 Jira 스토리 체인에 걸쳐 시나리오, Gherkin 또는 코드를 확장하는 '증분 에이전트', 그리고 테스트 실행, 실패 분류 및 수정, 결과 저장을 담당하는 '실행 에이전트'가 있다.

실행 에이전트는 생성된 코드에서 테스트 유형을 감지하여 API 테스트는 AWS Fargate의 Amazon ECS로, Selenium UI 테스트는 가상 디스플레이를 갖춘 Chrome을 실행하는 Amazon Elastic Compute Cloud(Amazon EC2) 기반 Amazon ECS 클러스터로 라우팅한다. UI 테스트 실행 시 FFmpeg으로 가상 디스플레이를 캡처하고 HTTP Live Streaming(HLS) 스트림을 Amazon S3에 게시하여 Amazon CloudFront를 통해 전달한다. 테스트 로그는 Amazon CloudWatch로 전송되고 Cucumber 보고서는 시간 제한 접근으로 Amazon S3에 저장된다.

실행 에이전트는 가져오기, 실행, 수정, 저장 단계를 LangGraph 워크플로우로 정의하여 고정된 단계 순서와 제한된 재시도 루프를 제공한다. AgentCore 런타임이 이를 호스팅, 확장 및 격리한다. 실패가 코드 오류로 분류되고 재시도 정책이 허용하는 경우, 수정 에이전트가 제한된 오류 컨텍스트를 받아 대상 수정 사항을 제안한다. 안전 검사는 빈 파일, 예상치 못한 새 파일, 극단적인 파일 크기 변경을 거부한다. 연결 또는 인증 실패와 같은 환경 오류는 코드 수정 에이전트로 전송되지 않는다.

개발 및 운영 효율성 증대

TCS는 에이전트형 테스트 오케스트레이터를 BFSI 고객을 위해 프로덕션 환경에서 운영 중이다. 약 100개의 테스트 시나리오로 구성된 대표적인 BFSI 워크로드에서 기존 수동 프로세스와 비교한 결과, 시나리오당 약 2시간이 소요되던 작업이 에이전트형 오케스트레이터 사용 시 약 14분으로 단축되었다. 이는 전체 작업 시간을 200시간에서 약 24시간으로 줄여 88%의 노력 절감 효과를 가져왔다. (이 수치는 TCS의 통제된 내부 벤치마크 결과이며, 실제 결과는 워크로드, 애플리케이션 복잡성, 팀에 따라 달라질 수 있다.)

이 솔루션은 요구사항 수집, 생성, 실행, 수정, 보고가 단절된 인계 과정 대신 추적 가능한 하나의 워크플로우를 형성하게 했다. 품질 엔지니어는 AI가 생성한 아티팩트를 직접 구축하는 대신 검토하고 관리하며, 이를 통해 위험 분석, 탐색적 테스트, 릴리스 결정 등 수동 프로세스에서 소외되었던 핵심 업무에 시간을 할애할 수 있게 되었다. 이는 TCS가 목표했던 결과이다.

이 솔루션은 컨텍스트 검색, 전문화된 에이전트, 워크로드 인식 실행, 테넌트별 격리 서비스, 관찰 가능한 인프라를 결합하여 비즈니스 요구사항에서 신뢰할 수 있는 테스트 증거에 이르는 파편화된 수동 경로를 해결한다. 이는 생성형 AI를 소프트웨어 품질 엔지니어링에 적용하는 재사용 가능한 패턴을 제공하며, 테스트를 단일 프롬프트로 축소하지 않는다는 점을 강조한다.

적용 조건 및 한계

이 솔루션은 규제 대상인 BFSI 테넌트를 위해 ID, 네트워크, 데이터, 애플리케이션 계층에서 엄격한 통제를 적용한다. ID 관리에는 플랫폼 관리자와 각 테넌트를 위한 별도의 Amazon Cognito 사용자 풀이 사용되며, 백엔드 JSON 웹 토큰(JWT) 유효성 검사 및 역할 기반 권한 부여가 적용된다. 데이터 계층에서는 각 테넌트가 자체 AWS KMS 키와 암호화된 Amazon S3 스토리지를 가지며, DynamoDB 접근은 테넌트 범위로 제한되고 Jira 및 GitLab 자격 증명은 AWS Secrets Manager에 저장된다.

Amazon EKS의 워크로드 수준에서는 Kubernetes 네임스페이스, NetworkPolicy, ResourceQuota를 통해 테넌트가 분리되고, 컨테이너는 비루트 사용자로 실행되며 Linux 기능이 제한된다. 네트워크 엣지에서는 AWS WAF 관리형 규칙과 요청 속도 제어가 플랫폼을 보호하며, 트래픽은 Amazon CloudFront와 Application Load Balancer를 통해 HTTPS로 전달되고 응답에는 제한적인 보안 헤더가 포함된다. OpenTelemetry 트레이스는 에이전트 활동을 캡처하고 Amazon CloudWatch 로그 및 Container Insights는 애플리케이션 및 실행 관찰 가능성을 제공한다.

Amazon Bedrock AgentCore는 에이전트를 호스팅하고 확장하며, Amazon Bedrock 및 Amazon Bedrock Knowledge Bases는 AI 기능과 프로젝트 컨텍스트를 제공한다. Amazon EKS는 테넌트별 애플리케이션 계층을 호스팅하고 Amazon ECS는 목적에 맞는 실행을 제공하며, AWS 보안, 스토리지, 통합 및 관찰 가능성 서비스가 전체 라이프사이클을 지원한다. 이 솔루션은 TCS의 BFSI 팀에게 더 빠르고 일관된 테스트 프로세스를 제공하여 엔지니어들이 위험, 품질 및 릴리스 결정에 집중할 수 있도록 돕는다.