AWS, 큐에이 스튜디오에 애플리케이션 단위 관리와 팀 기반 권한 제어 기능 추가

애플리케이션 단위 테스트 관리

아마존웹서비스는 인공지능 에이전트 기반 품질 보증 솔루션인 큐에이 스튜디오에 애플리케이션 단위 관리와 팀 기반 사용자 권한 제어 기능을 새롭게 추가했다. 조직 내에서 자연어 기반 테스트 자동화 도입이 확산되면 테스트 케이스가 수백 개로 급증하면서 소유권이 불명확해지고 테스트 관리 자체가 새로운 병목으로 떠오른다. 이번 변경은 개별 테스트 케이스와 회귀 테스트 모음을 단일 애플리케이션에 귀속시켜 소유 책임을 명확히 하고 환경별 상태를 일목요연하게 파악할 수 있도록 돕는다.

각 애플리케이션은 이름과 기본 주소, 개발이나 스테이징 및 프로덕션 같은 실행 환경 정보를 지정하여 생성된다. 시스템은 통과율을 기반으로 계산을 시작하되 성공과 실패를 불규칙하게 반복하는 불안정 테스트에 감점을 부여하여 0점에서 100점 사이의 종합 건강 점수를 산출한다. 이를 통해 테스트가 간헐적으로 통과하더라도 숨겨진 결함을 놓치지 않도록 지원하며, 담당자는 개별 결과를 일일이 열어보지 않고도 전체 포트폴리오의 안정성을 즉각 평가한다.

실행 지표 분석과 실패 추적

지표 화면에서는 1시간 단위의 7일 조회 기간이나 1일 단위의 30일 조회 기간을 선택해 실행 횟수와 성공, 실패, 평균 소요 시간 추이를 그래프로 확인한다. 수집되는 모든 지표는 애플리케이션과 환경 기준으로 세분화되므로 동일한 테스트 모음이 스테이징과 프로덕션 환경에서 각각 어떻게 동작하는지 직관적으로 비교 분석할 수 있다. 더불어 최근 7일 동안 성공과 실패가 빈번하게 뒤바뀐 테스트 목록을 순위별로 정렬하는 화면을 제공하여 테스트 신뢰도를 저하시키는 요인을 사전에 제거하도록 돕는다.

최근 실패 화면에서는 가장 최근에 발생한 테스트 실패 항목을 정리하여 신속한 선별 작업을 지원한다. 각 실패 항목은 인공지능 모델이 기록한 에이전트 경로 기록과 세션 녹화 영상으로 곧바로 연결되도록 구성되었다. 개발자와 품질 관리 담당자는 테스트 실패 알림을 확인한 뒤 단 한 번의 이동으로 에이전트가 브라우저 화면에서 실제로 무엇을 관찰하고 어떤 동작을 수행했는지 시각적으로 추적할 수 있어 디버깅에 소요되는 시간을 단축한다.

팀 기반 역할 권한과 상한 규칙

큐에이 스튜디오는 접근 제어를 팀 단위로 조직화하며 각 애플리케이션은 오직 하나의 팀에만 전속된다. 사용자 역할은 권한 범위가 누적되는 5단계 위계 구조로 운영되며, 스튜디오 전역 관리자부터 팀 리드, 에디터, 실행자, 뷰어로 구성된다. 팀 리드는 팀원을 관리하고 팀 소유의 애플리케이션을 생성하며, 에디터는 테스트 케이스를 편집하고, 실행자는 수정 없이 실행만 수행하며, 뷰어는 읽기 전용 권한만 부여받아 개별 테스트 단위가 아닌 애플리케이션 수준에서 권한을 통제한다.

타 조직과의 원활한 협업을 위해 소유 팀이 다른 팀에게 애플리케이션을 공유하는 기능도 함께 마련되었다. 공유 권한은 읽기, 실행, 전체 접근의 세 단계로 부여할 수 있으며, 사용자의 고유 역할과 공유받은 수준 중 더 낮은 권한을 따르는 상한 규칙이 엄격히 적용된다. 예컨대 팀 내에서 읽기 전용 역할을 맡은 구성원은 타 팀으로부터 전체 접근 권한을 공유받더라도 읽기 권한 이상으로 승격되지 않아 무분별한 권한 확장을 방지한다.

서버리스 구조와 배포 요구조건

이번 기능은 아마존웹서비스의 완전관리형 서버리스 아키텍처 위에서 확장되도록 설계되었다. 사용자 인증은 아마존 코그니토의 역할별 사용자 그룹과 람다 권한 부여자를 통해 처리되고, 데이터는 단일 테이블 구조의 다이나모디비에 저장된다. 테스트 실행 결과는 전용 네임스페이스를 사용하는 아마존 클라우드워치 맞춤형 지표로 발행되며, 지속적 통합 및 배포 파이프라인은 최소한의 스코프를 부여받은 기계 인증 흐름으로 안전하게 연동된다.

큐에이 스튜디오 참조 솔루션은 아마존 클라우드 개발 키트를 활용해 사용자의 자체 클라우드 계정에 직접 배포하는 형태로 제공된다. 모든 테스트 데이터, 실행 결과, 모니터링 수치가 외부로 유출되지 않고 조직의 내부 경계 안에 격리 보관되므로 보안 요건을 충족한다. 다만 이 환경을 활용하려면 사전에 클라우드 인프라 배포 환경을 갖추어야 하며, 배포 직후 관리자가 팀과 사용자 역할을 직접 정의하고 애플리케이션을 할당하는 초기 구성 절차를 완료해야 정상적인 지표 수집이 시작된다.