AWS, 에이전트 기반 대화형 비디오 인텔리전스 솔루션 공개

에이전트 기반 비디오 인텔리전스 도입

AWS는 Strands Agents SDK를 기반으로 하는 에이전트 기반 대화형 비디오 인텔리전스 솔루션을 공개했다. 이 솔루션은 사용자가 업로드된 비디오에 대해 자연어 질문을 하면 몇 초 내에 답변을 제공한다. 기존의 고정된 머신러닝(ML) 파이프라인 방식과 달리, 단일 AI 에이전트가 런타임에 필요한 AWS 서비스를 동적으로 호출하여 비디오 콘텐츠를 분석한다.

이 접근 방식은 Amazon Bedrock, Amazon Rekognition, Amazon Transcribe와 같은 AWS AI 서비스를 유연하게 오케스트레이션한다. 초기 비디오 분석에는 길이에 따라 5~10분이 소요될 수 있지만, 이전에 분석된 콘텐츠에 대한 후속 질문은 캐시된 결과를 재사용하여 1초 미만으로 빠르게 답변을 반환한다.

변화의 배경과 필요성

미디어, 보안, 보험, 전문 서비스 등 다양한 산업 분야의 조직들은 팀이 수동으로 검토하기 어려운 방대한 양의 비디오 콘텐츠를 생성하고 있다. 회의 녹화, 보안 카메라 영상, 현장 검사 비디오 등에는 중요한 정보가 담겨 있지만, 이를 추출하기 위해서는 수 시간의 콘텐츠를 일일이 시청해야 하는 비효율성이 존재했다.

기존에는 특정 질문 유형에 맞춰 전사, 컴퓨터 비전, 얼굴 매칭 등 개별적인 ML 파이프라인을 구축해야 했으며, 이는 상당한 개발 노력과 시간이 필요했다. AWS의 에이전트 기반 솔루션은 이러한 문제를 해결하여, 각 사용 사례별로 별도의 처리 파이프라인을 구축할 필요 없이 비디오 콘텐츠에서 필요한 정보를 효율적으로 추출할 수 있도록 지원한다. 실제로 한 주요 미디어 및 엔터테인먼트 회사는 이 솔루션을 도입하여 200개 이상의 다시간 녹화물 백로그에서 수동 검토 시간을 약 80% 단축하는 성과를 거두었다.

솔루션의 구체적인 작동 방식

이 솔루션의 핵심 아키텍처는 Strands Agents SDK로 구축된 에이전트 오케스트레이터와 Amazon Bedrock을 중심으로 구성된다. 에이전트 오케스트레이터는 Anthropic Claude Sonnet과 같이 도구 사용을 지원하는 대규모 언어 모델(LLM)을 활용하여 사용자 질의를 해석하고, 어떤 AWS 서비스를 호출할지 결정한다. Amazon S3는 업로드된 비디오 파일과 분석 결과의 저장소 역할을 수행한다.

에이전트는 Amazon Rekognition을 사용하여 비디오 프레임 내의 객체, 장면, 활동, 얼굴 등을 시각적으로 분석하며, Amazon Transcribe는 100개 이상의 언어에 대한 자동 감지 및 화자 분리(speaker diarization) 기능을 통해 음성을 텍스트로 변환한다. 또한, Amazon Bedrock Data Automation(BDA)은 비디오 요약, 챕터 감지, 전체 전사를 단일 API 호출로 제공하여 포괄적인 분석을 위한 대안 경로를 제공한다.

에이전트의 동작은 `SYSTEM_PROMPT`를 통해 안내되며, 여기에는 캐시 관리, 도구 대체 동작, 다중 모달 오케스트레이션 정책 등이 포함된다. 예를 들어, 사용자가 참조 사진을 제공하며 특정 인물의 비디오 출현 여부를 질의하면, 에이전트는 먼저 참조 얼굴을 색인하고(analyze_reference_image), 이어서 비디오에서 얼굴을 검색하는(search_faces_in_video) 다단계 작업을 순차적으로 수행한다.

각 AWS 서비스는 Strands Agents SDK의 `@tool` 데코레이터가 적용된 Python 함수로 에이전트에 노출된다. 함수의 시그니처와 독스트링(docstring)은 에이전트에게 해당 도구를 언제, 어떻게 사용해야 하는지에 대한 지침을 제공한다. 이러한 설정을 통해 에이전트는 라우팅, 도구 시퀀싱, 응답 합성을 자율적으로 처리하며, 새로운 기능 추가 시에는 새로운 `@tool` 함수를 정의하고 도구 목록에 추가하는 것만으로 가능하다.

개발자와 사용자에게 미치는 영향

이 에이전트 기반 솔루션은 개발자에게 비디오 분석 파이프라인 구축의 복잡성을 줄여준다. 개발자는 각 질문 유형에 대한 고정된 처리 로직을 코드로 작성하는 대신, 에이전트가 런타임에 동적으로 서비스를 선택하고 오케스트레이션하도록 설정할 수 있다. 이는 새로운 분석 기능 추가 시 개발 노력을 최소화하고, 더 빠르게 시장에 출시할 수 있도록 돕는다.

사용자는 자연어 대화를 통해 비디오 콘텐츠에서 필요한 정보를 손쉽게 추출할 수 있게 된다. 예를 들어, 회의 녹화물에서 특정 디자인 결정이나 액션 아이템을 질의하거나, 보안 카메라 영상에서 특정 인물의 출입 시간을 확인하고, 대시캠 영상으로 충돌 전 사건 순서를 재구성하는 등 다양한 시나리오에 적용 가능하다. 초기 분석 이후에는 캐시된 결과를 통해 후속 질문에 대한 답변이 거의 즉시 제공되어 사용자 경험을 향상시킨다.

또한, 이 아키텍처는 비디오 분석에만 국한되지 않고 다른 모달리티로 확장될 수 있는 일반적인 템플릿을 제공한다. Amazon Textract를 활용하여 문서 및 다이어그램을 이해하거나, AWS HealthScribe를 통해 임상 대화를 분석하고, Amazon Comprehend로 엔티티 및 감정을 추출하는 등 다양한 AI 어시스턴트를 구축하는 데 활용될 수 있다. 이는 기존에 구축된 오케스트레이션, 캐싱, 인증, 사용자별 격리 등의 기반을 재사용하여 새로운 모달리티를 지원하는 도구를 추가하는 방식으로 이루어진다.

적용 조건 및 한계점

이 솔루션을 활용하기 위해서는 Amazon Bedrock(Anthropic Claude Sonnet 활성화), Amazon S3에 접근 가능한 AWS 계정이 필요하며, Python 3.11 이상 환경에 Strands Agents SDK를 설치해야 한다. 또한, AWS CLI 구성 및 필요한 IAM 권한, 그리고 AI 에이전트 개념에 대한 기본적인 이해가 요구된다.

현재 솔루션에는 몇 가지 한계점이 존재한다. 2~3시간 이상의 긴 비디오는 초기 전사에 몇 분이 소요될 수 있으며, 얼굴 매칭의 정확도는 참조 사진의 품질에 크게 의존한다. 흐릿하거나 그룹 사진에서 잘라낸 이미지는 신뢰도가 낮을 수 있다. 전사 정확도는 배경 소음이 심하거나 화자가 겹칠 때 저하될 수 있으며, 에이전트는 이러한 품질 문제를 감지하면 사용자에게 알린다.

웹 인터페이스는 최대 2GB의 MP4, MOV, AVI, MKV 파일을 지원하며, 이는 Fargate 태스크의 메모리 제한을 고려한 것이다. 더 큰 미디어 파일(BDA는 최대 10GB 지원)의 경우 Amazon S3에 직접 업로드한 후 URI를 통해 에이전트에 분석을 요청할 수 있다. 동시 처리 용량은 태스크의 임시 저장소와 사용자별 할당량에 따라 제한되며, 기본 설정에서 태스크당 약 6명의 동시 사용자를 지원하고 CPU 부하에 따라 오토 스케일링으로 태스크가 추가된다.

보안 측면에서는 초대 전용 Amazon Cognito 계정, 필수 다단계 인증(MFA), 사용자별 Amazon S3 접두사 적용, CloudFront를 통해서만 노출되는 내부 Application Load Balancer, 사용자별 업로드 할당량 제한 등의 통제가 구현되어 있다. 프로덕션 환경에서는 사용자 지정 도메인, AWS WAF, 감사 로깅 및 모니터링 확장, 데이터 처리 요구 사항 정의 등 추가적인 보안 강화 조치를 고려해야 한다.