AI 에이전트 관측성: 개발부터 운영까지 전 과정 통합

AI 에이전트 관측성의 변화

Datadog의 얀빙 리 최고제품책임자(CPO)는 AI 에이전트의 등장으로 관측성(Observability)의 역할이 확장되고 있다고 설명한다. 기존 분산 시스템 관측성(메트릭, 트레이스, 로그)은 여전히 중요하지만, AI 모델의 비결정적 특성과 복잡한 에이전트 행동을 이해하기 위한 새로운 관측 요소가 필요하다.

초기 LLM 호출의 프롬프트와 응답 관측에서 시작하여, 이제는 에이전트의 전체 실행 경로, 도구 호출, 추론 과정, 의사결정 이유, 그리고 애플리케이션 전반에 미치는 영향을 포괄적으로 관측한다. 이는 단순한 소프트웨어 상태 모니터링을 넘어 소프트웨어 행동 관측으로 진화하는 것을 의미한다.

AI 에이전트는 마이크로서비스와 유사하게 분산 시스템의 특성을 가지지만, 지능형 모델에 의해 구동된다는 점에서 차이가 있다. API 호출의 속도 제한 도달과 같은 기존 문제들이 AI 에이전트 환경에서 더욱 두드러지게 나타나기도 한다.

관측성 변화의 배경과 맥락

AI 에이전트 시스템은 기존 클라우드 소프트웨어 시스템과 달리, 개발 단계에서 모든 것을 철저히 검증하기 어렵다. 실제 운영 환경에서 예상치 못한 행동이 발생할 수 있으므로, 지속적인 모니터링과 빠른 피드백 루프가 필수적이다.

이러한 연속적인 피드백 루프는 단순히 운영 환경을 모니터링하는 것을 넘어, 개발 단계로 정보를 다시 전달하여 에이전트의 성능과 안정성을 지속적으로 개선하는 '플라이휠(flywheel)' 역할을 한다. 이는 AI 개발의 빠른 반복 주기와 맞물려 더욱 중요해진다.

Datadog은 이러한 변화에 맞춰 에이전트 관측성을 단순히 프로덕션 트레이스, 도구 호출, 토큰 사용량 등을 관측하는 것을 넘어, 온라인 평가를 통해 에이전트의 동작을 이해하고 이를 개발 단계에 반영하는 방식으로 접근한다.

구체적인 관측 내용 및 활용

AI 에이전트 관측은 프롬프트, LLM 출력, 추론 과정, 도구 호출, 응답 등 에이전트의 전체 실행 궤적을 포함한다. 또한, 잘못된 도구 호출, 개인 식별 정보(PII) 노출과 같은 AI 특유의 문제점도 관측 대상에 포함된다.

관측된 신호와 텔레메트리 데이터는 에이전트의 문제점을 파악하고 개선점을 도출하는 데 사용된다. 예를 들어, API 호출의 속도 제한 오류와 같은 일반적인 문제도 AI 에이전트 환경에서 더 빈번하게 발생할 수 있다.

Datadog은 AI를 활용하여 관측 데이터를 분석하고, 알려지지 않은 사용 사례를 자동으로 식별하거나 새로운 테스트 케이스를 생성하는 데 투자하고 있다. 이는 개발 전 단계에서 합성 테스트를 생성하고, 배포 후에는 프로덕션 신호를 빠르게 피드백하여 광범위한 롤아웃 전에 문제를 해결하는 데 기여한다.

특히 SRE(Site Reliability Engineering) 조사 에이전트의 경우, Datadog 고객사에서 평균 3분 이내에 인시던트의 근본 원인을 파악하는 성과를 보였다. 이는 수십 명의 인력이 투입되는 기존의 수동 조사 방식보다 훨씬 빠르다.

개발자 및 사용자에게 미치는 영향

AI 기반 소프트웨어 개발로 인해 개발 수명 주기(SDLC)의 경계가 모호해지고 있다. 과거에는 SRE 팀의 영역이었던 관측성이 이제는 개발자에게도 중요해지고, SRE는 코드 수정에 참여하는 등 역할의 변화가 나타난다.

개발자는 프로덕션 텔레메트리에 쉽게 접근하여 개발 과정에서 실제 운영 환경의 맥락을 활용할 수 있게 된다. 이는 AI 네이티브 고객사에서 더욱 두드러지는 현상이다.

Datadog은 개발자의 로컬 환경에서도 프로덕션 컨텍스트를 활용할 수 있는 로컬 에이전트 경험을 구축하고 있다. 이를 통해 개발자는 자신의 노트북에서 작업하면서도 실제 운영 환경의 데이터를 기반으로 개발할 수 있다.

대시보드는 여전히 유용하지만, AI 에이전트는 원본 데이터에 직접 접근하며, 사용자는 Slack, CLI, IDE 등 다양한 인터페이스를 통해 관측 정보에 접근하고 필요에 따라 대시보드를 즉석에서 생성할 수 있게 된다.

적용 조건, 제약 및 한계

AI 에이전트 관측성은 단순히 프로덕션 모니터링을 넘어 개발 단계에서의 평가, 실험, 배포 과정 전반에 걸쳐 유사한 기능을 제공해야 한다. 이는 LLM의 행동을 평가하는 'LLM as a judge'와 같은 기법이 개발과 운영 모두에서 일관되게 적용될 수 있음을 시사한다.

AI 에이전트 관측성은 독립적인 영역이 아니라, 데이터베이스, 레이크하우스, 다른 서비스의 API 호출 등 광범위한 분산 시스템의 일부로 통합되어야 한다. Datadog은 이를 전체 시스템 서비스 관측성 스토리의 일부로 본다.

AI 에이전트의 보안은 아직 완전히 해결되지 않은 다면적인 과제이다. AI가 공격 대상, 공격자, 또는 공격 전달 벡터가 될 수 있으므로, 에이전트의 모든 행동을 이해하는 관측성 데이터가 보안 문제 해결에도 활용될 수 있다.

토큰 경제성(Tokenomics) 또는 ROI(투자수익률) 문제는 AI 에이전트의 비용 효율성과 비즈니스 가치를 연결하는 새로운 영역이다. 이는 원시적인 수준의 토큰 소비 관측에서 시작하여 비즈니스 성과와 연계하는 방식으로 발전할 것으로 예상된다.