BMW 그룹, 1만 4천 개 클라우드 계정 비용 이상 탐지 체계 구축

수동 모니터링 탈피

BMW 그룹이 대규모 멀티 클라우드 환경에서 발생하는 비용 이상 징후를 매일 자동으로 감지해 계정 소유자에게 전달하는 시스템을 구축했다. 기존에는 시각화 대시보드를 통해 클라우드 지출 현황을 확인했으나, 사용자가 직접 화면을 열어보지 않으면 사후에 발생한 비용 낭비를 적시에 파악하기 어려웠다.

조직은 클라우드 효율성 분석 시스템인 CLEA를 고도화하여 전날 지출 데이터를 분석하고 예상 패턴을 벗어난 지출이 감지되면 이메일로 자동 통보하는 능동적 탐지 파이프라인으로 전환했다. 이를 통해 1만 4000개가 넘는 클라우드 계정의 수십만 개 서비스 조합을 담당자가 일일이 점검하지 않아도 이상 지출을 파악할 수 있게 됐다.

시계열 예측 파이프라인

비용 청구 데이터는 매월 약 30억 행, 500개 열 규모로 유입되며, 일 단위 집계를 거쳐 계정 및 서비스 단위의 일일 비용 시계열로 정리된다. 분석 작업은 데이터 누락을 방지하기 위해 전체 수집 완료가 확인된 뒤 하루 시차를 두고 수행된다.

기준 비용 모델링에는 메타의 오픈소스 시계열 예측 라이브러리인 Prophet이 사용된다. 각 계정 및 서비스 조합의 지난 365일 비용 내역과 가법적 계절성을 학습하여 예측값과 신뢰구간을 생성하며, 이 엔진은 향후 다른 모델로 교체할 수 있도록 입출력 규격을 모듈화했다.

작업 오케스트레이션은 분산 맵 기능을 활용해 최대 500개의 서버리스 실행 환경을 병렬로 가동한다. 1만 4000개 계정 전체에 대한 예측 및 탐지 작업은 약 20분 만에 완료되며, 실행당 5개 계정 미만의 실패만 허용해 99.96% 이상의 성공률을 유지한다.

다계층 오탐 방지 필터

단순히 예측 신뢰구간을 벗어난 지출을 모두 경고하면 사소한 변동에도 대량의 알림이 쏟아지는 문제가 발생한다. 따라서 기본적으로 3일 평균 지출이 0.10달러 미만이거나 내역이 10일 미만인 저비용 서비스는 모델 학습 및 탐지 대상에서 제외한다.

일차적으로 예상 비용 대비 40% 이상 편차가 발생한 항목만 추린 뒤 계정 규모와 서비스 특성에 따른 필터를 연속 적용한다. 계정은 최근 3개월 평균 지출액에 따라 4개 클러스터로 분류되며, 지출 규모에 따라 최소 초과 금액 기준(10만 달러 미만 계정은 300달러 초과, 50만 달러 초과 계정은 1000달러 초과 등)을 넘어야 알림 대상이 된다.

업무 특성상 정상 작업 중에도 지출 변동 폭이 큰 대규모 연산 및 데이터 처리 서비스에는 60%의 완화된 편차 기준을 적용한다. 또한 의도적인 변동 작업이 잦은 특정 팀 계정은 표준 기준의 3배 이상 편차가 발생할 때만 통보하도록 예외 설정을 둔다.

소유자 자가 원인 분석

탐지된 이상 지출은 최근 4일 이내 시작되었거나 여전히 지속 중인 건을 기준으로 중복을 제거한 뒤 계정 소유자에게 전달된다. 발송되는 알림 이메일에는 계정 정보, 조직 계층, 대상 서비스, 초과 금액 및 편차 비율, 전체 데이터 표가 함께 포함된다.

알림을 받은 소유자는 별도의 인프라 지원 조직을 거치지 않고 직접 상세 분석 화면에 접속해 원인을 파악할 수 있다. 작업 유형과 사용 유형별로 비용을 세부 분해하여 표시하므로 특정 인스턴스 규격이나 실행 작업이 지출 급증을 유발했는지 즉시 확인 가능하다.

운영 한계와 향후 과제

자동화 시스템은 지출 수치와 사용량만 파악할 수 있을 뿐 실제 작업 의도나 계획된 배포 여부는 판단하지 못한다. 또한 시계열 모델 특성상 급격한 스파이크 형태의 이상 지출은 잘 감지하지만, 지출이 계단식으로 장기간 증가해 유지되면 일정 기간 후 이를 새로운 정상 기준으로 흡수하는 구조적 한계를 지닌다.

운영 비용 측면에서는 유휴 자원이 없는 서버리스 구조를 채택해 계정당 월 0.5센트 미만인 월 약 50달러 수준의 컴퓨팅 비용을 달성했다. 향후에는 이메일 외에 티켓 기반 업무 도구 연동, 소유자가 직접 임계치를 조정하는 포털 기능, 설정 변경자를 추적하는 감사 로그 결합 및 생성형 기술을 활용한 근본 원인 자동 해설 기능 도입을 추진할 계획이다.