GS Caltex, Amazon SageMaker Canvas와 Pipelines 연동으로 MLOps 생산성 향상

GS Caltex는 Amazon SageMaker Canvas에서 개발 및 검증된 모델을 Amazon SageMaker Pipelines 기반의 프로덕션 워크플로우에 연결하는 자동화된 시스템을 구축했다. 이 시스템은 프로세스 엔지니어와 머신러닝(ML) 엔지니어 간의 협업을 효율화하고, 모델 배포 및 운영 과정을 간소화하는 데 중점을 둔다. 이전에는 SageMaker Canvas에서 생성된 자산을 SageMaker Pipelines로 옮길 때 데이터 경로 설정, 모델 구성 제공, 전처리 및 추론 작업 연결 등 상당한 통합 작업이 필요했다. GS Caltex는 이러한 수동 핸드오프 과정을 자동화하여 SageMaker Canvas에서 검증된 자산을 프로덕션 환경에서 재사용할 수 있도록 했다.

이러한 변화를 통해 GS Caltex의 ML 엔지니어는 모델 배포에 소요되던 시간을 기존 약 1주일에서 몇 시간 이내로 단축할 수 있었다고 보고했다. 또한, 30분마다 배치 추론을 실행하는 방식으로 전환하여 지속적으로 실행되는 추론 엔드포인트의 필요성을 줄였으며, 이는 추론 비용을 크게 절감하는 효과를 가져왔다. 이 솔루션은 모델 개발과 운영을 분리하여 각 엔지니어의 전문성을 활용하면서도 전체 MLOps 워크플로우의 생산성을 향상시키는 데 기여한다.

모델 개발 및 운영 역할 분담 배경

GS Caltex는 모델 개발과 운영을 상호 보완적인 기술을 가진 두 유형의 엔지니어, 즉 프로세스 엔지니어와 ML 엔지니어에게 분담한다. 프로세스 엔지니어는 특정 공정 지식을 바탕으로 코드를 작성하지 않고 SageMaker Canvas에서 데이터를 시각적으로 준비하고 모델을 구축하며 예측의 유용성을 검증한다. 반면, ML 엔지니어는 이러한 모델 자산을 프로덕션 작업으로 전환하고, 모델 버전 관리 및 실행 이력을 담당하며, 배포 및 스케줄링된 추론을 위한 SageMaker Pipelines 워크플로우를 구성한다.

MLOps 워크플로우는 크게 두 가지 경로로 나뉜다. 첫째는 새로운 모델 버전을 배포하기 위한 준비 과정이고, 둘째는 이미 배포된 모델을 사용하여 배치 추론을 실행하는 과정이다. SageMaker Canvas는 데이터 준비, 모델 구축, 배치 예측 생성 기능을 제공하며, 검증된 모델을 Amazon SageMaker Model Registry에 등록할 수 있다. GS Caltex는 이러한 Canvas 자산을 SageMaker Pipelines의 실행 가능한 단계로 변환하기 위한 별도의 핸드오프 프로세스를 구축하여, 각 엔지니어링 팀이 자신의 전문 영역에 집중하면서도 원활하게 협력할 수 있는 환경을 조성했다.

구체적인 워크플로우 및 기술 구현

GS Caltex의 MLOps 워크플로우는 SageMaker Canvas에서 생성된 전처리 흐름과 훈련된 모델을 SageMaker Pipelines에서 재사용하는 방식으로 구성된다. ML 엔지니어는 Amazon S3를 전처리 흐름 저장소로, Model Registry를 모델 버전 관리 도구로 활용하며, Amazon EventBridge를 통해 파이프라인 실행을 스케줄링한다. 새로운 모델 버전이 배포될 때, ML 엔지니어는 SageMaker Canvas에서 전달받은 전처리 흐름과 모델을 검토하고, Model Registry에서 모델을 승인한 후 배포한다. 이후의 추론 실행은 이미 배포된 모델을 재사용한다.

스케줄링된 각 실행은 Amazon EventBridge에 의해 시작된다. SageMaker Pipelines는 Amazon S3에서 입력 데이터를 준비하고, 전처리 및 SageMaker Batch Transform 작업을 실행한 후 결과를 다시 S3에 저장한다. ML 엔지니어는 Amazon CloudWatch 로그를 통해 워크플로우 상태를 모니터링할 수 있다. 전처리 로직 재사용을 위해 SageMaker Canvas의 Data Wrangler로 생성된 전처리 흐름은 데이터 소스와 변환 단계를 기록하며, SageMaker Processing을 통해 S3로 데이터를 내보낼 때 생성되는 작업 설정(.flow 파일, 컨테이너 이미지 URI, S3 입력 URI, 실행 역할, 출력 설정)을 파이프라인 단계 구성에 활용한다.

훈련 데이터와 추론 데이터 간의 차이점, 특히 대상 열의 유무는 `PrepareInput` 단계에서 처리된다. 추론 데이터에 대상 열이 없는 경우, 이 단계에서 플레이스홀더 값을 가진 대상 열을 추가하고, 전처리 후 `DropTargetColumn` 단계에서 해당 열을 제거한다. 모델 등록 및 배포 과정에서는 검증된 SageMaker Canvas 모델 버전을 Model Registry에 등록하며, ML 엔지니어의 검토 및 승인 후 모델 패키지에서 SageMaker 모델 리소스를 생성하여 Batch Transform에서 참조하도록 한다.

추론 파이프라인은 총 다섯 단계로 구성된다. 첫째, `PrepareInput` 단계에서 필요한 경우 플레이스홀더 대상 열을 추가한다. 둘째, `PreprocessNewData` 단계에서 SageMaker Canvas 전처리 흐름을 실행한다. 셋째, `DropTargetColumn` 단계에서 대상 열과 CSV 헤더를 제거한다. 넷째, `BatchPredict` 단계에서 승인된 모델로 배치 추론을 실행한다. 마지막으로, `AssembleResults` 단계에서 전처리된 데이터와 예측 결과를 결합하여 최종 CSV 파일을 생성한다. 이 파이프라인은 Amazon EventBridge 규칙을 사용하여 30분마다 실행되도록 스케줄링되며, `rate(30 minutes)` 또는 `cron(0/30 * * * ? *)`과 같은 표현식을 활용한다.

개발자 및 사용자에게 미치는 영향

GS Caltex의 MLOps 자동화는 여러 긍정적인 영향을 가져왔다. 가장 두드러진 변화는 모델 배포 시간의 단축이다. ML 엔지니어는 이전에는 약 1주일이 걸리던 모델 배포 작업을 이제 몇 시간 내에 완료할 수 있게 되었다. 이는 개발 주기를 가속화하고 시장 변화에 더 빠르게 대응할 수 있는 기반을 마련한다. 또한, 프로세스 엔지니어들이 SageMaker Canvas에서 검증한 자산을 프로덕션 환경에서 직접 재사용할 수 있게 되어, 반복적인 통합 작업이 크게 줄어들었다.

비용 측면에서도 상당한 절감이 보고되었다. 30분마다 배치 추론을 실행하는 방식은 지속적으로 가동되는 실시간 추론 엔드포인트에 비해 컴퓨팅 리소스가 작업 완료 시 해제되므로, 불필요한 비용 발생을 줄인다. 이는 특히 대규모 배치 처리 워크로드에 적합하며, 리소스 효율성을 높인다. 엔지니어링 팀의 역할 분담도 더욱 명확해졌다. 프로세스 엔지니어는 자신의 모델이 프로덕션에 활용되는 것을 보고 다른 공정에서의 새로운 애플리케이션을 제안하기 시작했으며, ML 엔지니어는 통합 작업 부담을 덜고 파이프라인 운영 및 모니터링이라는 핵심 업무에 집중할 수 있게 되었다.

적용 조건 및 운영상 고려사항

이러한 MLOps 시스템을 성공적으로 적용하고 운영하기 위해서는 몇 가지 중요한 고려사항이 따른다. 첫째, 전체 워크플로우에 걸친 총 비용을 면밀히 평가해야 한다. 30분 스케줄은 하루 48회의 실행을 의미하며, 전처리, 인스턴스 시작, 추론, 후처리, 그리고 S3, CloudWatch 등 지원 서비스의 비용을 모두 포함하여 측정해야 한다. 배치 추론은 실시간 엔드포인트와 달리 요청이 누적된 데이터를 처리하는 데 적합하며, 작업 완료 시 리소스를 해제하여 비용 효율적이지만, 전체 워크플로우의 비용을 종합적으로 분석해야 한다.

둘째, 실행 시간과 중복 실행 문제를 관리해야 한다. 30분마다 시작되는 스케줄이 각 실행이 해당 간격 내에 완료됨을 보장하지 않으므로, 대표 데이터로 전체 파이프라인 실행 시간을 측정해야 한다. 이전 실행이 완료되기 전에 새로운 스케줄 실행이 시작되는 경우를 대비하여 활성 실행을 확인하고, 동일한 입력 데이터 창에 대한 중복 처리를 방지하며, 각 실행의 출력 경로를 분리하는 메커니즘을 구축해야 한다. 각 실행에 대한 입력 데이터 창, 전처리 흐름 버전, 모델 패키지 ARN, 파이프라인 실행 ARN 및 출력 위치를 기록하여 결과 재현 및 오류 조사를 용이하게 해야 한다.

셋째, 출력 유효성 검사 및 실패 동작을 철저히 확인해야 한다. 스케줄을 활성화하기 전에 SageMaker Canvas와 Processing을 통해 유효성 검사 데이터셋을 실행하고, 출력 열, 데이터 유형, 행 수, 주요 변환 값을 비교해야 한다. 플레이스홀더 대상 추가가 특성 값에 영향을 미치지 않는지, 모델 입력에서 대상이 올바르게 제거되는지 확인해야 한다. 또한, 유효하지 않은 입력 스키마나 전처리 실패가 다운스트림 추론 및 결과 게시를 방지하는지 검증해야 한다. 마지막으로, 작업 실패 및 처리 지연에 대한 CloudWatch 경고를 설정하고, 필요에 따라 데이터 품질 또는 모델 모니터링을 추가하여 안정적인 운영을 보장해야 한다.