Exowatt, SageMaker 서버리스 모델 커스터마이징으로 AI 파이프라인 구축

새로운 AI 파이프라인 도입

Exowatt은 Amazon SageMaker AI 서버리스 모델 커스터마이징을 도입하여 반복 가능한 AI 파이프라인을 구축했다. 이 파이프라인은 엣지 및 클라우드 환경에 배포될 작업별 미세 조정(fine-tuned) 모델을 생성한다. 이를 통해 Exowatt은 특정 작업에서 프론티어 모델보다 높은 정확도를 달성했으며, 최대 49배 낮은 비용으로 운영 효율성을 높였다. 이 파이프라인은 원시 운영 데이터부터 검증된 훈련 세트, 미세 조정 모델, 그리고 평가된 배포 아티팩트까지 이르는 과정을 수개월에서 수일로 단축했다.

구축된 파이프라인은 두 가지 주요 모델을 생성했다. 첫 번째는 엣지 알람 분류(alarm triage)를 위한 Qwen3-1.7B 모델이며, 두 번째는 클라우드 에너지 시장 분석을 위한 Qwen3-14B 모델이다. Exowatt은 이 솔루션을 재사용하여 다양한 장치 유형과 시장 작업에 맞춰 더 작고 작업에 특화된 모델을 구축할 계획이다.

변화의 배경과 필요성

Exowatt은 AI 데이터 센터에 안정적인 전력을 공급하는 모듈형 태양광 시스템인 Exowatt P3를 개발한다. 이 시스템은 광학 렌즈를 통해 태양 에너지를 포착하고, 장기 열 배터리에 열로 저장한 후, 열 엔진을 통해 필요에 따라 전기를 공급한다. Exowatt의 에너지 관리 시스템(EMS)은 운영 현장에서 발생하는 하드웨어 오작동, 연결 끊김, 비정상적인 전압 판독 등 수많은 알람을 지속적으로 생성한다. 시스템 규모가 수천 개의 현장 장치로 확장됨에 따라, 인간 운영자가 모든 현장을 실시간으로 모니터링하는 것은 불가능해졌다.

이러한 문제를 해결하기 위해 Exowatt은 각 현장의 알람 상태를 읽고 자율적이고 신뢰할 수 있는 다음 조치를 취하거나 권장할 수 있는 AI 에이전트가 필요했다. 그러나 일반적인 프론티어 모델은 세 가지 이유로 이 문제에 적합하지 않았다. 첫째, 알람 분류 작업은 Exowatt의 특정 하드웨어, 데이터 및 운영 로직에 의존하는 독점적이고 협소한 작업이므로 범용 모델로는 전문화하기 어려웠다. 둘째, 많은 현장이 제한적이거나 간헐적인 연결성을 가지므로, GPU가 없고 인터넷 연결이 없는 엣지 환경에서 실행되어야 했다. 셋째, 수천 개의 현장에서 모든 운영 결정을 프론티어 모델로 라우팅하는 것은 지속적으로 반복되는 결정에 대해 경제적이지 않았다.

이전의 미세 조정 워크플로우는 오픈 가중치 모델을 선택하고, 컨테이너를 구축하며, 사용자 지정 훈련 레시피를 만드는 과정이 필요하여 실험 속도를 저해했다. 또한, GPU 하드웨어 요구 사항을 결정하고 특정 GPU 인스턴스 유형을 선택한 후 가용성을 기다려야 하는 문제도 있었다. 이러한 제약은 모델 실험을 지연시키거나 완전히 차단할 수 있었다. Exowatt은 GPU 없이 엣지 컨트롤러에서 실행될 만큼 작으면서도 특정 작업에서 프론티어 모델에 비해 충분히 정확한 모델이 필요했고, 미세 조정이 이 간극을 메울 수 있다고 판단했다.

구체적인 구현 및 성능

Exowatt은 Amazon SageMaker AI의 클라우드 네이티브 서버리스 모델 커스터마이징 접근 방식을 채택했다. 동일한 훈련 파이프라인이 엣지 및 클라우드라는 두 가지 배포 대상을 위한 미세 조정 모델을 생성한다. 이 AI 파이프라인은 Amazon S3, Amazon SageMaker AI 서버리스 미세 조정 및 평가, SageMaker Model Registry, Amazon Bedrock Custom Model Import, Amazon Bedrock (프론티어 모델 벤치마킹 및 데이터 증강), AWS Lambda, Amazon EventBridge 등 7가지 AWS 서버리스 서비스를 활용하며, 인스턴스, 클러스터 또는 엔드포인트를 직접 관리할 필요가 없다.

워크플로우는 세 단계로 구성된다. 첫째, 모델 커스터마이징 단계에서는 SageMaker AI의 서버리스 모델 커스터마이징, LoRA(Low-Rank Adaptation) 및 SFT(Supervised Fine-Tuning)를 사용하여 오픈 가중치 기반 모델을 미세 조정한다. 서버리스 훈련은 온디맨드 방식으로 용량을 할당하므로, 팀은 GPU 가용성을 기다리지 않고 하루에 여러 실험을 실행할 수 있다. 평가 후 최적의 모델은 SageMaker AI Model Registry에 등록된다. 둘째, 엣지 배포 단계에서는 알람 분류와 같이 지연 시간에 민감하고 연결이 제한된 작업의 경우, 미세 조정된 Qwen3-1.7B 모델을 고정하고 GGUF 형식으로 양자화하여 현장 컨트롤러의 Kubernetes 파드 내에서 llama.cpp로 실행한다. 이 경로는 GPU가 필요 없으며 인터넷 연결 없이 작동한다. 셋째, 클라우드 배포 단계에서는 인터넷에 연결된 플릿 수준 분석을 위해 미세 조정된 Qwen3-14B 에너지 시장 모델을 Amazon Bedrock Custom Model Import를 통해 서비스한다. 이 방식은 유휴 비용이 없으며 모델이 활성화된 동안에만 요금이 부과된다.

엣지 알람 분류 사용 사례에서는 Qwen3-1.7B 모델을 사용했다. 초기에는 Qwen3-8B 모델을 프롬프팅과 가드레일과 함께 시도했으나 목표치(0.735 macro-F1)에 미치지 못했다. 미세 조정된 Qwen3-1.7B 모델은 이 협소하고 단일 턴 작업에서 Qwen3-8B 모델보다 우수한 성능을 보였으며, GPU 없는 엣지 추론에 충분히 작은 크기를 유지했다. 훈련 세트는 684개의 검증된 결정과 1,838개의 의역된 문장으로 구성된 2,522개의 예시로 구축되었다. 의역은 Amazon Bedrock의 Qwen3-235B를 통해 약 3.72달러의 비용으로 생성되었다. 훈련은 SageMaker 서버리스 미세 조정을 통해 약 32분 만에 완료되었으며, 비용은 약 20~25달러였다. 8비트로 양자화된 모델(약 1.71GiB)은 현장 CPU 서버의 6GiB llama.cpp 파드에서 오프라인으로 실행된다. 이 모델은 320개의 테스트 케이스에서 0.911 macro-F1을 달성하여 모든 프론티어 모델(Claude Sonnet 4.6의 0.698 macro-F1 대비)을 능가했다.

클라우드 에너지 시장 분석 사용 사례에서는 Qwen3-14B 모델을 선택했다. 이 모델은 Amazon Bedrock Custom Model Import에서 지원되며, SageMaker Public Hub 모델로 LoRA 레시피가 제공되어 사용자 지정 컨테이너나 인스턴스 유형 관리가 필요 없었다. 또한 약 28GiB로 비용 효율적으로 서비스할 수 있을 만큼 작았다. Exowatt은 5년간의 ERCOT(Electric Reliability Council of Texas) 시장 데이터(12개 테이블에 걸쳐 약 1억 6,300만 행)를 사용하여 모델을 미세 조정했다. 팀은 이 데이터를 25,000개의 예시(훈련 22,000개, 검증 1,000개, 테스트 2,000개)로 레이블링한 후, Amazon Bedrock의 Anthropic Claude Sonnet 4.6을 사용하여 각 예시의 내용을 다시 작성하여 훈련 세트를 86,281행으로 확장했다. 훈련은 단일 LoRA 에포크(rank 16, alpha 32)로 진행되었으며, 최대 4개의 작업이 동시에 실행되는 관리형 서버리스 미세 조정을 통해 약 8.5시간 만에 완료되었다. 이 모델은 2,000개의 테스트 케이스에서 0.975 macro-F1을 달성하여 프론티어 모델(Claude Opus 4.7의 0.625 macro-F1 대비)을 능가했다. 1,000개 답변당 비용은 0.60달러로 Claude Opus 4.7의 29.26달러 대비 약 49배 낮았다.

개발 및 운영 효율성 증대

Exowatt은 SageMaker AI 서버리스 모델 커스터마이징을 통해 모델 개발 및 배포 시간을 크게 단축했다. 사용자 지정 모델을 실험에서 프로덕션까지 단 9일 만에 전환했으며, 이는 사용자 지정 컨테이너 및 훈련 레시피 구축, GPU 프로비저닝, 인프라 관리 등이 필요했다면 수개월이 걸렸을 작업이다. Qwen3-1.7B는 약 32분, Qwen3-14B는 약 8.5시간 만에 훈련되었으며, 용량 요청 없이 최대 4개의 훈련 작업이 동시에 실행될 수 있었다. 에너지 시장 사용 사례의 경우, Exowatt은 23개의 작업을 총 155시간 동안 관리형 훈련으로 실행하여 6일 만에 기본 모델에서 클라우드 EMS에서 서비스되는 미세 조정 모델로 전환했다. 병합된 체크포인트는 약 14분 만에 Amazon Bedrock으로 가져와졌다. 전체 파이프라인은 Exowatt이 관리할 인스턴스, 클러스터 또는 엔드포인트 없이 7개의 AWS 서버리스 서비스를 사용했다.

두 미세 조정 모델 모두 특정 작업에서 더 큰 프론티어 모델보다 높은 정확도를 보였다. Qwen3-1.7B는 0.911 macro-F1을 달성하여 Claude Sonnet 4.6의 0.698보다 높았고, Qwen3-14B는 0.975 macro-F1을 달성하여 Claude Opus 4.7의 0.625보다 높았다. 클라우드에서 Qwen3-14B는 1,000개 답변당 0.60달러로 Claude Opus 4.7의 29.26달러 대비 약 49배 낮은 비용으로 서비스된다. Amazon Bedrock Custom Model Import는 유휴 비용이 없으며 활성화된 동안에만 시간당 6.86달러로 청구된다. 엣지에서는 양자화된 Qwen3-1.7B가 현장 CPU에서 실행되어 추론당 비용이 없으며 연결성에 의존하지 않는다.

두 모델 모두 모든 주장이 특정 입력 데이터 행을 인용하는 엄격한 JSON을 반환한다. 지원되지 않는 주장은 운영자에게 도달하기 전에 제거되며, 엣지 모델은 불확실할 때 추측하는 대신 기권한다. 이러한 '증거 울타리(evidence fence)' 메커니즘은 자율적인 물리적 환경에서 작은 모델을 신뢰할 수 있게 한다.

적용 조건 및 한계점

Exowatt의 사례는 특정 작업에 대해 더 작고 미세 조정된 대규모 언어 모델(LLM)이 더 큰 프론티어 모델을 능가할 수 있음을 보여준다. 미세 조정된 Qwen3-1.7B 및 Qwen3-14B 모델은 대상 작업에서 프론티어 모델보다 높은 정확도를 제공하면서 훨씬 작은 모델로 비용을 절감했다. 이 접근 방식은 협소하고 가치가 높은 작업에 효과적이다.

데이터 품질과 다양성은 원시 데이터 볼륨이나 추가 에포크보다 중요하다. 알람 분류 모델의 경우, 더 많은 검증된 훈련 데이터 다양성이 macro-F1 점수를 0.584에서 0.911로 끌어올렸다. 단순히 동일한 데이터에 대해 더 많은 에포크를 실행하는 것은 0.879에 그쳤다. 즉, 큐레이션된 데이터가 데이터셋 크기보다 더 중요했다. 또한, GPU 용량 대기 시간이 사라지면서 훈련 실행이 드문 이벤트에서 일상적이고 반복적인 작업으로 전환되었다. 모델 훈련과 배포를 분리함으로써 Exowatt은 오프라인 엣지 배포와 연결된 플릿 수준 분석 모두에 동일한 파이프라인을 사용할 수 있게 되어 운영을 간소화하고 클라우드 모델 배포를 가속화했다.

이러한 패턴은 에너지 산업 부문을 넘어 일반화될 수 있다. AI 엔지니어, 데이터 과학자 및 다양한 산업 부문의 고객은 동일한 원칙을 채택할 수 있다. Amazon SageMaker AI 서버리스 모델 커스터마이징을 사용하여 작고 작업에 특화된 모델을 미세 조정하고, 연결성이나 지연 시간이 요구되는 엣지 환경 또는 Amazon SageMaker AI와 같은 관리형 클라우드 엔드포인트를 통해 탄력적인 워크로드에 배포하는 것이 가능하다.