아마존 세이지메이커 AI, 서버리스 기반 대규모 전면 미세조정 지원
아마존 세이지메이커 AI가 인프라 관리 없이 거대언어모델의 전체 매개변수를 갱신할 수 있는 서버리스 전면 미세조정 기능을 도입했다. 대규모 데이터 환경에서 표현력을 극대화할 수 있다.
핵심 요약
- 인프라 프로비저닝 없이 서버리스 환경에서 거대언어모델 전면 미세조정을 수행한다.
- 11만 건의 코드 데이터 학습 시 의미론적 정확도 90.0%를 달성해 기존 방식을 앞섰다.
- 과도한 학습률 설정 시 일반 지식이 훼손되는 파괴적 망각 위험이 있어 주의가 필요하다.
- 1기본 모델 선택
- 2데이터 및 인자 설정
- 3서버리스 학습 실행
- 4내장 지표 품질 검증
- 5모델 등록소 배포 준비
서버리스 전면 미세조정 도입
아마존웹서비스가 세이지메이커 AI 서버리스 모델 맞춤화 서비스에 전면 미세조정(Full Fine-Tuning) 기능을 추가했다. 사용자는 그래픽 처리 장치(GPU) 프로비저닝이나 클러스터 구축, 분산 학습 환경 구성 같은 인프라 관리 없이도 거대언어모델의 전체 매개변수를 조정할 수 있다. 기본 모델과 학습 데이터셋, 주요 하이퍼파라미터를 지정하면 연산 자원 할당과 검사점 관리가 서버리스 방식으로 자동 수행된다.
기존에 널리 사용되던 저랭크 적응(LoRA) 기법은 일부 가중치만 갱신하여 자원을 절약하지만 저랭크 구조의 특성상 모델의 표현력에 구조적인 한계가 존재했다. 학습 데이터가 수만 건을 넘어서고 작업 복잡도가 높아지면 매개변수를 늘려도 성능 향상이 멈추는 정체 현상이 나타난다. 반면 전면 미세조정은 모델의 가중치 행렬 전체를 균일하게 갱신하므로 복잡한 전문 도메인 지식을 온전히 흡수할 수 있다.
대규모 데이터 학습 성능 검증
기능 검증을 위해 지도 미세조정 기법을 적용하여 큐웬3-4B 기본 모델을 11만 건의 코드 명령 데이터셋으로 학습시키는 실험이 진행되었다. 전체 데이터는 훈련용 9만 9천 건, 검증용 5천 500건, 최종 평가용 5천 500건으로 나뉘어 할당되었다. 10만 건 이상의 대규모 훈련 데이터 환경에서 전면 미세조정은 거대언어모델 판정 기준 90.0%의 의미론적 정확도를 기록하며 기존 방식을 능가했다.
평가 체계에는 거대언어모델 판정, 결정론적 텍스트 유사도 측정, 다중작업 언어 이해(MMLU) 벤치마크의 세 가지 방식이 활용되었다. 노바 프로 모델을 활용한 자동 평가에서는 생성된 코드의 논리적 정확성을 검증했고, 전용 채점 도구를 통해 정밀도와 재현율 기반 유사도를 측정했다. 전면 미세조정 모델은 텍스트 유사도 지표인 블루와 루지 점수 전반에서 기본 모델 및 저랭크 적응 방식보다 높은 수준의 코드 생성 일치도를 나타냈다.
매개변수 설정과 최적화 기준
전면 미세조정은 모든 가중치를 갱신하므로 학습률과 반복 학습 횟수 설정이 결과에 결정적인 영향을 미친다. 10만 건 이상의 대규모 데이터 환경에서는 학습률을 2e-5 수준으로 설정하는 것이 안전 영역으로 확인되었다. 학습 반복 횟수의 경우 3회차에서 판정 정확도 90.0%로 최고 성능을 기록했으나, 3회차를 초과하여 학습을 진행하면 훈련 손실 감소와 무관하게 전반적인 성능 저하가 발생했다.
배치 크기 역시 일반 지식 보존과 최적화 안정성에 직접 관여한다. 고정된 학습률에서 배치 크기가 너무 작으면 가중치 갱신에 잡음이 커져 지식 망각 위험이 증가하고, 지나치게 크면 최적화 단계가 부족해질 수 있다. 워밍업 비율 5%, 배치 크기 8, 학습률 2e-5의 조합이 일반 학술 지식 보존 평가에서 가장 안정적인 결과를 보였다.
파괴적 망각 위험과 적용 한계
전면 미세조정이 항상 저랭크 적응보다 뛰어난 것은 아니며 잘못된 설정 시 사전 학습된 지식을 잃는 파괴적 망각이 발생할 수 있다. 학습률을 5e-5 이상으로 과도하게 높일 경우 수학 문제 완전 일치 점수가 2~3%로 폭락하고 일반 지식 평가 점수가 3.6%까지 떨어지는 극단적인 성능 저하가 확인되었다. 또한 주관적 품질 평가 일부 항목에서는 저랭크 적응이 81.5%로 전면 미세조정의 79.5%보다 앞서는 결과가 나타나기도 했다.
수학적 추론 영역에서는 전면 미세조정과 저랭크 적응 모두 기본 모델보다 낮은 점수를 기록하여 도메인 특화 학습 중 추론 능력을 유지하는 과제가 여전히 남아 있음을 보여주었다. 따라서 전면 미세조정은 고품질의 대규모 데이터셋이 확보되고 심층적인 도메인 적응이 요구되는 환경에서 신중한 비교 실험을 거쳐 적용해야 한다.
데빈은 실제 기자가 아닌 AI 기술 에디터입니다. 출처의 공개 기사 본문 또는 RSS 제공 정보에서 사실을 추려 배경과 기술적 영향을 독립적인 한국어 기사로 재구성합니다. 직접 취재한 기사나 원문 전문의 번역·재게시가 아닙니다.
출처 · 원문 확인
AWS Machine Learning Blog · Sandeep Raveesh-Babu
Full Fine-Tuning (FFT) on SageMaker AI Serverless Model Customization
원문 발행: 2026-11-19 09:15:58
원문과 이미지의 권리는 해당 권리자에게 있습니다. 정정·게재 중단 요청은 문의 안내를 이용해 주세요.
관련 소식
- AWS, 거버넌스 기반 기업용 AI 작업 공간 AWS 퀵 아키텍처 공개 · AWS Machine Learning Blog · 2026-11-18
- AWS, 2026년 연례 행사 앞두고 4개 대륙 신규 히어로 4인 선정 · AWS News Blog · 2026-11-18
- AWS, 로컬 에뮬레이터 정식 출시 및 하드웨어 샌드박스 격리 기술 발표 · AWS News Blog · 2026-11-17
- AWS, 어셈블리어를 코볼 거쳐 자바로 전환하는 클라우드 현대화 방법론 공개 · AWS Machine Learning Blog · 2026-11-17
- 구글 AI 스튜디오, 작업 공간 내 구글 클라우드 크레딧 수령 및 결제 연동 지원 · Google The Keyword · 2026-11-14
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.