Kubernetes v1.37, 실행 중인 파드 크기 조정을 위한 스케줄러 선점 기능 도입 (알파)

새로운 스케줄러 선점 기능 소개

이 기능은 파드의 CPU 및 메모리 할당을 동적으로 조정하는 인플레이스 크기 조정이 호스트 노드의 가용 자원 부족으로 인해 지연되는 문제를 해결한다. 스케줄러는 자원이 완전히 사용 중인 노드에서 우선순위가 낮은 워크로드를 선점하여 용량을 확보함으로써, 보류 중인 고우선순위 애플리케이션의 인플레이스 크기 조정 요청을 성공적으로 처리할 수 있도록 한다.

기존 인플레이스 크기 조정의 한계

Kubernetes v1.35에서 일반 가용성(GA)으로 전환된 인플레이스 파드 크기 조정 기능은 애플리케이션 중단이나 다운타임 없이 실행 중인 컨테이너의 자원 할당을 동적으로 조정하는 기능을 제공했다. 그러나 이 기능은 새로운 자원 스케줄링 문제를 야기했다.

실행 중인 파드가 자원 확장을 요청했을 때 호스트 노드의 가용 자원이 부족하면 Kubelet은 해당 요청을 'Deferred' 상태로 표시했다. 'Deferred' 상태는 요청이 유효하지만 노드 용량이 확보될 때까지 일시적으로 실행될 수 없음을 의미하며, 파드는 자원이 자연스럽게 확보될 때까지 무기한 대기하게 된다.

이전에는 노드가 과도하게 사용될 경우 파드의 인플레이스 크기 조정 요청이 영구적으로 차단될 수 있었다. 예를 들어, 인메모리 데이터베이스나 실시간 웹 서버와 같은 중요 애플리케이션이 메모리 부족(OOM) 충돌을 방지하기 위해 더 많은 메모리를 필요로 해도, 노드에 여유 용량이 없으면 크기 조정은 'Deferred' 상태로 유지되었다.

이러한 상황에서 클러스터 관리자는 수동으로 저우선순위 파드를 축출하여 자원 여유 공간을 확보하거나, 클러스터 오토스케일러가 더 큰 노드를 스핀업하고 파드를 재스케줄링하기를 기다리는 제한적인 선택지만 있었다. Kube-scheduler는 실행 중인 파드의 'Deferred' 상태를 인지하지 못했기 때문에, 표준 우선순위 기반 선점 기능을 활용하여 저우선순위 워크로드를 축출하고 고우선순위 파드의 자원 확장을 위한 공간을 마련할 수 없었다.

스케줄러 선점의 동작 원리

인플레이스 파드 크기 조정을 위한 스케줄러 선점 기능은 핵심 스케줄링 주기와 직접 통합되어 자원을 동적으로 조정한다. Kube-scheduler는 클러스터 내에서 'Deferred' 상태 조건이 있는 실행 중인 파드를 모니터링한다. 일반적으로 spec.nodeName이 채워진 파드는 성공적으로 배치된 것으로 간주되어 활성 스케줄링 큐를 우회하지만, 이 피처 게이트 하에서는 스케줄러가 'Deferred' 조건을 가진 파드를 가로채 선점을 유발하기 위한 활성 스케줄링 평가에 포함시킨다. 스케줄러는 Kubelet이 크기 조정을 성공적으로 완료할 때까지 이 파드들을 지속적으로 추적한다.

이 선점 메커니즘은 파드가 현재 할당된 노드에 엄격하게 국한된다. 스케줄러는 동일 호스트에서 우선순위가 낮은 '희생' 파드를 식별하고, 이들의 정상적인 축출을 시작하여 로컬 용량을 확보한다. 만약 모든 적격 저우선순위 워크로드를 축출한 후에도 노드가 크기 조정을 수용할 수 없다면, 해당 크기 조정은 'Deferred' 상태로 유지된다.

스케줄링 경쟁 및 이중 할당을 방지하기 위해 스케줄러는 크기 조정에 요청된 자원을 이미 소비된 것으로 간주한다. 이를 통해 Kubelet은 선점이 적용된 후 크기 조정을 실행할 수 있다. 또한, Kubelet의 'critical Pod admission handler'는 인플레이스 크기 조정 작업에 대해 로컬 선점 검사나 축출을 수행하지 않고, 요청을 스케줄러에 위임한다. 이는 모든 크기 조정 관련 선점 로직이 전역 우선순위, 파드 중단 예산(PDB), 정상 종료 정책을 존중하며 단일의 중앙 집중식 오케스트레이터에 의해 관리되도록 보장한다.

만약 활성 선점 주기 동안 동일 노드에서 경쟁하는 고우선순위 크기 조정 요청이 다른 실행 중인 파드에 대해 제출되면, Kubelet은 더 높은 우선순위 요청을 우선 처리한다. 스케줄러는 이러한 업데이트를 관찰하도록 설계되어 있으며, 새로운 상태를 충족하기 위해 더 많은 용량이 필요한 경우 새로운 선점 라운드를 동적으로 트리거한다.

개발자 및 운영자에게 미치는 영향

이 기능은 프로덕션 Kubernetes 환경에서 클러스터 관리자가 자원 활용도와 효율성을 극대화하는 데 중요한 이점을 제공한다. 일반적인 전략은 배치 작업, 백그라운드 데이터 처리 또는 최선 노력(best-effort) 작업과 같은 저우선순위 워크로드로 아직 가득 차지 않은 노드의 유휴 용량을 채우는 것이다.

인플레이스 크기 조정을 위한 스케줄러 선점 기능이 없었을 때는 이러한 전략이 운영상의 딜레마를 만들었다. 저우선순위 워크로드가 노드의 남은 여유 공간을 소비하면, 동일 노드에서 실행 중인 고우선순위 애플리케이션이 갑작스러운 트래픽 급증이나 메모리 스파이크를 처리하기 위해 확장해야 할 때 'Deferred' 상태로 차단될 수 있었다.

이제 스케줄러 선점 기능을 통해 클러스터 운영자는 저우선순위 워크로드가 고우선순위 파드를 저하시키거나 크기 조정 요청을 차단할 염려 없이 클러스터 전체의 유휴 공간을 자신 있게 채울 수 있다. 고우선순위 워크로드가 가용 노드 용량을 초과하는 인플레이스 크기 조정을 필요로 할 경우, 스케줄러가 자동으로 저우선순위 파드를 선점하여 여유 공간을 확보한다. 이를 통해 중요한 서비스의 응답성과 신뢰성을 유지하면서 높은 클러스터 활용도와 비용 효율성을 달성할 수 있다.