파이토치 2.15 출시, 애플 실리콘 MPS 백엔드 대폭 강화

개요 및 핵심 변경 사항

허깅페이스 파이토치 팀은 2026년 10월 파이토치 2.15의 메탈 성능 셰이더(MPS) 백엔드 업데이트 내용을 공개했다. 이번 버전은 애플 실리콘 맥 환경에서 딥러닝 모델의 실행과 학습 효율을 끌어올리는 데 초점을 맞췄다. 기존의 범용 그래프 실행 방식인 MPSGraph를 전용 메탈(Metal) 커널로 교체해 연산 병목을 해소한 점이 가장 큰 특징이다.

핵심 기능으로는 8비트 부동소수점(FP8) 데이터 형식 지원, 거대 언어 모델(LLM) 디코딩 속도 개선, 선형대수 연산 GPU 가속, 비디오 및 오디오 워크로드 메모리 최적화가 포함됐다. 특히 전문가 혼합(MoE) 모델 추론 속도가 전작 대비 큰 폭으로 상승했으며, 비정상적으로 치솟던 비디오 생성 메모리 누수 문제도 해결됐다.

개발 배경과 기술 전환 맥락

2026년 초까지만 해도 맥 환경에서 중간 규모 이상의 모델을 구동할 때 미지원 연산자, 급격한 성능 저하, 예기치 못한 메모리 급증 같은 문제가 자주 발생했다. 파이토치 개발팀은 실제 언어·이미지·비디오 모델을 허깅페이스 허브에서 실행하며 한계를 분석하고 상류 파이토치 코드베이스에 직접 최적화 작업을 반영했다.

그동안 광범위하게 쓰이던 MPSGraph 프레임워크는 일부 복잡한 연산에서 불필요한 GPU-CPU 동기화와 드라이버 메모리 팽창을 일으켰다. 개발팀은 이를 해결하기 위해 개별 연산에 맞춘 전용 메탈 커널을 직접 구현해 대체하는 방식을 채택했다.

언어 모델 디코딩 가속

언어 모델 디코딩 단계에서 발생하는 단일 행 선형 계층 연산에 전용 행렬-벡터(GEMV) 커널이 연결됐다. 이에 따라 일반적인 디코딩 입력 형태에서 편향(bias) 덧셈이 하나로 융합되어 평균 1.23배의 속도 향상을 기록했다. 특히 MoE 모델의 게이트 계층처럼 메모리 대역폭을 충분히 활용하지 못하던 작은 크기의 투영 연산에서 개선 폭이 두드러졌다.

MoE 아키텍처의 핵심인 그룹 행렬 곱셈도 GPU 네이티브 방식으로 재작성됐다. 이전에는 그룹 오프셋을 CPU로 복사해 루프를 돌았으나, 새 커널은 GPU 내부에서 직접 오프셋을 처리한다. M3 울트라 칩 환경에서 컴파일 모드를 적용했을 때 Qwen3.6-35B-A3B 모델은 초당 9.4토큰에서 61.3토큰으로, LFM2.5-8B-A1B 모델은 초당 23.6토큰에서 123.6토큰으로 디코딩 속도가 5배에서 6.5배까지 증가했다. 어휘 토큰 샘플링을 위한 소프트맥스 연산도 전용 커널이 적용되어 약 8배 빨라졌다.

메모리 절감과 선형대수 확장

새롭게 도입된 FP8 텐서 형식은 16비트 부동소수점 대비 저장 공간을 절반으로 줄여 준다. 스케일드 행렬 곱셈 기능과 결합되어 텐서 단위 및 행 단위 스케일링을 모두 지원하며 GPU에서 직접 연산할 수 있다. 선형대수 분야에서는 복소수 LU 분해와 삼각 연립방정식 풀이가 MPS에서 구동되어 복소 행렬식 계산이 가능해졌고, 특이값 분해(SVD)의 수치적 안정성도 강화됐다.

컨볼루션, 패딩, 드롭아웃 등 기본 연산자도 메탈 커널로 전면 교체됐다. 특히 상수 패딩 연산 최적화는 비디오 생성 모델에서 결정적인 메모리 감소 효과를 낳았다. Wan2.2 모델의 타일 기반 VAE 디코딩 시 최대 드라이버 메모리 요구량이 기존 약 270GiB에서 8GiB 수준으로 급감했다. 이미지 편집 모델인 Qwen-Image-2.1에서 발생하던 VAE 인코더 출력 손상 오류 역시 패딩 수정으로 해결됐다.

개발자 제어 기능 및 향후 계획

파이썬 레벨에서 비동기 작업을 세밀하게 제어할 수 있는 MPS 스트림 인터페이스가 정식 공개됐다. 스트림 전환 문맥 관리자와 메모리 할당자 추적 함수를 통해 다중 스트림 환경에서 텐서 라이프사이클을 안전하게 다룰 수 있게 됐다. 또한 이벤트 타이밍 측정의 정확도가 향상되고 부호 없는 정수 비교나 로그 간격 생성 같은 추가 연산자도 구현됐다.

차기 버전인 2.16에 대한 개발 현황도 함께 공개됐다. 명령 버퍼를 주기적으로 커밋해 CPU 인코딩 중에도 GPU가 즉시 토큰 연산을 시작하도록 개선 중이다. 또한 점곱 주의집중(SDPA) 연산 전체를 메탈 커널로 이전하고 내장 셰이더 바이너리 구조를 최적화해 라이브러리 용량을 약 25% 줄일 예정이다.

요구 사양과 지원 범위

파이토치 2.15의 MPS 백엔드를 구동하려면 운영체제는 macOS 15 이상, 언어 런타임은 파이썬 3.11 이상이어야 한다. 이전 버전 운영체제에서는 최신 MPS 기능을 사용할 수 없으며, 구동 불가 시 가용성 검사 도구가 구체적인 실패 사유를 안내한다.

일부 연산자에는 여전히 기능적 제약이 존재한다. 로그 간격 생성 연산의 경우 다중 원소를 갖는 정수형 및 불리언 형태의 출력을 아직 지원하지 않는다. 개발팀은 완전한 종단간 컴파일을 지원하기 위해 그래프 중단 현상을 줄이는 작업을 깃허브 오픈소스를 통해 지속할 방침이다.