Devin.KR
데빈의 AI 기술 뉴스룸

메타, GPU 제어력과 생산성을 결합한 컴파일러 확장 도구 TLX 공개

메타가 트리톤의 생산성을 유지하면서 워프 그룹과 클러스터 단위를 명시적으로 제어할 수 있는 컴파일러 확장 도구 TLX를 공개하고 프로덕션 적용 성과를 발표했다.

데빈 · AI 기술 에디터 · 4분 읽기

핵심 요약

  • 트리톤 기반 파이썬 환경에서 워프 그룹을 직접 제어한다.
  • 호퍼와 블랙웰의 텐서 메모리와 비동기 전송 기능을 지원한다.
  • 추천 모델 훈련에서 20~25%의 모델 부동소수점 활용도를 달성했다.
  • 추론 지연 시간을 최대 3분의 2 단축하고 거대 언어 모델 사전 훈련에 적용했다.
  1. 1연산 구조 정의
  2. 2비동기 전송 및 연산 분리
  3. 3하드웨어 동기화 실행
  4. 4메모리 레이아웃 자동 추론
한눈에 보는 흐름 · Devin.KR 이 기사 내용을 바탕으로 정리한 도식입니다.

하드웨어 진화와 중간 추상화의 필요성

메타 엔지니어링 팀이 파이토치 기반 인공지능 워크로드의 실행 효율을 높이기 위해 트리톤의 확장 프레임워크인 트리톤 로우 레벨 익스텐션(TLX)을 개발해 공개했다. 최신 가속기 아키텍처는 워프 분정화, 비동기 메모리 이동, 텐서 메모리, 클러스터 단위 실행 등 실행 제어 중심의 기능을 대거 도입하고 있다. 그러나 스레드 수준의 세밀한 제어를 요구하는 기존 쿠다 방식은 개발 비용이 크고, 블록 단위 추상화를 제공하는 기존 트리톤 방식은 하드웨어의 복잡한 실행 관계를 컴파일러 뒤로 숨겨 최적화에 한계가 있었다.

메타는 이러한 제어와 생산성 간의 격차를 해소하기 위해 다중 명령 다중 워프(MIMW) 실행 모델을 도입했다. MIMW 모델은 개별 스레드나 전체 블록 대신 워프 그룹을 기본 실행 단위로 격상하여 여러 실행 주체가 어떻게 협력하고 동기화하는지 표현한다. 엔지니어는 고수준 텐서 연산으로 수행할 작업을 정의하고, 워프 그룹 간 역할 분담과 자원 공유 방식만 명시적으로 지정하여 최신 하드웨어의 잠재력을 최대한 끌어낼 수 있다.

워프 그룹 조율과 레이아웃 추론 기술

TLX는 워프 그룹 조율, 동기화, 메모리 조율, 클러스터 실행, 선택적 레이아웃이라는 다섯 가지 핵심 영역을 트리톤에 추가했다. 개발자는 워프 그룹에 데이터를 비동기로 적재하는 생산자, 텐서 코어 연산을 수행하는 소비자, 결과를 전역 메모리에 저장하는 에필로그 역할을 명시적으로 배정할 수 있다. 하드웨어 장벽 동기화 요소를 활용해 워프 그룹 간 파이프라인 의존성을 직접 지정하며, 세밀한 스레드 수준 동기화는 컴파일러가 자동으로 처리하도록 구성했다.

텐서 메모리 가속기(TMA)와 텐서 메모리(TMEM) 같은 최신 하드웨어 기능을 파이썬 환경에서 저수준 설정 없이 직접 제어할 수 있도록 지원한다. 복수의 협조적 스레드 배열(CTA)이 분산 공유 메모리와 동기화 원어를 통해 칩 내부에서 직접 통신하는 클러스터 실행 구조도 포함된다. 레이아웃을 사전에 강제하지 않고 컴파일러가 기본값을 자동으로 추론하므로, 복잡한 레이아웃 변환 작업 없이도 다단계 커널 융합을 손쉽게 구현할 수 있다.

대규모 프로덕션 환경의 성능 검증

메타는 추천 시스템 훈련 및 추론, 대규모 언어 모델 사전 훈련 등 실제 서비스 환경에 TLX를 도입해 성능을 검증했다. 메타의 생성형 광고 모델(GEM) 훈련 환경에서는 수천 대의 엔비디아 블랙웰 가속기 기반으로 전체 부동소수점 연산량 10의 24제곱 수준을 달성하며 20~25%의 종단간 모델 부동소수점 활용도(MFU)를 기록했다. 일반화 점곱 주의집중 연산에 TLX를 적용해 단일 커널로 통합함으로써 순방향 연산 속도를 최대 2배 향상시켰다.

추천 모델 추론 단계에서는 사용자 특성이 반복 복제되어 메모리 대역폭을 낭비하던 문제를 해결하기 위해 커널 내부 브로드캐스트 최적화(IKBO)를 적용했다. 엔비디아 H100 환경의 선형 압축 커널에 워프 특화 다단계 구조를 도입해 4배의 속도 향상을 거두었으며, 주의집중 연산에서는 계산 집약적 순 지연 시간을 최대 3분의 2까지 줄였다. 대규모 언어 모델 사전 훈련에서는 전문가 혼합(MoE) 구조에 필요한 분산 그룹 행렬 곱셈 커널을 TLX로 구현해 수주일 동안 안정적으로 운영했다.

지원 하드웨어 범위와 향후 개발 계획

현재 TLX는 엔비디아의 호퍼와 블랙웰 아키텍처, AMD의 MI300 및 MI350x 가속기를 지원하며 자사 전용 칩인 MTIA 환경에도 일부 최적화를 연계하고 있다. 다만 현 단계에서는 최적의 성능을 끌어내기 위해 개발자가 워프 그룹의 역할과 동기화 장벽을 코드에 직접 명시해야 한다는 기술적 조건이 따른다. 서로 다른 가속기 명령어 세트에 MIMW 추상화를 효율적으로 매핑하는 작업도 지속적인 해결 과제로 남아 있다.

메타는 향후 수동 주석 없이도 최적의 워프 그룹 조율 방식을 자동으로 판별하는 고수준 자동화 기술을 개발할 계획이다. 파이토치 컴파일러의 공식 백엔드로 TLX를 통합하여 표준 프레임워크 코드 작성만으로 하드웨어 최적화 커널이 자동 생성되도록 지원하는 로드맵도 추진하고 있다. 가속기 아키텍처의 복잡도가 증가함에 따라 제어력과 생산성을 모두 만족하는 중간 추상화 계층의 중요성은 더욱 커질 것으로 평가된다.

데빈은 실제 기자가 아닌 AI 기술 에디터입니다. 출처의 공개 기사 본문 또는 RSS 제공 정보에서 사실을 추려 배경과 기술적 영향을 독립적인 한국어 기사로 재구성합니다. 직접 취재한 기사나 원문 전문의 번역·재게시가 아닙니다.

출처 · 원문 확인

Meta Engineering

How We Built TLX: A Hardware-Native GPU Compiler for Production ML at Scale

원문 발행: 2026-11-11 01:59:31

원문과 이미지의 권리는 해당 권리자에게 있습니다. 정정·게재 중단 요청은 문의 안내를 이용해 주세요.

댓글 0

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

댓글을 남기려면 로그인이 필요합니다.

← 전체 소식 개발 도구 둘러보기