Granite Switch 4.1: 단일 엔드포인트에서 대화, 의사결정, 음성 처리 통합

Granite Switch 4.1의 주요 변화

IBM은 Granite Switch 프로젝트의 업데이트 버전인 Granite Switch 4.1 모델을 발표했다. 이 버전은 단일 호스팅 엔드포인트에서 자연어 응답, 일반 및 전문 의사결정, 음성-텍스트 변환 작업을 효율적으로 처리하고 전환할 수 있도록 설계되었다. 기존의 모듈식 모델 개발 접근 방식을 강화하며, 여러 기능을 하나의 모델에 통합하여 자원 효율성을 높인다.

Granite Switch 4.1-8B 및 -30B 모델에는 세 가지 핵심 기술이 포함된다. 일반적인 의사결정을 위한 새로운 Decision aLoRA, 안전 관련 의사결정 작업에서 기존 모델들을 능가하는 전문 Guardian aLoRA, 그리고 전사 작업에 사용되는 OpenASR 리더보드에서 가장 빠른 ASR 모델인 Granite-Speech-5.0-Turbo-CTC가 내장되었다.

통합 모델 아키텍처의 배경

Granite Switch 프로젝트는 모델 개발에 모듈식 접근 방식을 제공하여, 다양한 전문 어댑터를 기본 모델과 결합할 수 있도록 한다. 이번 4.1 버전의 핵심은 이러한 어댑터들을 하나의 모델로 구성하여 GPU VRAM 사용량을 기본 모델 단독 사용 시와 거의 동일하게 유지하면서도 더 많은 기능을 제공하는 것이다. 이는 더 적은 GPU로 더 많은 작업을 수행할 수 있게 한다.

이러한 효율성은 어댑터가 캐시 효율적인 Activated LoRA(aLoRA)로 구축되었기 때문에 가능하다. 기본 모델 생성에서 생성된 KV 캐시를 후속 어댑터 기반 의사결정에 재사용할 수 있다. 또한, 저랭크 어댑터 추론 속도를 높이기 위한 vLLM 기여와 공동 배치된 ASR 인코더가 결합되어, Granite Switch 4.1 모델은 대화 요청, 의사결정 요청, 음성 요청 사이를 매우 빠르게 전환할 수 있다.

구체적인 기능 및 성능

실제 성능 비교에서, Granite-Switch-4.1-30B(고정된 기본 Granite + 4개의 전문 aLoRA)는 Jev-27B(고정된 기본 Qwen 모델 + 1개의 일반 의사결정 LoRA)보다 5단계 RAG 워크플로우를 훨씬 빠르게 완료했다. 또한, 맞춤형 3B 파라미터 Granite Switch 모델은 Doom 게임에서 초당 60~100회의 의사결정을 수행하여 Jev의 초당 10회 의사결정보다 빠른 속도를 보였다. 이 모델은 게임 중에도 질문에 응답하고 설명을 제공할 수 있다.

Speech-to-Decisions HF 공간에서 Granite-Switch-4.1-8B 모델은 오디오를 전사하고, 요약을 생성하며, 유해 콘텐츠를 검사하고, 15가지 사용자 정의 플래그를 실시간으로 단일 엔드포인트에서 테스트하는 시연을 제공한다.

개발자 및 사용자 영향

Granite Switch 4.1-8B 및 -30B 모델은 "배터리 포함" 형태로 출시되어, 미리 정의된 유용한 어댑터 세트와 함께 제공된다. 그러나 사용자는 IBM이 제공하는 버전에 국한되지 않고, Granite Libraries의 어댑터를 조합하여 자신의 필요에 가장 적합한 맞춤형 Granite Switch 모델을 구성할 수 있다. 이는 개발자에게 높은 유연성을 제공한다.

향후 IBM은 Mellea에서 어댑터를 훈련하기 위한 Adapter SDK를 출시할 계획이며, 튜토리얼과 Granite Switch 지원을 제공할 예정이다. 이를 통해 커뮤니티는 맞춤형 및 타사 어댑터를 활용하여 Granite Switch 모델을 확장할 수 있다. 이러한 어댑터는 의사결정 기반 워크플로우를 강화하는 전문 분류 어댑터나 전문 언어 작업을 위한 어댑터가 될 수 있다.

적용 조건 및 확장성

Granite Switch 4.1 모델은 8B 및 30B 크기로 제공되어 다양한 워크로드 환경에 적합하다. 이 모델은 플러그인과 함께 vLLM에서 실행되며, llama.cpp 및 다운스트림 플랫폼에서 기본 추론을 지원한다. 이를 통해 `/v1/systemone` API 호출이 사용되는 모든 곳에서 원활하게 대체될 수 있으며, 공유 접두사 캐시를 통해 기존 대화 호출도 처리할 수 있다.

이러한 유연한 배포 옵션은 모델이 다양한 시스템 아키텍처와 통합될 수 있도록 하며, 개발자가 기존 인프라에 쉽게 적용할 수 있도록 돕는다. IBM은 향후 몇 주 내에 Granite Switch에 대한 더 많은 세부 정보와 데이터를 공개할 예정이며, 사용자들이 최신 Switch 모델과 관련 자료를 활용해 시작할 것을 권장한다.