클라우드플레어, 멀티모달 Clef-omni 출시 및 Clef 모델 성능 개선

멀티모달 Clef-omni 출시

클라우드플레어는 텍스트, 이미지 외에 오디오 및 비디오 입력을 지원하는 완전한 멀티모달 결정 모델 Clef-omni를 출시했다. 이 모델은 기존 결정 모델들이 주로 텍스트 전용이었던 패러다임을 변화시킨다. Clef-omni는 음성-텍스트 변환 파이프라인이나 비디오에서 오디오 및 이미지 채널을 분리하는 복잡한 과정 없이 단일 모델 호출로 다양한 모달리티에 걸쳐 결정을 내릴 수 있도록 설계되었다.

Clef-omni는 Qwen3-Omni-30B-A3B-Instruct MoE(Mixture-of-Experts) 기반으로 구축되었으며, 텍스트-음성 출력 구성 요소를 제외하고 주요 이해 백본을 채택한다. 이 모델은 입력 파일의 전사(transcribing) 또는 캡션(captioning) 오버헤드를 제거하고, 미디어 요소를 통합 시퀀스로 직접 매핑하여 비디오와 오디오를 시각 프레임과 동기화하여 공동 처리한다. 2단계 어텐션 라우팅과 내장된 어휘 문법(lexical grammar)을 통해 모든 입력 유형에 걸쳐 빠르고 스키마 제약적인 점수화를 제공한다.

Clef 모델 성능 개선

클라우드플레어는 Clef 모델 제품군에 대한 지속적인 혁신과 반복 원칙에 따라 Clef-flash 모델의 가격을 인하하고 Clef 모델의 처리 속도를 향상했다. Clef-flash 모델의 가격은 M 입력 토큰당 $0.09에서 $0.038로 인하되어, Jev 모델보다 저렴하게 제공된다. 이는 개발자들이 더 많은 워크플로우에 결정 모델을 통합할 수 있도록 접근성을 높이기 위한 조치이다. Clef-omni는 M 입력 토큰당 $0.15로 출시되었으며, 기존 Clef 모델은 M 입력 토큰당 $0.24로 유지된다.

Clef 모델의 처리 속도도 개선되었다. 약 800 토큰 입력에서 1.7배, 약 3,400 토큰 입력에서 2.0배, 약 16,000 토큰 입력에서 1.7배 빨라졌다. 이러한 속도 개선은 주로 서빙 인프라 계층의 최적화를 통해 이루어졌으며, SGLang으로의 서빙 전환이 포함되었다. 새로운 모델 가중치 릴리스 없이 호스팅 버전의 Clef에서 속도 향상이 적용되었다.

Clef-omni의 기술적 특징

Clef-omni는 오디오(WAV 또는 MP3), 비디오(MP4 또는 WebM), 이미지, 텍스트 입력을 동시에 처리할 수 있다. 텍스트 전용 결정의 경우 중앙값 약 130ms, 이미지 입력은 약 150ms, 오디오 클립은 수백 밀리초 내에 결과를 반환한다. 21초 길이의 사운드 포함 비디오 클립도 단일 API 호출로 약 1.5초 만에 처리되어 멀티모달 입력 처리의 효율성을 보여준다.

모델 훈련은 Clef와 동일한 기술을 사용한다. Qwen3 백본을 고정하고, LoRA(Low-Rank Adapters)를 훈련하며, 레이블 스무딩 교차 엔트로피 손실과 브라이어 점수 보정을 결합한 후처리 접근 방식을 적용한다. 이로 인해 스키마 변화, 필드 순서, 프롬프트 구조에 관계없이 견고한 성능을 발휘하도록 설계되었다.

다양한 벤치마크에서 Clef-omni의 강력한 성능이 확인되었다. BFCL 벤치마크에서 98.2%, API-Bank 정확도 92.7%, BANKING77 매크로-F1 94.8% 등의 수치를 기록했다. TypeSafe 평가 벤치마크에서도 인보이스 처리(정확한 액션) 60.2%, 고객 서비스(정확한 액션) 71.6% 등의 성능을 보였다.

개발자 및 사용자 활용

Clef-omni의 출시는 개발자들이 오디오, 시각, 텍스트 등 다양한 방식으로 세상과 상호작용하는 모델을 구축하는 데 한 걸음 더 다가서게 한다. 단일 API 호출로 멀티모달 데이터를 처리할 수 있어 개발 복잡성을 줄이고 효율성을 높일 수 있다. Clef 모델은 일반 도메인에 걸쳐 분류를 돕는 데 사용될 수 있으며, 이전에는 전문 머신러닝 팀과 데이터 코퍼스가 필요했던 작업을 이제는 모델 호출만으로 정밀하게 수행할 수 있게 되었다.

클라우드플레어 내부 팀들은 Clef를 다양한 용도로 활용하고 있다. 공개 GitHub 문서 저장소에서는 스팸 문제 감지 및 종료에, 콘텐츠 관리 시스템인 EmDash는 피싱 방지를 위한 플러그인 라이브러리 중재에 사용한다. 데이터 손실 방지 팀은 정부 ID와 같은 PII(개인 식별 정보)를 스캔하고, 위협 인텔리전스 팀은 악성 도메인 감지에 Clef를 활용한다. Clef는 Jev-API와 완벽하게 호환되며 AI Gateway를 통해 제공되므로, 모델 ID 변경만으로 쉽게 통합하여 사용할 수 있다.

적용 조건 및 제한 사항

Clef-flash 모델의 가격 인하를 위해 호스팅 버전의 컨텍스트 윈도우가 기존 64k에서 24k로 축소되었다. 클라우드플레어의 사용 데이터에 따르면 요청의 0.24%만이 24k 입력 토큰을 초과하므로, 대부분의 사용 사례에는 영향을 미치지 않을 것으로 예상된다.

더 큰 컨텍스트 윈도우가 필요한 사용자는 64k 컨텍스트 윈도우를 유지하는 Clef 모델을 사용하도록 권장된다. Clef-flash의 Hugging Face에 공개된 모델 가중치는 256k 컨텍스트 윈도우를 지원하도록 훈련되었으므로, 자체 호스팅하는 경우에는 이 기능을 활용할 수 있다.

Clef 모델은 대규모 언어 모델(LLM)이 아니므로 출력 토큰 생성을 건너뛰며, 이는 들어오는 파일의 전사 또는 캡션 오버헤드를 제거하는 데 기여한다.