TII, 16억 매개변수 아랍어 음성 인식 모델 'Falcon-ASR' 공개

새로운 음성 인식 모델 Falcon-ASR

아부다비 기술혁신연구소(TII)는 16억 개의 매개변수를 가진 음성 인식 모델 'Falcon-ASR'을 공개했다. 이 모델은 아랍어 음성 인식에 특화되어 있으며, 특히 에미리트 방언 처리에 중점을 둔다. Falcon-ASR은 아랍어 외에도 영어, 프랑스어, 스페인어, 포르투갈어를 지원하며, 모든 언어에 단일 모델 가중치를 사용한다.

TII의 자체 평가에 따르면, Falcon-ASR은 6개 아랍어 테스트 세트에서 평균 단어 오류율(WER) 20.92%를 달성하여, 기존에 공개된 최고 기록인 23.17%보다 2.25%포인트 개선된 성능을 보였다. 또한, 내부 에미리트 방언 평가에서는 비교 대상 시스템 중 가장 낮은 단어 및 문자 오류율(CER)을 기록했다. 이 모델은 전사된 각 단어를 오디오 내 위치와 연결하는 단어 수준 타임스탬프 기능도 제공한다.

아랍어 음성 인식의 도전 과제

아랍어 음성은 지역, 화자, 환경에 따라 크게 달라지는 특성을 지닌다. 공식 뉴스 방송을 처리할 수 있는 모델도 에미리트 방언 대화나 전화선을 통해 녹음된 음성에는 어려움을 겪을 수 있다. 또한, 현대 표준 아랍어(MSA)에 비해 방언 아랍어는 전사된 음성 자원이 부족하여 모델 훈련 및 평가에 어려움이 따른다.

Falcon-ASR은 이러한 도전 과제를 해결하기 위해 에미리트 방언, 현대 표준 아랍어, 기타 걸프 및 아랍어 방언, 그리고 영어를 포함한 광범위한 데이터로 훈련되었다. 이 모델의 목표는 방언 형태와 언어 간 전환을 포함하여 사람들이 일상 대화에서 사용하는 단어를 정확하게 전사하는 것이다.

성능 평가 및 훈련 상세

Falcon-ASR은 ELM 연구 센터가 관리하는 Open Universal Arabic ASR Leaderboard의 프로토콜에 따라 평가되었다. 이 리더보드는 6개 테스트 세트의 등가 가중치 평균 WER을 기준으로 시스템 순위를 매기며, CER도 함께 보고한다. 2026년 9월 30일 기준 리더보드 스냅샷에서 Falcon-ASR의 평균 WER은 20.92%로, 당시 최고 기록보다 2.25%포인트 우수했다.

에미리트 방언 평가를 위해 TII는 공개 데이터셋인 Casablanca의 UAE 하위 세트를 보완하여 추가적인 에미리트 및 걸프 지역 음성 데이터를 내부적으로 평가했다. 이 내부 평가에서 Falcon-ASR은 WER 22.73%, CER 10.19%를 달성했으며, 이는 비교 대상 시스템 중 가장 낮은 수치이다. 특히, 다음으로 우수한 Qwen3-Omni보다 WER이 4.07%포인트 낮아 단어 및 문자 수준에서 향상된 전사 정확도를 입증했다.

모델 훈련 시에는 배경 소음, 겹치는 음성, 음악, 실내 잔향, 전화 통화 효과는 물론 속도 및 음높이 변화 등 다양한 녹음 조건을 포함했다. 에미리트 방언 녹음에도 동일한 처리를 적용하여, 회의, 통화 및 기타 일상적인 녹음에서 발생할 수 있는 다양한 조건에 모델이 노출되도록 했다. 영어의 경우, Hugging Face Open ASR Leaderboard에서 사용되는 7개 공개 영어 테스트 세트에서 평균 WER 5.74%를 기록했다.

개발자 및 사용자 활용 방안

사용자들은 Hugging Face 데모 공간을 통해 Falcon-ASR의 전사 기능을 직접 체험할 수 있다. TII는 향후 API 접근 및 네이티브 애플리케이션 지원을 계획하고 있어, 개발자들이 Falcon-ASR을 다양한 서비스에 통합할 수 있는 기회를 제공할 예정이다. 이는 다방면의 아랍어 방언 및 다국어 음성 처리 요구사항을 가진 개발자와 사용자에게 유용한 도구가 될 것으로 기대된다.