LiquidAI, 엣지용 멀티모달 오픈 d1 결정 모델 d1-3B 및 d1-omni-600M 공개

새로운 결정 모델의 특징

LiquidAI는 d1 결정 모델 제품군에 두 가지 오픈 결정 모델인 d1-3B와 d1-omni-600M(실험용)을 새롭게 공개했다. 이 모델들은 기존의 생성 모델과 달리 토큰을 생성하지 않고 단일 포워드 패스를 통해 직접적인 결정을 도출하는 것이 특징이다. d1-3B는 텍스트와 이미지를 입력으로 지원하며, d1-omni-600M은 텍스트와 이미지 또는 텍스트와 오디오를 처리하는 멀티모달 기능을 제공한다.

특히 d1-3B는 Decision Index 0.2.1 벤치마크에서 48.57점을 기록하여 10B 미만 모델 중 가장 우수한 성능을 보였다. 이는 Decider 35B-A3B(47.11점)를 포함한 다른 4B 및 9B 모델들을 앞서는 결과이다. d1-omni-600M은 매개변수가 1/4에 불과함에도 Decider 2B(77.1점)를 능가하는 78.4점을 달성했다.

모델 개발 배경 및 구조

이번에 출시된 오픈 d1 결정 모델들은 LiquidAI의 Liquid Foundation Models (LFMs)를 기반으로 구축되었다. d1-3B는 최신 VLM(Vision-Language Model)인 LFM2.5-VL-3B에서 훈련되었으며, 이는 디코더 전용 아키텍처를 사용하여 텍스트와 이미지를 입력으로 처리한다. 이 모델은 특히 비전 기능에 중점을 두고 설계되었다.

반면 d1-omni-600M은 양방향 인코더인 LFM2.5-Encoder-350M을 기반으로 훈련되었다. 이 모델은 비전 및 오디오 인코더를 추가하여 텍스트, 이미지, 오디오 세 가지 모달리티를 모두 처리할 수 있도록 확장되었다. d1-omni-600M은 현재 초기 연구 릴리스 단계에 있으며, 추가적인 개발이 진행 중이다.

성능 벤치마크 및 속도 측정

LiquidAI는 d1-3B와 d1-omni-600M의 성능을 독해, 유해성 탐지, 의도 분류, 의료 QA, 교차 언어 이해 등 7개의 공개 데이터셋에서 벤치마크했다. d1-3B는 평균 82.9점을 기록하여 Decider 4B보다 높은 점수를 얻었으며, d1-omni-600M은 평균 78.4점으로 Decider 2B를 능가했다. 구체적으로, d1-3B는 SQuAD 2.0에서 83.3점, BoolQ에서 86.3점, XNLI에서 85.6점을 기록했다. d1-omni-600M은 Civil Comments에서 95.8점, MASSIVE intent에서 86.1점을 달성했다.

특히 NVIDIA Jetson AGX Thor에서는 단일 질문에 16ms, 3개 질문에 20ms, 384px 이미지 처리에 35ms가 소요되었다. Jetson AGX Orin 64 GB에서는 단일 질문에 26ms, Jetson Orin Nano에서는 50ms가 걸렸다. GPU 추론 환경에서는 NVIDIA RTX 4090에서 단일 질문에 8ms, 384px 이미지 처리에 17ms가 소요되었으며, AMD MI325X에서는 단일 질문에 9ms, 384px 이미지 처리에 18ms를 기록하여 매우 빠른 응답 속도를 입증했다.

개발자 활용 및 접근성

개발자들은 빠르고 구조화된 결정이 필요할 때, 특히 멀티모달 입력을 처리해야 하는 경우 d1 결정 모델을 활용할 수 있다. d1-3B는 크기 대비 최고의 결정 품질을 제공하며, d1-omni-600M은 작은 설치 공간이 중요한 엣지 디바이스 환경에 적합하다. 두 모델 모두 오픈 가중치로 Hugging Face에 공개되어 있으며, 개발자들은 System One Arcade Hugging Face Space에서 데모를 직접 실행해 볼 수 있다.

적용 조건 및 한계점

d1-omni-600M은 현재 초기 연구 릴리스 단계에 있으며, LiquidAI는 이 모델에 대한 추가 개발을 진행하고 있다. 따라서 d1-omni-600M의 속도 수치는 이번 발표에서 공개되지 않았으며, 사용 지침은 해당 모델 카드에서 별도로 확인할 수 있다.

또한, Decision Index v0.3에는 비공개 비전 분할만 포함되어 있고 오디오 결정 벤치마크는 현재 미해결 과제로 남아있기 때문에, 이번 발표에서는 비전 또는 오디오 벤치마크 결과가 별도로 보고되지 않았다. 이는 멀티모달 모델의 성능 평가에 있어 아직 해결해야 할 과제가 있음을 시사한다.