LiquidAI, 온디바이스 에이전트 위한 LFM2.5-24B-A2B 모델 공개

새로운 온디바이스 에이전트 모델 LFM2.5-24B-A2B

LiquidAI가 2026년 10월 13일 온디바이스 에이전트 실행에 특화된 LFM2.5-24B-A2B 모델을 공개했다. 이 모델은 총 240억 개의 파라미터를 가지지만, 토큰당 20억 개의 활성 파라미터만 사용하여 효율적인 추론을 가능하게 한다. LFM2.5-24B-A2B는 답변 전에 명시적인 사고의 사슬(chain of thought)을 생성하여 다단계 작업을 처리하고 도구를 호출할 수 있는 추론 전용 모델이다.

이 모델은 이전 버전인 LFM2-24B-A2B의 아키텍처를 기반으로 하며, 40개 레이어와 MoE(Mixture-of-Experts) 블록당 64개 전문가, 상위 4개 라우팅 방식을 유지한다. 컨텍스트 윈도우는 32K 토큰에서 131K 토큰으로 크게 확장되었으며, 인플레이스 토크나이저 확장을 통해 어휘 크기가 65K에서 128K 토큰으로 두 배 증가하여 비라틴어 토큰화 성능이 개선되었다.

개발 배경 및 학습 과정

LFM2.5-24B-A2B의 개발은 온디바이스 환경에서 빠르고 프라이빗한 에이전트 실행에 대한 요구를 충족하기 위함이다. 적은 활성 파라미터로 추론 비용을 절감하면서도 강력한 에이전트 기능을 제공하는 것이 목표이다. 이를 통해 사용자는 자체 하드웨어에서 에이전트를 지속적으로 실행할 수 있다.

모델의 사전 학습은 약 17조 토큰에서 약 33조 토큰으로 규모가 확장되었다. 중간 학습 단계에서는 32K 컨텍스트에서 2조 토큰이 추가되었는데, 이는 추론, 수학, 코드, 지시 따르기, 다국어 텍스트에 가중치를 두었다. 또한, 131K 컨텍스트에서 3000억 토큰이 추가되어 긴 컨텍스트 데이터 처리에 중점을 두었다. 도구 호출 및 다중 턴 대화 궤적은 이 두 학습 단계 전반에 걸쳐 포함되었다.

기본 모델을 에이전트로 전환하기 위한 후속 학습은 다섯 단계로 진행되었다. 첫째, 지도 미세 조정(SFT)을 거쳤고, 둘째, 교사 전문화 단계를 수행했다. 셋째, 비에이전트 작업에 대한 전문가 교사를 증류하는 다중 도메인 온-정책 증류(MOPD)가 이루어졌으며, 넷째, 에이전트 작업에 중점을 둔 두 번째 MOPD 증류 단계가 이어졌다. 마지막으로, OpenClaw, Hermes Agent, Pi, OpenCode와 같은 에이전트 하네스 내에서 모델을 훈련하는 에이전트 강화 학습(Agentic RL)을 통해 최종 에이전트 모델이 완성되었다.

벤치마크 성능 및 추론 효율성

특히, AutomationBench에서는 27.69점을 기록하며 다음으로 우수한 모델보다 세 배 이상 높은 점수를 얻었다. BFCLv4(65.01), ToolSandbox(80.71), LiveClaw(48.09), τ³-Bench Banking(8.04) 등 8개 도구 사용 및 에이전트 벤치마크 중 5개에서 경쟁 모델을 앞서거나 동등한 성능을 보였다. 또한, IFEval(96.75), IFBench(74.69), Multi-IF(84.38) 등 세 가지 지시 따르기 벤치마크에서도 선두를 차지했다.

추론 속도 면에서도 LFM2.5-24B-A2B는 뛰어난 효율성을 보여준다. Apple M5 Max에서 184 토큰/초, Ryzen AI Max+ 395에서 114 토큰/초의 디코딩 속도를 기록하여, 경쟁 MoE 모델 대비 최대 1.7배 빠르며 가장 적은 메모리를 사용한다. GPU 환경에서는 단일 NVIDIA B300 GPU에서 고동시성 환경에서 최대 21K 출력 토큰/초에 도달하는 등 동급 모델 중 가장 빠른 속도를 자랑한다.

개발자 활용 방안 및 지원 생태계

LFM2.5-24B-A2B는 추론, 도구 호출, 온디바이스에서 안정적인 실행이 필요한 에이전트 개발에 강력한 기반을 제공한다. 개발자는 Hugging Face에서 LFM2.5-24B-A2B 및 LFM2.5-24B-A2B-Base 모델을 오픈 웨이트로 다운로드하여 사용할 수 있다.

모델은 `transformers` 라이브러리(버전 5.0.0 이상)를 통해 쉽게 로드하고 실행할 수 있다. 또한, llama.cpp, MLX, vLLM, SGLang, ONNX 등 광범위한 추론 생태계를 지원하여 다양한 환경에서 활용이 가능하다.

에이전트 하네스에 통합하여 사용하는 것도 용이하다. OpenAI 호환 백엔드를 통해 LFM2.5-24B-A2B를 로컬에서 서비스하고, Hermes Agent, OpenClaw, Pi와 같은 에이전트 하네스에서 이를 활용할 수 있다. LiquidAI는 모델 카드와 가이드를 통해 OpenClaw 및 Pi 설정 방법과 전체 설정 과정을 안내한다. 특정 작업에 맞게 모델을 조정할 수 있는 미세 조정 튜토리얼도 제공된다.

적용 조건 및 한계

LFM2.5-24B-A2B는 도구 사용 및 지시 따르기 작업에 강점을 보이지만, 지식 기반(GPQA Diamond, HLE, AA-Omniscience) 및 코딩(SWE-Bench Verified (OpenCode), SciCode) 벤치마크에서는 더 큰 모델들이 여전히 우위를 점한다. 따라서 지식 집약적인 워크로드의 경우, LFM2.5-24B-A2B를 검색(retrieval) 또는 웹 검색과 결합하여 사용하는 것이 권장된다.

이 모델은 추론 전용으로 설계되었으며, 최종 답변 전에 명시적인 사고의 사슬을 생성하는 특징을 가진다. 개발자는 모델의 이러한 특성을 고려하여 에이전트 설계에 반영해야 한다. 또한, 최적의 성능을 위해서는 지원되는 추론 생태계 및 권장 하드웨어 환경을 고려하는 것이 중요하다.