Apertus 1.5 출시: 멀티모달 이해 및 확장된 컨텍스트 기능 도입

무엇이 어떻게 달라졌는가

Apertus 프로젝트는 2026년 10월 15일 Apertus 1.5를 출시했다. 이 버전은 기존 Apertus 1.0의 8B 및 70B 모델을 확장하여 이미지 및 오디오 이해, 선택적 사고 모드, 4배 길어진 컨텍스트 창, 향상된 지시 따르기 및 도구 사용 기능을 도입한다. 업데이트된 8B 및 70B 모델 가중치는 2026년 7월 24일 Apache 2.0 라이선스 하에 Hugging Face에 공개되었다.

Apertus 1.5는 1세대 모델의 지속적인 사전 학습 결과물이다. 8B 모델에는 4조 개의 텍스트 및 멀티모달 학습 토큰이, 70B 모델에는 2조 개의 토큰이 추가되어 총 19조 및 17조 토큰으로 학습되었다. 모든 Apertus 릴리스와 마찬가지로, 이 모델들은 가중치, 데이터, 가치, 전체 학습 세부 정보가 모두 공개된 완전 개방형 모델이다.

변화의 배경과 맥락

이번 Apertus 1.5 출시는 기존 텍스트 기반 모델의 한계를 넘어 멀티모달 기능을 통합하고, 더 복잡한 추론 및 긴 컨텍스트 이해를 가능하게 함으로써 모델의 활용 범위를 넓히려는 노력의 일환이다. 특히, 모델의 가치와 원칙에 대한 투명성을 제공하는 Apertus 헌장에 대한 강력한 준수를 강조하며 '개방형 가치'를 중요한 개선 사항으로 제시한다.

Apertus 프로젝트는 모델 개발의 투명성과 재현성을 중요하게 여긴다. 이를 위해 EvalEval 연합과 협력하여 'Eval Cards' 및 'EEE(Every Eval Ever) 스키마'를 통해 평가 결과를 완전히 투명하고 재현 가능하게 공개한다. 이는 연구뿐만 아니라 AI 거버넌스 요구사항에도 부합하며, 규제 기관, 배포자, 연구자들이 모델의 근거를 쉽게 찾고 해석하며 비교할 수 있도록 돕는다.

구체적인 기능 및 학습 과정

Apertus 1.5는 초기 융합(early-fusion) 방식으로 멀티모달리티를 도입한다. 이미지는 Emu3.5 토크나이저를 통해 512x512 크기 이미지가 1,024개의 토큰으로, 오디오는 WavTokenizer를 통해 초당 40개의 토큰으로 변환되어 텍스트 토큰과 동일한 시퀀스에 이산 토큰으로 입력된다. 이를 통해 별도의 비전 인코더 없이도 모델이 이미지와 오디오를 이해할 수 있지만, 생성은 텍스트로만 이루어진다.

사전 학습은 네 단계로 진행된다. 첫째, '비쌍형(Unpaired)' 단계에서 텍스트와 독립적인 이미지 및 오디오를 통해 새로운 모달리티를 학습한다. 둘째, '쌍형(Paired)' 단계에서 이미지-캡션 및 오디오-스크립트 쌍을 통해 언어와 정렬한다. 셋째, '쿨다운(Cooldown)' 단계에서 더 많은 수학 및 코드 데이터를 포함한 고품질 데이터를 사용한다. 마지막으로 '긴 컨텍스트(Long context)' 단계에서 컨텍스트 창을 8k에서 262k 토큰으로 점진적으로 확장한다. 전체 학습 토큰의 절반 이상은 텍스트 전용으로 구성되어 Apertus 1.0의 언어 능력을 유지한다.

후처리 학습은 다섯 단계로 이루어진다. 370만 개의 텍스트 샘플과 이미지 및 음성 데이터를 활용한 지도 미세 조정(SFT), 262k 컨텍스트 창을 복원하는 긴 컨텍스트 SFT, 약 35만 개의 수학, 코드, 지시 따르기, 다국어, 비전 프롬프트에 대한 검증 가능한 보상 강화 학습(RLVR), 판사가 평가한 선호도 쌍을 사용한 DPO(Direct Preference Optimization), 그리고 Apertus 헌장 정렬을 위한 SDPO(Self-Distillation Preference Optimization)가 포함된다. SDPO는 8B 모델에만 적용된다.

개발자 및 사용자에게 미치는 영향

Apertus 1.5는 개발자와 사용자에게 다양한 방식으로 접근성을 제공한다. Swisscom, Infomaniak, Phoeniqs 등 여러 제공업체가 개발자를 위한 API 접근을 발표했으며, Proton Lumo 및 Infomaniak Euria와 같은 애플리케이션에 이미 통합되어 사용되고 있다. 모델 실행을 위한 기술 지침은 Hugging Face의 모델 카드와 퀵스타트 가이드에서 확인할 수 있다.

이 모델의 공개적인 학습 과정과 중간 체크포인트 공유는 연구자들이 각 단계가 모델 동작에 미치는 영향을 심층적으로 조사할 수 있도록 지원하며, 개방형 모델 개발을 장려한다. 또한, 투명한 평가 보고 방식은 규제 기관, 배포자, 연구자들이 모델의 성능과 한계를 명확하게 이해하고 비교하는 데 기여한다.

Apertus 프로젝트는 커뮤니티의 참여를 적극적으로 독려한다. 사용자와 개발자는 쇼케이스 양식을 통해 자신의 프로젝트를 공유하고, 연락 페이지를 통해 피드백을 제공하며, 향후 심층 분석 주제에 대한 의견을 제시할 수 있다. 이는 모델 개선과 커뮤니티 성장에 중요한 역할을 한다.

적용 조건 및 한계

Apertus 1.5는 멀티모달 이해 능력을 갖추었지만, 현재는 이미지와 오디오를 이해하는 데 그치며 텍스트만 생성할 수 있다. 음성 언어 처리 기능은 아직 실험 단계에 있다. 또한, 평가 결과에 따르면 Apertus 1.5는 여전히 최첨단 개방형 가중치 모델(frontier open-weight models)에 비해 성능이 뒤처지는 부분이 있다고 명시한다.

그럼에도 불구하고, 8B 모델은 유사한 크기의 개방형 가중치 모델보다 지시 따르기 및 다국어 작업에서 우수한 성능을 보이며, 사고 모드는 AIME와 같은 추론 중심 벤치마크에서 성능을 향상시킨다. 멀티모달 성능은 Gemma 4 12B 및 다른 현재 개방형 가중치 모델과 유사하며, 공간 이해 및 문서/차트 이해 분야에서는 경쟁력을 갖춘다. 특히 스위스 법률 관련 작업과 기계 번역(8B 모델이 GPT-OSS-20B와 동등하고 Claude Haiku 4.5 또는 Google Translate를 능가)에서 강점을 보인다.

SDPO를 통한 헌장 정렬은 현재 8B 모델에만 적용된다는 점도 한계로 언급될 수 있다. 프로젝트는 모든 레시피, 어블레이션, 데이터 혼합을 기술 보고서에 문서화하여 투명성을 높이고, 중간 체크포인트와 학습 데이터 혼합을 공개하여 재현성을 보장한다.