미스트랄 라지 4 모델, 허깅 페이스에 공개: 멀티모달 및 사이버 보안 기능 강화

미스트랄 라지 4의 주요 특징

미스트랄은 2026년 10월 29일, 멀티모달 및 다국어 기능을 갖춘 Mixture-of-Experts(MoE) 모델인 미스트랄 라지 4(코드명 Le Chonk)를 허깅 페이스에 공개했다. 이 모델은 텍스트와 이미지를 입력으로 받아 텍스트를 생성하며, 약 1조 개의 총 파라미터와 490억 개의 활성 파라미터를 갖추고 있다. 또한 100만 토큰의 컨텍스트 윈도우를 지원하여 장문 처리 능력을 강화했다.

미스트랄 라지 4는 FP8과 NVFP4의 두 가지 공식 변형으로 출시되었으며, Unsloth 및 llama.cpp 팀에서 생성한 GGUF 퀀트도 제공된다. 이 모델은 Mistral Ecosystem Open-Weight License(MIT 라이선스 파생)에 따라 배포되지만, 모델을 서비스로 제공하는 경우에 대한 제한 사항이 명시되어 있다. 특히 사이버 보안, 코딩 에이전트, 멀티모달 이해 분야에서 뛰어난 성능을 발휘하도록 설계되었다.

아키텍처 및 핵심 기술

미스트랄 라지 4의 언어 모델은 대규모 전문가 풀과 희소 어텐션(sparse attention)을 결합하며, Pixtral 비전 인코더를 통합한다. 각 토큰에 대해 소수의 전문가 그룹을 선택하고, 어텐션 인덱서가 이전 토큰 위치 중 어떤 위치에 집중할지 선택하는 두 가지 형태의 희소성을 활용한다. 이는 피드포워드 네트워크 선택과 컨텍스트 위치 선택이라는 두 가지 다른 희소성 메커니즘을 통해 이루어진다.

텍스트 디코더는 72개의 레이어, 6,144의 히든 차원, 64개의 어텐션 헤드를 포함한다. 어텐션 블록은 Multi-head Latent Attention(MLA)과 DeepSeek Sparse Attention(DSA) 인덱서를 결합한다. MLA는 압축된 KV 표현을 유지하고, DSA는 각 쿼리에 대해 최대 2,048개의 키 위치를 선택한다. 디코더 블록마다 3:1 RoPE 대 NoPE 패턴을 사용하며, KV 상태는 레이어 간에 공유된다. 첫 번째 디코더 레이어는 밀집 피드포워드 네트워크를 사용하고, 나머지 71개 레이어는 MoE 블록을 사용하여 소프트맥스 라우터가 각 토큰에 대해 128개 전문가 중 4개를 선택하며, 항상 하나의 공유 전문가가 함께 실행되어 총 5개의 활성 전문가가 토큰당 처리된다. RoPE는 주파수당 학습된 승수를 가진 YaRN-스케일 RoPE인 LeRope를 사용한다.

비전 인코더는 1.6B Pixtral 인코더를 채택했다. 이 인코더는 30개의 레이어, 2,048의 히든 차원, 16개의 어텐션 헤드를 갖추고 있다. 14x14 패치와 공간 병합 크기 2를 가진 패치 병합 프로젝터를 활용하여 이미지 데이터를 처리한다.

벤치마크 성능 및 사이버 보안 역량

미스트랄 라지 4는 코딩, 사이버 보안, 멀티모달 이해, 에이전트 워크플로우 전반에서 강력한 벤치마크 성능을 보여준다. 2026년 10월 29일 기준으로 Artificial Analysis Intelligence 인덱스에서 오픈 웨이트 모델 중 5위를 차지했다. 코딩 분야에서는 DeepSWE v1.1에서 61.7%, SWE-Atlas-QnA에서 59.4%, Terminal-Bench 4에서 28.3%를 달성했으며, 통합 코딩 에이전트 인덱스 점수는 49.8%로 DeepSeek V4 Pro 0813 및 Qwen3.8 Max를 앞선다. 지식 작업에서는 AutomationBench에서 59.9%, AA-Briefcase에서 1,393 Elo를 기록하여 비즈니스 워크플로우 및 장기 전문 작업 평가에서 우수함을 입증했다.

사이버 보안은 미스트랄 라지 4의 핵심 강점 중 하나이다. Artificial Analysis Cyber Index 테스트에서 오픈 소스 소프트웨어의 실제 취약점을 재현하고 패치하는 능력에서 82%를 기록하여 해당 인덱스 내 최고 점수를 달성했다. 이는 조사 및 수정 능력을 모두 평가하는 것이다. 또한 Cybench의 40개 보안 경쟁 과제 중 93%를 해결했다. 내부 테스트에서는 악성코드 분석, 취약점 우선순위 지정, 탐지 규칙 작성 등 명시적으로 훈련되지 않은 분야에서도 유용한 결과를 보였다. Lakera의 B3 벤치마크에서 93.3%의 공격 저항력을 보여 프롬프트 주입 공격에 대한 견고성도 입증했다.

미스트랄은 이 모델을 주로 방어적 보안 작업에 활용하도록 포지셔닝한다. 취약점 연구 및 사고 대응은 모델 입력에서 공격처럼 보일 수 있어 폐쇄형 모델의 필터에 의해 차단될 수 있다. 오픈 웨이트 모델은 사용자가 사용 정책과 배포를 직접 제어할 수 있게 하여 이러한 문제를 해결한다. 그럼에도 불구하고, 미스트랄 라지 4는 유해한 요청을 거부하며, JailbreakBench, StrongREJECT, AgentHarm의 사이버 프롬프트에서 다른 오픈 웨이트 모델보다 높은 평균 거부율을 보인다. 이는 커뮤니티 빌더에게 자체 코드베이스, 크래시 로그, 악성코드 샘플을 기반으로 사이버 시스템을 구축하는 등 다양한 다운스트림 활용 사례를 가능하게 한다.

추론 및 미세 조정 지원

미스트랄 라지 4는 Transformers, vLLM, llama.cpp에 대한 출시 당일 지원을 제공한다. GGUF 퀀트는 GGUF 및 llama.cpp 팀에서 제공하며, Inference Endpoints를 통한 원격 배포 및 Inference Providers를 통한 서버리스 추론 옵션도 지원한다. Transformers 구현은 `AutoModelForMultimodalLM`과 `AutoProcessor`를 통해 대화 및 이미지 입력을 처리하며, `reasoning_effort` 필드를 통해 추론 강도를 'low', 'medium', 'high'(기본값)로 설정할 수 있다. 'none'으로 설정해도 'high'가 적용되며, 추론 기능을 비활성화할 수는 없다.

vLLM은 고품질 NVFP4 미스트랄 라지 4 체크포인트를 지원하며, 이는 더 작은 메모리 공간을 가지며 NVIDIA Blackwell GPU를 필요로 한다. DSpark 드래프터가 함께 제공되어 vLLM에서 추가적인 속도 향상을 제공한다. llama.cpp 및 Llama App도 미스트랄 라지 4를 지원하며, 웹 UI를 통해 채팅, 이미지 입력, 추론 강도 조절이 가능하다. llama.cpp 팀은 IQ2_XXS, Q2_K, Q4_K_M, NVFP4, Q8_0, BF16 등 다양한 퀀트를 제공한다. 2비트 퀀트는 512GB 통합 RAM을 가진 단일 Apple Silicon Ultra 컴퓨터에서 실행 가능하며, 다른 퀀트는 분산 추론을 위해 여러 NVIDIA 또는 AMD 카드를 필요로 한다.

성능 측면에서, 단일 M3 Ultra에서 Q2_K는 약 90토큰/초의 프리필 처리량과 15토큰/초의 생성 속도를 보였다. 4개의 RTX6000 Pro에서는 NVFP4가 32K 컨텍스트 크기에서 130-590토큰/초의 프리필과 약 10토큰/초의 생성 속도를, IQ2_XXS는 800K 컨텍스트 크기에서 짧은 컨텍스트 시 500토큰/초의 프리필과 30토큰/초의 생성 속도를 보였으나, 긴 컨텍스트 사용 시 프리필 129토큰/초, 생성 3토큰/초로 성능이 저하되었다.

TRL을 사용한 미세 조정도 출시 당일부터 지원된다. 최신 버전의 transformers, trl, peft 패키지 업그레이드가 필요하다. FP8 변형을 8x B300 노드에서 실행하는 다국어 추론 미세 조정 예시가 제공된다. 이 예시에서는 `max_length=4096`, `learning_rate=1e-4`, `warmup_steps=10` 등의 SFTConfig와 `r=16`, `lora_alpha=32`의 LoRAConfig를 사용한다.

배포 환경 및 활용 조건

미스트랄 라지 4는 허깅 페이스 Inference Endpoints를 통해 8개의 NVIDIA H200 GPU에서 즉시 배포 가능한 레시피로 제공된다. 이 레시피는 vLLM을 FP8 가중치와 함께 텐서 및 전문가 병렬화를 사용하여 8개 GPU에 분할하고, 모델 내장 DSpark 드래프트 헤드를 활용하여 추측 디코딩을 통한 빠른 생성을 지원한다. 최대 131K 토큰의 컨텍스트를 처리하고 동시에 최대 16개의 요청을 처리할 수 있다.

Inference Endpoints에서의 성능은 단일 요청(1K 토큰 프롬프트)의 경우 첫 토큰까지 약 0.6초, 생성 속도는 약 65토큰/초이며, DSpark 드래프트가 수락되는 채팅 프롬프트에서는 120-138토큰/초에 도달한다. 4개의 16K 토큰 긴 프롬프트를 동시에 처리할 경우 총 4,300토큰/초의 프리필 속도와 8-9초의 첫 토큰까지 시간을 보인다. 1,000개의 ShareGPT 대화 부하 상황에서는 총 480토큰/초의 생성 속도를 기록했다. 엔드포인트는 OpenAI 호환 API를 통해 툴 호출, 구조화된 출력, 이미지 입력, 스트리밍을 지원하며, `reasoning_effort` 필드를 통해 모델의 추론 강도를 제어할 수 있다.

델 엔터프라이즈 허브(Dell Enterprise Hub)를 통해서도 미스트랄 라지 4를 활용할 수 있다. Dell AI 서버(NVIDIA H200, B200, GB200 또는 GB300)에서 최적화된 레시피를 실행하기 위한 `dell-ai CLI`가 제공된다. 예를 들어, NVIDIA B300 노드에서 4개의 GPU를 사용하여 `dell-ai models deploy` 명령으로 모델을 배포할 수 있다. 사용자는 미스트랄 라지 4 컬렉션에서 가중치를 직접 다운로드하여 GGUF를 통해 로컬에서 실행하거나, Inference Endpoints를 통해 배포하여 활용할 수 있다.