다르마 AI, 도메인 특화 어휘 재설계 기술 VocabX 공개

어휘 재설계 성과

다르마 AI(Dharma-AI) 연구진은 범용 소형 언어 모델의 토크나이저 어휘집을 특정 업무에 맞춰 재설계하는 기법인 VocabX를 공개했다. 연구진은 매개변수 40억 개 규모의 Qwen3-4B 기반 포르투갈어 에세이 자동 채점 시스템에 해당 방식을 적용하여 측정된 추론 비용을 77.0% 절감했다. 기존 기본 모델의 가중치 구조와 학습 데이터 및 훈련 방식을 유지한 채 토크나이저 어휘만 교체하는 접근 방식을 취했다.

기존 채점기 모델의 평균 응답 길이는 350토큰이었으나, 어휘를 특화한 뒤 101토큰으로 크게 감소했다. 채점 정확도와 오프토픽 검출력을 종합한 벤치 점수는 기존 0.703에서 0.810으로 상승했다. 연구진은 토크나이저가 사후 학습 이전에 결정되는 고정 요소로 취급되어 왔으나, 단일 도메인 환경에서는 운영 비용을 줄이는 핵심 요소가 될 수 있다고 설명했다.

범용 어휘의 비효율

기존 오픈소스 기본 모델은 다국어와 다양한 분야를 지원하도록 방대한 어휘집을 구축하여 배포된다. Qwen3-4B의 경우 15만 1669개의 어휘 항목을 보유하고 있으며, 이는 특정 언어와 고정 포맷만을 사용하는 단일 목적 시스템에서 두 가지 비효율을 낳는다. 도메인에서 빈번하게 반복되는 JSON 포맷과 평가 문구가 여러 조각으로 파편화되고, 사용되지 않는 외국어 항목들이 대거 포함되어 언어 모델 출력 계층(LM head)의 연산 부담을 가중시킨다.

추론 과정에서 입력 처리(프리필)는 행렬 재사용으로 연산량 중심의 부하가 걸리지만, 토큰 생성(디코드)은 토큰마다 메모리 대역폭 한계와 키-값 캐시 호출이 누적된다. 연구진이 측정한 환경에서 생성 토큰 1개는 읽기 토큰 1개보다 7.4배 더 큰 비용을 발생시켰다. 따라서 입출력을 같은 비중으로 다루거나 단순 빈도만 고려하는 기존 어휘 압축 기법은 실제 지출 절감에 최적화되지 못했다.

비용 중심 압축 기술

VocabX는 후보 토큰을 평가할 때 빈도 대신 시스템 프롬프트, 사용자 메시지, 모델 응답 등 각 필드의 단가 차이를 곱한 시간·비용 절감량을 지표로 둔다. 또한 서브워드 재구성 계층과 긴 구문·JSON 구조를 1개 토큰으로 묶는 매크로 토큰 계층을 단일 비용 기준으로 동시에 최적화한다. 긴 단어, 전체 행, 표현, 완전한 문장, 문장 부호 구조 등 5가지 추출기를 결합해 반복 패턴을 탐색하며, 이들 추출기가 없으면 토큰 감소 효과가 55.6포인트 하락한다.

전체 말뭉치를 매번 재측정하지 못해 발생하는 소규모 표본의 편향을 보정하는 통계 추정 기법도 도입했다. 전체 말뭉치 기준 절감량은 전수 계산하고, 선발된 토큰과 겹치지 않는 미선택 이득만 표본 통계로 보정 추정함으로써 계약서 말뭉치의 토큰 감소율을 44.7%에서 52.8%로 끌어올렸다. 채점기 적용 과정에서는 출력 계층 행 수를 기존 약 15만 2000개에서 약 6만 5000개로 축소했다.

실제 영향과 적용 영역

연구진은 RTX 5090 그래픽 처리 장치와 vLLM 추론 엔진 환경에서 동일한 500건의 요청을 실행하여 성능을 검증했다. 계약서, 의학 논문, 과학 논문, 뉴스, 파이썬 코드 등 5개 공개 도메인과 Qwen3, Llama-3.1, Gemma-3 등 3개 모델군을 결합한 15개 시험 환경 전반에서 기존 비교 기술보다 높은 압축률을 달성했다. 추론 비용 추정치 기준으로 VocabX 가지치기 버전은 Qwen3에서 평균 10.2포인트, Llama-3.1에서 7.5포인트, Gemma-3에서 13.6포인트 우위를 보였다.

계약서 말뭉치 시험에서는 VocabX 가지치기 버전이 11만 3426개 어휘로 62.6% 토큰 감소를 달성해, 20만 7803개 어휘를 사용한 기존 기법의 최고치 61.8%를 넘어섰다. 이는 특정 도메인 전용 모델을 서비스할 때 가중치 조정 이전 단계에서 토크나이저를 맞춤형으로 교체하는 것만으로 연산 자원과 메모리 대역폭을 크게 절약할 수 있음을 보여준다.

설계 시 주의점과 한계

압축 대상 구문이 모델의 핵심 판단 대상을 포함하면 성능 저하가 발생할 수 있다. 연구진이 에세이 채점 점수와 JSON 구조를 단일 매크로 토큰으로 융합했을 때 벤치 점수는 0.689로 기존 프로덕션 수준(0.703)보다 낮아졌다. 점수 수치를 독립 토큰으로 분리하자 응답당 2토큰이 추가되었으나 벤치 점수가 0.810으로 개선되었고, 비용 절감률 역시 73.3%에서 77.0%로 향상되었다.

연구진은 VocabX가 모델 자체의 지능을 높이는 것이 아니라 불필요한 단편 생성과 미사용 어휘 계산을 차단하는 기술이라고 밝혔다. 또한 기사에 제시된 수치는 심사 중인 논문 초안에 근거한 것으로 최종 출판 전 변동될 수 있으며, 생성 토큰 대 읽기 토큰의 비용 비율은 사용하는 하드웨어, 배치 크기, 문맥 길이에 따라 달라질 수 있다는 점을 한계로 명시했다.