리플렉션 AI, 5010억 파라미터 에이전트 코딩 모델 '빔' 공개 및 AWS 배포 지원

개요 및 공개 현황

리플렉션 AI가 소프트웨어 엔지니어링 및 다단계 에이전틱 코딩 작업을 수행하는 오픈 가중치 인공지능 모델 '빔'을 발표했다. 이 모델은 코드 유지보수, 도구 호출, 실행 결과 해석, 복잡한 워크플로 완결 등 장시간 연속되는 작업을 처리하도록 설계됐다. 연구진과 개발자는 공개된 모델 가중치를 기반으로 자체 런타임과 배포 환경을 직접 제어할 수 있다.

빔의 모델 가중치는 아파치 2.0 라이선스에 따라 허깅페이스를 통해 공개됐다. 공개 시점을 기준으로 아마존 웹 서비스의 아마존 세이지메이커 점프스타트 카탈로그에 등록됐으며, 미국 동부 버지니아 북부 및 오하이오 리전에서 즉시 배포할 수 있다.

모델 구조와 정밀도 규격

빔은 총 5010억 개의 파라미터를 보유한 대규모 희소 전문가 혼합 모델이다. 토큰당 실제 연산에는 230억 개의 파라미터만 활성화되어 추론 효율을 유지하며, 100만 토큰에 달하는 유효 문맥 길이를 지원한다. 이 같은 구조적 특성은 체크포인트 저장 용량과 가중치 메모리, 샤딩 방식에 직접적인 영향을 준다.

체크포인트는 세 가지 정밀도 변형으로 배포된다. 하드웨어 메모리 요구량이 가장 큰 기본 비에프16 변형 외에도 에프피8과 엔브이에프피4 변형이 함께 제공된다. 개발자는 보유한 가속기 하드웨어 규격과 허용 메모리 공간에 맞춰 적합한 가중치 형식을 선택할 수 있다.

클라우드 인프라 배포 방식

아마존 웹 서비스 환경에서는 통제 수준에 따라 세 가지 배포 경로를 선택할 수 있다. 인프라 운영 부담을 줄이고자 할 때는 완전관리형 모델 패키지와 호출 인터페이스를 제공하는 세이지메이커 점프스타트 실시간 엔드포인트를 활용한다. 이 방식은 복잡한 컨테이너 설정 없이 관리형 작업 흐름만으로 서빙을 시작할 수 있다.

대규모 분산 환경에서 쿠버네티스 기반 제어가 필요하다면 아마존 엘라스틱 쿠버네티스 서비스로 오케스트레이션되는 세이지메이커 하이퍼팟 추론을 사용한다. 하이퍼팟 클러스터 내부에서는 관리형 점프스타트 컨테이너를 그대로 구동하거나, 자체 이미지와 파서 설정이 가능한 오픈소스 추론 엔진인 에스지엘랭 및 브이엘엘엠을 선택해 런타임을 구성할 수 있다.

자원 요구량과 실행 환경

전체 5010억 파라미터를 적재하려면 복수의 그래픽 처리 장치를 갖춘 노드 구성이 필수적이다. 비에프16 변형은 가장 큰 메모리를 요구하므로 다중 노드 클러스터를 계획해야 한다. 에프피8 변형은 엔비디아 에이치100 또는 에이치200 기반 가속 인스턴스를 권장하며, 엔브이에프피4 변형은 엔비디아 비200 기반 가속 인스턴스를 지원한다.

운영 환경을 구축하려면 지원 가속기 인스턴스에 대한 충분한 서비스 할당량과 용량을 확보해야 한다. 온디맨드 용량이나 세이지메이커 훈련 계획 예약 기능을 활용할 수 있으며, 대규모 가중치와 이미지 전송, 샤드 로딩, 런타임 초기화에 소요되는 시간을 사전에 고려해야 한다.

최적화 및 성능 조정

프로덕션 환경에서는 노드 로컬 스토리지에 가중치를 사전 적재하고 서빙 이미지를 미리 가져오는 하이퍼팟 모델 캐싱 기능을 활용할 수 있다. 하이퍼팟 추론 게이트웨이는 오픈에이아이 호환 인터페이스를 제공하며, 계층화된 키-값 캐싱과 지능형 라우팅을 통해 여러 복제본 간의 요청을 효율적으로 분산한다.

개발자는 실제 대표 코딩 및 도구 사용 요청을 기반으로 부하 테스트를 수행해야 한다. 첫 토큰 생성 시간, 토큰당 생성 지연, 전체 처리량, 요청 성공률을 측정한 뒤 배치 크기와 키-값 캐시 할당량을 조정한다. 특히 양자화나 정밀도 형식을 변경한 뒤에는 모델의 출력 품질을 재검증해야 하며, 테스트가 끝난 후에는 미사용 자원을 정리해야 추가 비용을 방지할 수 있다.