SpaceXAI Grok 4.7, Amazon Bedrock에 출시…장기 에이전트 작업 효율성 향상

Grok 4.7, Amazon Bedrock에 통합

SpaceXAI의 Grok 4.7이 Amazon Bedrock에 출시되어 다양한 파운데이션 모델(FM) 선택지를 제공한다. Grok 4.7은 더 어렵고 긴 작업에 더 오래 작동하도록 훈련되었으며, 자체 작업을 확인하는 능력이 향상되었다고 SpaceXAI는 밝혔다. 이 기능은 여러 단계를 거쳐 작업을 수행하고 중간 결과를 검증해야 하는 에이전트 워크로드에 특히 중요하다.

Grok 4.7은 후보 답변을 형성하고, 학습된 내용과 비교하여 확인하며, 적합할 때까지 개선하는 방식으로 작동한다. 이 모델은 각 응답 전에 얼마나 많은 숙고(deliberation)를 할지 제어하는 '추론 노력(reasoning effort)' 설정을 제공하며, 에이전트 워크로드에서 적절한 수준을 선택하는 것이 중요한 고려 사항이다.

향상된 성능과 배경

SpaceXAI에 따르면 Grok 4.7은 Grok 4.6보다 더 큰 기본 모델을 사용하며, 더 어려운 작업 혼합에 대해 더 긴 강화 학습을 통해 훈련되었다. 이 훈련은 완료하는 데 여러 시간이 소요되는 문제에 중점을 두었다. 그 결과 모델은 자체 작업 검증 및 긴 컨텍스트 관리 능력에서 향상된 성능을 보인다.

SpaceXAI가 발표한 벤치마크 결과는 이러한 강조점을 반영한다. Grok 4.6 대비 가장 큰 성능 향상은 단일 턴 답변보다는 지속적인 작업을 측정하는 카테고리에서 나타났다. 예를 들어, Terminal-Bench 4.0(멀티 시간 터미널 작업)에서 20.3%에서 37.6%로, EEBench(전기 공학)에서 53.0%에서 64.0%로, CursorBench 4.0(장기 코딩)에서 40.4%에서 46.3%로, HealthBench Professional(임상 추론)에서 48.5%에서 56.7%로 점수가 상승했다.

Grok 4.7의 기능 및 접근 방식

Grok 4.7은 500K 토큰의 컨텍스트 윈도우를 지원하며, 텍스트 및 이미지 입력과 텍스트 출력을 제공한다. Amazon Bedrock에서는 구성 가능한 추론 노력, 도구 호출(tool calling), 구조화된 출력(structured output)을 지원한다.

모델은 bedrock-runtime 엔드포인트에서 실행되며, 교차 리전 추론 프로필을 통해 접근할 수 있다. 두 가지 프로필인 us.xai.grok-4.7(미국 내 데이터 상주 요구사항 충족)과 global.xai.grok-4.7(광범위한 용량 및 지역 제약 없음)이 제공된다. 교차 리전 추론은 여러 AWS 리전 간에 요청을 라우팅하여 리전별 용량 관리가 필요 없이 높은 처리량을 제공한다.

Grok 4.7은 OpenAI 호환 Chat Completions 및 Responses API와 Amazon Bedrock Converse API를 지원한다. Converse API에서는 추론 결과가 텍스트 블록과 함께 reasoningContent 블록으로 반환된다. inferenceConfig에서는 maxTokens만 설정하고, 추론 노력과 같은 모델별 매개변수는 additionalModelRequestFields에 포함한다.

인증을 위해 기존 AWS 자격 증명에서 단기 베어러 토큰을 생성하는 것이 권장된다. max_completion_tokens는 답변 텍스트뿐만 아니라 추론 토큰도 포함하므로, 응답이 잘리지 않도록 충분히 크게 설정해야 한다. Grok 4.7은 low, medium, high, xhigh의 네 가지 추론 노력 수준을 지원하며, 이 수준은 서비스에서 직접 확인하여 사용하는 것이 좋다.

에이전트 성능 평가 및 결과

SpaceXAI는 검색이 필요한 세 가지 작업(두 서비스 장애 진단, 제약 조건 하 유지보수 일정, 예산 내 최적 마이그레이션 세트 선택)을 통해 Grok 4.7 기반 도구 호출 에이전트를 평가했다. 각 작업은 정확히 하나의 정답을 가지며, 빠른 휴리스틱으로는 찾을 수 없도록 설계되었다. 모든 추론 노력 수준에서 각 작업당 6회씩 총 72회 에이전트 실행을 수행한 결과, 에이전트는 67회 정답을 맞혔다.

xhigh 수준에서는 18회 실행 모두 정답을 맞혔으며, low 수준에서는 18회 중 15회 정답을 맞히면서 xhigh의 약 1/8에 해당하는 출력 토큰을 사용했다. 이는 요청별로 조정 가능한 명확한 정확도-비용 트레이드오프를 보여준다. 평가 결과, xhigh는 모든 실행에서 정답을 맞혔고, medium과 high는 각각 18회 중 17회 정답을 맞혔다.

추론 노력 수준이 높아질수록 에이전트가 더 많은 추론을 적용하지만, 도구 호출 수는 17.2~18.7회로 거의 변화가 없었다. 이는 에이전트가 동일한 사실을 수집하더라도 이를 처리하는 방식이 달라진다는 것을 의미한다. low 수준은 xhigh의 약 1/8 토큰과 18초의 중앙값 실행 시간으로 18회 중 15회 정답을 맞혀 강력한 비용 대비 품질 비율을 제공한다.

추가 추론 노력은 여러 후보 답변을 서로 비교해야 하는 최적화, 가설 테스트, 제약 조건 만족과 같은 작업에서 가장 큰 가치를 발휘하는 것으로 나타났다. 예를 들어, 마이그레이션 작업에서 medium 이상 수준의 에이전트는 모든 실행에서 최적의 세트를 찾았으며, 스케줄링 작업에서는 xhigh 수준이 가장 명확한 차이를 보였다.

개발자를 위한 활용 및 운영 고려 사항

개발자는 작업 유형에 따라 추론 노력 수준을 선택할 수 있다. 검색, 최적화, 가설 테스트와 같은 작업에는 medium 이상이 적합하며, 단일 경로를 따르거나 후속 검토가 이루어지는 작업에는 low가 효율적이다. 추론 노력은 에이전트 전체가 아닌 요청별 매개변수이므로, 에이전트의 계획 및 검증 단계는 높은 수준으로, 도구 결과 형식 지정과 같은 기계적인 단계는 low 수준으로 실행하여 신뢰성과 토큰 비용을 최적화할 수 있다.

자체 작업에 대해 반복 실행을 통해 구성의 일관성을 측정하고, 출력 토큰 및 도구 호출 수를 모니터링하여 운영 신호를 확보하는 것이 권장된다. 생산 환경에서는 재시도 로직을 설계에 포함하고, 새로운 고볼륨 워크로드를 점진적으로 증가시켜야 한다. 모델 호출 로깅을 통해 요청 및 응답 데이터를 Amazon S3 또는 Amazon CloudWatch Logs에 기록하여 실행 기록을 감사할 수 있다.

Amazon CloudWatch 지표를 사용하여 토큰 사용량 집계를 모니터링하고, AWS Cost Explorer 및 Cost and Usage Report를 통해 에이전트별 비용을 항목화할 수 있다. 서비스 티어(Flex, Priority)를 요청별로 설정하여 비용과 긴급성을 일치시키고, 데이터 상주 요구사항과 비용에 따라 교차 리전 추론 프로필을 선택할 수 있다. 예를 들어, Global 프로필은 일반적으로 지리적 라우팅보다 토큰당 가격이 낮다.

측정의 한계 및 주의사항

이번 평가는 각 작업 및 노력 수준당 6회 실행으로, 통계적으로 결정적인 결과라기보다는 지표적인 차이를 보여준다. 평가 환경은 합성 환경으로, 실제 도구에서 발생할 수 있는 지연 시간, 부분 결과, 오류 등은 테스트되지 않았다. 실행 시간은 몇 분 단위로, 장기 작업의 축소된 대리 측정이며 절대적인 수치는 실제 장기 작업과 다를 수 있다.

평가는 단일 모델 버전, 단일 리전, 작업당 단일 프롬프트로 수행되었으므로, 다른 프롬프트는 결과를 변경할 수 있다. 보고된 수치는 토큰 수이며, 실제 비용은 Amazon Bedrock 가격 페이지에서 추론 프로필 및 서비스 티어에 따른 현재 요율을 적용해야 한다.

Grok 4.7을 사용하기 위한 전제 조건으로는 AWS 계정, Amazon Bedrock 접근 권한, Grok 4.7 모델 접근 활성화가 필요하다. 또한 Python 3.9 이상과 필요한 라이브러리(openai, boto3, aws-bedrock-token-generator)가 설치되어야 하며, AWS 자격 증명이 구성되어야 한다. IAM 정책에는 추론 프로필과 계정의 기본 프로젝트 모두에 대한 bedrock:InvokeModel 권한이 필요하다. 장기 Amazon Bedrock API 키를 생성한 경우, 사용 후에는 반드시 폐기해야 한다.