AI 모델 교체는 용이하나, 주변 시스템 통합에 벤더 종속 우려 커져

AI 모델 활용 현황 및 벤더 종속 우려

스택록(Stacklok)은 최근 520명의 기술 리더를 대상으로 진행한 설문조사 결과를 발표했다. 이 조사는 북미 지역의 500명 이상 직원을 둔 기업에서 LLM(대규모 언어 모델) 또는 에이전트를 파일럿 또는 프로덕션 환경에서 운영하며 관리자급 이상 직책을 맡은 응답자들을 대상으로 했다. 조사 결과에 따르면, 기업들은 AI 모델 자체를 교체하는 데는 큰 어려움을 느끼지 않지만, 모델 주변에 구축된 시스템 통합 및 에이전트 워크플로우 재구축에 대한 부담으로 벤더 종속을 우려하는 것으로 나타났다.

응답 기업 중 단 8%만이 단일 모델 공급자를 사용하고 있으며, 25%는 5개 이상의 모델 공급자를 활용하고 있다. 이는 기업 환경에서 이미 다중 모델(multi-model) 시대가 도래했음을 시사한다. 따라서 모델 계층 자체의 벤더 종속 문제는 상당 부분 해결된 것으로 인식된다.

마이그레이션의 주요 장벽과 배경

모델 교체는 용이하지만, AI 시스템 마이그레이션에서 가장 큰 어려움은 모델 위에 구축된 계층에 있었다. 응답자의 53%는 '내부 시스템 또는 MCP(Multi-Cloud Platform) 서버와의 통합'을 마이그레이션하기 가장 어려운 두 가지 요소 중 하나로 꼽았다. 이어서 52%는 '다단계 에이전트 워크플로우'를 지목했으며, 가드레일(guardrails) 및 접근 제어 설정도 주요 장벽으로 언급되었다. 이러한 통합 요소들은 모델 공급자를 변경할 때 함께 이전되지 않고 재구축해야 하는 특성을 가진다.

기술 리더의 81%는 프론티어 랩(frontier labs) 및 하이퍼스케일러(hyperscalers) 간의 벤더 이동이 어렵다는 점에 동의했으며, 84%는 벤더 종속을 피하는 것이 AI 전략에 중요하다고 밝혔다. 또한, 응답 기업의 80% 이상이 높은 전환 비용 때문에 AI 마이그레이션을 지연, 축소 또는 재구성한 경험이 있으며, 29%는 이러한 일이 자주 발생한다고 응답했다. 현재 공급자로부터의 마이그레이션에 4개월 이상이 소요될 것이라고 답한 응답자도 57%에 달했다.

벤더 종속 회피의 우선순위

벤더 종속 회피에 대한 중요성 인식에도 불구하고, 실제 AI 스택 선택 시 고려되는 우선순위는 달랐다. '재구축 없이 모델 공급자를 전환할 수 있는 능력'은 8가지 기준 중 6위에 그쳤으며, '단일 벤더에 대한 의존성 회피'는 최하위를 기록했다. 이는 기업들이 장기적인 유연성보다는 단기적인 운영 효율성과 리스크 관리에 더 중점을 두고 있음을 보여준다.

설문조사 결과에 따르면, 보안 및 개인 정보 보호가 가장 중요한 우선순위로 꼽혔으며, 그 다음으로 비용 통제와 규제 준수가 뒤를 이었다. 현재 AI 스택을 선택하는 담당자는 2년 후의 재구축 문제보다는 당장의 비용 청구서와 올해의 감사 결과에 따라 평가받기 때문에, 모델 및 공급자 간의 마이그레이션 문제는 나중의 문제로, 혹은 미래 팀의 과제로 미뤄지는 경향이 있다.

다수 모델 활용 기업의 전략

5개 이상의 모델 공급자를 사용하는 기업들은 다른 기업들과 차별화된 접근 방식을 보였다. 이들은 AI 아키텍처에 유연성을 내재화하는 데 집중하고 있었다. 1~2개 모델을 사용하는 기업과 비교했을 때, 5개 이상 모델을 사용하는 기업의 76%가 내부 시스템 또는 MCP 서버와의 통합을 자체적으로 구축했으며, 이는 1~2개 모델 사용 기업의 42%보다 훨씬 높은 수치이다. 또한, 45%가 오픈소스 에이전트 프레임워크를 사용하고 있었는데, 이는 1~2개 모델 사용 기업의 22%와 대비된다.

이러한 기업들은 공급자 간의 이식성(portability)을 매우 중요하게(67% vs 47%) 여기며, 프론티어 랩의 수직 통합 스택에 대한 오픈소스 대안을 평가할 가능성이 높다고(35% vs 13%) 응답했다. 이들은 여러 이기종 시스템을 운영하면서 특정 벤더에 종속된 하네스(harness)를 용납하지 않고, 모델을 안정적인 인터페이스 뒤의 교체 가능한 구성 요소로 취급하는 방법을 터득했다. 이는 원칙적인 접근보다는, 5개 공급자를 각각의 맞춤형 통합 계층으로 관리하는 것이 비효율적이고 어렵다는 경험에서 비롯된 것이다.

개방형 아키텍처에 대한 요구와 제약

개방형 대안에 대한 수요는 광범위하게 나타났다. 응답자의 80%는 폐쇄형 프론티어 아키텍처의 개방형 대안을 평가할 가능성이 높다고 답했으며, 88%는 경험이 쌓임에 따라 현재 벤더에 계속 의존하기보다는 AI 아키텍처에 대한 통제력을 더 많이 확보할 것으로 예상했다. 폐쇄형 플랫폼 구축 시 우려 사항으로는 제품 또는 API 지원 중단(39%)과 에이전트 상태, 메모리 또는 평가(evals)를 내보낼 수 없는 문제(37%)가 언급되었다. 이는 에이전트 계층이 벤더에 의해 종속될 수 있는 자산으로 인식되기 시작했음을 보여준다.

응답자들은 개방형 아키텍처로 더 많은 워크로드를 전환하게 할 요인으로 실용적인 측면을 강조했다. 보안 및 규제 준수 보장, 프론티어 모델과 동등한 성능, 그리고 엔터프라이즈 지원 모델이 주요 동기로 꼽혔다. 이들은 현재 사용 중인 프론티어 모델을 유지하면서도, 유사한 기능을 제공하는 개방형 하네스를 얻기를 원한다.

스택록은 MCP 서버, 에이전트 워크플로우 또는 정책 설정을 구축하는 개발자들에게 몇 가지 권고 사항을 제시했다. 도구 정의를 벤더의 확장 기능이 아닌 개방형 프로토콜에 유지하고, 오케스트레이션(orchestration)을 자체 소유 코드에 포함하며, 평가가 모든 모델 엔드포인트에서 실행될 수 있도록 보장해야 한다. 또한, ID, 메모리, 도구 등을 제어하는 하네스를 직접 구축(임대하지 않고)하여 통제력을 확보하고, 빠르게 변화하는 환경을 탐색하는 데 신뢰할 수 있는 전문가의 도움을 받을 것을 제안한다.