오르카 시큐리티, 아마존 베드록 기반 자연어 질의 에이전트 '디스커버리 AI' 공개

자연어 보안 질의 도입

클라우드 보안 기업 오르카 시큐리티가 아마존 베드록을 기반으로 구축한 자연어 보안 질의 변환 시스템 디스커버리 AI의 설계 구조와 성과를 공개했다. 기존 보안 분석가는 클라우드 인프라 자원을 추적하는 소나 시스템에서 원하는 데이터를 찾기 위해 900개 이상의 클라우드 리소스 모델 이름과 18가지 연산자, 복잡한 계층 관계를 직접 숙지하고 제이슨 형식으로 질의를 작성해야 했다. 디스커버리 AI는 사용자가 일상적인 자연어로 질문하면 이를 유효한 소나 필터 질의로 변환한다.

운영 결과에 따르면 디스커버리 AI는 초기 개념 증명 단계 대비 질의 처리 비용을 90퍼센트 절감하고 입력 토큰 사용량을 93퍼센트 감축했다. 응답 지연 시간 역시 약 60초에서 15초로 75퍼센트 단축했다. 오르카 시큐리티는 2026년 3월부터 프로덕션 환경에 이 시스템을 배포해 매일 수천 건의 질의를 안정적으로 처리하고 있다고 설명했다.

초기 한계와 개선 배경

오르카 시큐리티의 초기 개념 증명 모델은 단일 대형 언어 모델의 프롬프트에 900개 이상의 모델 정의와 모든 관계 유형, 예제 질의를 한꺼번에 주입하는 방식으로 동작했다. 이 방식은 결과 품질 면에서는 긍정적인 평가를 받았으나 실제 프로덕션 환경에서 세 가지 심각한 기술적 제약에 부딪혔다. 단일 작업당 약 200만 개의 입력 토큰을 소모하면서 운영 비용이 급증했다.

응답 시간 또한 작업당 약 60초에 달해 대화형 보안 분석 환경에 적합하지 않았다. 또한 여러 리소스 모델과 복잡한 조건이 중첩된 심층 질의에서는 정확도가 떨어져 결과물을 수작업으로 수정해야 하는 문제가 발생했다. 오르카 시큐리티는 이 문제를 해결하기 위해 검색 증강 생성 기술과 스키마 인식 질의 작성을 결합한 9단계 하이브리드 파이프라인을 새롭게 설계했다.

9단계 파이프라인 구조

새로운 파이프라인은 요청 유입부터 최종 응답까지 9단계를 거치며 단계별 요구 역량에 맞춰 모델을 분산 배치했다. 먼저 사용자 조직과 연결된 클라우드 제공업체 등 맥락 정보를 자연어 질의와 결합한 뒤 규칙 기반 빠른 매칭기를 실행한다. 아이피 주소, 보안 취약점 식별 번호, 아마존 리소스 이름, 파일 해시, 가상 머신 식별자, 웹 주소 같은 정형화된 패턴이 감지되면 대형 언어 모델 추론을 거치지 않고 사전 정의된 필터를 즉각 반환한다.

빠른 매칭을 통과한 요청은 가드레일 단계에서 프롬프트 주입 공격이나 부적절한 입력을 차단한다. 이후 아마존 타이탄 텍스트 임베딩을 통해 벡터 저장소에서 유사도가 높은 20개의 질의 예제를 선별하고 코히어 리랭크 3.5 모델을 사용해 가장 연관성이 높은 5개 예제로 재순위화한다. 이어서 앤스로픽 클로드 하이쿠 4.5 기반의 모델 선택기가 질문에 필요한 소수 리소스 모델만 골라내어 생성기에 전달한다. 생성기는 축소된 스키마와 예제를 바탕으로 필터를 구성하며, 정적 검증과 소나 프로그래밍 인터페이스 검증을 거쳐 오류 발생 시 피드백을 반영해 최대 재시도 횟수 내에서 질의를 재조정한다.

모델 분산과 검색 최적화

오르카 시큐리티는 파이프라인 각 단계의 연산 특성에 따라 최적의 파운데이션 모델을 나누어 할당했다. 심층적인 논리적 추론이 필수적인 모델 선택기와 필터 생성기에는 앤스로픽 클로드 하이쿠 4.5를 배치했다. 반면 빠른 처리 속도와 저비용 추론이 중요한 가드레일 검사와 유효성 검증 단계에는 아마존 노바 2 라이트 모델을 적용했다. 이를 통해 단일 거대 모델에 의존하던 구조를 탈피하고 성능과 비용 효율성을 동시에 달성했다.

예제 검색 단계에서는 순수 상위 유사도 검색과 최대 한계 관련도 방식을 비교 검증했다. 상위 유사도 검색은 중복 예제가 지나치게 많아 다양성이 결핍되었고, 최대 한계 관련도는 정답에 가까운 핵심 후보의 관련성을 떨어뜨리는 한계를 보였다. 이에 따라 상위 20개 후보를 넓게 추출한 뒤 재순위화기를 거쳐 최상위 5개를 도출하는 하이브리드 접근법을 최종 채택함으로써 검색 정확도와 다양성을 함께 확보했다.

지속적 평가와 운영 제약

오르카 시큐리티는 프롬프트나 파라미터 변경 시 발생할 수 있는 품질 저하를 방지하기 위해 상시 평가 체계를 구축했다. 실제 프로덕션 환경의 질문 유형과 복잡도 계층을 반영한 데이터셋을 마련하고 판정용 언어 모델을 통해 생성 질의의 정확성, 완전성, 의미적 동등성을 측정한다. 또한 제품 관리자와 지원 엔지니어, 보안 연구원이 참여하는 내부 레이블링 도구를 구축해 신뢰도가 낮은 질의를 감지하고 현업 전문가가 즉각 수정 사항을 예제 저장소에 반영하도록 했다. 전문 지식이 재배포 과정 없이 즉시 파이프라인에 반영되는 구조다.

이 시스템은 사전에 정의된 스키마 범위와 유효성 검증 규칙 내에서만 동작하도록 제한된다. 생성기가 임의로 스키마를 추정하지 못하도록 재순위화된 예제와 축소 스키마 정의로 생성이 엄격히 제한되며, 지정된 최대 재시도 횟수를 초과할 때까지 정적 검증과 시스템 인터페이스 검증을 통과하지 못하면 무효 필터 응답을 반환한다. 또한 완전 자동화에만 의존하지 않고 신뢰도가 낮은 패턴에 대해서는 지속적인 도메인 전문가의 레이블링 개입이 수반되어야 고품질을 유지할 수 있는 제약을 안고 있다.