클라우드플레어, 로그 전송 단계서 SQL로 가공하는 트랜스포머 정식 출시

로그푸시 전송 파이프라인 내 SQL 변환 도입

클라우드플레어가 실시간 로그 전송 서비스인 로그푸시의 내보내기 파이프라인 안에서 데이터를 직접 필터링하고 가공할 수 있는 트랜스포머 기능을 정식 출시했다. 이번 배포를 통해 로그푸시는 모든 셀프서브 요금제로 확대 적용되었으며, 트랜스포머 기능 역시 무료 계정을 포함한 전 요금제에 제공된다.

기존 운영 환경에서는 로그를 외부 보안 관제 시스템이나 분석 플랫폼, 객체 스토리지로 전송하기 전에 불필요한 헬스체크 로그를 걸러내거나 민감 필드를 마스킹하기 위해 별도의 중간 가공 인프라를 운영해야 했다. 트랜스포머는 이러한 전처리 단계를 로그푸시 워크플로 안으로 통합하여 외부 시스템 구축과 유지보수 부담을 줄인다.

SQL 질의 기반 데이터 정제 및 스키마 정규화

트랜스포머는 특정 로그푸시 데이터셋을 대상으로 작성된 표준 SQL 질의 형태로 동작한다. 사용자는 조건절을 통해 전송할 레코드를 선별하고, 선택문 안에서 필드명을 바꾸거나 중첩 구조를 생성하며 특정 민감 정보를 가릴 수 있다.

입력과 출력 데이터는 모두 줄 단위 JSON 형식인 NDJSON 규격을 유지한다. 예를 들어 여러 콘텐트 전송 네트워크(CDN) 사업자의 로그를 수집하는 조직은 트랜스포머 질의를 사용해 공급자 이름을 고정 필드로 부여하고, 내부 모니터링 주소로 들어온 요청은 사전에 제외하여 다운스트림의 데이터 저장 비용을 절감할 수 있다.

사용자는 관리 콘솔의 트랜스포머 스튜디오나 전용 API를 통해 SQL을 작성하고 샘플 데이터로 동작을 미리 확인할 수 있다. 저장된 트랜스포머는 동일한 데이터셋을 사용하는 호환 로그푸시 작업에 연결되며, 수정할 때마다 새 버전이 생성되어 변경 이력이 추적된다.

인프로세스 실행과 고성능 아키텍처 설계

클라우드플레어의 전체 데이터 파이프라인은 초당 10억 개 이상의 이벤트를 수집하며, 버프스트림이라 불리는 로그푸시 전송 서비스는 초당 1억 1천만 개 이상의 레코드를 고객 목적지로 전달한다. 초기 시험 단계에서는 워커 기반의 웹어셈블리 환경을 검토했으나, 네트워크 호출로 인한 지연 시간 증가와 일시적 타임아웃 위험을 피하기 위해 전송 프로세스 내부 실행 방식으로 방향을 선회했다.

클라우드플레어는 러스트 기반 쿼리 엔진인 아파치 데이터퓨전을 버프스트림 내부에 내장했다. 단일 고루틴 기준 5,000건의 합성 요청 배치를 처리하는 벤치마크에서 약 3밀리초가 소요되어 초당 약 160만 건의 처리량을 기록했다. 고(Go) 언어로 작성된 전송 엔진과 러스트 쿼리 엔진 간의 데이터 교환에는 아파치 애로우의 인메모리 열 지향 IPC 규격을 활용했다.

고 언어 런타임과 러스트 런타임은 메모리 소유권을 공유하지 않도록 설계됐다. 고 언어는 C 언어 인터페이스를 통해 입력 버퍼 포인터를 일시 전달하고, 러스트가 생성한 변환 결과 버퍼를 고 관리 메모리로 복사한 뒤 러스트 측 할당을 명시적으로 해제하여 메모리 관리 결함을 방지한다.

안전장치와 개발자 운영 환경

트랜스포머는 변환 작업이 실패했을 때 정제되지 않은 원본 데이터가 다운스트림으로 누출되지 않도록 '실패 시 차단(fail-closed)' 방식을 채택했다. 변환에 실패하면 전송 오프셋을 전진시키지 않고 재시도를 수행하여 민감 정보 마스킹이나 스키마 가정 위반을 방지한다.

지속적인 오류로 인해 정상 작업의 자원이 고갈되는 문제를 막기 위해 실패 작업에 대해서는 재시도 간격을 점진적으로 늘리며, 장시간 실패가 지속되면 해당 작업을 자동으로 비활성화한다. 관리자는 로그푸시 헬스 탭의 트랜스포머 헬스 화면에서 변환 성공 및 실패율, 처리 전후의 데이터 볼륨, 변환 소요 시간 등을 모니터링할 수 있다.

가공이 완료된 애로우 데이터는 NDJSON 형식으로 변환된 후 압축을 거쳐 지정된 목적지로 업로드된다. 트랜스포머 기능은 프리, 프로, 비즈니스, 엔터프라이즈 등 클라우드플레어의 전 요금제에서 바로 사용할 수 있다.