Cloudflare Hyperdrive, MySQL 정식 지원 및 캐싱 버그 해결

Hyperdrive MySQL 정식 지원

Cloudflare는 자사의 분산 데이터베이스 연결 풀러인 Hyperdrive의 MySQL 프로토콜 지원을 정식 출시(GA)한다고 발표했다. Hyperdrive는 Cloudflare Workers를 SQL 데이터베이스에 연결하는 서비스로, 초기에는 PostgreSQL만 지원했다. 이번 정식 출시를 통해 MySQL 데이터베이스를 사용하는 개발자들도 Hyperdrive의 연결 풀링 및 쿼리 캐싱 기능을 활용할 수 있게 되었다.

베타 기간 동안 발견된 20가지 이상의 버그가 수정되었으며, 특히 드물게 발생하던 MySQL 캐싱 버그가 해결되어 서비스의 안정성이 크게 향상되었다.

안정성 확보를 위한 여정

Hyperdrive는 Cloudflare의 글로벌 네트워크에서 웜(warm) SQL 연결을 유지하고 여러 Worker 요청 간에 공유함으로써, 데이터베이스 연결 설정에 필요한 지연 시간과 리소스 비용을 절감한다. 서버리스 컴퓨팅 플랫폼인 Workers에서 각 요청마다 새로운 데이터베이스 연결을 설정하는 것은 비효율적이다.

MySQL은 PostgreSQL보다 연결당 OS 프로세스 사용량이 적지만, 대규모 연결 시 여전히 리소스 문제가 발생할 수 있다. Hyperdrive는 이러한 문제를 해결하며, 일반적인 쿼리를 CDN 캐시에 저장하여 원본 데이터베이스의 부하를 줄이고 응답 속도를 높인다.

베타 기간의 주요 개선 사항

MySQL 지원 베타 기간 동안 Cloudflare는 실제 고객 사용 환경에서 99.99%의 가용성 목표를 달성하는 것을 목표로 삼았다. 이 과정에서 여러 버그가 발견되고 수정되었다. 예를 들어, 데이터베이스에 이모지를 저장할 때 발생하는 문자 인코딩 문제가 있었다.

Hyperdrive는 연결 시 utf8을 협상했으나, 이는 utf8mb3의 별칭으로 완전한 UTF-8(4바이트)을 지원하지 않았다. 이를 utf8mb4로 변경하여 이모지 문제를 해결했다. 또한, COM_RESET_CONNECTION 명령을 사용하여 세션 상태를 정리할 때 연결 인코딩이 서버 기본값으로 재설정되는 문제가 발생하여, 연결 재설정 후 항상 utf8mb4로 인코딩을 재설정하는 명령을 추가했다.

MySQL 프로토콜과 캐싱의 복합 문제

가장 해결하기 어려웠던 버그는 캐싱이 활성화된 Hyperdrive 인스턴스에서 0.001%의 낮은 확률로 빈 쿼리 응답이 발생하는 문제였다. 이 버그는 Hyperdrive의 분산 아키텍처와 MySQL 클라이언트/서버 프로토콜의 복잡성에서 비롯되었다.

Hyperdrive는 Client 노드와 Endpoint 노드로 구성되며, Client 노드는 Worker와 동일한 머신에서 실행되고 Endpoint 노드는 원본 데이터베이스에 가깝게 배치된다. 두 노드는 각자의 데이터센터에 있는 Cloudflare CDN 캐시를 사용하며, 동일한 데이터센터에 있을 경우 캐시를 공유한다. Hyperdrive는 원본 데이터베이스에는 클라이언트로, Worker에는 서버로 작동하며, 이 과정에서 MySQL 프로토콜의 기능(capabilities) 협상 및 변환이 필요하다.

기능 불일치로 인한 캐싱 오류

문제의 핵심은 MySQL 프로토콜의 CLIENT_DEPRECATE_EOF 기능과 Hyperdrive Client 캐싱 코드의 잘못된 가정이었다. CLIENT_DEPRECATE_EOF는 결과 세트 종료 방식을 변경하는 기능으로, 이 기능이 협상되면 메타데이터 EOF 패킷이 생략되고 최종 EOF 패킷이 OK 패킷으로 대체된다.

Hyperdrive는 이 기능을 지원하지만, Worker의 MySQL 드라이버(예: Node.js의 mysql2 라이브러리)는 지원하지 않을 수 있다. 이 경우 Hyperdrive는 Worker가 기대하는 기능에 맞춰 응답을 변환한다. 그러나 Hyperdrive Client 캐싱 코드는 PostgreSQL 프로토콜에서 유효했던 "Worker에 다시 쓰는 바이트를 그대로 캐시할 수 있다"는 가정을 MySQL에도 적용했다. 이로 인해 Client 노드가 Worker의 기능에 맞춰 변환된 바이트를 캐시하거나, Endpoint 노드가 Hyperdrive의 기능으로 인코딩된 바이트를 캐시할 때, 공유 캐시에서 서로 다른 형식의 데이터를 읽게 되는 문제가 발생했다.

버그 해결 과정과 구체적 시나리오

이러한 기능 불일치로 인한 캐싱 버그는 Client와 Endpoint 노드가 동일한 데이터센터에서 캐시를 공유하고, 한 노드가 다른 노드가 캐시한 값을 읽을 때 발생했다. 예를 들어, Endpoint가 원본 서버로부터 받은 응답을 Hyperdrive 기능으로 인코딩하여 캐시에 저장했는데, Client가 이 캐시된 응답을 Worker의 기능으로 변환하지 않고 그대로 전달하여 빈 응답이 발생할 수 있었다.

반대로 Client가 Worker에 변환된 응답을 캐시에 저장했는데, Endpoint가 이를 읽어 다른 Client로 보내면, 해당 Client가 다시 변환하려다 오류가 발생할 수도 있었다. 이 문제를 해결하기 위해 Cloudflare는 캐시에 저장되는 쿼리 결과 바이트가 항상 Hyperdrive의 기능으로 인코딩된 정식 버전이어야 한다는 규칙을 적용했다. 이 변경 사항이 배포된 후 빈 행 문제가 사라졌고, Hyperdrive 클라이언트 연결 성공률은 99.99%에 도달했다.

개발자 영향 및 활용 방안

이번 Hyperdrive의 MySQL 정식 지원과 주요 버그 해결은 Cloudflare Workers를 사용하는 개발자들에게 중요한 의미를 가진다. 개발자들은 이제 안정적이고 성능이 뛰어난 연결 풀링 및 캐싱 기능을 통해 MySQL 데이터베이스를 Workers 애플리케이션에 통합할 수 있다.

이는 데이터베이스 연결 관리의 복잡성을 줄이고, 애플리케이션의 응답 속도를 향상시키며, 원본 데이터베이스의 부하를 경감하는 데 기여한다. 개발자는 Cloudflare 대시보드 또는 Wrangler CLI를 사용하여 기존 MySQL 호환 데이터베이스에 Hyperdrive를 생성하거나, PlanetScale과 같은 새로운 데이터베이스에 연결하여 이 기능을 즉시 활용할 수 있다.

적용 조건 및 고려 사항

Hyperdrive의 MySQL 지원은 Cloudflare Workers 환경에서 작동한다. MySQL 서버 5.7.5 이상에서 CLIENT_DEPRECATE_EOF 기능이 지원되지만, 클라이언트가 이 기능을 협상해야만 새로운 동작 방식이 적용된다. Node.js용 mysql2와 같은 일부 인기 MySQL 클라이언트 라이브러리는 현재 CLIENT_DEPRECATE_EOF 기능을 지원하지 않을 수 있다.

Hyperdrive는 이러한 클라이언트 드라이버의 기능에 맞춰 응답을 변환하여 호환성을 제공하지만, 개발자는 사용하는 클라이언트 라이브러리의 특정 기능 지원 여부를 인지하고 있어야 한다. 이 기사는 주로 캐싱 버그 해결에 초점을 맞추고 있으며, Hyperdrive 사용 시 발생할 수 있는 다른 잠재적 제한 사항에 대한 구체적인 언급은 없다.