Deno 팀, 클라우드플레어 합류 및 워커드·셀드 통합으로 분산 애플리케이션 자체 호스팅 간소화 추진

변화의 핵심과 방향

Deno 팀이 클라우드플레어에 합류하며, 클라우드플레어 워커스(Workers) 런타임인 워커드(workerd)와 Deno 팀이 개발한 셀드(celld) 프로젝트를 통합한다. 이번 통합의 목표는 개발자들이 클라우드플레어 워커스 및 듀러블 오브젝트(Durable Objects)를 자체 인프라에서 훨씬 쉽게 호스팅하고 운영할 수 있도록 하는 것이다. 이를 통해 분산 애플리케이션 개발 및 배포의 복잡성을 근본적으로 줄이는 데 집중한다.

Deno의 창립자인 라이언 달(Ryan Dahl)과 버트 벨더(Bert Belder)는 워커드 자체 호스팅을 워커스 프로그래밍 모델을 사용하여 애플리케이션을 구축하고 실행하는 핵심 지원 방식으로 만드는 새로운 노력을 이끌 예정이다. 이는 셀드의 코드와 아이디어를 워커드에 병합하는 과정을 포함한다. 클라우드플레어는 이 작업을 통해 개발자들이 클라우드플레어의 강력한 분산 컴퓨팅 모델을 자체 환경에서 활용할 수 있게 될 것으로 기대한다.

변화의 배경과 맥락

라이언 달은 노드(Node.js)와 Deno를 개발하면서 단일 서버, 단일 스레드 모델의 한계를 인식하고 분산 컴퓨팅의 필요성을 강조해왔다. 특히 노드.js의 IRC 데모에서 느꼈던 단일 서버의 확장성 문제를 해결하고자 했다. 그는 클라우드플레어의 듀러블 오브젝트를 접하며 분산 시스템 설계의 강력한 추상화를 발견했다. 듀러블 오브젝트는 개별적으로 주소 지정이 가능한 작은 서버와 같으며, 자체 관계형 데이터베이스(SQLite)를 가지고 단일 스레드로 실행되어 웹소켓을 처리한다. 이를 통해 채널당 하나의 듀러블 오브젝트를 사용하여 채팅 애플리케이션을 구축하면 데이터와 웹소켓 연결을 샤딩하여 확장성을 확보할 수 있다.

그러나 듀러블 오브젝트 모델을 클라우드플레어 외부에서 자체적으로 운영하는 것은 여전히 어려웠다. 클라우드플레어의 워커드 런타임은 오픈 소스였지만, 듀러블 오브젝트 지원은 단일 인스턴스에만 국한되어 분산 환경에서의 확장이 불가능했다. 이에 라이언 달은 여러 머신에 걸쳐 IRC 채널을 분산하고 플랫폼이 배치, 라우팅, 영구 스토리지를 처리하는 분산 버전을 목표로 셀드(celld) 프로젝트를 시작했다. 셀드는 러스트(Rust)로 작성된 단일 바이너리로, 객체 스토리지를 유일한 외부 서비스 의존성으로 가지도록 설계되어 클라우드 인프라의 복잡성을 줄이는 것을 목표로 했다.

클라우드플레어의 켄튼 바르다(Kenton Varda)는 워커스 모델이 '락인(lock-in)'을 유발한다는 주장에 대해 반박하며, 워커스가 다른 플랫폼과 다른 것은 더 나은 웹 애플리케이션 구축 방식이기 때문이라고 설명한다. 워커스는 전 세계 수백 개 위치에서 애플리케이션을 효율적으로 관리할 수 있게 하며, 이는 다른 인기 호스팅 플랫폼이 달성하지 못한 부분이다. 클라우드플레어는 2022년 쇼피파이(Shopify)와 같은 고객들의 피드백에 따라 워커스 런타임인 워커드를 오픈 소스로 공개하여 락인 우려를 해소하고자 했다. 실제로 일부 고객은 워커드를 사용하여 클라우드플레어에서 다른 플랫폼으로 마이그레이션하기도 했다.

구체적인 기술적 내용

듀러블 오브젝트는 분산 싱글톤(distributed singleton) 개념을 기반으로 하며, 각 오브젝트는 자체적인 SQLite 데이터베이스를 내장한다. 이 데이터베이스는 동기적으로 접근할 수 있어 개발자가 쉽게 추론하고 사용할 수 있다. 듀러블 오브젝트는 컴퓨팅, 관계형 데이터베이스, 큐, 실시간 통신 프리미티브를 단일 추상화 내에서 제공하여 분산 애플리케이션 개발을 위한 강력한 도구로 기능한다.

클라우드플레어의 워커드 런타임은 프로덕션 환경에서 사용되는 코드와 동일한 오픈 소스 구현체이다. 그러나 워커드의 듀러블 오브젝트 구현은 로컬 테스트에 적합한 단일 인스턴스 방식에 머물러 있었다. 이는 수백 개의 위치를 처리하도록 설계된 클라우드플레어의 프로덕션 듀러블 오브젝트 라우팅 구현이 자체 호스팅에 적합하지 않았기 때문이다. 반면 셀드는 워커스 및 듀러블 오브젝트를 클라우드플레어의 구현과 완전히 호환되면서도 자체 호스팅 및 확장이 가능하도록 설계되었다. 셀드는 단일 바이너리와 객체 스토리지만으로 분산 애플리케이션을 운영할 수 있도록 하여 인프라 관리의 복잡성을 최소화한다.

개발자 및 사용자 영향

이번 통합으로 개발자들은 클라우드플레어 워커스 프로그래밍 모델을 사용하여 분산 애플리케이션을 자체 인프라에서 훨씬 쉽게 구축하고 운영할 수 있게 된다. 이는 컴퓨팅, 관계형 데이터베이스, 큐, 실시간 통신 프리미티브를 포함하는 분산 시스템을 단일 인프라 프로젝트로 관리할 수 있음을 의미한다. 기존에는 여러 클라우드, 여러 데이터베이스, 복잡하게 얽힌 서비스들을 관리해야 했던 것에 비해, 셀드와 워커드의 통합은 이러한 복잡성을 대폭 줄여준다.

라이언 달은 이러한 모델이 개발자들에게 큰 이점을 제공한다고 강조한다. 애플리케이션이 여러 서비스로 구성되더라도 각각 별도의 인프라 프로젝트를 필요로 하지 않게 되어, 노드.js 데모에서 추구했던 단순성에 더 가까워진다. Deno 팀의 합류는 워커드 자체 호스팅 환경에 대한 개발자 경험을 개선하는 데 중요한 역할을 할 것으로 기대된다. Deno 팀은 자체 호스팅 런타임 주변의 좋은 개발자 경험을 만드는 방법을 잘 이해하고 있기 때문이다.

적용 조건과 한계

클라우드플레어는 워커드를 오픈 소스로 공개했음에도 불구하고, 자체 호스팅을 위한 인접 서비스 및 툴링 생태계 구축에 미흡했음을 인정한다. 특히 워커드의 듀러블 오브젝트는 프로덕션 준비 상태에 큰 격차가 있었으며, 단일 인스턴스 방식으로는 확장이 불가능했다. 클라우드플레어는 자체 호스팅 사용 사례를 위한 다른 구현이 필요하다는 것을 인지하고 있었으나, 이를 구축할 시간을 찾지 못했다.

셀드는 이러한 워커드의 한계를 보완하기 위해 설계되었으며, 이번 통합은 셀드의 분산 및 자체 호스팅 가능 기능을 워커드에 통합하여 이 격차를 해소하는 것을 목표로 한다. 향후 몇 달 안에 이 작업에 대한 추가 발표가 있을 예정이며, 현재는 셀드 또는 워커드를 자체 호스팅하여 시작할 수 있다. 이번 통합은 클라우드플레어 워커스 프로그래밍 모델이 주류 서버 구축 방식으로 자리매김하는 데 기여할 것으로 전망된다.