AI 개발 · 실무
웹 서비스 해부도 - 서버·백엔드·프런트엔드·보안 구성요소 실무
캐시와 비동기 작업 - 빠르게, 하지만 틀리지 않게
캐시 위치(브라우저·프록시·애플리케이션), 만료와 무효화, 캐시가 오래된 값을 보여 주는 사고, 오래 걸리는 일을 큐로 넘기기, 재시도와 중복 처리(멱등 키), 완성 코드는 TTL 캐시와 작업 큐를 구현해 무효화·재시도 동작을 출력
개발자KR · 원고 갱신
이 장에서 배우는 것
앞 장에서 서점의 도서 정보와 주문을 데이터베이스에 저장했다. 이번에는 같은 책의 가격을 반복해서 조회하는 일과 주문 확인서를 만드는 일을 살펴본다. 도서 가격을 읽을 때는 캐시(cache)에 보관한 값을 재사용할 수 있다. 확인서 생성은 작업 큐(job queue)에 등록해 주문 응답을 보낸 뒤 처리할 수 있다. 두 방법을 적용하려면 가격 변경이 언제 화면에 반영되는지, 같은 주문의 작업이 두 번 실행되면 어떤 결과가 남는지 정해야 한다.
- 브라우저, 프록시, 애플리케이션 캐시가 각각 무엇을 재사용하는지 설명한다.
- 만료 시간과 무효화 시점을 정하고 가격이 갱신되기 전후의 조회 결과를 확인한다.
- 오래 걸리는 확인서 생성을 큐에 넘기고 일시적인 실패를 제한된 횟수만큼 재시도한다.
- 멱등 키로 같은 주문의 확인서가 한 건만 저장되는지 실행 결과와 데이터베이스에서 확인한다.
문제 상황
작은 온라인 서점에서 독자가 신간 상세 페이지를 연달아 열면 애플리케이션은 같은 가격을 여러 번 읽는다. 개발자는 도서 가격을 메모리에 10초간 저장하기로 한다. 운영자가 가격을 15,000원에서 14,000원으로 내렸는데도 상세 페이지에는 이전 가격이 표시된다. 운영자가 확인한 데이터베이스에는 새 가격이 이미 저장되어 있다. 캐시에도 같은 책의 가격이 남아 있고 아직 만료되지 않았기 때문이다.
주문 처리에는 별개의 지연이 있다. 주문이 저장된 뒤 확인서를 만드는 동안 응답을 기다리게 하면 독자는 주문이 접수되었는지 알기 어렵다. 확인서를 별도 작업으로 넘기면 주문 응답에는 접수 상태를 표시할 수 있다. 다만 작업이 확인서를 저장한 직후 처리 완료 기록을 남기기 전에 실패하면 같은 작업이 다시 실행될 수 있다. 이때 재시도가 성공했는지는 작업 실행 횟수보다 최종 저장 결과로 판단해야 한다.
이 장의 서점에서는 상세 페이지용 가격만 캐시한다. 주문 가격을 확정할 때는 데이터베이스에서 읽고, 확인서는 주문에 저장된 확정 가격을 사용한다고 가정한다. 완성 코드에서는 주문 한 건을 미리 저장하고 그 주문의 확인서를 만드는 과정을 실행한다. 상세 조회의 지연과 확인서의 중복은 서로 다른 경로에서 확인한다.
캐시 위치와 가격 갱신
캐시는 이미 읽었거나 계산한 값을 다시 쓸 수 있게 보관한다. 어디에 저장하느냐에 따라 재사용하는 값과 그 값을 볼 수 있는 범위가 달라진다. 도서 상세 응답을 브라우저와 프록시가 재사용하고, 애플리케이션이 그 응답을 만들 때 도서 가격을 별도로 캐시할 수도 있다. 세 위치의 보관 기간은 각각 적용된다.
| 위치 | 재사용하는 값 | 가격 변경 뒤 확인할 것 |
|---|---|---|
| 브라우저 | 해당 브라우저에 저장된 도서 상세 응답 | 브라우저가 저장된 응답을 사용했는지 서버에 확인 요청을 보냈는지 살핀다. |
| 프록시 | 여러 방문자에게 재사용할 수 있는 공개 도서 상세 응답 | 원본 서버의 응답과 프록시를 거친 응답을 비교한다. |
| 애플리케이션 | 도서 번호로 찾은 가격 데이터 | 데이터베이스의 값과 애플리케이션이 조회에 사용한 값을 비교한다. |
가격이 다를 때는 같은 도서 번호로 저장된 가격, 애플리케이션이 내놓는 가격, 프록시를 거친 응답, 브라우저에 표시되는 값을 차례대로 비교한다. 저장된 값과 응답이 처음 달라지는 위치에서 어떤 값을 재사용했는지 확인한다. 애플리케이션 캐시의 가격을 지워도 프록시나 브라우저에 남은 응답에는 새 가격이 자동으로 반영되지 않는다. 이 장의 코드는 애플리케이션 위치를 구현한다.
시간이 지나면 만료시키고, 값이 바뀌면 지운다
유효 기간(TTL)은 캐시 항목을 얼마 동안 재사용할 수 있는지 정한다. 예제에서는 저장 시각에 10초를 더해 만료 시각을 만든다. 현재 시각이 만료 시각보다 작을 때만 항목을 재사용한다. 100초에 저장한 항목은 109초에는 유효하고 110초에는 만료된다. 만료된 항목은 조회할 때 지우고 데이터베이스에서 새 값을 읽는다. 조회에 성공할 때마다 만료 시각을 연장하면 자주 조회되는 책의 이전 가격이 계속 남을 수 있으므로 예제에서는 저장할 때만 만료 시각을 정한다.
무효화(invalidation)는 유효 기간이 남은 항목도 재사용할 수 없게 만드는 조치다. 서점의 가격 변경 함수는 데이터베이스 저장을 완료한 다음 해당 도서의 캐시 항목을 지운다. 다음 조회에서 데이터베이스의 가격을 가져와 새로 저장한다. 만료를 함께 두면 무효화를 거치지 않은 변경도 기존 항목의 유효 기간이 끝난 뒤 반영된다.
완성 코드는 조회와 변경이 한 흐름에서 순서대로 일어난다. 여러 요청을 동시에 처리하면 한 요청이 이전 가격을 읽은 다음, 다른 요청이 새 가격을 저장하고 캐시를 지운 뒤에야 첫 요청이 이전 가격을 캐시에 넣을 수 있다. 이런 구조에서는 책별로 조회와 갱신을 조율하거나, 가격 버전을 함께 기록해 이전 버전을 다시 저장하지 못하게 할 수 있다. 프로세스마다 별도의 메모리 캐시를 두는 경우에는 변경이 각 프로세스에 전달되는지도 확인한다.
확인서 작업과 재시도
작업 큐에는 나중에 처리할 일을 넣는다. 주문 요청을 처리하는 쪽은 주문을 저장하고 확인서 작업을 등록한다. 작업을 수행하는 쪽인 작업자(worker)는 큐에서 주문 번호를 꺼내 이미 확정된 가격을 읽고 확인서를 만든다. 요청 처리에서 확인서 생성이 끝날 때까지 기다릴 필요가 없지만, 확인서가 준비되었다는 표시는 실제로 저장이 끝난 뒤에 할 수 있다. 예제에서는 주문 응답 뒤에 작업자가 동작하는 상황을 한 프로그램 안에서 함수 호출 순서로 재현한다.
재시도는 일시적인 실패 뒤에 같은 일을 다시 실행하는 것이다. 예제에서는 첫 시도에 확인서를 저장한 뒤 일시적인 실패를 발생시킨다. 작업자는 같은 작업을 다시 큐 끝에 넣되 총 두 번까지만 시도한다. 두 번째 시도까지 실패하면 실패 목록에 남긴다. 운영 환경에서 일시적인 장애가 이어질 때는 재시도 간격을 두고, 자동 복구를 기대하기 어려운 입력 오류는 바로 실패로 기록한다.
멱등 키(idempotency key)는 여러 실행이 논리적으로 같은 작업인지 식별하는 값이다. 주문 41의 확인서 작업은 시도 번호와 관계없이 receipt:41을 사용한다. 확인서 테이블에서 이 키를 기본 키로 두고, 같은 키로 저장하려는 경우 기존 행을 유지한다. 작업자가 두 번 실행되어도 확인서는 한 건이다. 키가 중복을 막는 범위는 이 테이블에 저장하는 동작이다. 작업에 외부 발송이 포함된다면 발송 쪽에서도 같은 작업의 중복을 식별할 방법이 필요하다.
예제의 큐는 메모리에 있으므로 프로그램이 종료되면 남은 작업이 사라진다. 실제 주문 접수에서 작업 등록을 보장해야 한다면 주문과 처리할 작업을 같은 데이터베이스 트랜잭션으로 기록하는 방법이 있다. 작업자는 그 기록에서 미완료 작업을 찾을 수 있다. 이때도 확인서 저장과 작업 완료 표시는 서로 다른 시점에 일어날 수 있으므로 멱등 키가 필요하다.
완성 코드
main.py
시각은 정수로 직접 넘기고, 확인서 작업의 첫 시도에만 실패가 일어나게 한다. 파일을 저장한 뒤 실행하면 실제로 기다리지 않고 만료 경계와 재시도를 확인할 수 있다. 도서와 주문, 확인서는 모두 메모리 데이터베이스에 들어간다.
from collections import deque
from contextlib import closing
from dataclasses import dataclass
import sqlite3
class PriceCache:
def __init__(self, ttl):
self.ttl = ttl
self.entries = {}
def get(self, book_id, now):
entry = self.entries.get(book_id)
if entry is None:
return None
price, expires_at = entry
if now < expires_at:
return price
self.invalidate(book_id)
return None
def put(self, book_id, price, now):
self.entries[book_id] = (price, now + self.ttl)
def invalidate(self, book_id):
self.entries.pop(book_id, None)
def show_price(db, cache, book_id, now):
price = cache.get(book_id, now)
source = "캐시"
if price is None:
(price,) = db.execute(
"SELECT price FROM books WHERE id = ?", (book_id,)
).fetchone()
cache.put(book_id, price, now)
source = "DB"
print(f"{now}초 가격 {price}원 [{source}]")
def save_price(db, book_id, price):
with db:
db.execute(
"UPDATE books SET price = ? WHERE id = ?", (price, book_id)
)
def change_price(db, cache, book_id, price):
save_price(db, book_id, price)
cache.invalidate(book_id)
@dataclass
class ReceiptJob:
order_id: int
attempts: int = 0
@property
def key(self):
return f"receipt:{self.order_id}"
class TemporaryFailure(Exception):
pass
def make_receipt(db, job):
(total,) = db.execute(
"SELECT total FROM orders WHERE id = ?", (job.order_id,)
).fetchone()
with db:
cursor = db.execute(
"""
INSERT INTO receipts (job_key, total) VALUES (?, ?)
ON CONFLICT(job_key) DO NOTHING
""",
(job.key, total),
)
result = "확인서 저장" if cursor.rowcount == 1 else "기존 확인서 유지"
print(f"{job.key} {job.attempts}회차: {result}")
if job.attempts == 1:
raise TemporaryFailure("저장 후 일시 실패")
def drain_queue(db, pending, max_attempts):
failed = []
while pending:
job = pending.popleft()
job.attempts += 1
try:
make_receipt(db, job)
except TemporaryFailure as error:
if job.attempts < max_attempts:
pending.append(job)
print(f"{job.key} {error}, 재시도 등록")
else:
failed.append(job)
print(f"{job.key} {error}, 최종 실패 기록")
else:
print(f"{job.key} 처리 완료")
return failed
def main():
with closing(sqlite3.connect(":memory:")) as db:
db.executescript(
"""
CREATE TABLE books (id INTEGER PRIMARY KEY, price INTEGER NOT NULL);
CREATE TABLE orders (id INTEGER PRIMARY KEY, total INTEGER NOT NULL);
CREATE TABLE receipts (
job_key TEXT PRIMARY KEY NOT NULL,
total INTEGER NOT NULL
);
INSERT INTO books VALUES (1, 15000);
"""
)
cache = PriceCache(ttl=10)
show_price(db, cache, 1, now=100)
save_price(db, 1, 14000)
print("가격 14000원 저장, 캐시 유지")
show_price(db, cache, 1, now=109)
show_price(db, cache, 1, now=110)
change_price(db, cache, 1, 13000)
print("가격 13000원 저장, 캐시 무효화")
show_price(db, cache, 1, now=111)
with db:
db.execute(
"INSERT INTO orders SELECT ?, price FROM books WHERE id = ?",
(41, 1),
)
pending = deque([ReceiptJob(order_id=41)])
print("주문 41 접수, 확인서 작업 등록")
failed = drain_queue(db, pending, max_attempts=2)
count, total = db.execute(
"SELECT COUNT(*), SUM(total) FROM receipts"
).fetchone()
print(f"저장된 확인서 {count}건, 합계 {total}원, 실패 {len(failed)}건")
if __name__ == "__main__":
main()
줄별 해설
PriceCache.__init__에서 캐시의 유효 기간과 항목을 보관할 딕셔너리를 만든다. 도서 번호를 키로 사용하므로 예제의 한 항목에는 책 한 권의 가격과 만료 시각이 들어간다.entry = self.entries.get(book_id)는 저장된 항목을 찾는다. 항목이 없으면None을 반환한다. 항목이 있더라도now < expires_at을 만족하지 않으면 지운 뒤None을 반환한다.show_price는price is None일 때만 데이터베이스를 조회한다. 가격 0도 저장할 수 있으므로 항목 없음과 구별한다. 출력에 값의 출처를 붙여 같은 가격이 나오는 경우에도 어느 쪽에서 읽었는지 알 수 있게 한다.save_price의with db를 정상적으로 빠져나오면 가격 변경이 커밋된다.change_price는 그 함수가 돌아온 뒤 캐시를 지운다.main에서save_price만 호출한 부분은 무효화를 빠뜨렸을 때 이전 가격이 보이는 상황을 재현한다.INSERT INTO orders SELECT는 데이터베이스에서 현재 가격을 가져와 주문의 확정 금액으로 저장한다. 이후 책의 가격이 바뀌어도 확인서 생성 함수는 주문 테이블에서 이 확정 금액을 읽는다.pending = deque(...)로 작업을 등록하고 접수 메시지를 출력한 뒤에 작업자를 호출한다. 작업자는popleft()로 맨 앞의 작업을 꺼내며, 재시도가 필요할 때는append(job)으로 뒤에 붙인다. 시도 횟수는 실행 직전에 늘린다.ON CONFLICT(job_key) DO NOTHING은 확인서 키가 이미 있을 때 추가 삽입을 건너뛴다.with db를 빠져나온 뒤에 실패를 발생시키므로 첫 실행에서 저장된 확인서는 남아 있다. 두 번째 실행에서는 삽입된 행이 0개여서 기존 확인서를 유지했다는 메시지가 나온다.drain_queue는 일시적인 실패를 잡아 시도 횟수와 한도를 비교한다. 한도 안이면 같은 키를 가진 작업을 다시 등록하고, 한도에 도달하면 실패 목록에 넣는다. 마지막 쿼리는 작업 로그와 별도로 실제 확인서의 건수와 합계를 읽는다.
실행 결과
main.py가 있는 디렉터리에서 컴파일 검사와 실행을 차례대로 한다. 첫 명령은 성공하면 출력 없이 끝난다.
python3 -W error -m py_compile main.py
python3 main.py
두 번째 명령의 예상 출력이다.
100초 가격 15000원 [DB]
가격 14000원 저장, 캐시 유지
109초 가격 15000원 [캐시]
110초 가격 14000원 [DB]
가격 13000원 저장, 캐시 무효화
111초 가격 13000원 [DB]
주문 41 접수, 확인서 작업 등록
receipt:41 1회차: 확인서 저장
receipt:41 저장 후 일시 실패, 재시도 등록
receipt:41 2회차: 기존 확인서 유지
receipt:41 처리 완료
저장된 확인서 1건, 합계 13000원, 실패 0건
109초에는 데이터베이스에 14,000원이 들어 있지만 캐시의 15,000원이 표시된다. 110초에는 만료 시각과 현재 시각이 같아서 데이터베이스를 다시 읽는다. 이때 저장한 항목의 만료 시각은 120초다. 111초의 조회는 남은 유효 기간에 관계없이 직전 변경에서 항목을 지웠기 때문에 13,000원을 읽는다. 확인서는 두 차례 처리 시도 뒤에도 한 건이다.
실무에서 자주 틀리는 것
아래 코드는 완성 코드의 동작을 비교하기 위한 독립 실행 예제다. 각 예제를 실행하면 틀린 코드와 고친 코드의 차이가 출력된다.
만료 시각을 포함해 한 번 더 재사용한다
만료 시각을 재사용 범위에 포함하면 110초에도 이전 가격을 반환한다. 조건의 등호를 제거하면 저장 시각부터 만료 시각 직전까지 유효하다는 규칙과 일치한다. 경계 전후를 검사할 때는 109, 110, 111처럼 경계값 자체도 넣는다.
now, expires_at = 110, 110
print("틀린 코드:", now <= expires_at)
print("고친 코드:", now < expires_at)
가격을 저장하는 경로에서 캐시 삭제를 빠뜨린다
가격을 바꾸는 관리 화면에서만 캐시를 지우면 일괄 수정 작업은 같은 처리를 빼먹기 쉽다. 변경 진입점에서 저장과 무효화를 함께 호출하면 같은 도서에 대해 동일한 순서가 적용된다. 아래 예제의 딕셔너리 대입은 저장 성공을 나타내며, 완성 코드에서는 커밋이 성공한 뒤에 삭제한다.
def wrong_change(prices, cache, book_id, price):
prices[book_id] = price
def fixed_change(prices, cache, book_id, price):
prices[book_id] = price
cache.pop(book_id, None)
for change in (wrong_change, fixed_change):
prices = {1: 15000}
cache = {1: 15000}
change(prices, cache, 1, 14000)
print(cache.get(1, prices[1]))
재시도할 때마다 멱등 키가 바뀐다
멱등 키에 시도 번호를 붙이면 같은 주문의 두 번째 실행도 새 확인서로 저장된다. 시도 번호는 재시도 횟수와 실행 기록에 사용하고, 저장 키는 주문과 확인서 종류에서 만든다. 아래 딕셔너리의 setdefault는 기존 값을 유지하는 동작을 재현한다. 완성 코드에서는 데이터베이스 제약 조건이 그 역할을 맡는다.
wrong_receipts = {}
fixed_receipts = {}
for attempt in (1, 2):
wrong_receipts.setdefault(f"receipt:41:{attempt}", 13000)
fixed_receipts.setdefault("receipt:41", 13000)
print("틀린 코드:", len(wrong_receipts))
print("고친 코드:", len(fixed_receipts))
일시적인 실패에 재시도 한도를 두지 않는다
실패할 때마다 큐에 다시 넣으면 장애가 지속되는 동안 같은 작업이 반복된다. 작업을 다시 넣을지 결정하기 전에 이미 실행한 횟수를 확인한다. 두 번 시도할 수 있다면 첫 실패에만 다시 등록하고 두 번째 실패에는 작업을 실패 목록에 남긴다.
for attempts in (1, 2):
temporary_failure = True
max_attempts = 2
wrong_retry = temporary_failure
fixed_retry = temporary_failure and attempts < max_attempts
print(attempts, wrong_retry, fixed_retry)
한눈에 보기
| 구성요소 | 서점에서 정한 동작 | 확인 방법 |
|---|---|---|
| 가격 캐시 | 도서 번호별로 10초간 보관한다. | 만료 직전에는 캐시에서, 만료 시각에는 데이터베이스에서 읽는지 본다. |
| 가격 변경 | 커밋 뒤 해당 도서 항목을 지운다. | 유효 기간이 남아 있어도 다음 조회가 새 가격을 읽는지 본다. |
| 확인서 큐 | 주문 저장 뒤에 작업을 등록한다. | 접수 메시지가 확인서 처리 메시지보다 먼저 나오는지 본다. |
| 재시도와 중복 방지 | 실행은 최대 두 번, 저장은 멱등 키당 한 건으로 제한한다. | 저장 후 실패를 재현하고 시도 횟수와 저장 행 수를 각각 확인한다. |
AI에게 변경을 맡길 때는 입력 시각과 실패 지점, 확인할 값을 요청에 포함한다. 실행 결과의 문구는 코드 변경으로도 고칠 수 있으므로 테스트에서 실제 데이터도 읽는다. 변경 전후 차이(diff)를 검토하며 가격 변경 함수, 캐시 만료 조건, 확인서 키 제약이 어떻게 바뀌었는지 확인한다.
작은 서점의
main.py에서 가격 캐시와 확인서 작업을 수정한다. 시각 109와 110을 넘겨 캐시의 만료 경계를 확인한다. 가격 변경은 커밋한 뒤 해당 도서의 캐시만 지운다. 확인서는 저장 직후 첫 시도에만 실패를 일으켜 같은 키로 재시도하고, 저장된 행 수를 확인한다. Python 3.12 이상의 표준 라이브러리만 사용한다. 실행 명령과 예상 결과, 변경한 함수와 이유를 알려 달라.
| 검토 대상 | 비교할 값이나 코드 | 통과 조건 |
|---|---|---|
| 만료 조건 | 조건식의 경계와 시각을 고정한 조회 테스트 | 109초에 이전 가격을 읽고 110초에는 저장된 새 가격을 읽는다. |
| 무효화 순서 | 저장 함수의 커밋과 삭제 호출, 변경 후 조회 테스트 | 저장 완료 뒤 대상 항목만 지우고 다음 조회에서 새 가격을 읽는다. |
| 재시도와 키 | 두 시도의 키, 테이블 제약, 저장 후 실패 테스트 | 두 실행에서 키가 같고, 저장된 행은 한 건이다. |
| 실행 환경 | 추가된 가져오기와 시각 입력, 컴파일 및 실행 결과 | 표준 라이브러리만 사용하고 같은 명령으로 같은 결과를 얻는다. |
연습 문제
PriceCache의 유효 기간을 9초로 바꾼다. 109초와 110초 조회에서 각각 어떤 가격을 어디서 읽는지 예상한 뒤 실행해 확인한다.- 1번 도서의 가격 변경이 2번 도서의 캐시를 지우지 않는지 확인한다. 초기 데이터에 8,000원짜리 2번 도서를 추가하고 110초와 111초에 한 번씩 조회하도록 수정한다. 111초의 첫 조회는 1번 도서를 변경한 뒤에 실행한다.
max_attempts를 1로 바꾼다. 마지막 줄에 실패 1건과 확인서 1건이 함께 나오는지 확인한다. 두 결과가 동시에 나오는 이유를 설명한다.- 확인서 멱등 키에 시도 번호를 추가해 본다. 같은 주문에 대해 확인서의 건수와 합계가 어떻게 바뀌는지 확인한 뒤 원래 키로 복구한다.
정답과 해설
- 109초의 만료 시각은
100 + 9다. 이때 데이터베이스에서 14,000원을 읽고 새 항목을 넣는다. 110초에는 이 항목의 유효 기간이 남아 있으므로 캐시에서 14,000원을 읽는다. 화면의 가격은 같으므로 출력에서 출처도 함께 확인한다. - 초기 SQL에
INSERT INTO books VALUES (2, 8000);를 추가한다. 110초에show_price(db, cache, 2, now=110)을 호출하면 데이터베이스에서 8,000원을 읽는다. 기존change_price호출 뒤에show_price(db, cache, 2, now=111)을 추가하면 캐시에서 8,000원을 읽는다. 삭제에 사용한 키는 1이며, 2번 도서 항목은 120초까지 유효하다. - 첫 시도가 확인서를 커밋한 뒤 일시 실패를 발생시킨다. 시도 한도가 1이면 큐에 다시 넣지 않고 실패 목록에 기록한다. 실패 목록은 작업이 완료 경로에 도달했는지를 나타내고, 확인서의 행 수는 저장된 결과를 나타낸다. 저장 직후 실패했을 때는 작업 상태와 저장 결과를 함께 확인해야 한다.
- 키를
f"receipt:{self.order_id}:{self.attempts}"로 바꾸면receipt:41:1과receipt:41:2가 각각 새 행으로 저장된다. 두 행 모두 같은 주문의 13,000원을 사용하므로 합계는 26,000원이다. 원래 키를 복구하면 두 실행이 같은 기본 키를 사용해 한 건과 13,000원이 남는다.
READER FEEDBACK
질문·의견
내용에 관한 질문이나 더 나은 설명을 위한 의견을 남겨 주세요. 오탈자는 위의 제보 양식이 더 빨리 반영됩니다. 이 댓글은 원래 게시글과 같은 자리에 쌓입니다.
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.