Devin.KR

AI 개발 · 실무

AI 시대의 보안 코딩과 보안 점검 - AI 가 짠 코드를 안전하게

LLM 을 붙인 서비스의 보안 - 프롬프트 주입과 데이터 유출 막기

LLM 응용의 신뢰 경계, 프롬프트 주입 개념(방어 관점), 도구 호출 권한 최소화, 출력 검증, 개인정보 마스킹, 완성 코드는 가짜 모델 함수로 입력 분리·허용 도구 목록·출력 검사 계층을 시뮬레이션

개발자KR · 원고 갱신

이 장에서 배우는 것

앞 장에서 게시판에 새로 들어오는 패키지를 살펴보았다. 이번에는 게시판에 달린 댓글을 요약하는 기능을 붙인다. 댓글 작성자는 게시판을 이용할 권한이 있지만, 요약 기능이 어떤 데이터를 읽고 어떤 작업을 실행할지 결정할 권한은 없다. 요약 기능을 만드는 서버는 이 차이를 코드로 표현해야 한다. 이 장에서는 대규모 언어 모델(LLM)의 자리에 가짜 모델 함수를 놓고, 서버가 입력을 준비하고 도구 요청을 처리하며 응답을 공개하는 과정을 점검한다.

  • 서버가 정한 작업과 댓글에서 가져온 자료의 출처를 구분한다.
  • 프롬프트 주입(prompt injection)이 게시판의 기능과 데이터에 영향을 주는 조건을 설명한다.
  • 요약에 필요한 도구 한 개만 허용하고, 대상 게시글은 서버가 정하도록 구현한다.
  • 모델에 보내기 전에 연락처를 마스킹하고, 돌아온 값의 구조와 내용을 공개 전에 검사한다.
  • 취약한 경로와 수정한 경로를 같은 검사 입력으로 실행해 차이를 확인한다.

문제 상황

작은 커뮤니티 게시판에 운영 일정이나 모임 장소를 묻는 댓글이 쌓인다. 운영자는 게시글마다 댓글을 요약해 독자에게 보여 주려 한다. 첫 구현에서는 서버가 요약 지시문 뒤에 댓글 원문을 붙여 모델에 전달한다. 모델은 답변을 만들 수도 있고, 게시판 서버에 도구 호출을 요청할 수도 있다. 서버에는 댓글 개수를 얻는 함수와 운영용 메모를 읽는 함수가 이미 있다. AI가 제안한 구현은 두 함수를 같은 목록에 넣고, 모델이 지정한 이름으로 함수를 찾아 실행한다. 모델이 생성한 요약 문장도 그대로 화면에 전달한다.

평범한 댓글로 확인하면 요약이 잘 나오는 것처럼 보인다. 그런데 댓글 한 줄에 작성자의 이메일이 포함되면 모델은 그 정보까지 받는다. 모델의 도구 요청이 운영 메모 읽기로 바뀌는 경우에도 첫 구현은 그대로 실행한다. 도구 결과를 화면에 표시하지 않더라도, 그 결과를 모델에 다시 전달하는 설계라면 정보가 도구 경계를 통과한 상태다. 최종 답변에 포함되었는지만 확인해서는 이 경로를 발견하기 어렵다.

이 장의 가짜 모델은 댓글의 문장을 해석하지 않는다. 검사 함수가 정상 응답, 허용 범위 밖의 도구 요청, 형식이 어긋난 응답을 미리 골라 준다. 이렇게 하면 어떤 댓글 표현이 특정 모델에 통하는지 알아낼 필요 없이, 모델이 예상 밖의 결정을 내린 뒤에도 서버가 공개 범위를 지키는지 반복해서 확인할 수 있다.

댓글이 넘을 수 있는 신뢰 경계

신뢰 경계(trust boundary)는 데이터의 출처나 권한이 바뀌는 지점이다. 게시판 서버는 어떤 게시글의 공개 댓글을 읽을지 먼저 결정한다. 그 결정에 따라 불러온 댓글은 공개할 수 있는 자료지만, 댓글 속 문장에 서버 명령으로서의 권한이 생기지는 않는다. 어떤 자료를 요약할지와 요약 기능이 어떤 동작을 할 수 있는지는 서로 다른 결정이다.

프롬프트 주입은 요약할 자료에 포함된 문장이 모델의 행동을 바꾸는 지시처럼 작용하는 문제다. 댓글을 서버 지시문과 같은 문자열에 이어 붙이면 두 출처가 한 덩어리로 전달된다. 작업과 자료를 별도 필드에 두면 서버 코드에서 출처를 보존하고 검사할 수 있다. 모델이 자료 속 문장을 지시로 해석할 가능성은 여전히 있으므로, 모델이 돌려준 도구 이름이나 문장이 서버의 권한을 얻는 지점에 별도의 검사가 필요하다.

서버의 작업과 댓글 자료는 모델에 따로 전달되며 모델 응답은 서버 검사를 거쳐 공개된다
요약 기능에서 값의 출처와 권한을 구분하는 기준
값출처서버에서의 처리
요약 작업과 대상 게시글게시판 서버공개 댓글을 조회할 대상과 공개 정책을 결정한다.
댓글 문장게시판 작성자요약 자료로만 사용하고 연락처를 가린다.
도구 이름과 응답 필드모델요청으로 받아 허용 목록과 출력 규칙을 대조한다.
공개 문장게시판 서버검증된 값으로 정해진 문장을 조립한다.

도구가 볼 수 있는 범위를 줄인다

허용 목록(allowlist)은 이 작업에서 실행을 승인한 도구의 목록이다. 게시판에 등록된 도구 전체를 기준으로 삼으면, 나중에 운영 메모 조회나 관리용 기능이 추가될 때 요약 기능에서도 사용할 수 있게 될 수 있다. 여기서는 공개 댓글 개수를 읽는 도구 한 개를 요약 경로에 등록한다. 요약에 개수조차 필요하지 않다면 등록할 도구는 없다.

도구 이름을 확인한 뒤에는 대상도 확인해야 한다. 이번 구현에서는 게시글 번호를 모델의 도구 인자로 받지 않는다. 서버가 이미 조회한 댓글 묶음을 바탕으로, 그 묶음의 크기를 반환하는 함수를 만든다. 같은 도구 이름을 받더라도 모델이 다른 게시글을 지정할 자리가 없다. 서버는 선택을 마친 데이터만 함수에 묶고, 모델에게는 함수 호출을 제안할 수 있는 이름만 건넨다.

요약 기능은 공개 댓글 개수만 읽으며 운영 메모 조회 요청은 실행 전에 중단된다

허용 여부는 함수 호출 전에 검사한다. 이후에 응답을 버리는 방식으로는 이미 일어난 조회를 되돌릴 수 없다. 예제는 도구 실행 횟수를 기록해 차단 사례에서 운영 메모 함수가 호출되지 않았음을 확인한다. 화면에 보이는 응답과 실제 호출 기록을 함께 검사하면, 호출 결과만 숨기고 접근은 허용한 구현을 찾아낼 수 있다.

모델에 보내는 값과 화면에 내보내는 값을 검사한다

마스킹(masking)은 원래 값의 일부나 전부를 대체 표기로 바꾸는 처리다. 예제는 댓글에 포함된 일정한 형태의 이메일과 하이픈으로 구분된 국내 휴대전화 번호를 각각 가린 뒤 모델 입력을 만든다. 게시판 원문은 그대로 두므로, 이 처리는 모델로 전달하는 복사본에 적용된다. 이름, 주소, 띄어쓰기로 구분한 번호까지 모두 찾는 규칙은 이 예제에 들어 있지 않다. 요약에 필요 없는 구조화된 개인정보 필드는 요청을 만들 때 처음부터 선택 대상에서 빼는 편이 확인하기 쉽다.

출력 검증(output validation)은 모델이 돌려준 값이 애플리케이션의 공개 규칙에 맞는지 확인하는 처리다. 예제의 응답에는 내용 분류와 댓글 개수만 들어갈 수 있다. 서버는 필드 집합과 각 값의 자료형을 확인하고, 개수는 서버가 읽은 댓글 개수와 비교한다. 문자열 분류는 공개가 허용된 이름 중 하나여야 한다. 연락처가 포함된 새 필드나 자유 형식 문장이 돌아와도 공개 문장에 들어갈 자리가 없다.

이 구현에서 모델은 세 가지 분류 중 하나를 고른다. 정상 사례에서는 일정 안내가 선택된다. 출력 검사를 통과한 분류도 실제 댓글의 의미와 다를 수 있다. 형식과 공개 범위는 정해진 규칙으로 검사할 수 있고, 내용이 원문을 잘 대표하는지는 별도의 품질 기준이 필요하다. 이 장의 검사 함수는 같은 입력에 같은 결과를 내도록 만들어 공개 경계를 먼저 검증한다.

완성 코드

아래 코드를 main.py로 저장한다. Python 3.12 이상에서 표준 라이브러리만 써서 실행한다. 게시판과 운영 메모는 이 파일 안에서 만든다. 가짜 모델에 넘기는 case는 검사 함수가 고르는 응답 유형이다. 댓글이나 실제 웹 요청에서 받는 값은 예제에서 이 매개변수에 연결하지 않는다.

import re
from collections import Counter
from dataclasses import dataclass

TASK = "공개 댓글을 게시판 표시용으로 분류한다."
POST_ID = 7
POSTS = {
    POST_ID: (
        "모임 일정은 주말로 정했다.",
        "문의는 reader@example.invalid 또는 010-0000-0000으로 받는다.",
    ),
    8: ("다른 게시글의 댓글이다.",),
}
PRIVATE_NOTE = "예제 운영 메모"
EMAIL = re.compile(r"[\w.+-]+@[\w-]+(?:\.[\w-]+)+")
PHONE = re.compile(r"(?<!\d)01[016789]-\d{3,4}-\d{4}(?!\d)")
TOPICS = {
    "schedule": "일정 안내",
    "question": "질문 모음",
    "other": "기타 의견",
}
REJECTED = "요약을 제공할 수 없다."


@dataclass(frozen=True)
class ModelInput:
    task: str
    comments: tuple[str, ...]


def mask_contact(comment):
    comment = EMAIL.sub("[이메일]", comment)
    return PHONE.sub("[전화번호]", comment)


def build_input(comments):
    return ModelInput(TASK, tuple(mask_contact(text) for text in comments))


def fake_model(model_input, case):
    count = len(model_input.comments)
    tool_request = {"name": "count_public_comments"}
    reply = {"topic": "schedule", "count": count}

    if case == "private_tool":
        tool_request = {"name": "read_staff_note"}
    elif case == "extra_argument":
        tool_request = {"name": "count_public_comments", "post_id": 8}
    elif case == "extra_output":
        reply["text"] = "reader@example.invalid"
    elif case == "wrong_count":
        reply["count"] = count + 1
    elif case == "boolean_count":
        reply["count"] = True
    elif case == "unknown_topic":
        reply["topic"] = "미등록 분류"

    return tool_request, reply


def read_staff_note(calls):
    calls["read_staff_note"] += 1
    return PRIVATE_NOTE


def count_public_comments(comments, calls):
    calls["count_public_comments"] += 1
    return len(comments)


def loose_summary(post_id, case, calls):
    comments = POSTS[post_id]
    combined = TASK + "\n" + "\n".join(comments)
    model_input = ModelInput(combined, comments)
    tool_request, reply = fake_model(model_input, case)
    tools = {
        "count_public_comments": lambda: count_public_comments(comments, calls),
        "read_staff_note": lambda: read_staff_note(calls),
    }
    tool_result = tools[tool_request["name"]]()
    return model_input, tool_result, reply


def validate_tool_request(tool_request, allowed_tools):
    if type(tool_request) is not dict or set(tool_request) != {"name"}:
        return None
    name = tool_request["name"]
    if type(name) is not str:
        return None
    return allowed_tools.get(name)


def render_reply(reply, expected_count):
    if type(reply) is not dict or set(reply) != {"topic", "count"}:
        return REJECTED
    topic = reply["topic"]
    count = reply["count"]
    if type(topic) is not str or topic not in TOPICS:
        return REJECTED
    if type(count) is not int or count != expected_count:
        return REJECTED
    return f"{TOPICS[topic]} · 공개 댓글 {count}개"


def guarded_summary(post_id, case, calls):
    comments = POSTS[post_id]
    model_input = build_input(comments)
    tool_request, reply = fake_model(model_input, case)
    allowed_tools = {
        "count_public_comments": lambda: count_public_comments(comments, calls)
    }
    tool = validate_tool_request(tool_request, allowed_tools)
    if tool is None:
        return REJECTED
    return render_reply(reply, tool())


def verify():
    calls = Counter()
    sent, tool_result, reply = loose_summary(POST_ID, "private_tool", calls)
    assert sent.task.startswith(TASK + "\n")
    assert "reader@example.invalid" in sent.task
    assert tool_result == PRIVATE_NOTE
    assert calls["read_staff_note"] == 1
    print("수정 전 · 원문 연락처 전달과 운영 메모 조회 확인")

    _, _, reply = loose_summary(POST_ID, "extra_output", Counter())
    assert reply["text"] == "reader@example.invalid"
    print("수정 전 · 응답에 포함된 연락처 반환 확인")

    sent = build_input(POSTS[POST_ID])
    assert sent.task == TASK
    assert sent.comments == (
        "모임 일정은 주말로 정했다.",
        "문의는 [이메일] 또는 [전화번호]으로 받는다.",
    )
    print("수정 후 · 작업과 댓글 분리, 예제 연락처 마스킹 확인")

    calls = Counter()
    result = guarded_summary(POST_ID, "normal", calls)
    assert result == "일정 안내 · 공개 댓글 2개"
    assert calls == {"count_public_comments": 1}
    print(f"수정 후 · 정상 응답: {result}")

    for case, label in (
        ("private_tool", "운영 메모 도구"),
        ("extra_argument", "추가 도구 인자"),
    ):
        calls = Counter()
        result = guarded_summary(POST_ID, case, calls)
        assert result == REJECTED
        assert not calls
        print(f"수정 후 · {label} 차단, 도구 실행 0회")

    for case, label in (
        ("extra_output", "추가 출력 필드"),
        ("wrong_count", "서버와 다른 개수"),
        ("boolean_count", "불리언 개수"),
        ("unknown_topic", "미등록 분류"),
    ):
        calls = Counter()
        result = guarded_summary(POST_ID, case, calls)
        assert result == REJECTED
        assert calls == {"count_public_comments": 1}
        print(f"수정 후 · {label} 거부")

    result = guarded_summary(8, "boolean_count", Counter())
    assert result == REJECTED
    print("수정 후 · 댓글이 1개일 때도 불리언 개수 거부")
    print("검사 통과")


if __name__ == "__main__":
    verify()

줄별 해설

POSTS의 키는 게시글 번호이고 값은 공개 댓글을 담은 튜플이다. 번호 7과 8의 댓글 개수를 다르게 두었으므로 어떤 묶음을 기준으로 계산하는지 결과에서 확인할 수 있다. PRIVATE_NOTE에는 이 장에서만 사용하는 데이터를 넣었다. 애플리케이션 내부 값이 공개 경로로 들어오는지 확인하기 위한 표식이다.

ModelInput의 task는 서버가 정한 작업이고 comments는 요약 자료다. frozen=True인 데이터 클래스와 댓글 튜플을 사용해 요청을 만든 뒤에 예제 코드가 필드를 덮어쓰지 않도록 구성했다. 다만 loose_summary처럼 객체를 만들 때부터 두 출처를 같은 필드에 넣을 수 있다. 그래서 verify는 필드가 존재하는지만 보는 대신 sent.task == TASK를 검사한다.

mask_contact의 두 sub 호출은 일치한 부분을 대체하고 새 문자열을 돌려준다. build_input은 댓글마다 이 함수를 적용한다. 이후 guarded_summary에서 fake_model에 전달하는 댓글은 이 복사본이다. 검사에서는 메일과 전화번호가 실제로 바뀌었는지, 연락처가 없는 첫 댓글이 유지되는지 한 번에 비교한다.

fake_model은 도구 요청과 응답을 딕셔너리 두 개로 돌려준다. 실제 모델과 도구를 연결하면 모델 요청을 받은 서버가 도구를 실행한 뒤 그 결과를 모델에 한 번 더 건네는 경우가 있다. 이 예제는 요청과 최종 응답의 검사를 한 번의 함수 호출로 재현한다. 정상 반환값을 먼저 만든 뒤 검사 유형에 해당하는 항목 하나를 바꾸므로, 어느 조건 때문에 거부되는지 추적하기 쉽다.

loose_summary는 모델이 준 이름을 tools에서 바로 찾는다. 운영 메모가 선택된 경우 함수가 실행되고, 그 값이 반환된다. extra_output 사례에서는 응답 딕셔너리가 통째로 반환된다. 이 함수는 검사에서만 호출해 두 가지 문제가 실제 반환값과 호출 기록에 나타나는지 확인한다.

guarded_summary는 서버가 선택한 게시글의 댓글로 allowed_tools를 만든다. lambda로 묶은 함수는 호출 인자를 받지 않고 해당 댓글 개수만 센다. validate_tool_request는 먼저 요청이 딕셔너리인지, 키가 name 하나인지 검사한다. 그다음 이름의 자료형과 등록 여부를 확인한다. 예제에 추가 게시글 번호를 보내면 키 확인 단계에서 거부된다.

render_reply는 응답의 키가 topic과 count 두 개일 때만 값을 읽는다. Python에서 True == 1은 참이고 isinstance(True, int)도 참이다. 그래서 개수의 자료형을 type(count) is int로 확인한다. 개수 비교까지 통과하면 서버에 등록된 분류명과 개수를 넣어 출력한다. 예제에서 공개되는 분류명은 모델이 작성한 문장 대신 TOPICS에 보관한 한국어 문구다.

verify의 도구 차단 사례는 반환 문구와 빈 호출 기록을 동시에 비교한다. 출력 거부 사례에서는 댓글 개수 조회 한 번을 허용하고 응답을 버린다. 코드에서 이 두 검사 위치를 맞바꾸거나 도구 목록을 넓히면 해당 검사가 실패한다. assert는 이 비교를 실행하는 데 쓰고, 공개 경로의 검증 자체는 if로 구현한다. 검사 실행에는 -O 옵션을 붙이지 않는다.

실행 결과

첫 명령은 컴파일 중 경고를 오류로 처리하며, 성공하면 아무것도 출력하지 않는다. 두 번째 명령은 검사 결과를 출력한 뒤 종료한다.

python3 -W error -m py_compile main.py
python3 main.py
수정 전 · 원문 연락처 전달과 운영 메모 조회 확인
수정 전 · 응답에 포함된 연락처 반환 확인
수정 후 · 작업과 댓글 분리, 예제 연락처 마스킹 확인
수정 후 · 정상 응답: 일정 안내 · 공개 댓글 2개
수정 후 · 운영 메모 도구 차단, 도구 실행 0회
수정 후 · 추가 도구 인자 차단, 도구 실행 0회
수정 후 · 추가 출력 필드 거부
수정 후 · 서버와 다른 개수 거부
수정 후 · 불리언 개수 거부
수정 후 · 미등록 분류 거부
수정 후 · 댓글이 1개일 때도 불리언 개수 거부
검사 통과

실무에서 자주 틀리는 것

아래 코드는 main.py의 자료형과 함수를 사용한 비교용 조각이다. 각 예에서 고친 함수가 지키는 조건을 완성 코드의 검사 항목과 연결해 본다.

마스킹한 복사본을 만들고 원문을 보낸다

틀린 코드에서는 마스킹 함수가 호출되지만 그 반환값을 요청에 사용하지 않는다. 마스킹 함수만 따로 실행하는 검사에서는 이 연결 오류를 잡기 어렵다.

def prepare_request(comments):
    tuple(mask_contact(text) for text in comments)
    return ModelInput(TASK, comments)

고친 코드는 마스킹한 복사본을 요청의 댓글 필드에 넣는다. 요청 객체를 검사하면 모델에 도달하는 값을 확인할 수 있다.

def prepare_request(comments):
    return build_input(comments)

도구 이름을 검사하고 모델이 고른 대상을 읽는다

틀린 코드에서는 댓글 개수 도구의 이름만 고정한다. 어느 게시글을 조회할지는 모델이 반환한 번호가 정한다.

def run_comment_tool(request, selected_comments, calls):
    if request.get("name") == "count_public_comments":
        return count_public_comments(POSTS[request["post_id"]], calls)
    return None

고친 코드는 서버가 조회한 댓글을 도구 함수에 묶는다. 요청 형식에 게시글 번호가 들어오면 실행 전에 거부한다.

def run_comment_tool(request, selected_comments, calls):
    allowed_tools = {
        "count_public_comments": lambda: count_public_comments(
            selected_comments, calls
        )
    }
    tool = validate_tool_request(request, allowed_tools)
    return None if tool is None else tool()

필수 필드만 확인하고 응답 전체를 반환한다

틀린 코드는 분류와 개수가 있는지 확인한 뒤 원래 딕셔너리를 반환한다. 이메일을 담은 추가 필드도 같은 응답에 실릴 수 있고, 개수가 서버의 값과 일치하는지도 확인하지 않는다.

def publish_summary(reply, expected_count):
    if "topic" in reply and "count" in reply:
        return reply
    return REJECTED

고친 코드는 필드 집합과 자료형, 허용 분류, 서버가 계산한 개수를 검사한 후 공개 문장을 만든다. 정상 응답과 거부 응답 모두 반환 형식이 문자열이다.

def publish_summary(reply, expected_count):
    return render_reply(reply, expected_count)

한눈에 보기

검사 위치별로 확인하는 요약 기능의 공개 범위
검사 위치지킬 조건확인할 관찰값
모델 호출 전작업 필드와 자료 필드를 분리한다.task가 서버 상수와 일치한다.
모델 호출 전필요한 자료만 고르고 예제 연락처를 가린다.comments에 연락처 대체 표기가 들어간다.
도구 실행 전요청 형식과 등록 이름을 확인하고 서버가 정한 범위로 조회한다.미등록 이름이나 추가 인자를 받으면 호출 기록이 비어 있다.
화면 공개 전필드와 값을 검사하고 서버에서 문장을 구성한다.추가 필드, 잘못된 개수, 미등록 분류가 거부된다.

앞 장에서 확인한 패키지 검토가 의존성을 들이는 지점의 판단이었다면, 이번 장의 검사는 모델이 데이터와 함수에 닿는 지점을 다룬다. 다음 장에서는 게시판 응답을 내보내는 서버 설정을 살펴본다.

연습 문제

  1. 게시글 8의 정상 응답도 검사하라. 기존 정상 응답과 비교해 어느 값이 달라져야 하는지 설명하라.
  2. fake_model에 도구 이름을 문자열 대신 리스트로 반환하는 검사 유형을 추가하라. 공개 결과와 도구 호출 기록을 확인하라.
  3. 운영자가 연락처를 별도 입력란으로 받도록 게시판을 바꾸었다고 가정하라. 그 값을 모델 요청에 넣어 마스킹하는 방식과, 요청을 조립할 때 연락처 필드를 빼는 방식 중 어떤 구현을 선택할지 설명하라. 선택한 구현의 검사도 한 가지 제시하라.
  4. 모델이 허용된 분류 question과 정확한 댓글 개수를 반환했지만 원문은 질문이 아닌 일정 안내다. 현재 코드에서 공개될 문장을 쓰고, 이 오류를 확인하기 위해 어떤 예제와 기대값을 둘지 설명하라.

정답과 해설

  1. guarded_summary(8, "normal", calls)를 호출하면 일정 안내 · 공개 댓글 1개가 나온다. 가짜 모델은 정상 사례의 분류를 고정하고, 개수는 전달된 댓글 튜플에서 계산한다. 새 Counter를 사용하면 도구 호출 기록은 {"count_public_comments": 1}이다.
  2. tool_request = {"name": ["count_public_comments"]}를 반환하는 검사 유형을 만들면 된다. 키 집합 조건은 통과하지만 이름이 문자열이어야 한다는 조건에서 거부된다. guarded_summary의 반환값은 REJECTED이고 호출 기록은 비어 있다. 이 검사는 딕셔너리에서 이름을 찾기 전에 자료형을 확인하는 순서도 다룬다.
  3. 요약에 연락처가 필요 없다면 요청을 조립할 때 댓글 본문 필드만 선택한다. 검사 데이터의 별도 입력란에 고유한 예제 값을 넣고, 모델 함수에 전달된 요청에 그 값이나 연락처 필드가 들어 있지 않은지 확인한다. 댓글 본문에 직접 적힌 연락처에는 기존 마스킹을 적용한다. 이 두 경로를 따로 검사하면 어느 입력에서 값이 남았는지 알 수 있다.
  4. 게시글 7에서는 질문 모음 · 공개 댓글 2개가 공개된다. 모든 필드가 공개 규칙을 충족하기 때문이다. 일정 확정 문장만 있는 댓글 묶음과 참석 방법을 질문하는 댓글 묶음을 준비하고, 각각 기대 분류를 schedule과 question으로 둔다. 출력 검사 함수의 회귀 검사로는 허용 범위를 확인하고, 분류 품질 검사에서는 댓글과 선택된 분류의 대응을 비교한다.

현업에서 이렇게 본다

리뷰에서 요약 화면이 잘 나오는 것을 본 뒤에는 변경 내역(diff)에서 세 곳을 찾는다. 모델로 보내는 자료가 조립되는 줄, 모델의 이름을 실제 함수로 바꾸는 줄, 공개 응답을 만드는 줄이다. AI가 고친 코드라면 그 세 곳에서 값이 어디서 왔고 다음 호출로 무엇이 전달되는지 따라간다. 예제에서 운영 메모가 화면에 보이지 않았다는 사실보다 호출 기록이 비어 있다는 사실이 도구 경계를 검토하는 데 직접적인 근거가 된다. 여기에 정상 요약도 함께 실행하면, 수정으로 기능이 빠진 것인지 필요한 동작만 남은 것인지 구분할 수 있다.

오탈자·오류 제보 비공개로 접수되어 원고 수정에 반영됩니다

이메일 등 개인정보는 받지 않습니다. 답변이 필요한 질문은 아래 댓글을 이용해 주세요.

READER FEEDBACK

질문·의견

내용에 관한 질문이나 더 나은 설명을 위한 의견을 남겨 주세요. 오탈자는 위의 제보 양식이 더 빨리 반영됩니다. 이 댓글은 원래 게시글과 같은 자리에 쌓입니다.

댓글 0

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

댓글을 남기려면 로그인이 필요합니다.