모델 선택 - 맥락·추론·도구 호출의 역할

이 장에서 배우는 것

맥락 용량과 실제 품질을 구분하고 같은 입력·검사·시간 기록으로 작업 적합성을 평가한다.

큰 맥락 창이 빠진 요구를 채워 주지는 않는다

대출 요약 도구의 변경에 파일이 스무 개 있다고 하자. 모든 파일을 전송하는 것과 필요한 규칙·호출부·검사를 골라 전달하는 것은 다르다. 맥락 창은 처리 가능한 입력 범위에 관한 한도이지, 필요한 정보를 저절로 찾아 정확하게 적용한다는 보증은 아니다. 먼저 오류 재현 입력, 고칠 함수, 외부에서 관찰되는 동작, 변경하면 안 되는 계약을 묶는다.

긴 로그에는 비밀값이나 개인 식별 정보가 섞일 수 있다. 원문 전체를 보내기 전에 더미 데이터로 같은 실패를 재현한다. 줄인 자료로 버그가 사라지면 무엇을 지웠을 때 달라졌는지 기록한다. 길이를 줄이는 목적은 토큰 절약만이 아니라 요구의 경계를 눈에 보이게 만드는 것이다.

추론 설정과 도구 실행을 혼동하지 않기

제품마다 추론 관련 설정의 이름과 지원 범위가 다르다. 공식 모델 목록에서 해당 모델이 지원하는 설정을 확인한다. 어떤 제품의 설정 이름을 다른 제품에도 그대로 넣으면 안 된다. 이 책은 특정 추론 값을 정답으로 제시하지 않고 비교 실험의 변수를 하나씩 바꾸도록 한다.

도구 호출은 모델이 요청을 만들고 실행 환경이 이를 처리하는 연결이다. 모델이 테스트 명령을 글로 써 준 것과 실제 도구가 그 명령을 실행한 것은 다르다. 실행 로그에는 명령, 작업 디렉터리, 종료 코드가 있어야 한다. 테스트를 실행할 수 없는 환경에서는 실행하지 못한 이유를 보고서에 남기고 검증을 완료로 표시하지 않는다.

내 작업에서 비교할 작은 평가 세트

평가용 사례를 빈 CSV, 정상 한 행, 잘못된 숫자, 제목만 있는 파일처럼 고정한다. 같은 저장소 버전과 같은 요청문을 주고 각 후보의 수정 결과를 검사한다. 정답 여부, 변경한 파일 수, 검토에 걸린 시간, 실패 이유를 기록한다. 모델의 응답 시간만 비교하면 사람이 고치는 시간이 빠지므로 업무 적합성을 판단하기 어렵다.

작은 사례 네 개의 통과는 그 사례에 대한 증거다. 성능 전체의 순위나 특정 언어에서의 우월함을 뜻하지 않는다. 정답 사례를 사전에 모델에 보여 주었는지 여부도 기록해야 한다. 평가 중 실패한 사례를 보고 요청을 수정했다면 새 요청의 결과는 별도 실험으로 구분한다.

직접 해 보기

빈 CSV·한 행·문자 숫자·제목만 있는 파일의 기대 결과를 먼저 적는다. 도구를 쓸 수 없다면 10장에 실린 두 수정안을 후보로 삼아 같은 기준표로 평가한다. 실패 수와 검토 시간을 따로 기록한다.

해설과 확인 기준

빈 CSV의 기대 동작을 정하지 않은 채 0을 출력한 결과를 정답으로 채점하면 평가자가 나중에 기준을 만든 셈이다. 요구에서 빈 입력은 건수 0, 평균 없음으로 정했다면 후보가 0.0을 출력한 결과는 불일치다. 작은 평가의 핵심은 모델보다 먼저 기대 동작을 고정하는 것이다.

근거와 기준일

제품·자료 확인일: 2026-11-08. 설명 틀·대출 도구·연습·해설은 교재의 자체 구성이다. 제품별 세부 조건은 아래 공식 문서에서 해당 실행 방식과 계정 범위를 다시 확인한다.

• OpenAI 모델 문서
• Claude 모델 문서