도구 호출과 MCP에서 모델이 함수를 부르는 구조를 다뤘다. 개발 환경에서 몇 번 돌려 보면 잘 동작한다. 문제는 그 뒤다. 실제 트래픽을 태우면 백 번 중 몇 번은 이상하게 끝나고, 로그를 열어 보면 매번 다른 이유로 틀려 있다. 이때 가장 흔한 대응이 시스템 프롬프트에 "반드시 도구를 사용하세요" 같은 문장을 한 줄씩 늘리는 것인데, 대개 효과가 없다. 실패가 한 종류가 아니기 때문이다.
출발점을 한 번만 다시 적어 둔다. 모델은 도구를 실행하지 않는다. 도구 이름과 인자를 적은 요청을 내놓을 뿐이고, 그 요청을 받아 실제 함수를 돌린 뒤 결과를 대화에 다시 넣어 주는 것은 우리 코드, 곧 호스트다. 이 글이 말하는 실패는 전부 이 한 바퀴의 어딘가에서 일어나고, 어느 쪽 손에서 일어났느냐에 따라 고칠 사람이 달라진다.
실패 지점 다섯
뭉뚱그린 다섯 사건
"도구 호출이 실패한다"는 문장은 서로 다른 다섯 가지 사건을 뭉뚱그린 것이다. 모델이 도구를 고르는 순간, 인자를 채우는 순간, 호스트가 함수를 실행하는 순간, 돌아온 결과를 모델이 읽는 순간, 그리고 이제 그만 부르고 답할지 정하는 순간이다. 한 바퀴를 이 다섯 걸음으로 끊어 놓으면 고쳐야 할 곳이 각각 다르다는 게 드러난다.
| 지점 | 증상 | 실제 원인 | 고치는 곳 |
|---|---|---|---|
| 도구 선택 | 도구를 안 쓰고 답을 지어낸다 | 설명문이 언제 쓰는지를 안 말한다 | 스키마 |
| 인자 구성 | user_id에 이름이 들어온다 |
형식·출처가 스키마에 없다 | 스키마 + 검증 |
| 실행 | 간헐적 500, 타임아웃 | 우리 쪽 인프라 | 재시도·백오프 |
| 결과 해석 | 빈 배열을 "찾았습니다"로 답한다 | 결과 표현이 모호하다 | 반환 포맷 |
| 종료 판단 | 같은 도구를 여섯 번 부른다 | 루프에 종료 조건이 없다 | 루프 코드 |
여기서 스키마는 도구 하나를 모델에게 소개하는 정의 전체를 말한다 — 이름, 언제 쓰는지 적은 설명문, 인자의 모양을 적은 JSON Schema가 한 덩이다. 모델이 도구에 대해 아는 것은 이 덩이가 전부이므로, 앞의 두 줄은 결국 이 덩이를 어떻게 썼느냐의 문제다.
모델 몫과 코드 몫
이 표에서 중요한 것은 마지막 열이다. 모델을 더 좋은 것으로 바꿔서 나아지는 것은 위의 두 줄뿐이고, 아래 세 줄은 우리가 짠 코드의 문제라 모델을 바꿔도 그대로 남는다. 타임아웃은 모델이 똑똑해진다고 줄지 않고, 빈 배열과 오류를 같은 모양으로 돌려주는 반환값은 어느 모델이 읽어도 헷갈리며, 상한 없는 루프는 어느 모델이 돌아도 상한이 없다.
그런데 실무에서 실패를 세어 보면 아래 세 줄이 절반을 넘는 경우가 흔하다. 그러면 모델 교체로 기대할 수 있는 개선의 천장이 처음부터 절반 아래에 걸려 있는 셈이다. 비싼 모델로 갈아탔는데 실패율이 생각만큼 안 내려가는 경험이 대개 여기서 온다.
위의 두 줄도 모델만의 몫은 아니다. 같은 모델이 설명문 한 문장, 필드 하나의 설명으로 크게 달라진다. 모델을 바꾸는 것보다 스키마를 고치는 쪽이 싸고 빠르므로, 위의 두 줄도 먼저 손댈 곳은 스키마다.
지점 태그와 분포표
그러니 첫 작업은 프롬프트 수정이 아니라 분류해서 세는 것이다. 호출이 끝날 때마다 어느 지점에서 어긋났는지를 태그 하나로 남긴다. 태그는 대부분 코드가 자동으로 붙일 수 있다 — 인자 검증이 거부했으면 인자 구성, 함수가 예외를 던졌으면 실행, 한 요청의 호출 수가 상한에 닿았으면 종료 판단이다. 도구 선택과 결과 해석만 사람이 표본을 골라 읽어야 하는데, 하루 몇십 건이면 충분하다.
일주일을 모으면 이런 표가 나온다. 가상의 예로, 호출 10,000건 중 어긋난 것이 312건이었다고 하자.
도구 선택 48건, 인자 구성 96건, 실행 71건, 결과 해석 59건, 종료 판단 38건이다. 인자 구성이 한 지점으로는 가장 크지만, 아래 세 지점을 더하면 168건으로 전체의 54%다. 이 표가 있으면 "프롬프트를 고쳐 볼까"라는 막연한 질문이 "인자 96건 중 몇 건이 형식 위반이고 몇 건이 지어낸 값인가"라는 구체적인 질문으로 바뀐다. 아래 절들은 이 다섯 줄을 차례로 하나씩 연다.
도구 선택
부르지 않고 지어내기
도구 선택에서 가장 흔한 사고는 잘못된 도구를 고르는 것이 아니라 도구를 아예 안 부르는 것이다. 사용자가 "제 주문 언제 와요?"라고 물었는데 모델이 조회 도구를 건너뛰고 "보통 2~3일 걸립니다"라고 답한다. 문장은 그럴듯하고 틀렸는지 아무도 모른다. 로그에 오류가 하나도 안 남는 실패라 세지도 않으면 영영 안 보인다.
원인은 대개 설명문에 있다. "주문 정보를 조회한다"라고만 적힌 설명은 도구가 무엇을 하는지만 말하고 언제 써야 하는지는 말하지 않는다. 모델 입장에서는 일반 지식으로 답할 수 있어 보이는 질문에 굳이 도구를 부를 이유가 없다. 설명문에 "배송 상태·도착 예정일처럼 주문마다 다른 값은 반드시 이 도구로 확인한다. 일반적인 배송 기간으로 답하지 않는다"처럼 쓰는 조건과 쓰지 말아야 할 대안을 함께 적으면 이 갈래가 눈에 띄게 준다.
비슷한 두 도구
도구가 열 개를 넘어가면 이름과 하는 일이 겹치는 짝이 생긴다. search_orders와 lookup_order처럼, 하나는 조건으로 여러 건을 찾고 하나는 번호로 한 건을 꺼낸다. 사람이 보기엔 분명한 차이인데 모델은 그날그날 다르게 고른다. 주문번호가 대화에 있는데도 검색 도구를 부르고, 결과 목록 스무 건을 읽느라 토큰을 쓴다.
처방은 서로를 가리키는 문장이다. lookup_order의 설명에 "주문번호를 알 때 쓴다. 번호를 모르면 search_orders를 쓴다"를, search_orders의 설명에 "주문번호를 이미 알면 이 도구 대신 lookup_order를 쓴다"를 적는다. 각 설명이 혼자서 완결된 것처럼 쓰면 둘 사이의 경계는 어디에도 적히지 않는다. 경계는 짝의 양쪽에 다 적어야 한다 — 모델이 어느 쪽 설명을 먼저 읽을지 모르기 때문이다.
오선택률
선택 실패를 셀 때는 반대 방향도 같이 센다. 불러야 할 때 안 부른 것만 세면, 설명문을 고칠 때마다 "반드시 부른다"를 세게 적는 쪽으로만 간다. 그러면 이번에는 인사말에도 주문 조회를 부르고, 도구가 필요 없는 질문에 지연과 비용을 붙인다.
그래서 두 숫자를 나란히 둔다. 불러야 했는데 안 부른 비율과, 안 불러도 됐는데 부른 비율이다. 뒤쪽을 오선택률이라 부르자. 설명문을 바꾼 뒤 앞의 비율만 내려가고 오선택률이 올라갔다면 고친 것이 아니라 실패를 옆 칸으로 옮긴 것이다. 두 수가 함께 내려갈 때만 설명문이 정말 나아진 것이다.
인자 구성
필수 필드의 함정
모델은 인자를 채울 때 두 가지를 한다. 대화에서 값을 찾아 옮기거나, 없으면 그럴듯한 값을 만든다. 후자가 문제다. 그리고 후자가 일어나는 조건은 대체로 하나다 — 그 인자를 비워 둘 방법이 스키마에 없을 때다.
필수 필드로만 이루어진 스키마는 모델에게 "모른다"고 말할 수단을 주지 않는다. 고객 문의 도구에 customer_id, order_id, reason 세 필드가 모두 필수인데 사용자가 주문번호만 말했다면, 모델은 나머지 둘을 채워야 호출이 성립한다. 그래서 customer_id에 사용자 이름을 넣거나 reason에 "배송 문의"를 짐작해 넣는다. 형식상으로는 완벽한 호출이라 검증도 통과하고, 틀린 값은 한참 뒤에야 드러난다.
출구는 두 가지다. 정말로 없어도 되는 필드는 필수에서 빼서 비워 둘 수 있게 하고, 꼭 있어야 하는 필드는 값이 없을 때 호출하지 말라고 적는다. 아래 정의가 뒤쪽의 예다.
{
"name": "lookup_order",
"description": "주문번호로 주문 1건을 조회한다. 사용자가 주문번호를 말하지 않았다면 호출하지 말고 먼저 물어볼 것.",
"input_schema": {
"type": "object",
"properties": {
"order_id": {
"type": "string",
"pattern": "^ORD-[0-9]{8}$",
"description": "대화에 그대로 등장한 주문번호만 사용한다. 추론하거나 만들지 않는다."
}
},
"required": ["order_id"]
}
}
형식과 출처
정의에는 세 가지가 들어 있다. pattern은 형식을 못 박고, 필드의 description은 값의 출처를 지정하며, 도구 설명문은 값이 없을 때 무엇을 해야 하는지를 알려 준다. 값이 몇 개로 정해진 필드라면 pattern 대신 enum으로 허용값을 늘어놓는다 — 상태 필드에 "shipped"를 기대했는데 "배송중"이 들어오는 일이 거기서 끝난다.
셋 중 실무에서 가장 자주 빠지는 것이 두 번째다. 형식만 적어 두면 모델은 형식에 맞는 가짜 값을 만들어 낸다. ^ORD-[0-9]{8}$만 있고 출처 설명이 없으면 ORD-00000001 같은 값이 검증을 통과해 들어오고, 조회 결과는 "없음"이 되어 다음 지점인 결과 해석으로 문제가 넘어간다. 형식 검사는 틀린 모양을 막을 뿐 지어낸 값을 막지 못한다. 출처를 적는 문장만이 그쪽을 겨냥한다.
되묻기
"값이 없으면 되묻는다"는 시스템 프롬프트가 아니라 그 도구의 설명문에 적는 편이 낫다. 시스템 프롬프트의 일반 지침은 도구가 서른 개일 때 서른 개 모두에 희미하게 걸리지만, 설명문의 문장은 모델이 바로 그 도구를 고르는 순간에 읽힌다. 규칙이 필요한 자리에 규칙을 둔다는 뜻이다.
되묻기가 실제로 일어나면 사용자는 한 번 더 입력해야 하니 번거롭다고 느낄 수 있다. 하지만 지어낸 번호로 남의 주문을 조회하거나 "주문이 없습니다"라고 잘못 답하는 쪽과 견주면 질문 한 번은 싼 값이다. 되묻기 빈도가 너무 높다면 그건 도구 탓이 아니라 앞단의 대화 설계 — 사용자가 번호를 말하기 쉬운 흐름인지 — 를 볼 신호다.
파싱 실패
인자 구성의 마지막 갈래는 값이 틀린 것이 아니라 인자 JSON 자체가 깨져 오는 경우다. 닫는 괄호가 빠지거나, 문자열 안의 따옴표가 이스케이프되지 않거나, 출력 길이 제한에 걸려 중간에서 잘린다. 이 경우 호스트는 인자를 읽지도 못하므로 검증 단계에 들어가기도 전에 멈춘다.
처리는 검증 실패와 같은 길로 보내면 된다. 파싱 오류 메시지를 "인자 JSON을 읽을 수 없다: 12번째 글자 근처에서 따옴표가 닫히지 않았다"처럼 적어 다음 절의 수선 루프에 태운다. 일부 API는 출력이 스키마를 벗어나지 못하게 강제하는 모드를 제공해 이 갈래를 거의 없애 준다. 다만 그런 모드는 대개 지원하는 스키마 문법에 제한이 있으니, 켜기 전에 우리 스키마의 pattern 같은 키워드가 그 제한 안에 드는지 문서로 확인한다.
반환값
스택 트레이스의 두 결말
도구가 예외를 던졌을 때 그걸 그대로 문자열로 만들어 모델에게 돌려주는 코드를 자주 본다. 스택 트레이스를 받은 모델은 두 가지 중 하나를 한다. 사용자에게 그대로 옮기거나, 무시하고 답을 지어낸다.
앞쪽은 사용자 화면에 psycopg2.OperationalError: connection refused 같은 줄이 그대로 찍히는 결말이다. 보기에도 나쁘지만 내부 호스트 이름이나 테이블 구조가 함께 새어 나간다. 뒤쪽은 더 조용하다. 모델이 오류를 읽고 "조회해 보니 배송 중입니다"라고 답해 버린다. 모델 입장에서는 무언가를 부르고 무언가를 받았으니 답할 차례라고 판단한 것이다. 둘 다 나쁜 이유가 같다 — 모델이 받은 것이 다음 행동을 정할 수 있는 정보가 아니었다.
세 갈래 상태
모델에게 돌아가는 값은 모델이 다음에 무엇을 할지 정할 수 있는 형태여야 한다. 이 관점으로 보면 결과는 세 갈래로 정리된다.
from dataclasses import dataclass
@dataclass
class ToolResult:
status: str # "ok" | "empty" | "error"
data: dict | None
hint: str # 모델이 다음 행동을 정하는 데 쓸 한 문장
def lookup_order(order_id: str) -> ToolResult:
try:
row = db.find_order(order_id)
except TimeoutError:
# 재시도 여부는 코드가 정한다. 모델에게 넘기지 않는다.
return ToolResult("error", None, "조회 시스템이 응답하지 않는다. 사용자에게 잠시 뒤 다시 시도해 달라고 안내할 것.")
if row is None:
return ToolResult("empty", None, f"{order_id}에 해당하는 주문이 없다(최근 2년 주문만 조회됨). 번호를 다시 확인해 달라고 물어볼 것.")
return ToolResult("ok", row, "조회 성공. 이 값으로 답변할 것.")
empty와 error를 나눈 것이 핵심이다. 둘을 합쳐 놓으면 모델은 "없음"과 "못 봄"을 구별하지 못하고, 없는 주문을 시스템 장애로 안내하거나 그 반대를 한다. 빈 결과에는 어디를 어떤 범위로 찾았는지와 왜 비었을 수 있는지를 붙인다. 위 코드의 "최근 2년 주문만 조회됨" 한 구절이 그 예다. 이게 없으면 모델은 3년 전 주문을 묻는 사용자에게 "그런 주문은 없습니다"라고 단정하고, 있으면 "조회 범위 밖이라 확인이 어렵다"고 말할 수 있다.
hint 한 줄
hint는 사족처럼 보이지만, 이 한 줄이 결과 해석 단계의 실패를 상당히 줄인다. 모델은 {"status": "empty"}만 받아도 무언가를 추론하긴 한다. 문제는 추론이 매번 다르다는 것이다. 어떤 때는 되묻고, 어떤 때는 사과하고, 어떤 때는 다른 도구로 다시 찾는다. hint는 그 갈림길에서 우리가 원하는 길을 한 문장으로 미리 정해 둔다.
다만 hint에 판단을 너무 많이 싣지 않는다. "주문이 없으니 고객에게 환불 절차를 안내할 것"처럼 업무 결정까지 적기 시작하면 도구가 대화 흐름을 쥐게 되고, 도구 하나를 고칠 때마다 대화 전체의 행동이 바뀐다. 다음 행동 하나 — 되묻기, 안내하기, 다른 도구 쓰기 — 정도가 알맞은 크기다.
사용자용과 모델용
반환값은 읽는 사람이 둘이다. 모델과, 모델을 거쳐 결국 화면을 보는 사용자다. 둘에게 같은 문자열을 주면 어느 한쪽에 맞지 않는다. 모델에게는 "조회 범위 밖"이라는 사실과 다음 행동이 필요하고, 사용자에게는 정중한 문장이 필요하다. 그리고 내부 사정 — 어느 서버가 죽었는지, 어떤 쿼리가 느렸는지 — 은 둘 다 아니고 로그에만 가야 한다.
그래서 결과 객체에 세 칸을 따로 둔다. 모델이 읽는 status와 hint, 사용자에게 그대로 보여도 되는 user_message, 그리고 모델에게는 안 넘기고 로그로만 보내는 진단 정보다. 마지막 칸을 따로 두는 습관이 앞에서 본 스택 트레이스 유출을 구조적으로 막는다.
재시도
같은 요청, 같은 값
재시도는 실패한 호출을 다시 시도하는 것인데, 무엇을 다시 보내느냐에 따라 듣기도 하고 안 듣기도 한다. 실행 지점의 실패, 곧 타임아웃이나 순간적인 500은 같은 요청을 조금 기다렸다 다시 보내면 낫는다. 기다리는 간격을 시도마다 늘려 가는 것을 백오프라 하는데, 1초·2초·4초처럼 두 배씩 늘리는 것이 흔하다.
인자 검증 실패는 다르다. 검증을 통과하지 못했을 때 그냥 다시 호출하면 모델은 거의 같은 값을 다시 낸다. 입력이 똑같으니 출력도 비슷한 것이 당연하다. 온도를 올려도 마찬가지다 — 값이 조금 흔들릴 뿐 틀린 이유를 모르는 것은 그대로다. 재시도가 의미를 가지려면 무엇이 왜 틀렸는지가 다음 요청에 들어가야 한다.
오류 되먹이기
def call_with_repair(model, messages, tools, max_repair=2):
for attempt in range(max_repair + 1):
reply = model.run(messages, tools=tools)
if not reply.tool_calls:
return reply
call = reply.tool_calls[0]
problems = validate_arguments(call.name, call.arguments)
if not problems:
return reply
if attempt == max_repair:
# 더 시도하지 않는다. 사람이 볼 수 있게 남기고 안전한 답으로 빠진다.
log.warning("argument repair exhausted", extra={"tool": call.name, "problems": problems})
return fallback_reply(reply, problems)
messages.append(reply.as_message())
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": "입력이 거부되었다: " + "; ".join(problems),
})
return reply
핵심은 마지막 두 줄이다. 모델이 낸 호출을 대화에 그대로 남기고, 그 바로 뒤에 도구 결과 자리로 거부 사유를 넣는다. 모델은 다음 차례에 자기가 무엇을 냈고 그것이 왜 거부됐는지를 나란히 본다. 거부 사유는 구체적일수록 잘 듣는다. "잘못된 입력"보다 "order_id는 ORD-로 시작하는 12자여야 한다. 받은 값: 홍길동"이 훨씬 낫다. 받은 값을 함께 적어 주면 모델이 자기 실수를 짚어내기 쉽다.
상한 두 번
다른 하나는 상한이 있다는 것이다. 상한 없는 재시도 루프가 왜 위험한지는 숫자로 한 번 따라가 보면 보인다. 대화가 이미 6,000토큰이고 실패한 시도마다 호출과 거부 사유로 300토큰이 붙는다고 하자. 재시도는 매번 대화 전체를 다시 보내므로, 상한이 두 번이면 요청 세 번에 6,000 + 6,300 + 6,600 = 18,900토큰이다. 상한이 없어 스무 번을 돌면 6,000 × 20에 300 × (0 + 1 + … + 19)를 더해 177,000토큰이 된다. 정상 요청 하나의 서른 배 가까이를 실패한 요청 하나가 쓴다.
두 번이면 충분하다 — 경험적으로 두 번 안에 못 고치면 세 번째에도 못 고친다. 사유를 읽고도 못 고친다는 것은 대개 모델에게 고칠 재료가 없다는 뜻이다. 주문번호가 대화에 없는데 형식을 맞추라고 아무리 말해도 진짜 번호는 안 나온다. 상한에 닿으면 위 코드처럼 사람이 볼 수 있게 남기고, 사용자에게 번호를 묻는 안전한 답으로 빠진다.
다시 불러도 되는 도구
마지막으로 볼 것은 무엇을 다시 실행하느냐다. 조회는 열 번 다시 불러도 세상이 안 바뀐다. 결제·메일 발송·주문 생성은 다르다. 첫 호출이 실제로는 성공했는데 응답만 타임아웃으로 늦게 왔다면, 재시도는 결제를 두 번 하고 메일을 두 번 보낸다.
같은 요청을 여러 번 실행해도 한 번 실행한 것과 결과가 같은 성질을 멱등성이라 한다. 조회는 멱등이고 결제는 아니다. 멱등이 아닌 도구는 재시도를 아예 끄거나, 요청마다 고유한 키를 붙여 같은 키로 두 번 들어오면 두 번째는 실행하지 않고 첫 결과를 돌려주게 만든다. 이 판단도 모델에게 맡기지 않는다. 도구를 등록할 때 "이 도구는 재시도해도 되는가"를 호스트 코드의 속성으로 적어 둔다.
루프 종료
세 제동
에이전트 루프에서 가장 비싼 사고는 잘못된 호출이 아니라 끝나지 않는 호출이다. 모델은 도구 결과가 만족스럽지 않으면 조건을 조금 바꿔 같은 도구를 다시 부르는 경향이 있고, 그 조금이 계속 조금씩만 바뀐다. 검색어에서 조사 하나를 빼고, 날짜 범위를 하루 늘리고, 다시 원래대로 돌린다.
코드가 걸어야 할 제동은 세 가지다.
- 총 호출 수 상한 — 한 요청에서 도구를 몇 번까지 부를 수 있는가. 대개 8~12번이면 정상 작업은 다 끝난다.
- 같은 호출 반복 차단 — 도구 이름과 인자를 합쳐 해시로 만들고, 이미 나온 조합이면 실행하지 않는다.
- 시간 상한 — 벽시계 기준. 사용자가 기다리는 화면이라면 호출 수보다 이쪽이 먼저 걸린다.
두 번째의 해시는 임의 길이의 입력을 짧은 고정 길이 값으로 바꾸는 함수로, 같은 입력이면 늘 같은 값이 나온다. 인자 JSON의 키 순서를 정렬한 뒤 해시해야 {"a":1,"b":2}와 {"b":2,"a":1}이 같은 호출로 잡힌다. 세 제동은 서로를 대신하지 않는다. 호출 수 상한은 조금씩 다른 호출 여러 번을 잡고, 해시는 똑같은 호출 두 번을 바로 잡으며, 시간 상한은 호출 수는 적어도 도구 하나가 느린 경우를 잡는다.
차단 대신 알림
같은 호출을 잡았을 때 루프를 그 자리에서 끊는 것보다 나은 방법이 있다. 실행하지 않고 "같은 조회를 이미 했다. 결과는 위에 있다"를 도구 결과로 돌려주는 것이다.
끊어 버리면 사용자는 답 대신 오류 화면을 본다. 반면 알림을 결과로 돌려주면 모델은 자기가 같은 일을 반복하고 있었다는 사실을 대화 안에서 읽고, 대부분 거기서 위에 있는 결과로 답을 쓴다. 이미 가진 정보로 답할 기회를 한 번 주는 셈이다. 그 기회를 쓰고도 계속 돌면 그때 총 호출 수 상한이 걸린다. 앞 절의 재시도처럼, 제동도 이유를 말해 줄 때 잘 듣는다.
경향과 보장
세 가지 모두 모델에게 부탁할 일이 아니다. 프롬프트에 "같은 도구를 반복해서 호출하지 마세요"라고 적는 것과 코드에서 중복 호출을 막는 것은 신뢰도가 다르다. 앞은 경향이고 뒤는 보장이다.
프롬프트 문장은 대부분의 경우 모델의 행동을 원하는 쪽으로 기울인다. 하지만 백 번 중 한 번 기울지 않는 경우가 있고, 그 한 번이 하필 스무 번 도는 루프라면 비용은 그 한 번이 다 낸다. 코드의 상한은 백 번 중 백 번 걸린다. 그래서 둘은 대신하는 관계가 아니라 층이 다르다 — 프롬프트로 흔한 경우를 줄이고, 코드로 드문 경우의 바닥을 막는다.
고치는 순서
가장 큰 지점부터
정리하면 순서는 이렇다. 먼저 실패를 다섯 갈래로 태그해 분포를 본다. 그리고 가장 큰 지점 하나부터 집는다. 앞의 예라면 인자 구성 96건이 첫 대상이다. 다섯을 한꺼번에 고치면 무엇이 효과를 냈는지 알 수 없고, 한 지점을 고친 뒤 일주일 분포를 다시 보면 그 처방이 실제로 몇 건을 줄였는지가 숫자로 나온다.
한 지점을 고치면 다른 지점의 수가 움직이기도 한다. 인자 형식을 엄격하게 막으면 검증 거부가 늘어 인자 구성 수가 잠시 오히려 오르고, 대신 결과 해석 칸의 "없는 번호로 조회해 빈 결과" 건이 준다. 실패가 숨어 있던 칸에서 제 칸으로 옮겨 온 것이니 나빠진 것이 아니다. 그래서 분포는 합계와 칸별 수를 함께 본다.
지점별 처방
지점마다 처방을 한 줄로 줄이면 다음과 같다.
- 도구 선택이 많으면 설명문에 언제 쓰는지와 비슷한 도구와의 경계를 적고, 오선택률을 함께 센다.
- 인자 구성이 많으면 스키마의
pattern·enum과 출처 설명을 손보고, 값이 없을 때 되묻게 한다. - 실행이 많으면 백오프를 둔 재시도를 걸되 멱등이 아닌 도구는 빼고, 인프라 쪽 원인을 따로 본다.
- 결과 해석이 많으면 반환 포맷을
ok/empty/error로 나누고hint한 줄을 붙인다. - 종료 판단이 많으면 루프에 상한 세 개를 걸고, 중복 호출에는 알림을 돌려준다.
프롬프트는 마지막
프롬프트 문장을 늘리는 것은 이 다섯을 다 하고 나서도 남는 것이 있을 때 할 일이다. 이유는 셋이다. 프롬프트 문장은 모든 호출에 붙어 매번 토큰을 쓰고, 효과가 경향이라 바닥을 막지 못하며, 무엇보다 문장끼리 부딪힌다. "반드시 도구를 쓴다"와 "불필요한 호출을 하지 않는다"가 한 프롬프트에 함께 있으면 모델은 그날그날 어느 쪽에 무게를 둘지 다르게 정한다.
도구 호출의 신뢰성은 모델의 성질이 아니라 우리가 설계한 인터페이스의 성질에 훨씬 가깝다. 호출 하나가 이렇게 안정되고 나면 다음으로 눈에 띄는 것은 속도다. 서로 상관없는 조회 셋을 하나씩 차례로 부르느라 기다리는 시간이 길어지는데, 다음 글에서는 그런 호출을 한꺼번에 부르는 법과 묶으면 안 되는 호출을 가르는 기준을 다룬다.
읽어주셔서 감사합니다. 😊

