지난 글까지가 무엇을 넣고 어떻게 늘어놓을지에 대한 얘기였다면, 남은 것은 그 계획이 어긋나는 순간이다. 예산표를 아무리 잘 짜 두어도 실제 요청은 예산을 넘긴다. 사용자가 30페이지짜리 문서를 붙여 넣고, 도구가 예상의 열 배짜리 응답을 돌려주고, 대화가 예정보다 길어진다. 그때 시스템이 무엇을 하느냐가 품질을 가른다.
가장 나쁜 경우는 아무것도 정해 두지 않은 것이다. 그러면 API가 오류를 던지거나, 프레임워크가 임의로 앞부분을 잘라 내거나, 답이 중간에 끊긴다. 셋 다 사용자에게는 같은 모습으로 보인다 — 이유를 알 수 없는 실패다.
먼저 낱말 셋의 사이를 정해 두자. 모델이 한 번에 읽고 쓸 수 있는 토큰의 총량이 컨텍스트 창이고, 그 창을 우리 쪽에서 항목별로 미리 나눠 둔 몫이 예산이다. 창은 모델이 정하는 고정값이고 예산은 우리가 정하는 설계값이다. 그리고 요청이 예산을 넘었을 때 정해 둔 순서대로 덜 중요한 것부터 줄여 창 안에 다시 맞추는 일을 이 글에서는 강등이라고 부른다. 예산이 없으면 강등할 기준이 없고, 강등 순서가 없으면 예산은 넘는 순간 아무 쓸모가 없다.
창의 분할
예산을 짜는 첫걸음은 창을 덩어리 하나로 보지 않고 칸으로 나누는 것이다. 칸으로 나눠 두지 않으면 "아직 여유가 있다"는 판단을 창 전체를 기준으로 하게 되고, 그 여유가 실제로는 출력이 쓸 자리였다는 것을 답이 끊긴 뒤에야 알게 된다.
여섯 칸
한 번의 요청에 들어가는 것은 대개 여섯 가지로 나뉜다.
| 칸 | 성질 | 크기가 변하는 정도 |
|---|---|---|
| 시스템 지시 | 배포마다 고정 | 거의 안 변한다 |
| 도구 스키마 | 붙인 도구 수에 비례 | 경로마다 다르다 |
| 대화 이력 | 턴마다 자란다 | 가장 크게 변한다 |
| 근거 문서 | 검색 결과에 따라 | 요청마다 다르다 |
| 출력 상한 | 우리가 정해 API에 넘김 | 고정 |
| 안전 여유 | 추정 오차를 흡수 | 고정 |
앞의 넷은 입력이고 뒤의 둘은 입력이 쓰면 안 되는 자리다. 이 구분이 예산의 뼈대다. 예를 들어 창이 20만 토큰인 모델이라면(아래 수는 모두 설명용 예시다) 출력 상한 8,000, 안전 여유 5%인 10,000을 먼저 떼고, 남은 182,000이 입력 예산이 된다. 여기서 시스템 지시 3,000과 도구 스키마 6,000을 빼면 이력과 문서가 나눠 쓸 몫은 173,000이다.
도구 스키마는 자주 잊히는 칸이다. 도구 하나의 설명과 인자 정의가 수백 토큰이고, 도구를 스무 개 붙이면 사용자가 한마디도 안 했는데 이미 수천 토큰이 나가 있다. 경로마다 붙이는 도구가 다르면 이 칸도 경로마다 따로 잰다.
출력 상한
여섯 칸 중 가장 먼저 떼어야 하는 것이 출력 상한이다. 대부분의 API에서 입력과 출력은 같은 창을 나눠 쓰므로, 입력이 창을 거의 다 채우면 출력이 쓸 자리가 줄어든다. 그러면 모델은 답을 쓰다가 상한에 걸려 멈춘다.
이 실패가 특히 나쁜 이유는 되돌릴 수 없어서다. 입력이 넘치면 API가 요청을 거절하므로 적어도 실패가 보이고, 줄여서 다시 보내면 된다. 반면 답이 중간에 끊기면 요청은 성공으로 기록되고, 사용자는 반쯤 쓰인 표나 닫히지 않은 코드 블록을 받는다. 구조화된 출력이라면 파싱이 실패하고, 그 실패가 뒤 단계에서 엉뚱한 오류로 나타난다. 그래서 출력 상한은 "남는 만큼"이 아니라 필요한 만큼을 먼저 확보하고 나머지를 입력에 준다.
칸별 상한
입력 넷 중 시스템 지시와 도구 스키마는 거의 고정이므로 실제로 다투는 것은 이력과 문서 둘이다. 이 둘에 각각 상한을 둔다. 상한이 없으면 먼저 차오르는 쪽이 다른 쪽 자리를 먹는다 — 긴 대화 끝에 검색을 하면 문서가 들어갈 자리가 없고, 큰 문서를 붙인 대화에서는 직전 맥락이 밀려난다.
상한을 정할 때 함께 정할 것이 남는 자리의 행선지다. 이번 요청에서 문서가 상한의 절반만 썼다면 그 나머지를 이력에 넘겨 줄지, 그냥 비워 둘지다. 넘겨 주는 쪽이 대개 낫지만, 그렇게 하면 이력의 실제 크기가 요청마다 달라져 강등이 어디서 시작될지 예측하기 어려워진다. 처음에는 넘겨 주지 않는 고정 분할로 시작하고, 지표를 보며 풀어 주는 편이 디버깅하기 쉽다.
토큰 추정
예산 관리는 지금 요청이 몇 토큰인지 아는 데서 시작하는데, 이 값부터 정확하지 않다. 토큰은 모델이 글을 자르는 단위이고, 글을 토큰으로 자르는 규칙이 토크나이저다. 모델마다 토크나이저가 다르므로 같은 문장도 모델에 따라 토큰 수가 다르다.
네 가지 추정
흔한 추정 방식과 그 오차는 대략 이렇다.
| 방법 | 정확도 | 비용 | 쓸 자리 |
|---|---|---|---|
| 글자 수 ÷ 상수 | 낮다 | 없다 | 대략의 감만 잡을 때 |
| 다른 모델의 토크나이저 | 중간 | 낮다 | 후보를 거를 때 |
| 해당 모델의 토크나이저 | 높다 | 낮다 | 조립 단계의 기본값 |
| 제공자의 토큰 계산 API | 가장 높다 | 호출 한 번 | 임계 근처에서 확인할 때 |
이 넷은 대체 관계가 아니라 층으로 쓴다. 검색 결과 50개를 거를 때는 글자 수 나누기로 충분하다. 조립한 요청을 보낼지 말지는 해당 모델의 토크나이저로 판단한다. 그리고 그 값이 예산의 95%를 넘는 아슬아슬한 경우에만 계산 API를 한 번 더 부른다. 모든 요청에 계산 API를 부르면 지연이 한 번씩 더 붙고, 아무 요청에도 안 부르면 경계에서 넘친다.
해당 모델의 토크나이저를 쓸 수 없는 경우도 있다. 공개되지 않은 모델이면 다른 모델의 토크나이저로 세고 오차를 감수해야 한다. 이때가 아래 안전 여유를 데이터로 정해야 하는 가장 큰 이유다.
한국어의 편차
한국어는 특히 편차가 크다. 같은 글자 수라도 자주 쓰는 표현은 토큰이 적게 붙고, 고유명사나 코드가 섞이면 훨씬 많이 붙는다. 그래서 "한글 한 글자 ≈ 1.5토큰" 같은 상수는 평균에서는 맞아도 개별 요청에서는 크게 어긋난다.
편차가 커지는 자리는 정해져 있다. 사내 제품명이나 사람 이름처럼 토크나이저가 학습 때 거의 못 본 낱말은 글자 하나하나가, 심하면 바이트 단위로 쪼개진다. 한국어 설명 사이에 코드나 로그가 끼면 공백·기호·영문 식별자가 섞여 같은 길이의 산문보다 토큰이 훨씬 많이 붙는다. 표를 마크다운으로 붙이면 세로줄과 하이픈도 각각 토큰이 된다. 같은 1만 자라도 산문만 있는 문서와 로그가 섞인 문서는 토큰 수가 크게 다르다.
안전 여유
중요한 것은 오차를 없애는 것이 아니라 오차의 크기를 알고 있는 것이다. 실제 요청 몇백 건에서 추정값과 응답에 실려 온 실제값을 함께 로그로 남기면 상대 오차 분포가 나온다.
안전 여유 는 이 분포에서 정한다. 의 상위 99 백분위가 4%라면, 창의 5% 정도를 여유로 두면 백 번에 한 번도 넘치지 않는다. 감으로 "넉넉하게 10%"를 잡는 것과 결과는 비슷할 수 있지만, 데이터로 정하면 나중에 줄여도 되는지를 판단할 수 있다. 여유는 그냥 버리는 창이므로 근거 없이 크게 잡으면 계속 손해다. 20만 토큰 창에서 5%와 10%의 차이는 1만 토큰, 근거 문서로 치면 다섯 편 안팎이다.
분포는 한 번 만들고 끝나지 않는다. 사용자 층이 바뀌어 코드를 붙이는 요청이 늘면 꼬리가 두꺼워지고, 모델을 바꾸면 토크나이저가 바뀌어 분포가 통째로 이동한다. 모델을 갈아 끼운 주에는 여유를 한 단계 넉넉히 두고, 새 분포가 쌓인 뒤 다시 줄이는 것이 순서다.
강등 사다리
예산을 넘겼을 때 무엇부터 버릴지는 원칙이 하나다 — 되돌리기 쉬운 것부터. 앞선 글들에서 본 압축 사다리가 그대로 강등 순서가 된다.
되돌리기 쉬운 순서
①은 검색 문서를 평가로 정한 상한까지 줄이는 것이다. 버리는 것이 낮은 순위의 근거라 손실이 가장 작고, 다음 요청에서 다시 검색하면 그대로 돌아온다. ②는 오래된 도구 결과를 축약하는 것인데, 세부 값이 빠지지만 필요하면 도구를 다시 부르면 된다. ③에서 처음으로 대화 자체를 자르고, ④에서 잘라 낸 구간을 요약으로 갈아 끼운다. 요약은 원문을 되살릴 수 없으므로 여기부터가 되돌릴 수 없는 영역이다.
순서가 없으면 그때그때 손에 잡히는 것을 버리게 되는데, 그 자리는 대개 ④다. 요약은 가장 눈에 띄게 줄어드는 수단이라 급할 때 먼저 손이 간다. 하지만 ①과 ②만으로 들어올 요청을 ④로 처리하면, 다시 검색하면 그만이었을 문서를 남기고 다시 얻을 수 없는 대화를 버린 셈이 된다.
조립 지점
이 순서를 문서가 아니라 코드에 두는 것이 중요하다. 문서에만 있으면 급할 때 지켜지지 않고, 무엇보다 조립하는 자리가 여러 곳으로 흩어지면 경로마다 다른 순서로 버리게 된다. 채팅 경로는 이력을 먼저 자르고, 에이전트 경로는 도구 결과를 먼저 자르고, 배치 경로는 아무것도 안 자르고 오류를 던지는 식이다.
def enforce_budget(parts, budget):
steps = [
lambda p: cap_documents(p, max_docs=DOC_CAP), # ①
lambda p: shrink_old_results(p, keep_full=3), # ②
lambda p: drop_old_turns(p, keep_pairs=6), # ③
lambda p: summarize_dropped(p), # ④
]
for i, step in enumerate(steps):
if estimate(parts) <= budget:
return parts, i # 몇 단계까지 갔는지 함께 돌려준다
parts = step(parts)
if estimate(parts) > budget:
raise BudgetExceeded(estimate(parts), budget) # ⑤ 호출부가 결정한다
return parts, len(steps)
요청을 모델에 보내기 직전의 한 함수만 이 일을 하게 하면, 경로가 몇 개로 늘어도 버리는 순서는 하나다. 순서를 바꾸고 싶을 때도 그 리스트 하나만 고치면 된다.
단계 반환값
return parts, i가 이 함수의 두 번째 역할이다. 몇 단계까지 강등했는지를 호출부로 돌려주면 그 값을 로그와 응답 메타데이터에 실을 수 있다. 이게 없으면 강등이 조용히 일어난다 — 답의 품질이 떨어져도 원인이 안 보인다.
호출부는 이 값으로 행동을 바꿀 수도 있다. ④까지 갔다면 답 끝에 "앞부분 대화는 요약본을 바탕으로 답했습니다" 같은 한 줄을 붙이거나, 근거 인용을 요구하는 경로라면 아예 답을 보류할 수 있다. ⑤에 이르러 예외가 나면 그때 무엇을 할지는 함수가 아니라 호출부가 정한다. 같은 초과라도 채팅에서는 사용자에게 묻고, 배치 작업에서는 문서를 나눠 다시 큐에 넣는 것이 맞기 때문이다.
불가침 집합
강등 순서만큼 중요한 것이 그 반대편이다. 어떤 단계에서도 손대지 않는 것들을 불가침 집합이라 부르자. 이 집합을 명시해 두지 않으면, 압박이 심할 때 결국 아무거나 잘린다.
다섯 항목
| 항목 | 왜 남기는가 |
|---|---|
| 시스템 지시 | 없으면 모델이 자기 역할을 잃는다 |
| 최초의 과제 서술 | 에이전트가 무엇을 하던 중인지 모르게 된다 |
| 사용자가 명시한 제약 | 어기면 사용자가 같은 말을 반복하게 된다 |
| 마지막 사용자 메시지 | 이걸 자르면 애초에 답할 것이 없다 |
| 직전 도구 호출과 그 결과 | 짝이 깨지면 대화 구조 자체가 무너진다 |
세 번째 줄이 가장 놓치기 쉽다. "표로 답해 줘", "영어 원문은 번역하지 마" 같은 제약은 대화 초반에 한 번 나오고 다시 안 나온다. 그래서 ③에서 오래된 턴을 자를 때 함께 사라지고, 사용자는 왜 갑자기 형식이 바뀌었는지 모른 채 같은 말을 다시 한다. 제약은 나온 턴에서 떼어 내 따로 들고 다니는 편이 안전하다.
도구 호출의 짝
마지막 줄은 실수가 잦은 자리다. 토큰이 큰 순서로 자르는 코드를 짜면 큰 도구 결과가 먼저 사라지는데, 그 결과에 대응하는 호출 메시지가 남으면 대화가 앞뒤가 안 맞는 상태가 된다. 여러 API가 호출 뒤에 결과가 오지 않은 대화를 형식 오류로 거절하므로, 이 실수는 품질 저하가 아니라 요청 실패로 나타난다. 자를 때는 항상 짝 단위로 자른다.
PROTECTED = ("system", "task_brief", "constraints", "last_user")
def drop_old_turns(parts, keep_pairs):
body = [m for m in parts.messages if m.tag not in PROTECTED]
kept = body[-keep_pairs * 2:] # 사용자·어시스턴트 짝으로만 남긴다
parts.messages = [m for m in parts.messages if m.tag in PROTECTED] + kept
return parts
결과가 너무 커서 짝째로 두기 어렵다면 결과만 지우지 말고 "결과 생략: 표 1,200행, 필요하면 다시 조회"처럼 자리표시로 갈아 끼운다. 짝은 유지되고 모델은 그 값이 한때 있었다는 것을 안다.
집합의 크기
불가침 집합에도 크기가 있다. 강등 사다리를 아무리 내려가도 이 집합은 그대로 남으므로, 이 집합만으로 예산을 넘는 요청은 어떤 강등으로도 구할 수 없다. 사용자가 마지막 메시지에 20만 토큰짜리 문서를 통째로 붙였다면 ①부터 ④까지 다 돌린 뒤에야 ⑤에 닿는데, 그 네 단계는 처음부터 헛수고였다.
그래서 조립을 시작하기 전에 불가침 집합의 크기를 먼저 재고, 그것만으로 입력 예산을 넘으면 사다리를 타지 않고 곧바로 ⑤로 보낸다. 앞의 예시에서라면 불가침 집합이 173,000을 넘는 순간이다. 이렇게 앞에서 거르면 쓸데없는 요약 호출이 사라지고, 사용자에게 돌려줄 답도 빨라진다.
모델별 예산표
경로에 따라 다른 모델을 쓴다면 예산을 상수로 두면 안 된다. 창 크기만 다른 것이 아니라 출력 상한, 토크나이저, 캐시 조건이 전부 다르다.
표의 항목
모델별 표를 하나 두고 조립 함수가 그 표를 읽게 한다. 아래 숫자는 구조를 보이기 위한 예시다.
BUDGETS = {
"fast": {"window": 128_000, "max_output": 4_000, "doc_cap": 8},
"standard": {"window": 200_000, "max_output": 8_000, "doc_cap": 12},
"long": {"window": 1_000_000, "max_output": 16_000, "doc_cap": 20},
}
def input_budget(tier):
b = BUDGETS[tier]
return b["window"] - b["max_output"] - int(b["window"] * SAFETY_RATIO)
표에 넣을 것은 창과 출력 상한만이 아니다. 어느 토크나이저로 세는지, 그 토크나이저의 오차 분포에서 나온 안전 여유가 얼마인지도 모델마다 다르다. 프롬프트 캐시를 쓰는 경로라면 캐시가 붙는 최소 길이와 앞부분이 바뀌면 캐시가 깨진다는 조건도 이 표에 함께 적는다 — 강등 ②가 오래된 도구 결과를 축약하는 순간 그 뒤의 캐시가 전부 무효가 되기 때문이다. 표를 코드 한 곳에 두면 모델을 새로 붙일 때 빠진 칸이 바로 보인다.
문서 상한
doc_cap을 모델마다 따로 둔 것은 그것이 창에 비례하지 않기 때문이다. 창이 여덟 배 크다고 문서를 여덟 배 넣으면 안 된다. 창 안의 위치에 따라 정보가 덜 읽히는 현상은 문서가 늘수록 심해지고, 관련도가 낮은 문서가 늘면 정답 문서가 묻힌다. 표에서 창이 5배 커져도 문서 상한이 12에서 20으로만 오르는 것은 그 때문이다.
그 값은 창 크기가 아니라 평가로 정한다. 문서 수를 4, 8, 12, 20으로 바꿔 같은 질문 세트를 돌리면 대개 어느 지점에서 정확도가 평평해지고, 그 뒤로는 비용만 오른다. 그 꺾이는 지점이 그 모델의 문서 상한이다.
큰 창의 역할
창이 큰 모델로 라우팅하면 예산 문제가 해결되는 것처럼 보이지만, 앞서 본 대로 창이 크다고 그 안의 정보가 다 쓰이지는 않는다. 창이 큰 모델은 넘침을 막는 수단이지 품질을 올리는 수단이 아니다. 강등 사다리를 건너뛰는 용도로 쓰면 비용은 오르고 정확도는 그대로인 조합이 된다.
쓸 자리는 분명하다. 불가침 집합만으로 표준 모델의 예산을 넘는 요청, 곧 원래라면 ⑤로 가야 할 요청을 받아 주는 것이다. ④를 피하려고 올려 보내는 것도 고려할 만하다. 하지만 ①이나 ②로 들어올 요청까지 큰 모델로 보내기 시작하면, 그 경로의 비용이 조용히 몇 배가 되고 지표에서는 강등이 줄어든 것처럼 보여 오히려 좋아진 것으로 읽힌다.
강등의 관측과 분할
강등의 가장 큰 위험은 그것이 조용하다는 점이다. ④단계까지 갔는데도 답은 그럴듯하게 나오고, 사용자는 그 답이 원문 절반을 잃은 상태에서 만들어졌다는 것을 모른다.
세 지표
남길 것은 세 가지다.
- 어느 단계까지 갔는가 — 위 함수가 돌려주는 값을 그대로 지표로 올린다.
- 무엇이 빠졌는가 — 잘라 낸 문서 번호, 축약한 도구 호출 이름 정도면 충분하다.
- 추정과 실제의 차이 — 응답의 사용량 정보와 조립 시점 추정값을 함께 남긴다.
둘째 값은 사후 분석에서 쓴다. 사용자가 "아까 말한 조건을 왜 무시했느냐"고 항의한 대화를 열었을 때, 그 조건이 든 턴이 ③에서 잘렸다는 기록이 있으면 원인이 한 줄로 끝난다. 셋째 값은 앞서 본 안전 여유의 분포를 계속 갱신하는 원료다.
경로별 분포
첫 값을 경로별로 집계하면 운영 판단이 바로 나온다. 어떤 경로의 요청 중 30%가 ③단계를 넘어간다면 그 경로는 애초에 예산 설계가 틀린 것이다. 강등 코드를 손볼 것이 아니라 그 경로에서 넣는 것을 줄여야 한다 — 도구 스키마를 덜 붙이거나, 이력 상한을 다시 나누거나, 큰 창 모델로 보내는 조건을 바꾸는 식이다.
반대로 모든 경로가 강등 없이 끝난다면 여유가 과한 것일 수 있다. 안전 여유를 줄이거나 문서 상한을 올려 볼 여지가 있다는 신호다. 건강한 분포는 대부분이 강등 없이 끝나고, 일부가 ①·②에서 멈추고, ③ 이상은 드문 모양이다. 그 모양이 무너지는 날이 대개 사용 패턴이 바뀐 날이다.
작업 분할
사다리 끝의 ⑤단계, 즉 작업을 나누거나 사용자에게 알리는 선택은 패배처럼 보여서 자주 생략된다. 그 대신 요약을 한 번 더 돌리거나 문서를 더 잘라 억지로 창에 밀어 넣는다. 그런데 그 지점을 넘어가면 답의 근거가 남아 있지 않은 상태가 되고, 모델은 근거가 없어도 답을 만든다.
나누는 방식은 자료의 구조를 따른다. 장으로 나뉜 문서라면 장마다 따로 처리해 결과를 모은 뒤 마지막에 한 번 합친다. 이 구성에서는 각 장의 결과가 짧은 요약이나 추출값이라 합치는 단계가 창을 넘지 않는다. 계약서 검토처럼 장 사이를 오가야 하는 과제라면 장별로 관련 조항만 먼저 뽑고, 뽑힌 조항만 다시 한 요청에 넣는다.
되묻는 문구
자동으로 나눌 수 없는 요청이라면 사용자에게 묻는다. 틀린 답을 자신 있게 받는 것보다 "이 문서는 한 번에 처리하기에 너무 깁니다. 장별로 나눠 진행할까요?"를 받는 편이 낫다. 이 문구는 즉석에서 만들지 말고 미리 정해 둔다. 무엇을 넘었는지(문서 길이인지 대화 길이인지), 어떤 선택지가 있는지(나눠 진행, 범위 좁히기, 새 대화 시작)를 함께 적으면 사용자가 다음 행동을 바로 고른다.
정리하면 컨텍스트 예산 관리는 결국 세 문장이다. 넘칠 것을 전제로 순서를 미리 정해 둔다. 그 순서를 코드 한 곳에 두고 절대 안 잘리는 집합을 명시한다. 그리고 강등이 일어났다는 사실이 로그에 남게 한다. 이 셋이 있으면 예산 초과는 장애가 아니라 관측 가능한 정상 동작이 된다. 다음 글에서는 한 걸음 물러나, 애초에 검색으로 골라 넣을지 문서를 통째로 창에 넣을지를 가르는 기준을 본다.
읽어주셔서 감사합니다. 😊

