지난 글까지는 한 번의 요청에 무엇을 넣을지를 다뤘다. 그런데 대부분의 서비스는 한 번으로 끝나지 않는다. 사용자가 계속 물어보고, 에이전트가 도구를 열 번 스무 번 호출한다. 그때부터는 "무엇을 넣을까"가 아니라 "무엇을 계속 들고 갈까"가 문제가 된다.
여기서 턴은 사용자 메시지 하나와 그에 대한 모델의 처리 한 바퀴를 말한다. 에이전트라면 그 한 바퀴 안에 도구 호출과 도구 응답이 여러 번 끼어든다. 그리고 모델은 대화를 기억하지 않으므로, 우리 코드가 매 턴 지금까지의 이력 전체를 다시 묶어 보낸다. 이 「다시 묶어 보내는 이력」을 어떻게 다루느냐가 이 글의 주제다.
이 문제가 까다로운 이유는 증상이 늦게 나타나기 때문이다. 세 번째 턴까지는 아무 이상이 없다가, 스무 번째 턴에서 갑자기 답이 이상해지고 비용 그래프가 튄다. 개발할 때 손으로 돌려 보는 대화는 대개 서너 턴에서 끝나므로, 긴 대화의 문제는 실제 사용자가 붙은 다음에야 드러난다.
누적 비용
제곱 증가
가장 먼저 어긋나는 감각이 여기다. 매 턴 대화 전체를 다시 보내므로, 턴이 하나 늘 때 늘어나는 비용은 그 턴의 크기가 아니라 그 시점까지의 누적 전체다. 턴 의 토큰 수를 라 하면 턴짜리 대화의 총 입력 토큰은 이렇게 된다.
바깥 합은 「몇 번째 요청인가」이고 안쪽 합은 「그 요청에 실려 가는 이력」이다. 첫 요청에는 턴 1만, 둘째 요청에는 턴 1과 2가, 열째 요청에는 턴 1부터 10까지가 실린다. 턴 1은 열 번 실려 가고 턴 10은 한 번 실려 간다. 턴 크기가 평균 로 고르다고 하면 이 값은 , 즉 턴 수의 제곱에 비례한다. 턴이 두 배가 되면 비용은 네 배다.
요금으로 옮기기
숫자를 넣어 보면 감각이 바로잡힌다. 턴당 평균 2,000토큰이라고 하자. 도구 응답이 한두 개 낀 에이전트 턴이면 흔한 크기다.
- 10턴: 토큰
- 40턴: 토큰
턴은 네 배인데 입력 토큰은 열다섯 배쯤이다. 설명을 위해 입력 단가를 100만 토큰당 3달러로 가정하면(실제 단가는 모델과 시점마다 다르다), 열 턴짜리 대화 하나는 약 0.33달러, 마흔 턴짜리는 약 4.9달러다. 하루 1만 대화라면 차이가 하루 수만 달러가 된다. 열 턴에서 감당할 만해 보였다는 이유로 상한 없이 열어 두면, 비용을 정하는 것은 우리가 아니라 가장 오래 붙어 있는 사용자다.
캐시의 한계
프롬프트 캐시는 이전 요청과 앞부분이 글자 하나까지 같은 입력을 다시 계산하지 않고 싸게 처리해 주는 장치다. 멀티턴 대화는 매 턴 앞부분이 그대로이고 뒤에 새 턴만 붙으므로 캐시가 잘 맞는 모양이다. 그래서 캐시가 위의 곡선을 상당히 눌러 준다.
하지만 조건이 있다. 캐시는 앞에서부터 같은 부분까지만 듣는다. 대화 중간의 메시지 하나를 지우거나 고치는 순간, 그 지점부터 뒤는 전부 처음 보는 입력이 된다. 뒤에서 다룰 접기는 바로 그 일을 한다. 그래서 이 글의 모든 결정에는 「창을 줄이는 이득」과 「캐시를 깨는 손해」가 함께 붙어 다닌다.
비용만 늘어나는 것도 아니다. 모델은 입력을 다 읽은 뒤에야 첫 글자를 내놓으므로, 이력이 길수록 사용자가 답의 첫 줄을 보기까지의 시간도 길어진다. 캐시가 맞으면 이 지연도 줄지만, 접기로 캐시가 깨진 턴에서는 그 대화에서 가장 긴 입력을 처음부터 다시 읽는다. 사용자에게는 「스무 턴째에 갑자기 느려졌다」로 보인다.
턴의 구성
네 구성 요소
대화를 줄이려 할 때 대부분 사용자와 모델의 말부터 본다. 그런데 토큰을 세어 보면 비중이 완전히 다르다.
| 구성 요소 | 턴당 크기 | 오래되면 |
|---|---|---|
| 사용자 메시지 | 작다 | 의도가 남아 있어 값지다 |
| 모델의 답 | 중간 | 결론만 남기면 된다 |
| 도구 호출 인자 | 작다 | 무엇을 했는지의 기록이다 |
| 도구 응답 원문 | 아주 크다 | 대부분 다시 안 쓰인다 |
사용자 메시지는 한두 문장이 대부분이다. 모델의 답은 그보다 길지만 수백 토큰을 넘는 일이 드물다. 도구 호출 인자는 함수 이름과 몇 개의 값이라 수십 토큰이다. 반면 도구 응답은 검색 결과 열 건, API 응답 JSON, 파일 내용 전문이 그대로 들어와 한 번에 수천 토큰을 넘긴다.
도구 응답 원문
에이전트 대화에서 토큰의 대부분은 표의 마지막 줄이다. 그 원문이 이력에 그대로 남아 매 턴 다시 실려 간다. 그런데 원문이 다시 필요한 경우는 드물다 — 모델은 이미 그것을 읽고 필요한 부분을 골라 답에 반영했다. 다섯 턴 전에 받은 검색 결과 열 건 가운데 지금 대화에 쓰이는 것은 대개 그때 고른 한두 건이고, 그 내용은 이미 모델의 답 안에 들어 있다.
부피와 쓰임이 이렇게 반대로 가는 것이 도구 응답의 성질이다. 크기는 가장 크고 다시 쓰일 확률은 가장 낮다.
예를 하나 따라가 보자. 숫자는 설명을 위해 지어낸 것이지만 모양은 흔하다. 스무 턴짜리 에이전트 대화에서 사용자 메시지가 턴당 50토큰, 모델의 답이 300토큰, 도구 호출 인자가 40토큰, 도구 응답이 1,500토큰이라면 한 턴 1,890토큰 가운데 도구 응답이 1,500, 곧 8할이다. 스무 턴이 쌓인 이력 약 3만 8천 토큰 중 3만 토큰이 도구 응답이다. 사용자가 한 말을 다 합쳐도 1,000토큰이다.
첫 접기 대상
접기는 이력의 일부를 더 짧은 형태로 바꿔 끼우는 일이다. 원문을 한 줄 요약으로 바꾸거나, 식별자만 남기고 걷어 내거나, 여러 턴을 한 문단으로 묶는다. 무엇을 먼저 접느냐는 위 표가 답한다 — 대화가 아니라 도구 응답의 원문이다.
여기만 손봐도 대부분의 에이전트 대화에서 이력의 절반 이상이 줄어들고, 사용자가 한 말은 하나도 잃지 않는다. 사용자 메시지를 요약하는 것은 그다음, 그것도 정말 모자랄 때의 일이다. 사용자의 말은 짧고, 그 안에 「왜 이 대화를 하는가」가 들어 있다.
접는 방식에도 두 갈래가 있다. 하나는 슬라이딩 창으로, 최근 몇 턴만 남기고 그보다 오래된 턴을 통째로 잘라 내는 방식이다. 구현이 간단하고 모델 호출이 들지 않지만, 잘린 턴에 있던 사실은 흔적 없이 사라진다. 다른 하나는 요약으로, 오래된 턴을 모델에게 맡겨 짧은 문단으로 바꾼다. 사실을 덜 잃는 대신 호출 비용이 들고, 요약이 틀리면 틀린 것이 이후 모든 턴에 실린다. 도구 응답만 골라 한 줄로 바꾸는 것은 그 사이에 있다 — 모델 호출 없이도 할 수 있고(원문의 제목·건수·id만 뽑으면 된다), 대화의 흐름은 그대로 남는다.
접는 시점
턴 수 기준
접는 시점을 정하는 방식은 셋이다. 첫째인 「열 턴마다 접는다」는 구현이 가장 쉽다. 카운터 하나면 된다. 하지만 턴 크기가 제각각이라 실제 압박과 어긋난다. 짧은 질문과 답이 오간 열 턴은 접을 이유가 없고, 큰 파일을 두 번 읽은 두 턴은 이미 넘친다. 턴 수는 압박의 대리 지표일 뿐이고, 그 대리가 맞는 것은 턴 크기가 고를 때뿐이다.
예산 비율
둘째는 입력 예산의 비율로 정하는 방식이다. 쓸 수 있는 입력 크기를 정해 두고, 이력이 그 70% 언저리를 넘으면 접는다. 실제 압박에 반응하므로 대부분의 서비스에서 기본값으로 이쪽이 낫다. 30%를 남겨 두는 것은 다음 턴의 도구 응답이 들어올 자리다. 비율은 보내기 전에 센다. 응답의 사용량 필드로 사후에 알게 되면 이미 넘친 요청을 한 번 보낸 뒤다. 토크나이저로 이력을 미리 세고, 다음 도구 응답의 최대 크기까지 더해서 판단한다.
임계값을 정할 때 따져야 할 것은 창의 여유만이 아니다. 접을 때마다 캐시가 깨지므로, 한 번 접은 뒤 다시 임계에 닿기까지 여러 턴이 지나가도록 잡는다. 임계를 낮게 잡을수록 창은 여유롭지만 자주 접히고, 자주 접힐수록 캐시 적중률이 떨어진다. 그리고 요약을 만드는 접기는 그 자체로 모델 호출이라 공짜가 아니다. 임계 하나에 세 가지 비용이 걸려 있다.
주제 전환
셋째는 사용자가 완전히 다른 주제로 넘어간 지점에서 접는 것이다. 앞의 주제에 쓰인 도구 응답과 중간 판단은 이제 거의 쓰이지 않으므로, 손실이 가장 적은 자리다. 다만 판단이 필요해서 자동화가 어렵고, 잘못 판단하면 방금 하던 얘기를 잃는다. 「아까 그 상품 말인데」 한 문장으로 사용자는 언제든 돌아올 수 있다. 그래서 주제 전환에서 접을 때는 앞 주제를 버리기보다 한 줄 요약과 식별자로 남겨 두는 편이 안전하다. 돌아오면 그 한 줄이 실마리가 된다.
실제로는 예산 비율을 기본으로 두고, 주제 전환을 확실히 알 수 있는 자리(사용자가 새 작업을 명시적으로 시작하는 단추를 누른 경우 등)를 예외로 붙이는 조합을 많이 쓴다.
상태 블록
대화 밖의 사실
접기보다 근본적인 해법이 하나 있다. 대화가 길어지며 잃는 것은 대개 사실 몇 개다 — 사용자의 이름, 고른 상품, 지금까지 확정된 조건. 이것들을 대화 이력에 맡겨 두면 접을 때마다 잃을 위험이 생긴다. 요약이 그 사실을 빠뜨리거나, 다른 말로 바꿔 적거나, 숫자를 반올림한다.
그래서 이런 값은 메시지가 아니라 상태 블록에 담는다. 상태 블록은 세션이 들고 있는 구조화된 값(이름·선택·제약)을 매 턴 글로 다시 그려 입력에 끼워 넣는 조각이다. 이력은 접히고 요약되지만, 상태 블록은 세션 객체에서 새로 만들어지므로 접기의 영향을 받지 않는다.
필드는 그 서비스가 「이것을 틀리면 대화가 무너지는」 값으로 정한다. 예약 상담이면 날짜·인원·지점이고, 코드 에이전트면 작업 중인 저장소·브랜치·건드리면 안 되는 파일이다. 필드가 열을 넘기 시작하면 상태 블록이 또 하나의 이력이 되어 간다는 신호다.
블록은 짧은 글로 그린다. 「[확정된 조건] 날짜: 11월 14일 · 인원: 4명 · 지점: 강남 · 남은 결정: 시간대」처럼 필드 이름과 값을 나란히 적고, 아직 정해지지 않은 것도 「남은 결정」으로 적어 둔다. 비어 있는 칸을 적어 두면 모델이 다음에 무엇을 물어야 할지 알고, 이미 정해진 것을 다시 묻지 않는다. 사용자가 같은 질문을 두 번 받는 것은 긴 대화에서 가장 흔한 불만이다.
블록의 자리
def build_messages(session, user_input):
state = render_state(session.state) # 항상 최신값으로 다시 만든다
history = session.folded_summary + session.recent_turns
return [
{"role": "system", "content": SYSTEM_PROMPT}, # 고정 — 캐시된다
*history, # 접힌 요약 + 최근 턴
{"role": "user", "content": f"{state}\n\n{user_input}"},
]
상태 블록을 마지막 사용자 메시지에 붙인 것이 의도적이다. 이 값은 매 턴 바뀔 수 있으므로 시스템 프롬프트 쪽에 두면 캐시가 매번 맨 앞에서 깨진다. 맨 뒤에 두면 앞의 고정 부분과 이력은 그대로 재사용되고, 바뀌는 것은 늘 새로 계산하던 마지막 조각뿐이다. 모델 입장에서도 가장 가까운 곳에 있어 잘 지켜진다 — 긴 입력의 한가운데보다 끝에 있는 지시가 잘 따라지는 경향이 있다.
확정된 사실
상태 블록에 담을 것은 확정된 사실만이다. 「사용자가 아마 주말을 원하는 듯」 같은 추측이나 중간 판단을 넣으면, 그것이 매 턴 다시 실려 들어와 모델이 그 추측을 사실로 굳힌다. 한 번 블록에 들어간 값은 모델에게 「시스템이 확인해 준 사실」로 읽히기 때문이다.
그래서 블록을 갱신하는 길을 좁혀 둔다. 사용자가 직접 말했거나, 도구가 확인해 돌려준 값만 필드에 쓴다. 모델이 대화에서 짐작한 값은 이력에 남겨 두고 블록에는 올리지 않는다.
접기의 함정
호출과 응답의 짝
접기 구현에서 사고가 나는 자리는 대체로 정해져 있다. 첫째가 짝이다. 도구 호출 메시지와 그 응답은 한 쌍이다. 토큰이 큰 순서로 지우면 응답만 사라지고 호출이 남는다. 그러면 API가 요청을 거부하거나, 모델이 「호출은 했는데 답이 없다」고 읽고 같은 호출을 다시 한다. 접기는 언제나 쌍 단위로, 그리고 턴 단위로 한다. 한 번에 도구를 여럿 부르는 병렬 호출이면 짝이 셋, 넷이 한 덩어리가 된다. 그중 하나만 접으면 남은 것들과 순서가 어긋나므로, 한 턴 안의 호출·응답은 함께 접거나 함께 남긴다. 접기 함수가 받는 단위를 메시지가 아니라 턴으로 정해 두면 이 실수가 구조적으로 막힌다.
식별자
둘째는 되찾을 길이다. 도구 응답 원문을 버릴 때 식별자만은 남긴다. [검색 결과 12건 — 요약: …, id=srch_8821]처럼 적어 두면 모델이 필요할 때 그 id로 다시 불러올 수 있다. 원문을 다시 가져오는 조회 도구가 하나 있어야 이 방식이 성립한다. 버린 원문은 실제로 지우는 것이 아니라 세션 저장소로 옮기는 것이다. 모델의 입력에서는 빠지지만 id로 찾을 수 있게 그 세션이 끝날 때까지 보관한다. 이렇게 두면 접기는 손실이 아니라 「안 보이는 곳으로 치우기」가 되고, 모델이 되찾는 비용은 조회 한 번이다.
식별자 없이 「이전 결과 생략」이라고만 적으면 모델은 무엇이 있었는지 모른다. 사용자가 「아까 세 번째 결과」를 물으면 지어내거나, 검색을 처음부터 다시 돈다.
캐시 경계
셋째가 가장 놓치기 쉽다. 캐시 경계는 앞 요청과 글자가 같은 앞부분이 끝나는 자리, 곧 캐시가 듣는 마지막 지점이다. 접을 때마다 그 지점 앞의 이력이 바뀌므로 경계가 위로 끌려 올라가고 그 아래가 전부 다시 계산된다. 그러니 접는 지점은 되도록 아래로만 움직인다.
「요약을 매 턴 갱신해서 최신으로 유지한다」는 그럴듯하게 들리지만, 그렇게 하면 요약이 매 턴 바뀌어 경계가 매 턴 요약 앞까지 올라가고 캐시가 한 번도 적중하지 않는다. 요약은 접는 순간 한 번 만들고 그다음부터는 건드리지 않는다. 다음에 또 접을 때는 옛 요약을 고쳐 쓰지 않고, 그 아래에 새 요약을 덧붙인다. 요약이 여러 조각으로 쌓이는 것이 보기에는 덜 깔끔하지만, 그 조각들 위쪽은 접기 이후로 한 글자도 안 바뀌므로 계속 캐시에 맞는다. 조각이 너무 많아지면 그때 한 번 크게 다시 묶고, 그 한 번의 캐시 손해는 받아들인다.
지시 충돌
한 창의 두 지시
긴 대화의 마지막 함정은 비용이 아니라 지시 충돌이다. 다섯 번째 턴에서 "간결하게 답해"라고 했고 스무 번째 턴에서 "자세히 설명해"라고 하면, 두 지시가 같은 창 안에 함께 있다. 모델은 대체로 뒤엣것을 따르지만 확실하지는 않다. 특히 옛 지시가 여러 번 되풀이됐거나 강하게 적혀 있으면, 한 번 나온 새 지시를 이기기도 한다. 사용자는 자기가 마지막에 한 말이 지금의 규칙이라고 믿으므로, 모델이 옛 지시를 따르면 그것은 「말을 안 듣는다」로 읽힌다. 지시가 형식(길이·말투·언어)에 관한 것일수록 충돌이 잦다. 사실은 대개 바뀌지 않지만 선호는 대화 중에 몇 번이고 바뀐다.
요약의 승격
이 문제는 접기로 해결되지 않는다 — 오히려 나빠진다. 요약을 만드는 모델은 옛 턴의 「간결하게 답해」를 「사용자는 간결한 답을 선호함」처럼 고정된 성향으로 정리한다. 원래는 그때 한 번의 요청이었던 것이 요약 안에서 사용자의 속성으로 승격되고, 요약은 건드리지 않으므로 대화가 끝날 때까지 살아남는다. 스무 번째 턴의 「자세히」는 그 속성과 싸워야 한다.
지시 필드
그래서 지시성 발화는 요약에 넣지 말고 상태 블록의 한 필드로 관리한다. 「답의 길이: 간결」 같은 칸을 두고, 새 지시가 오면 값을 덮어쓴다. 창 안에는 지금 유효한 지시 하나만 남고, 옛 지시는 이력에서 접혀도 블록에서 이미 지워져 있다.
요약을 만드는 프롬프트에도 「사용자의 형식·어조 요청은 요약에 적지 말 것」을 적어 둔다. 지시를 다루는 길이 둘이면 언젠가 둘이 갈린다.
측정
턴 로그
여기까지의 결정은 전부 우리 트래픽의 모양에 기댄다. 그러니 재는 것부터 둔다. 대화마다 턴 수, 턴마다 입력 토큰과 그중 도구 응답의 몫을 로그에 남긴다. 턴당 입력이 얼마씩 느는지, 곧 턴당 증가량 를 보면 접기가 필요한지가 보인다. 대부분의 대화가 다섯 턴 안에 끝나는 서비스라면 접기보다 도구 응답을 줄이는 것이 먼저다. 반대로 상위 몇 퍼센트의 대화가 수십 턴을 넘기면 비용의 대부분이 그쪽에서 나온다. 평균은 이 꼬리를 감춘다. 턴 수의 중앙값과 함께 상위 1%·5%의 턴 수를 보고, 대화별 입력 토큰을 큰 쪽부터 줄 세워 상위 몇 퍼센트가 전체의 몇 할을 차지하는지 센다.
접기 빈도와 캐시
접기를 넣었으면 몇 턴마다 접히는지와 캐시 적중률을 나란히 본다. 둘은 반대로 움직인다. 접기가 매 두세 턴마다 일어나고 적중률이 떨어졌다면 임계가 너무 낮거나 접는 지점이 위로 올라가고 있는 것이다. 접는 데 쓴 모델 호출 비용도 함께 더해야 실제 이득이 나온다. 예컨대 접기 전후로 대화당 입력 토큰이 절반으로 줄었는데 적중률이 8할에서 4할로 떨어졌다면, 캐시 할인을 받던 몫이 정가로 돌아와 실제 청구액은 거의 그대로일 수 있다. 토큰 수가 아니라 청구되는 금액으로 비교해야 하는 이유다.
고정 질문 묶음
비용만 재면 「많이 접을수록 좋다」로 기운다. 답이 유지되는지는 따로 재야 한다. 대화 초반에 확정한 사실을 스무 턴 뒤에 묻는 고정 질문을 몇 개 만들어 두고, 접기 설정을 바꿀 때마다 돌린다. 「처음에 말한 인원이 몇 명이었나요」에 맞게 답하는지, 중간에 바꾼 지시를 따르는지가 기준이다. 질문 묶음은 실제 로그에서 긴 대화 몇 개를 골라 사람이 정답을 달아 만든다. 열 개 남짓이면 충분하다 — 목적은 점수를 내는 것이 아니라, 설정을 바꾼 뒤 전에 맞던 질문이 틀리기 시작하는 순간을 잡는 것이다. 틀린 질문이 나오면 그 대화에서 무엇이 접혔는지를 로그로 거슬러 올라가 본다. 대개 상태 블록에 있어야 할 사실이 이력에만 있다가 접힌 자리다.
정리하면 긴 대화의 관리는 세 갈래다. 도구 응답 원문처럼 부피는 크고 재사용은 안 되는 것을 먼저 접는다. 잃으면 안 되는 사실과 지금 유효한 지시는 대화가 아니라 상태 블록에 둔다. 그리고 접는 지점은 캐시 경계를 아래로만 밀도록 정한다. 이 셋이 지켜지면 대화가 마흔 턴을 넘겨도 비용 곡선과 답의 품질이 함께 무너지지 않는다. 그런데 이 모든 입력의 맨 앞에는 한 번도 접히지 않는 조각이 하나 있다 — 시스템 프롬프트다. 다음 글에서는 그 고정 지시문에 무엇을 어디까지 적을지 본다.
읽어주셔서 감사합니다. 😊

