에이전트·RAG

AGENT / 41번째 글

캐시가 듣는 프롬프트와 듣지 않는 프롬프트

프리픽스 캐싱이 실제로 무엇을 저장하고 어떤 조건에서 히트하는지, 캐시를 깨는 흔한 패턴과 손익분기 계산법, 에이전트 루프에서 캐시를 살려 두는 배치 순서를 정리합니다.

PALDYN Team29 MIN READ

지난 글에서 창을 키운다고 다 읽히는 것이 아니라는 얘기를 했다. 그런데 컨텍스트에는 줄일 수 없는 부분도 있다. 시스템 프롬프트와 도구 스키마는 요청마다 토씨 하나 다르지 않게 똑같이 들어간다. 도구를 스무 개 붙인 에이전트라면 이 고정분만 5,000토큰이 넘어가고, 사용자가 한 줄짜리 질문을 던질 때도 그 5,000토큰을 통째로 다시 계산한 값을 낸다. 프리픽스 캐싱은 정확히 이 반복을 없애는 장치이고, 잘 붙이면 비용이 절반 아래로 떨어지고 첫 응답까지의 시간도 같이 줄어든다. 다만 붙였다고 저절로 듣지는 않는다.

키·값 캐시

프리필과 디코드

모델이 답을 만들 때는 두 단계를 거친다. 입력 전체를 한 번에 읽어 토큰마다 키·값 벡터를 계산하는 프리필 단계, 그리고 그 값을 참조하며 출력을 한 토큰씩 뽑는 디코드 단계다. 키·값 벡터는 어텐션이 앞 토큰들을 돌아볼 때 쓰는 재료이고, 프리필은 그 재료를 입력 전체에 대해 한꺼번에 만드는 일, 디코드는 만들어 둔 재료를 읽으면서 한 글자씩 덧붙이는 일이다.

입력이 길어질 때 무거워지는 쪽은 프리필이다. 디코드는 출력 길이에 비례하고, 출력은 대개 수백 토큰에서 끝난다. 반면 프리필은 입력 길이에 비례해 늘어나고, 도구 스무 개와 긴 지시문이 붙은 에이전트에서는 입력이 출력의 열 배를 넘기 쉽다. 첫 글자가 나오기까지 기다리는 시간의 대부분이 바로 이 프리필이다. 그러니 같은 입력을 매번 다시 프리필하는 것이 줄일 수 있는 가장 큰 낭비가 된다.

숫자로 한 번 보자. 시스템 지시 1,500토큰, 도구 스키마 3,500토큰, 대화 이력 2,000토큰에 사용자 질문 50토큰이 붙은 요청이라면 입력은 7,050토큰이다. 이 가운데 요청마다 실제로 새로 들어온 것은 질문 50토큰과 직전 턴의 답 정도이고, 나머지 7,000토큰 가까이는 바로 앞 요청에서 이미 한 번 계산한 것이다. 캐시가 없으면 그 7,000토큰을 매번 처음부터 다시 프리필한다.

계산 상태의 저장

프리픽스 캐싱은 이 프리필 결과, 즉 앞쪽 토큰들의 키·값 벡터를 저장해 두었다가 다음 요청에서 재사용하는 장치다. 여기서 프리픽스는 요청의 맨 앞에서부터 이어지는 토큰 열을 가리킨다. 그래서 캐시는 「이 문장을 본 적 있다」가 아니라 「이 토큰 열까지의 계산 상태를 들고 있다」에 가깝다. 문장을 기억하는 것이라면 비슷한 문장에도 들을 법하지만, 계산 상태를 들고 있는 것이라 같은 계산이 아니면 하나도 못 쓴다.

이 차이가 뒤에 나오는 실수 대부분의 뿌리다. 사람 눈에는 「거의 같은 프롬프트」가 캐시 눈에는 첫 번째로 다른 토큰에서 끝나는 별개의 프롬프트다.

앞에서부터, 토큰 단위로

여기서 두 가지 성질이 따라 나온다.

첫째, 앞에서부터만 재사용된다. 한 토큰의 키·값은 그 앞의 모든 토큰에 의존하므로, 중간이 바뀌면 그 뒤는 전부 쓸모없어진다. 문서 세 개를 넣었는데 두 번째만 갈아 끼워도 세 번째의 캐시는 무효다. 세 번째 문서의 글자가 하나도 안 바뀌었어도 그 앞의 계산이 달라졌기 때문이다.

둘째, 비교는 토큰 단위로 정확히 일치해야 한다. 공백 하나, 줄바꿈 하나가 다르면 토큰 열이 달라져 그 자리에서 끊긴다. 키 순서만 다른 두 JSON은 뜻이 같아도 다른 프리픽스다.

캐시가 어디까지 붙는지를 정하는 방식은 제공자마다 다르다. 어떤 곳은 요청을 보낼 때마다 앞에서부터 일치하는 구간을 알아서 찾아 재사용하고, 어떤 곳은 「여기까지 캐시하라」는 표시를 메시지에 직접 달게 한다. 표시를 다는 쪽이면 그 표시가 놓인 자리까지가 한 덩어리로 저장되므로, 표시를 바뀌는 블록 뒤에 달면 그 덩어리 전체가 매번 새로 쓰인다. 어느 방식이든 두 성질은 그대로다. 자동이라고 해서 중간이 바뀐 프리픽스를 살려 주지는 않는다.

프리픽스 캐시가 갈라지는 지점

캐시를 깨는 패턴

앞에 놓인 변수

실제 시스템에서 캐시 히트율이 낮을 때 원인은 거의 정해져 있다. 아래 표의 왼쪽은 전부 「이 정도는 괜찮겠지」 싶은 한 줄이다.

캐시를 깨는 것 왜 깨지는가 고치는 법
시스템 프롬프트의 현재 시각 요청마다 달라지는 토큰이 맨 앞에 있다 마지막 사용자 메시지 쪽으로 옮긴다
사용자 이름·조직 ID를 앞에 삽입 사용자마다 프리픽스가 갈린다 공통 지시를 앞, 개인화를 뒤로
도구 목록을 딕셔너리 순회로 생성 순서가 실행마다 흔들린다 이름순으로 정렬해 고정한다
JSON 직렬화 옵션이 호출부마다 다름 공백·키 순서가 달라진다 직렬화 함수를 한 곳으로 모은다
검색 문서를 시스템 프롬프트에 합침 요청마다 바뀌는 것이 앞에 온다 문서는 항상 이력 뒤에 둔다
이력이 넘칠 때 앞부터 잘라냄 자를 때마다 프리픽스가 새로 바뀐다 뒤에서 붙이고 앞은 되도록 고정

가장 흔한 것이 첫 두 줄이다. 시스템 프롬프트 첫 줄에 「오늘은 2026년 8월 12일 14시 3분입니다」를 넣으면 분이 바뀔 때마다 프리픽스가 새로 생긴다. 시각이 필요한 지시라면 마지막 사용자 메시지 앞에 한 줄로 붙여도 모델은 똑같이 읽는다. 사용자 이름도 같다. 「김철수 님을 돕는 비서입니다」로 시작하면 사용자 수만큼 캐시가 갈리고, 사용자마다 첫 요청은 늘 쓰기 비용을 낸다.

흔들리는 순서와 직렬화

셋째·넷째 줄은 사람이 쓴 문장이 아니라 코드가 만든 문자열에서 생긴다는 점이 다르다. 도구 목록을 설정 파일에서 읽어 집합에 담았다가 꺼내면, 실행 환경에 따라 순서가 달라질 수 있다. 개발 환경에서는 늘 같은 순서로 나와 아무 문제가 없다가, 여러 프로세스로 띄운 운영 환경에서만 프로세스마다 순서가 갈리는 식이다. 직렬화도 마찬가지다. 한 호출부는 들여쓰기를 두 칸으로, 다른 호출부는 들여쓰기 없이 스키마를 문자열로 만들면 두 경로가 같은 도구를 쓰면서도 캐시를 하나도 나눠 갖지 못한다.

이 두 줄이 고약한 것은 결과가 정상이라는 점이다. 모델은 순서가 달라도 같은 도구를 같은 방식으로 부르고, 답도 똑같이 나온다. 달라지는 것은 청구서뿐이다.

표의 여섯 사례 가운데 마지막을 뺀 다섯은 모두 바뀌는 것을 앞에 두었다는 한 가지 실수의 변형이다. 시각·사용자·검색 문서는 요청마다 바뀌는 내용이고, 도구 순서와 직렬화 공백은 바뀔 이유가 없는데 코드가 흔들어 놓은 것이다. 어느 쪽이든 답은 같다. 고정된 것은 앞으로 모으고 진짜로 고정시키며, 바뀌는 것은 뒤로 보낸다. 마지막 줄은 에이전트 루프에서 다시 본다.

유효 시간과 최소 길이

캐시에는 유효 시간도 붙는다. 제공자마다 다르지만 수 분 단위인 경우가 많고, 같은 프리픽스를 다시 쓰면 시간이 연장되는 방식이 흔하다. 그래서 사용자가 드문드문 오는 서비스는 히트율이 구조적으로 낮다. 하루에 몇십 번 불리는 사내 도구라면 요청 사이가 유효 시간보다 길어서 매번 캐시를 새로 쓰고, 한 번도 읽지 못한 채 만료되기를 되풀이한다. 이런 경로는 캐시를 붙이면 쓰기 웃돈만 내는 상태가 된다. 트래픽이 몰리는 경로부터 캐시를 붙이는 편이 낫다. 유효 시간을 길게 잡는 선택지를 주는 제공자도 있는데, 대개 쓰기 웃돈이 더 붙는다. 요청 사이 간격의 분포를 먼저 보고, 간격 대부분이 짧은 유효 시간 안에 들어오면 기본값으로 두고, 그보다 길지만 하루 안에 여러 번 오는 경로에만 긴 쪽을 고른다.

최소 길이 조건도 있다. 너무 짧은 프리픽스는 캐시 관리 비용이 이득보다 커서 아예 캐시되지 않는다. 고정분이 수백 토큰밖에 안 되는 단순 분류 작업이라면 캐싱을 켜도 아무 일이 안 일어난다. 정확한 문턱과 유효 시간은 제공자와 모델마다 다르고 바뀌기도 하므로 쓰는 쪽 문서에서 그때그때 확인한다.

손익분기

쓰기와 읽기의 배수

캐시는 공짜가 아니다. 대개 캐시에 쓰는 첫 요청은 정가보다 비싸고, 이후 읽는 요청은 크게 싸다. 정가를 1로 두고 쓰기 배수를 rwr_w, 읽기 배수를 rrr_r이라 하면 같은 프리픽스를 NN번 쓸 때의 총비용은 이렇게 된다.

Ccache(N)=rw+rr(N−1),Cplain(N)=NC_{\text{cache}}(N) = r_w + r_r (N - 1), \qquad C_{\text{plain}}(N) = N

두 값이 같아지는 지점이 손익분기다.

N∗=rw−11−rrN^{*} = \frac{r_w - 1}{1 - r_r}

쓰기가 정가의 1.25배, 읽기가 정가의 0.1배인 조건을 예로 넣으면 N∗≈0.28N^{*} \approx 0.28이 나온다. 한 번 쓰고 한 번만 다시 읽어도 이미 이득이라는 뜻이다. 열 번 쓰면 캐시 없이는 10을 내고 캐시로는 2.15를 내니, 프리픽스 부분의 비용이 5분의 1 남짓으로 준다. 반대로 읽기 할인이 크지 않은 조건이라면 손익분기가 몇 번씩 올라가고, 그때는 재사용이 확실한 경로에만 붙여야 한다. 배수 자체는 제공자의 요금표가 정하므로, 계산에 넣기 전에 그 값부터 확인한다.

손해가 나는 경로

여기서 놓치기 쉬운 것은 손해가 재사용 횟수가 아니라 쓰기 웃돈에서 난다는 점이다. 한 번 쓰고 다시 안 오는 프리픽스에 캐시를 켜면 매번 rwr_w를 낸다. 프리픽스가 사용자마다 갈리는 구조라면 사용자 한 명이 유효 시간 안에 두 번 이상 오지 않는 한 캐시를 켠 쪽이 오히려 비싸진다.

그래서 손익은 요금표가 아니라 트래픽의 모양이 정한다. 같은 프리픽스가 유효 시간 안에 몇 번 다시 오는지를 경로별로 세어 보면, 그 값이 N∗N^{*}보다 확실히 큰 경로가 캐시를 붙일 곳이다. 이 횟수는 짐작하기보다 로그로 세는 편이 정확하고, 그 방법은 마지막 절에서 다룬다.

경로를 나눠 보면 대개 그림이 갈린다. 상담 챗봇처럼 시스템 지시와 도구가 모든 사용자에게 같은 경로는 초당 여러 번 같은 프리픽스가 다시 오므로 캐시가 거의 공짜로 듣는다. 사용자별 장문 문서를 앞에 붙여 요약하는 경로는 같은 문서가 다시 오는 일이 드물어 웃돈만 쌓인다. 둘이 한 서비스 안에 섞여 있으면 전체 평균은 그럭저럭 이득으로 보이는데, 그 평균이 손해 보는 경로를 가린다. 캐시를 켜고 끄는 단위를 서비스 전체가 아니라 경로로 잡아야 하는 까닭이 여기 있다.

배치 순서

메시지 조립 함수

규칙이 하나뿐이니 코드도 단순하다. 메시지를 만드는 자리를 한 함수로 모으고, 그 안에서 순서를 못 박는다.

def build_messages(user_input, history, docs, now):
    system = [
        {"role": "system", "content": STATIC_INSTRUCTIONS, "cache": True},
        {"role": "system", "content": render_tools(sorted(TOOLS)), "cache": True},
    ]

    # 바뀌는 것은 전부 이 아래로. 시각도 예외가 아니다.
    tail = list(history)
    if docs:
        tail.append({"role": "user", "content": render_docs(docs)})
    tail.append({"role": "user", "content": f"[{now}]\n{user_input}"})

    return system + tail

sorted(TOOLS)가 한 줄짜리 방어다. 도구를 딕셔너리나 집합에서 꺼내 쓰는 코드는 실행마다 순서가 달라질 수 있고, 그러면 스키마 블록의 첫 글자부터 프리픽스가 갈린다. 렌더링 함수를 한 곳에 두는 것도 같은 이유다 — 호출부마다 json.dumps의 옵션이 조금씩 다르면 눈에 안 보이는 공백 차이로 캐시가 안 듣는다.

이 함수가 하나뿐이어야 하는 이유는 규칙이 코드 리뷰로는 지켜지지 않기 때문이다. 메시지를 만드는 자리가 세 군데면 누군가 셋째 자리에 시각을 앞에 붙이고, 그 경로만 히트율이 떨어진다. 한 함수에 모아 두면 지켜야 할 자리도 하나다. 그 함수에 시험을 하나 붙여 두면 더 좋다. 같은 입력으로 두 번 불러 앞쪽 블록의 문자열이 바이트까지 같은지 견주는 시험이다. 도구 순서가 흔들리거나 직렬화 옵션이 갈리면 그 자리에서 빨간 줄이 선다. 배치 순서를 정리하면 위에서부터 시스템 지시, 도구 스키마, 고정 예시, 대화 이력, 검색 문서, 이번 질문이다. 위의 셋은 배포 사이에 안 바뀌고, 아래로 갈수록 자주 바뀐다. 고정 예시는 퓨샷으로 넣는 입출력 예이고, 지시만큼 길면서도 거의 안 바뀌므로 지시 바로 뒤에 붙인다. 이 순서를 바꿀 일이 생기면 그것은 배포 한 번으로 캐시 전체를 새로 쓰는 일이라는 것도 알아 둔다 — 시스템 지시의 오타 하나를 고친 배포 직후에는 모든 경로가 한동안 쓰기만 한다.

고정과 품질의 맞바꿈

캐시를 살리려다 품질을 깎는 자리도 있다. 대표적인 것이 검색 문서의 순서다. RAG에서 근거 청크를 관련도순으로 붙이면 질문마다 순서가 달라 캐시가 거의 안 듣는다. 그래서 청크를 문서 식별자순으로 다시 정렬해 자리를 고정하면, 같은 문서를 자주 집는 서비스에서는 문서 블록까지 캐시가 이어진다.

다만 이때 가장 관련 있는 청크가 맨 뒤로 갈 수도 있다. 긴 입력의 가운데가 덜 읽힌다는 이야기를 도입에서 짚은 앞 글에서 했는데, 정렬을 바꾸는 순간 그 효과를 그대로 떠안는다. 이 맞바꿈은 한쪽으로 정해 둘 수 있는 것이 아니라 재 봐야 하는 것이다. 정렬 전후로 답의 품질을 평가 묶음으로 견주고, 히트율이 오른 만큼 품질이 안 떨어질 때만 고정한다. 개인화도 같다. 사용자 정보를 뒤로 보내면 캐시는 살지만, 그 정보를 지시보다 먼저 읽어야 맞게 답하는 작업이라면 순서가 품질을 정한다.

에이전트 루프

덧붙이는 모양

에이전트는 한 과제를 푸는 동안 같은 대화에 도구 호출과 결과를 계속 덧붙인다. 이 모양은 캐시에 아주 유리하다. 앞부분이 그대로 남고 뒤에만 붙으므로, 매 턴 직전 턴까지가 통째로 히트한다. 열 걸음짜리 과제라면 둘째 걸음부터는 새로 계산하는 것이 직전 걸음에서 덧붙인 도구 결과와 이번 응답 정도뿐이다. 걸음이 길어질수록 입력에서 캐시로 읽는 몫이 커지니, 에이전트야말로 프리픽스 캐싱의 이득이 가장 큰 쓰임새다.

앞에서 든 7,050토큰짜리 요청을 출발점으로 열 걸음을 돌린다고 해 보자. 걸음마다 도구 결과와 응답이 합쳐 800토큰씩 붙는다면 마지막 걸음의 입력은 14,000토큰을 넘는다. 캐시가 없으면 열 걸음 동안 프리필하는 토큰이 다 합쳐 10만 남짓이고, 캐시가 들으면 새로 계산하는 것은 첫 걸음의 7,050토큰과 그 뒤 걸음마다 덧붙인 800토큰뿐이라 1만 5천 토큰 안쪽으로 줄어든다. 나머지는 캐시에서 싸게 읽힌다.

앞에서 자르기

문제는 이력이 창을 넘칠 때 생긴다. 오래된 턴을 앞에서부터 잘라내는 것이 가장 자연스러운 대응인데, 이렇게 하면 자를 때마다 프리픽스의 시작점이 바뀌어 그 시점 이후 전부가 미스가 된다. 시스템 지시와 도구 스키마는 그대로 남아도, 그 바로 뒤의 첫 이력 턴이 달라졌으므로 이력 전체를 다시 프리필한다. 컨텍스트를 아끼려던 조치가 비용을 올리는 셈이다.

덧붙이기와 앞에서 자르기

매 턴 한 턴씩 밀어내는 방식이 가장 나쁘다. 창이 꽉 찬 뒤로는 모든 턴이 이력 전체를 다시 계산하므로, 가장 긴 입력을 가장 비싼 방식으로 매번 내게 된다. 창이 꽉 찬 상태에서는 입력이 창 크기에 붙어 있으므로, 한 턴 밀 때마다 창 하나 분량을 통째로 다시 쓰기 비용으로 내는 셈이다. 캐시를 아예 안 켠 것보다도 나쁘다 — 쓰기에는 웃돈이 붙기 때문이다.

세 가지 완화

이 충돌을 줄이는 방법은 셋이다.

  • 자르는 빈도를 낮춘다. 한 턴 넘칠 때마다 조금씩 자르는 대신, 임계에 닿으면 넉넉히 한 번에 잘라 다음 무효화까지의 간격을 벌린다. 열 턴마다 한 번 깨지는 편이 매 턴 깨지는 것보다 낫다.
  • 자른 자리를 요약으로 고정한다. 잘라낸 구간을 요약 한 덩어리로 바꿔 시스템 블록 바로 뒤에 두면, 그 요약이 갱신되기 전까지는 다시 안정적인 프리픽스가 된다.
  • 긴 도구 결과는 처음부터 짧게 받는다. 애초에 넘치지 않으면 자를 일도 없다.

셋 가운데 마지막이 가장 확실하다. 앞의 둘은 깨지는 횟수를 줄일 뿐이고, 마지막은 자를 일 자체를 없앤다. 넣기 전에 줄이는 방법들이 다음 글의 주제다.

히트율

캐시 토큰 기록

캐싱은 켜 두고도 안 듣는 일이 흔한데, 결과가 정상적으로 나오기 때문에 아무도 모른 채 몇 달이 지나가기 쉽다. 응답 메타데이터에 캐시 읽기·쓰기 토큰 수가 실려 오므로 이것을 로그로 남기면 된다.

usage = response.usage
log.info(
    "cache",
    read=usage.cache_read_input_tokens,
    write=usage.cache_creation_input_tokens,
    fresh=usage.input_tokens,
    route=route_name,
)

필드 이름은 제공자마다 다르지만 담긴 것은 같다. 캐시에서 읽은 토큰, 캐시에 새로 쓴 토큰, 캐시 없이 계산한 토큰의 셋이다. 여기에 경로 이름을 함께 남겨 두는 것이 핵심이다. 경로 없이 전체 평균만 보면 잘 붙은 큰 경로가 새는 작은 경로를 가린다.

경로별 진단

보는 값은 하나, 히트율이다. 전체 입력 토큰 중 캐시에서 읽힌 비율이다.

H=TreadTread+Twrite+TfreshH = \frac{T_{\text{read}}}{T_{\text{read}} + T_{\text{write}} + T_{\text{fresh}}}

경로별로 이 값을 찍어 두면 어디가 새는지 바로 보인다. 고정분이 큰 에이전트 경로인데 HH가 0.2 언저리에 머물면 십중팔구 위 표의 어느 한 줄에 걸려 있다. 쓰기 토큰이 읽기 토큰보다 늘 많다면 프리픽스가 요청마다 새로 생긴다는 뜻이니 앞쪽 블록부터 의심하고, 쓰기와 읽기가 둘 다 작고 새로 계산한 토큰만 크다면 최소 길이에 못 미치거나 캐시 표시를 빠뜨린 것이다. 반대로 값이 0.8을 넘는 경로는 이미 잘 붙은 것이므로, 거기서 더 짜내기보다 다른 항목을 손보는 편이 이득이 크다.

측정 없이 캐싱을 논하면 대개 프롬프트 순서를 두고 취향 다툼이 된다. 히트율 하나만 로그에 있으면 그 논쟁이 사실 확인으로 바뀐다. 배포 전후로 경로별 HH를 견주는 것만으로도, 누군가 시스템 프롬프트 맨 앞에 무언가를 붙인 날을 그날 안에 알아챌 수 있다.

실제로 한 번 따라가 보면 이렇다. 어느 에이전트 경로의 히트율이 지난주 0.75에서 이번 주 0.18로 떨어졌고, 쓰기 토큰이 읽기 토큰의 네 배가 됐다. 그 주의 배포를 훑어 보니 시스템 지시에 「응답 언어: {user_locale}」 한 줄이 맨 앞에 추가되어 있었다. 언어별로 프리픽스가 갈린 것이다. 그 줄을 마지막 사용자 메시지 쪽으로 옮기자 다음 날 히트율이 원래 자리로 돌아왔다. 답의 품질은 두 배포 사이에 차이가 없었고, 달라진 것은 입력 비용과 첫 글자까지의 시간뿐이었다. 히트율 그래프가 없었다면 이 한 줄은 다음 분기 청구서에서야 드러났을 것이다.


읽어주셔서 감사합니다. 😊

LATEST

에이전트·RAG의 최신 글

에이전트·RAG2026.08.23

에이전트는 어디서 어긋나기 시작하는가

에이전트가 이상한 답을 낼 때 증상은 마지막에 보이지만 어긋난 자리는 그보다 앞입니다. 한 걸음이 무너지는 여섯 자리를 나누고, 증상에서 원인을 거슬러 찾는 방법과 자리별 처방을 정리합니다.

29 MIN
에이전트·RAG2026.08.23

에이전트가 무엇을 했는지 나중에 알 수 있게 만들기

에이전트는 같은 입력에도 다른 경로로 갑니다. 그래서 로그 몇 줄로는 왜 그렇게 됐는지 복원이 안 됩니다. 트레이스를 어떻게 나누고 구간마다 무엇을 붙이며 어떤 지표를 볼지 정리합니다.

29 MIN
에이전트·RAG2026.08.23

에이전트 비용은 걸음 수보다 빨리 늘어난다

걸음이 두 배면 비용은 두 배가 아니라 서너 배입니다. 왜 그렇게 되는지, 어디서 새는지, 상한을 몇 겹으로 어떻게 거는지와 실제로 효과가 큰 순서대로의 대응을 정리합니다.

13 MIN