에이전트·RAG

AGENT / 42번째 글

넣기 전에 줄이는 방법들

컨텍스트 압축을 손실 크기 순으로 네 단계로 나누고, 도구 결과의 필드 선별과 형식 교체처럼 손실 없이 절반을 줄이는 방법부터 축약·요약까지의 순서와 검증법을 정리합니다.

PALDYN Team30 MIN READ

지난 글에서 캐싱으로 고정분의 값을 깎는 얘기를 했다. 그런데 캐시는 비용과 지연을 줄여 줄 뿐, 모델이 읽어야 할 양 자체는 그대로다. 그리고 창을 실제로 넘치게 만드는 것은 대개 캐시가 듣지 않는 쪽 — 도구가 돌려준 결과와 검색해 온 문서다. 조회 API 응답을 그대로 대화에 얹는 코드가 두어 군데만 있어도 열 턴 만에 이력의 절반이 JSON 중괄호로 찬다.

여기서 많은 팀이 곧바로 "오래된 부분을 모델에게 요약시키자"로 간다. 그런데 요약은 압축 방법 중 가장 비싸고 가장 되돌리기 어려운 쪽이다. 그 앞에 훨씬 싼 단계가 둘 있고, 그 둘만으로 목표에 닿는 경우가 생각보다 많다.

손실 순서

압축량의 함정

압축 기법을 "얼마나 줄어드는가"로 고르면 언제나 요약이 이긴다. 천 줄짜리 대화를 다섯 문장으로 바꾸는 방법을 이길 수 있는 것은 없다. 그런데 이 기준에는 빠진 질문이 하나 있다 — 줄어든 만큼 무엇이 사라졌는가. 여기서 압축은 모델에게 보내는 컨텍스트의 토큰 수를 줄이는 모든 손질을 말하고, 손실은 그 손질 뒤에 모델이 더는 볼 수 없게 된 사실을 말한다. 압축량과 손실은 함께 움직이는 경향이 있지만 같은 값이 아니다. 같은 30%를 줄여도 공백을 지워서 줄인 30%와 문장을 걷어 내서 줄인 30%는 전혀 다르다.

그래서 기법을 고를 때는 축을 바꾼다. "무엇을 잃는가"로 줄을 세우면 순서가 뒤집히고, 요약은 맨 끝으로 간다.

네 단계

압축 단계와 손실 크기

앞의 둘은 정보를 버리지 않는다. 형식만 바꾸거나 애초에 안 쓰던 값을 빼는 것이라 모델이 볼 수 있는 사실의 집합이 그대로다. 셋째는 정보를 화면에서 내리지만 도구를 다시 부르면 복구된다. 넷째만이 원문을 영영 잃는다.

이 넷은 손실의 성질이 다르기 때문에 검증하는 방법도 다르다. 손실이 없는 둘은 한 번 맞게 짜 두면 거의 다시 볼 일이 없다. 복구가 되는 셋째는 "모델이 복구 경로를 실제로 쓰는가"를 봐야 하고, 되돌릴 수 없는 넷째는 무엇이 빠졌는지를 계속 재야 한다. 단계가 내려갈수록 운영 비용이 붙는다는 뜻이고, 이것이 같은 절감폭이라면 앞 단계를 고르는 또 하나의 이유가 된다.

멈추는 규칙

순서가 정해졌으니 규칙도 단순하다 — 위에서부터 쓰고, 목표에 닿으면 멈춘다. 목표는 "얼마나 줄일 수 있나"가 아니라 "이 요청이 예산 안에 들어가는가"다. 예산 안에 들어왔는데도 다음 단계를 더 돌리는 것은 아무 이득 없이 손실만 사는 일이다.

이 규칙은 거꾸로 보면 진단 도구도 된다. 늘 넷째 단계까지 내려가야 예산에 들어온다면, 압축이 모자란 것이 아니라 앞 단계가 제 몫을 못 하고 있을 가능성이 크다. 그럴 때는 요약을 더 세게 거는 대신 첫째 단계부터 다시 본다.

필드 선별

화면용 응답

가장 흔하고 가장 큰 낭비가 여기 있다. 사내 API든 외부 서비스든 응답에는 그 화면을 그리려고 만든 필드가 잔뜩 들어 있는데, 모델은 그중 서너 개만 본다. 썸네일 주소, 내부 정렬 키, 생성자의 프로필 객체, 링크 묶음 같은 것이 대표적이다. 사람이 쓰는 화면에서는 각각 쓰임이 있었지만 모델에게는 읽어야 할 글자일 뿐이다.

이 필드들은 토큰만 먹는 것이 아니다. 모델은 받은 것 가운데 근거를 고르는데, 고를 후보가 많으면 엉뚱한 값을 집을 확률도 오른다. updated_at과 created_at과 synced_at이 나란히 있으면 "언제 바뀌었나"라는 질문에 셋 중 아무거나 답이 될 수 있다. 필드를 줄이는 일은 비용 절감이면서 동시에 근거를 고르는 자리를 좁히는 일이다.

KEEP = ("id", "title", "status", "owner", "updated_at")

def shape_issues(raw):
    return [
        {k: item[k] for k in KEEP if k in item}
        for item in raw["items"]
    ]

허용 목록

남길 필드를 적는 허용 목록으로 잡는 것이 요령이다. 반대로 뺄 필드를 적는 금지 목록으로 짜면, API가 필드를 하나 늘릴 때마다 그 필드가 조용히 새로 들어온다. 응답을 만드는 쪽은 대개 다른 팀이고, 그 팀은 우리 프롬프트를 모른다. 금지 목록은 그 팀의 배포 일정에 우리 토큰 예산을 맡기는 셈이다.

중첩된 객체는 대개 통째로 뺄 수 있다. author 객체 전체 대신 author.name 한 줄이면 충분한 경우가 압도적으로 많다. 허용 목록에 점 표기로 경로를 적어 두고 평평한 키로 꺼내면, 중첩 깊이에 상관없이 같은 함수 하나로 다룰 수 있다.

허용 목록은 도구마다 하나씩, 그 도구를 정의하는 자리 옆에 둔다. 공통 설정 파일 한 곳에 모아 두면 처음에는 깔끔해 보여도, 도구 설명을 고치는 사람이 그 파일까지 열어 볼 일이 없어 둘이 금방 어긋난다. 도구 설명에 "상태와 담당자를 돌려준다"고 적어 놓고 허용 목록에서 담당자를 빼 버리는 식이다.

상세 조회 도구

여기서 자주 나오는 반론이 있다. "혹시 모델이 그 값을 필요로 하면?" 그럴 때 필요한 것은 필드를 다 넣어 두는 것이 아니라 상세 조회 도구를 하나 더 두는 것이다. 목록 도구는 얇게 돌려주고, 한 건의 전체 내용은 식별자를 받아 돌려주는 도구가 따로 맡는다 — 사람이 쓰는 화면과 같은 설계다. 목록에서 고르고, 고른 것만 열어 본다.

이렇게 나누면 목록에서 아낀 토큰이 그대로 남는다. 상세 조회는 필요한 몇 건에서만 일어나고, 그 결과도 다음 턴에는 아래 셋째 단계의 대상이 된다. 목록 도구의 설명에 "자세한 내용은 상세 조회 도구로 본다"를 한 줄 적어 두면 모델이 그 경로를 찾는다.

형식 교체

형식별 절감폭

같은 사실이라도 어떤 모양으로 적느냐에 따라 토큰 수가 두 배 넘게 벌어진다. 특히 같은 키가 행마다 반복되는 JSON 배열이 그렇다.

표현 30행을 담을 때 성질
JSON 배열 (들여쓰기 포함) 가장 길다 키가 행마다 반복, 공백이 토큰을 먹는다
JSON 배열 (공백 제거) 25~30% 절감 여전히 키가 반복된다
마크다운 표 45~55% 절감 키가 헤더에 한 번, 모델이 읽기도 쉽다
탭 구분 텍스트 55~65% 절감 가장 짧지만 열 의미를 따로 알려 줘야 한다

표의 수는 어림이고 데이터마다 다르다. 자기 데이터로 한 번 재 보는 것이 가장 확실하다 — 같은 응답을 네 형식으로 바꿔 토크나이저에 넣고 토큰 수를 세면 몇 분이면 끝난다. 이때 같은 토크나이저를 써야 한다는 점만 지킨다. 모델 계열마다 토크나이저가 달라 같은 문자열의 토큰 수가 꽤 벌어지고, 특히 한글이 섞인 값은 그 차이가 더 크다. 다른 모델의 토크나이저로 잰 절감폭을 그대로 옮겨 오면 예산 계산이 처음부터 어긋난다. 이 단계도 정보를 버리지 않는다. 행과 열에 든 값은 그대로이고 바뀌는 것은 그 값을 감싼 기호뿐이다.

목록형 데이터

실제 절감폭은 값의 길이에 따라 달라진다. JSON의 낭비는 값마다 붙는 키 이름과 따옴표·중괄호에서 오기 때문에, 그 군더더기가 값에 비해 클수록 바꿀 때 이득이 크다. 값이 길고 필드가 적으면 차이가 작고, 값이 짧고 필드가 많은 목록형 데이터일수록 차이가 커진다. 표로 바꿔서 이득이 큰 쪽은 후자다.

거꾸로 말하면, 긴 본문 한 덩이를 돌려주는 도구에는 이 단계가 거의 듣지 않는다. 문서 검색 결과처럼 산문이 대부분이면 형식을 바꿔도 줄 것이 없고, 그런 결과는 셋째 단계로 바로 간다.

def as_table(rows, cols):
    head = " | ".join(cols)
    sep = " | ".join("---" for _ in cols)
    body = "\n".join(" | ".join(str(r.get(c, "")) for c in cols) for r in rows)
    return f"{head}\n{sep}\n{body}"

표가 깨지는 값

주의할 자리가 둘 있다. 첫째, 값 안에 줄바꿈이나 구분자가 들어가면 표가 깨진다. 이슈 본문 같은 자유 서술 필드에 |나 줄바꿈이 하나만 섞여도 그 행부터 열이 한 칸씩 밀리고, 모델은 밀린 열을 그대로 읽는다. 자유 서술 필드가 섞여 있다면 그 열만 따로 빼거나, 줄바꿈을 공백으로 바꾸고 길이를 잘라 둔다.

둘째, 모델이 그 결과를 그대로 인용해 사용자에게 보여 주는 경로라면 형식을 함부로 바꾸지 않는 편이 낫다. 모델은 대개 받은 모양을 흉내 내서 출력한다. 탭 구분으로 받은 데이터를 사용자에게 탭 구분으로 돌려주거나, 다음 도구 호출의 인자를 표 모양으로 만들려 드는 일이 생긴다. 출력 형식이 중요한 경로에서는 압축 형식과 출력 형식을 시스템 프롬프트에서 따로 못 박아 둔다.

오래된 결과 축약

전문과 한 줄

앞의 둘을 다 하고도 이력이 자란다면, 이제 무엇을 화면에서 내릴지를 정할 차례다. 여기서 축약은 원문을 지우고 그 자리에 "무엇이 있었는지"만 한 줄로 남기는 일이다. 요약과 달리 모델에게 내용을 다시 쓰게 하지 않는다 — 도구 이름, 건수, 상위 몇 건의 식별자처럼 코드로 뽑을 수 있는 것만 남긴다.

도구 결과는 여기에 잘 맞는다. 대화가 길어질수록 앞쪽 도구 결과는 이미 그다음 판단에 쓰이고 끝난 것이 대부분이기 때문이다. 최근 두세 개는 전문을 두고, 그보다 오래된 것은 한 줄로 줄인다.

def shrink_old_results(messages, keep_full=3):
    seen = 0
    for m in reversed(messages):
        if m["role"] != "tool":
            continue
        seen += 1
        if seen > keep_full and not m.get("shrunk"):
            m["content"] = summarize_shape(m["content"])   # "search_issues → 12건, 상위 3건: A, B, C"
            m["shrunk"] = True
    return messages

오래된 도구 결과를 한 줄로 축약하는 모습

몇 개를 전문으로 둘지는 작업이 정한다. 한 결과를 보고 바로 다음 행동을 정하는 에이전트는 둘이면 충분하고, 여러 조회를 견줘 결론을 내는 작업은 그보다 많이 둬야 한다. 처음에는 셋에서 시작하고 아래 측정 절에서 잰 값으로 옮긴다. 개수 대신 토큰으로 기준을 잡는 방법도 있다. 결과 하나가 수백 토큰인 도구와 수만 토큰인 도구가 섞여 있으면 "최근 셋"이 요청마다 전혀 다른 크기가 되므로, "최근 결과를 합쳐 일정 토큰까지는 전문"으로 두는 편이 예산을 예측하기 쉽다. 어느 쪽이든 기준은 하나로 정해 두고, 경로마다 다르게 두지 않는다.

복구 경로

축약이 요약보다 안전한 이유는 복구 경로가 남아 있기 때문이다. 줄인 자리에 "이 조회는 12건을 돌려줬다"라고 남겨 두면, 모델이 그 내용이 다시 필요할 때 같은 도구를 부르면 된다. 원문은 우리 쪽 시스템에 그대로 있고, 화면에서만 내려간 것이다.

다만 복구 경로가 실제로 열려 있으려면 조건이 둘 있다. 같은 인자로 다시 불렀을 때 같은 결과가 나와야 하고, 다시 부르는 비용이 감당할 만해야 한다. 결제 내역 조회처럼 다시 불러도 같은 값이 나오는 도구는 축약에 잘 맞는다. 반면 한 번 실행하면 끝나는 작업의 결과나, 부를 때마다 값이 바뀌는 실시간 조회는 축약하면 사실상 지우는 것과 같아진다. 그런 결과는 축약 대상에서 빼거나, 한 줄 안에 꼭 필요한 값을 함께 남긴다.

생략 표기

그래서 축약문은 사라진 내용을 감추기보다 무엇이 있었는지 알려 주는 쪽으로 써야 한다. "결과 생략"이라고만 적으면 모델은 그 조회가 실패했다고 오해하기 쉽다. 그러면 같은 조회를 다시 부르거나, 더 나쁘게는 "조회가 실패해 확인할 수 없다"고 사용자에게 답한다.

좋은 축약문에는 세 가지가 든다 — 어느 도구가 무엇으로 불렸는지, 결과가 몇 건이었는지, 그리고 대표 식별자 몇 개. 마지막 것이 있어야 모델이 상세 조회 도구로 곧장 그 건을 다시 열 수 있다. 축약했다는 사실 자체도 적는다. "(원문은 줄였다, 다시 보려면 같은 조회를 부른다)" 한 구절이면 충분하다.

보존 목록

원문으로 남길 넷

무엇을 줄일지보다 무엇을 손대지 않을지를 먼저 정해 두면 사고가 준다. 아래는 어떤 단계에서도 원문 그대로 남기는 편이 안전한 항목이다.

항목 이유
사용자가 명시한 제약과 선호 요약에서 가장 먼저 뭉개지는데 어기면 바로 티가 난다
식별자·코드·경로 한 글자만 달라져도 쓸모가 없어진다
숫자와 단위 반올림이 섞이면 계산 결과가 조용히 틀어진다
확정된 결정 사항 되물으면 사용자가 같은 말을 반복하게 된다
실패한 시도의 기록 지우면 에이전트가 같은 시도를 다시 한다

앞의 넷은 공통점이 있다. 대충 옮기면 겉보기에는 멀쩡한데 실제로는 틀린 값이 된다는 점이다. "예산은 300만 원 이하"가 "예산을 고려"로 바뀌어도 문장은 자연스럽고, order_8812가 order_8821로 바뀌어도 형식은 맞는다. 틀린 것이 눈에 안 띄기 때문에 원문으로 남겨야 한다.

실패 기록

마지막 줄이 특히 자주 빠진다. 오래된 실패 로그는 길고 쓸모없어 보여서 압축 대상 1순위가 되는데, 이것이 사라지면 에이전트가 아까 안 되던 방법을 그대로 다시 시도하는 고리에 빠진다. 에이전트 입장에서는 그 방법이 처음 떠오른 좋은 생각이기 때문이다. 같은 오류 메시지를 열 번 보는 실행 로그의 상당수가 이렇게 생긴다.

실패는 내용을 다 지우더라도 무엇을 시도했고 왜 안 됐는지 한 줄은 남긴다. 스택 트레이스 전체는 필요 없다. "설정 파일 경로를 /etc/app으로 바꿔 봄 → 권한 오류" 정도면 다음 판단에 충분하다.

먼저 정하는 순서

이 목록은 압축 코드를 짜기 전에 정한다. 줄이는 함수를 먼저 만들고 나중에 예외를 붙이면, 예외는 사고가 난 자리에만 붙고 아직 안 난 자리는 비어 있다. 반대로 보존 목록을 먼저 정하면 압축 함수는 "목록에 없는 것 중에서" 고르는 일이 되어 구조가 단순해진다.

실무에서는 보존 항목을 메시지 본문에서 떼어 따로 들고 가는 편이 낫다. 제약과 결정 사항을 한 블록에 모아 두면 압축 단계가 그 블록을 건드릴 일 자체가 없다. 이 블록을 어떻게 설계하는지는 대화를 요약하는 자리에서 다시 나온다.

손실 측정

압축률

압축을 붙이면 토큰 그래프가 예쁘게 내려간다. 그 그래프만 보고 있으면 어느 순간 답이 나빠진 것을 놓친다. 그래서 압축률과 품질을 같이 봐야 한다. 압축률은 원본 토큰 수에 비해 얼마나 줄었는지를 나타내는 값이다.

ρ=1−T압축 후T원본\rho = 1 - \frac{T_{\text{압축 후}}}{T_{\text{원본}}}

원본이 20,000토큰이고 압축 후 8,000토큰이면 ρ=0.6\rho = 0.6 이다. 이 값은 얼마나 아꼈는지는 말해 주지만 무엇을 잃었는지는 말해 주지 않는다. 0.6을 손실 없이 얻었는지 문장을 걷어 내서 얻었는지는 같은 숫자로 찍힌다. 그래서 대시보드에 압축률만 올려 두면 팀은 그 숫자를 올리는 쪽으로 움직이고, 가장 쉽게 올리는 방법이 뒤 단계를 일찍 켜는 것이다. ρ\rho 하나로는 아무 판단도 못 한다. 필요한 것은 평가셋에서 압축을 켠 쪽과 끈 쪽의 정답률 차이다.

기법별 비교

이 검증은 기법마다 따로 해야 한다. 네 단계를 한꺼번에 켜고 정답률이 2%p 떨어졌다면, 그 2%p가 어느 단계에서 왔는지 알 수가 없다. 하나씩 켜 가며 재면 대개 모양이 갈린다 — 첫째와 둘째는 거의 항상 차이가 없고, 셋째부터는 작업 성격에 따라 갈린다. 여러 도구 결과를 종합해야 답이 나오는 과제라면 축약이 바로 정확도를 깎는다.

그래서 단계마다 "켰을 때의 절감"과 "켰을 때의 정답률 변화"를 짝으로 적어 둔다. 이 짝이 있어야 예산이 빠듯할 때 어디까지 내려갈지를 근거로 정할 수 있다. 첫째·둘째 단계에서 차이가 난다면 그건 압축의 문제가 아니라 버그다 — 허용 목록에서 쓰는 필드를 빠뜨렸거나 표가 깨진 것이다.

질문 유형별 집계

측정할 때 흔한 실수가 평균만 보는 것이다. 압축의 피해는 전체 평균을 조금 내리는 방식이 아니라 특정 유형의 질문만 통째로 틀리는 방식으로 나타난다. "세 번 전 조회에서 나온 값과 지금 값을 비교하라"는 질문은 축약이 켜지는 순간 거의 다 틀리고, 그런 질문이 평가셋의 5%라면 평균은 몇 %p밖에 안 움직인다.

그래서 질문 유형별로 나눠 봐야 보인다. 평가셋을 만들 때부터 "최근 결과만으로 답하는 질문"과 "오래된 결과를 다시 써야 하는 질문"을 갈라 두면, 셋째 단계가 어디를 다치게 하는지 바로 드러난다. 다친 유형이 보이면 대응도 구체적이 된다 — 전문으로 두는 개수를 늘리거나, 그 유형에서는 복구 경로를 쓰라고 프롬프트에 적는다.

조립 지점

흩어진 압축

압축 코드는 처음에 필요한 자리마다 생긴다. 검색 도구 응답을 받는 곳에서 한 번, 이슈 조회를 받는 곳에서 한 번, 대화 이력을 보내기 직전에 또 한 번. 이렇게 흩어지면 경로마다 다르게 줄어든다. 같은 이슈 목록이 한 경로에서는 표로, 다른 경로에서는 공백 없는 JSON으로 들어가고, 축약 기준도 경로마다 다르다.

압축을 한 곳에서 조립하는 구조

그래서 압축은 요청을 조립하는 한 자리에 모은다. 도구 응답은 받은 그대로 저장해 두고, 모델에게 보내기 직전에 조립 함수 하나가 예산을 보고 단계를 차례로 적용한다. 원문이 저장소에 그대로 남으니 셋째 단계의 복구 경로도 자연스럽게 열린다.

단계 기록

조립 함수는 결과만 돌려주지 말고 어느 단계까지 갔는지를 함께 돌려준다. 호출부는 그 값을 로그에 싣는다. 요청마다 "둘째 단계에서 멈춤" 또는 "셋째 단계까지, 결과 넷 축약" 같은 기록이 남으면, 나중에 답이 이상할 때 압축이 원인인지 아닌지를 바로 가를 수 있다.

이 기록을 모아 보면 앞에서 말한 진단도 숫자로 된다. 셋째 단계까지 내려간 요청의 비율이 주마다 오른다면, 대화가 길어지고 있거나 어떤 도구의 응답이 커지고 있다는 뜻이다. 어느 도구인지는 단계 기록에 도구별 토큰 수를 함께 실으면 보인다.

강등 사다리

예산을 넘었을 때의 대응도 이 사다리를 그대로 쓴다. 넘었다고 바로 요청을 거절하거나 앞쪽 이력을 통째로 잘라 내지 않고, 손실이 작은 단계부터 한 칸씩 내려간다. 이렇게 한 칸씩 품질을 양보하며 내려가는 순서를 강등 사다리라고 부른다. 압축 단계와 강등 순서가 같은 사다리면 규칙이 하나로 끝나고, 어느 요청이 어디까지 내려갔는지를 같은 로그로 볼 수 있다.

사다리의 맨 아래에는 무엇이 있어야 하는지도 정해 둔다. 요약까지 써도 예산에 안 들어가는 요청이 드물게 있다. 그때 조용히 앞쪽을 잘라 보내면 모델은 잘린 줄 모르고 답한다. 차라리 요청을 멈추고 "이 대화가 너무 길어 새로 시작해야 한다"고 알리는 편이 낫다 — 틀린 답보다 멈춘 답이 고치기 쉽다.

정리하면 이렇게 된다. 도구 응답에서 안 쓰는 필드를 쳐낸다. 목록형 결과를 표로 바꾼다. 그러고도 남으면 오래된 도구 결과를 축약한다. 셋을 한 조립 지점에서 차례로 적용하고, 어디까지 갔는지를 남긴다. 이 셋을 하고 나서도 창이 모자란다면 그때가 요약을 붙일 자리이고, 요약은 그 자체로 다뤄야 할 만큼 결정할 것이 많다. 다음 글에서 이어서 본다.


읽어주셔서 감사합니다. 😊

LATEST

에이전트·RAG의 최신 글

에이전트·RAG2026.08.23

에이전트는 어디서 어긋나기 시작하는가

에이전트가 이상한 답을 낼 때 증상은 마지막에 보이지만 어긋난 자리는 그보다 앞입니다. 한 걸음이 무너지는 여섯 자리를 나누고, 증상에서 원인을 거슬러 찾는 방법과 자리별 처방을 정리합니다.

29 MIN
에이전트·RAG2026.08.23

에이전트가 무엇을 했는지 나중에 알 수 있게 만들기

에이전트는 같은 입력에도 다른 경로로 갑니다. 그래서 로그 몇 줄로는 왜 그렇게 됐는지 복원이 안 됩니다. 트레이스를 어떻게 나누고 구간마다 무엇을 붙이며 어떤 지표를 볼지 정리합니다.

29 MIN
에이전트·RAG2026.08.23

에이전트 비용은 걸음 수보다 빨리 늘어난다

걸음이 두 배면 비용은 두 배가 아니라 서너 배입니다. 왜 그렇게 되는지, 어디서 새는지, 상한을 몇 겹으로 어떻게 거는지와 실제로 효과가 큰 순서대로의 대응을 정리합니다.

13 MIN