에이전트·RAG

AGENT / 40번째 글

창이 크다는 말과 잘 읽는다는 말

긴 컨텍스트가 실제로 어디까지 동작하는지 — 위치에 따른 정확도 차이, 단일 검색과 다중 추론의 격차, 비용·지연의 비선형 증가를 정리하고 검색과 어떻게 나눠 쓸지 판단 기준을 제시합니다.

PALDYN Team33 MIN READ

지난 글에서 컨텍스트를 항목별 예산으로 나눠 봤다. 그러면 자연스럽게 드는 생각이 있다 — 창이 100만 토큰이면 이 배분 고민을 안 해도 되는 것 아닌가. 문서를 통째로 넣고 검색 파이프라인을 걷어내면 시스템이 훨씬 단순해진다. 실제로 이 방향으로 갔다가 되돌아온 팀이 많다. 창에 들어가는 것과 그 안의 정보가 제대로 쓰이는 것이 같은 말이 아니기 때문이다.

이 글은 그 간격을 차례로 짚는다. 먼저 창 안에서 문서가 실제로 쓸 수 있는 자리를 세고, 정보가 놓인 위치와 작업의 종류에 따라 정확도가 어떻게 갈리는지 본 뒤, 길이가 부르는 비용을 계산한다. 마지막에는 길이에 약한 작업을 쪼개는 구성과, 그 판단을 자기 데이터로 내리는 측정 절차를 놓는다.

실효 창

들어감과 쓰임

컨텍스트 창은 모델이 한 번 호출될 때 입력과 출력을 합쳐 다룰 수 있는 토큰 수의 상한이다. 벤더가 128K, 200K, 100만 토큰이라고 적는 숫자가 이것이다. 이 숫자가 보장하는 것은 하나뿐이다 — 그만큼 넣어도 호출이 오류 없이 받아들여진다. 넣은 내용을 모델이 고르게 참고한다는 약속은 그 안에 없다.

두 말을 갈라 보면 이렇다. 들어간다는 것은 API가 요청을 거절하지 않는다는 형식의 문제이고, 쓰인다는 것은 답을 만들 때 그 안의 특정 문장이 실제로 근거가 된다는 내용의 문제다. 앞의 것은 문서에 적힌 숫자로 확인되고 뒤의 것은 재 봐야만 안다. 긴 컨텍스트로 갔다가 되돌아온 팀들이 놓친 것이 대개 이 차이였다. 시험 삼아 넣어 본 문서에서 답이 잘 나오니 전부 넣어도 되겠다고 판단했는데, 문서가 길어지고 질문이 까다로워지자 답이 조용히 틀리기 시작한다. 오류 메시지가 없으니 틀렸다는 사실도 늦게 안다.

광고 창과 실효 창

그래서 숫자를 둘로 나눠 부른다. 벤더가 적은 상한이 광고 창이고, 그 길이까지 늘려도 품질이 짧은 입력 때와 크게 다르지 않게 유지되는 범위가 실효 창이다. 실효 창은 모델 하나에 값 하나로 정해지지 않는다. 같은 모델이라도 문서가 코드냐 계약서냐, 질문이 사실 하나를 묻느냐 여러 근거를 엮게 하느냐에 따라 다르게 나온다.

공개된 긴 컨텍스트 평가들이 공통으로 보여 주는 것은 실효 창이 광고 창보다 짧다는 점이다. 얼마나 짧은지는 평가와 모델마다 달라서 일반화된 비율을 말하기는 어렵다. 다만 광고 창의 끝까지 품질이 평평하게 유지된다는 가정은 거의 언제나 틀린다고 보고 설계를 시작하는 편이 안전하다. 이 글의 마지막 절이 그 값을 자기 데이터로 재는 방법이다.

남는 자리

실효 창을 모르는 상태에서도 할 수 있는 계산이 있다. 광고 창에서 문서가 쓸 수 없는 몫을 먼저 빼는 것이다. 가령 광고 창이 200K 토큰인 모델에서 출력 상한으로 16K를 잡아 두고, 시스템 지시와 도구 스키마가 6K, 대화 이력이 20K를 차지한다고 하자. 문서에 남는 자리는 200 − 16 − 6 − 20 = 158K다. 여기까지는 지난 글의 예산표와 같은 뺄셈이다.

그런데 자체 측정에서 품질이 입력 64K까지만 버틴다고 나왔다면 계산이 달라진다. 실효 창은 입력 전체에 걸리는 값이라 시스템 지시와 이력도 그 64K 안에 자리를 차지한다. 문서 몫은 64 − 6 − 20 = 38K로 줄어든다. 출력 상한은 호출이 거절되지 않게 하는 조건이라 광고 창에서만 빼고, 입력을 읽는 정확도의 문제인 실효 창 계산에서는 뺄 필요가 없다.

158K를 믿고 짠 설계와 38K를 알고 짠 설계는 네 배 넘게 벌어진다. 문서가 100K라면 앞의 계산으로는 넉넉히 들어가고, 뒤의 계산으로는 절반도 못 넣는다. 검색 파이프라인을 걷어낼지 말지가 바로 이 차이에서 갈린다.

광고 창 200K와 실효 창 64K에서 문서에 남는 자리

위치와 정확도

U자 곡선

정답이 담긴 한 조각을 긴 컨텍스트의 여러 위치에 옮겨 넣으면서 정확도를 재면 일관된 모양이 나온다. 앞과 뒤는 잘 보고 가운데가 약하다. 위치를 가로축에, 정확도를 세로축에 놓으면 양 끝이 높고 가운데가 꺼진 U자가 그려진다. 2023년에 나온 「Lost in the Middle」이라는 논문이 이 모양을 여러 모델에서 보이면서 널리 알려졌다. 그 뒤로 모델들이 많이 나아졌지만, 가운데가 상대적으로 약한 경향은 지금도 자주 관찰된다.

왜 그런지는 아직 하나로 정리되지 않았다. 사람이 쓴 글에서 중요한 정보가 앞(제목·도입)과 뒤(결론·질문 직전)에 몰리는 습관을 학습했다는 설명, 위치를 표현하는 방식이 먼 거리의 토큰을 덜 구별한다는 설명 등이 함께 거론된다. 실무에서 중요한 것은 원인보다 그 모양이 있다는 사실이고, 그 모양을 전제로 하면 두 가지가 달라진다.

컨텍스트 위치에 따른 정확도 변화

평균의 함정

첫째, 긴 컨텍스트의 성능은 평균으로 말할 수 없다. 「이 모델은 20만 토큰에서 정확도 90%」라는 숫자는 정답이 어디 있었는지에 따라 크게 달라진다. 가령 정답을 앞에 두면 95%, 가운데 두면 72%, 뒤에 두면 93%가 나오는 모델이 있다고 하자. 세 위치를 고르게 섞어 잰 평균은 약 87%다.

그런데 우리 서비스에서는 정답이 주로 가운데 놓인다고 해 보자. 검색 결과 열 개를 관련도 순으로 넣으면 1위만 맨 앞에 서고 나머지는 점점 가운데로 들어가므로 흔히 생기는 일이다. 그러면 사용자가 겪는 정확도는 72%에 가깝다. 87%는 어느 위치의 경험과도 맞지 않는 숫자다.

그래서 자기 데이터로 잴 때도 정답 위치를 앞·중간·뒤로 흩어 놓고 각각 따로 적어야 의미가 있다. 벤더 표의 한 숫자는 그 셋을 어떤 비율로 섞었는지 알려 주지 않는다.

순서 통제

둘째, 순서가 통제 가능한 변수라면 반드시 통제한다. 컨텍스트에 무엇을 어떤 순서로 넣을지는 대부분 우리 코드가 정한다. 검색 결과를 관련도 순으로 그냥 나열하면 상위 문서 몇 개가 가운데로 밀린다. 가장 관련 높은 것을 맨 앞과 맨 뒤에 두고 낮은 것을 가운데로 모으는 배치가 더 안전하다. 긴 문서 뒤, 맨 끝에 질문을 다시 한 번 두는 것도 같은 원리다 — 모델이 답을 쓰기 직전에 본 자리가 가장 잘 보인다.

배치를 바꾸는 데는 비용이 거의 들지 않는다. 토큰 수도 같고 호출 횟수도 같다. 효과가 크지 않더라도 공짜로 얻는 개선이라 마다할 이유가 없다. 배치 방식 셋을 견주는 이야기는 같은 문서라도 어디에 두느냐가 다르다에서 따로 다룬다.

바늘 찾기

이질적인 바늘

긴 컨텍스트 평가에서 가장 자주 인용되는 것이 바늘 찾기 시험이다. 긴 글(건초 더미) 어딘가에 그 글과 상관없는 문장 하나(바늘)를 심어 두고, 그 문장의 내용을 물어 찾아내게 한다. 길이와 심는 위치를 바꿔 가며 격자로 재면 칸마다 초록과 빨강이 칠해진 표가 나오는데, 요즘 모델들은 이 표를 거의 초록으로 채운다. 이 점수만 보면 긴 컨텍스트는 해결된 문제처럼 보인다.

그런데 이 시험이 쉬운 이유가 구조 안에 있다. 심어 둔 문장은 주변과 이질적이다. 분기 실적 보고서 한가운데 「회의실 열쇠는 창가 화분 아래에 있다」 같은 문장이 박혀 있으면, 그 문장은 내용으로도 문체로도 튄다. 게다가 질문이 「회의실 열쇠는 어디 있나」처럼 바늘의 낱말을 그대로 되풀이하므로 모델은 질문과 같은 말이 적힌 자리를 찾기만 하면 된다. 이해라기보다 대조에 가까운 일이다.

여러 바늘과 녹인 바늘

시험을 조금만 바꿔도 점수가 내려간다. 첫째 변형은 바늘을 여럿 심고 전부 찾게 하는 것이다. 바늘 하나를 95% 확률로 찾는 모델이라도 셋을 모두 찾아야 정답이면, 바늘마다 독립적으로 찾는다고 칠 때 0.953≈0.860.95^3 \approx 0.86, 곧 86%로 떨어진다. 실제로는 바늘끼리 독립이 아니라 이 곱셈이 정확하지는 않지만, 찾을 것이 늘수록 다 맞힐 확률이 곱으로 줄어든다는 방향은 그대로다.

둘째 변형은 바늘을 문맥에 녹여 넣는 것이다. 주변 글과 같은 주제, 같은 문체로 쓰고, 질문도 바늘의 낱말을 되풀이하지 않고 바꿔 말한다. 그러면 모델은 대조가 아니라 뜻으로 찾아야 한다. 이렇게 낱말 겹침을 줄이거나 주변에 그럴듯한 오답을 섞은 평가에서는 긴 컨텍스트 점수가 눈에 띄게 내려간다는 보고가 여러 번 나왔다. 실제 업무의 질문은 거의 언제나 이쪽이다. 사용자는 문서에 적힌 낱말을 모르고 자기 말로 묻는다.

벤더 점수

그래서 벤더가 발표하는 긴 컨텍스트 점수는 참고 이상이 되기 어렵다. 거짓이라서가 아니라 잰 것이 우리 작업과 다르기 때문이다. 바늘 시험 만점은 「이 길이에서 튀는 문장 하나는 찾을 수 있다」는 뜻이지 「이 길이에서 우리 계약서를 제대로 읽는다」는 뜻이 아니다.

벤더 점수에서 읽어 낼 수 있는 것은 한쪽 방향뿐이다. 바늘 하나 찾기에서조차 어떤 길이부터 빨간 칸이 나온다면, 그보다 어려운 작업은 그 길이에서 확실히 무너진다. 반대로 전부 초록이라는 사실은 아무것도 보장하지 않는다. 판단은 결국 자기 문서와 자기 질문으로 잰 숫자로 내려야 한다.

작업 유형별 한계

버티는 작업

실제 작업을 종류별로 나눠 보면 긴 컨텍스트에서 버티는 쪽과 먼저 무너지는 쪽이 갈린다. 버티는 쪽은 둘이다. 특정 사실 하나 찾기는 바늘 찾기와 같은 모양이라, 질문과 문서가 낱말을 어느 정도 공유하기만 하면 길이가 늘어도 잘 된다. 전체 요약도 버틴다. 요약은 원래 세부를 버리는 작업이라 몇 군데를 덜 봐도 결과가 크게 틀리지 않는다. 중요한 흐름은 문서 여러 곳에 되풀이해 나타나므로 한두 곳을 놓쳐도 다른 곳에서 다시 잡힌다.

무너지는 작업

문제는 실제 작업이 대개 이 둘이 아니라는 데 있다. 계약서 세 곳에 흩어진 조항을 모아 서로 맞는지 따진다든지, 회의록 스무 건에서 한 결정이 어떻게 바뀌어 왔는지 추적한다든지 하는 일은 여러 조각을 동시에 붙들고 관계를 따져야 한다. 조각 하나하나를 찾는 능력은 충분해도, 셋을 찾아 놓고 그 사이의 관계까지 계산하는 단계에서 길이의 영향이 커진다. 컨텍스트가 길어질수록 이쪽 성능이 훨씬 빨리 떨어진다.

전수 집계는 더 약하다. 「이 계약서 묶음에서 자동 갱신 조항이 있는 건 몇 개인가」 같은 질문은 하나만 놓쳐도 답이 틀린다. 가령 조항 200건을 훑어야 하고 한 건을 놓칠 확률이 1%뿐이라 해도, 200건을 모두 맞게 볼 확률은 0.99200≈0.130.99^{200} \approx 0.13 이다. 한 건 한 건은 99% 정확한데 답 전체는 열 번 중 여덟 번 넘게 틀린다.

없는 것 찾기

가장 어려운 것은 모순이나 누락을 찾는 일이다. 있는 것을 찾을 때는 질문이 단서가 되어 특정 자리로 주의를 끌어 준다. 없는 것을 찾을 때는 그런 단서가 없다. 「이 약관에서 빠진 필수 고지 항목은?」에 답하려면 필수 항목 목록 전부를 문서 전체와 하나하나 대조해야 하고, 「없다」는 결론은 문서를 끝까지 다 본 뒤에만 낼 수 있다. 게다가 모델이 비슷한 문구를 보고 있다고 판단해 버리면, 답만 봐서는 그 판단이 틀렸는지 확인할 길이 없다.

아래 표가 다섯 유형을 정리한 것이다. 자기 작업이 어느 줄에 해당하는지 먼저 대응시켜 보고, 아래 세 줄이라면 컨텍스트를 키우는 대신 작업을 쪼개는 쪽을 먼저 검토한다.

작업 유형 긴 컨텍스트 적합도 이유
특정 사실 하나 찾기 높다 한 지점만 보면 된다
전체 요약 높다 세부 누락이 치명적이지 않다
흩어진 근거 3개 이상 종합 낮다 동시에 붙들어야 할 것이 많다
전체를 훑는 집계·카운트 낮다 하나만 놓쳐도 답이 틀린다
미묘한 모순·누락 찾기 낮다 없는 것을 찾는 일이라 더 어렵다

길이의 비용

프리필과 첫 토큰

토큰당 단가만 보면 입력이 열 배면 비용도 열 배다. 여기까지는 예상대로다. 문제는 지연이다. 모델이 답을 만드는 과정은 두 단계로 나뉜다. 입력 전체를 한꺼번에 읽어 계산하는 프리필, 그 결과를 참조하며 출력을 한 토큰씩 뽑는 디코드다. 사용자가 첫 글자를 보기까지 기다리는 첫 토큰까지의 시간은 거의 프리필이 정한다.

프리필 안에서 길이에 가장 민감한 계산은 어텐션이다. 어텐션은 각 토큰이 앞의 모든 토큰과 얼마나 관련 있는지 점수를 매겨 정보를 모으는 계산이라, 토큰이 n개면 짝이 대략 n²개 생긴다. 토큰 하나를 나타내는 벡터의 차원을 d라 하면 계산량은 다음에 비례한다.

연산량∝n2d\text{연산량} \propto n^2 d

가령 입력을 1만 토큰에서 20만 토큰으로 늘리면 길이는 20배인데 이 항은 400배가 된다. 실제 서빙에서는 토큰마다 따로 하는 계산(길이에 정비례한다)이 짧은 입력에서 큰 몫을 차지하고 여러 최적화가 들어가서 체감 곡선이 이보다 완만하다. 그래도 길이가 늘수록 제곱 항의 몫이 커지는 방향은 그대로다. 20만 토큰을 넣으면 첫 글자가 나오기까지 수 초가 걸리는 일이 드물지 않고, 사용자가 화면을 보고 기다리는 제품이라면 이 하나만으로 설계가 갈린다.

KV 캐시와 동시 처리

프리필이 남기는 것이 KV 캐시다. 어텐션은 토큰마다 키와 값이라는 두 벡터를 만들어 쓰는데, 디코드에서 새 토큰을 뽑을 때마다 이것을 다시 계산하지 않도록 GPU 메모리에 쌓아 둔 것이 KV 캐시다. 토큰 하나당 크기가 정해져 있으므로 메모리는 길이에 정비례해 먹는다.

숫자로 따라가 보자. 가령 층이 80개, 키·값 헤드가 8개, 헤드 차원이 128이고 16비트(2바이트)로 저장하는 모델이라면, 키와 값 둘을 곱해 토큰 하나의 캐시는 다음과 같다.

2×80×8×128×2=327,680 바이트≈320KiB2 \times 80 \times 8 \times 128 \times 2 = 327{,}680 \text{ 바이트} \approx 320\text{KiB}

20만 토큰짜리 요청 하나면 약 61GiB다. 같은 모델에 4,096토큰짜리 요청을 받으면 하나에 1.25GiB이니, 긴 요청 하나가 짧은 요청 쉰 개 가까운 자리를 차지한다. 자체 서빙을 한다면 이 차이가 곧 동시에 받을 수 있는 사용자 수의 차이다. 공식을 더 자세히 따라가는 이야기는 KV 캐시 글에 있다.

시스템 처리량

그래서 긴 컨텍스트의 진짜 비용은 그 요청의 청구서가 아니라 시스템 전체의 처리량 감소로 나타난다. 요청 하나의 단가는 열 배인데, 그 요청이 메모리를 붙들고 있는 동안 다른 요청이 줄을 서서 기다리는 시간은 청구서 어디에도 적히지 않는다.

API로 쓰는 경우에도 이 비용은 사라지지 않고 모양만 바뀐다. 벤더에 따라 일정 길이를 넘는 입력에 더 높은 단가를 매기기도 하고, 분당 입력 토큰 수에 사용 한도를 걸기도 한다. 가령 분당 입력 한도가 40만 토큰이라면 20만 토큰짜리 요청은 1분에 두 번밖에 못 보내고, 5천 토큰짜리 요청은 여든 번을 보낼 수 있다. 요청 하나의 비용표만 보면 놓치는 숫자다.

작업 분할과 검색

구간 처리와 종합

무너지는 쪽 작업이라면 컨텍스트를 키우는 대신 작업을 쪼갠다. 문서를 구간으로 나눠 구간마다 같은 질문을 던지고, 각 호출이 짧은 중간 결과를 내게 한 뒤, 마지막 호출이 중간 결과들만 모아 판단한다. 자동 갱신 조항 세기라면 구간마다 「이 구간에서 자동 갱신 조항이 있는 계약 번호와 해당 문장」을 목록으로 뽑게 하고, 목록을 합쳐 세는 일은 마지막 호출이나 그냥 코드가 맡는다.

각 호출의 컨텍스트가 짧아지니 앞에서 본 위치 효과와 길이 효과가 함께 줄어든다. 그리고 구간끼리는 서로 기다릴 필요가 없으므로 병렬로 돌릴 수 있다. 20만 토큰을 한 번에 넣는 대신 2만 토큰 열 구간을 동시에 보내면, 구간 하나의 제곱 항은 백분의 일이고 열 구간을 다 더해도 십분의 일이다. 기다리는 시간은 가장 늦은 구간 하나에 종합 호출 하나를 더한 정도가 된다. 구간마다 지시문이 되풀이되어 총 토큰은 조금 늘지만, 정확도와 지연을 함께 얻는 거래다.

구간 처리에서 중간 결과를 거쳐 종합 판단까지

구간을 넘는 관계

쪼개는 순간 잃는 것이 있다. 조항 A가 3구간에 있고 그 예외를 정한 조항 B가 8구간에 있으면, 어느 구간 호출도 둘을 함께 보지 못한다. 3구간은 A를 그대로 보고하고 8구간은 맥락 없는 예외 조항 하나를 보고한다. 마지막 종합 호출이 둘을 다시 엮어야 하는데, 중간 결과에 「이 조항은 다른 조항을 가리킨다」는 사실이 적혀 있지 않으면 엮을 재료가 없다.

그래서 중간 결과의 양식이 이 구성의 핵심이다. 찾은 것만 적게 하지 말고, 그것이 가리키는 다른 자리(「제12조에 따른다」, 「앞에서 정의한 '서비스'」)와 판단을 보류한 것을 함께 적게 한다. 마지막 호출은 그 참조를 따라 필요한 구간을 다시 열어 볼 수 있다. 구간 경계에 걸친 문장을 놓치지 않으려면 구간끼리 조금씩 겹치게 자르는 것도 흔한 방법이다.

검색과 섞기

쪼개기와 다른 방향의 답이 검색이다. 후보 문서가 수천 건이거나, 자주 갱신되거나, 사용자마다 접근 권한이 다르면 애초에 전부 넣을 수가 없으니 고르는 단계가 반드시 있어야 한다. 권한이 걸리면 특히 선택의 여지가 없다. 반대로 대상 문서가 몇 개로 정해져 있고(계약서 한 건, 코드베이스 한 모듈) 매번 다른 부분이 필요하면, 검색 파이프라인을 유지하는 비용이 이득보다 크다.

실무에서는 둘을 섞는 경우가 가장 흔하다. 검색으로 후보를 문서 단위까지 좁힌 다음, 그 문서는 잘게 자르지 않고 통째로 넣는다. 예전에는 창이 작아 청크, 곧 검색을 위해 잘라 둔 조각만 넣어야 했지만, 창이 커진 덕분에 「관련 문서 세 건 전문」이 들어간다. 조각으로 자를 때 생기던 맥락 손실이 사라지면서 검색의 선별 능력은 그대로 쓴다. 아래 코드는 앞에서 본 배치 원칙까지 함께 적용한 모양이다.

def build_evidence(query, k_docs=3):
    hits = search(query, top_k=20)                 # 조각 단위로 넓게 찾고
    doc_ids = dedup([h.doc_id for h in hits])[:k_docs]   # 문서 단위로 좁힌 뒤

    docs = [load_full_document(d) for d in doc_ids]
    # 가장 관련 높은 문서를 앞뒤로, 낮은 것을 가운데로
    return reorder_edges(docs)


def reorder_edges(docs):
    ordered = []
    for i, doc in enumerate(docs):
        ordered.insert(len(ordered) // 2 if i % 2 else 0, doc)
    return ordered

어느 쪽을 언제 고를지 비용과 정확도를 놓고 견주는 일은 검색해서 넣을 것인가, 통째로 넣을 것인가에서 따로 다룬다.

자체 측정

길이·위치 격자

마지막으로 남는 것은 우리 시스템의 실효 창이 얼마인지 아는 일이다. 최소한의 자체 측정은 두 축의 격자로 짠다. 실제 문서로 컨텍스트 길이를 네 단계(예: 8K·32K·128K·전체)로 만들고, 각 길이에서 정답이 담긴 문단을 앞·중간·뒤 세 곳에 둔다. 칸은 열둘이다.

길이를 늘릴 때는 아무 글이나 이어 붙이지 말고 실제로 함께 들어올 법한 문서로 채운다. 관련 없는 글로 채우면 정답 문단이 바늘처럼 튀어 점수가 부풀려진다. 앞에서 본 바늘 찾기의 함정을 우리 측정에서 되풀이하지 않으려는 것이다.

질문 두 종류

질문은 두 종류를 섞는다. 사실 하나 찾기와 근거 셋 이상 종합이다. 앞의 것은 바늘 찾기에 가까워 대개 오래 버티고, 뒤의 것이 먼저 꺾인다. 두 곡선의 간격이 곧 「길이를 늘려도 되는 작업」과 「쪼개야 하는 작업」의 경계를 보여 준다.

질문은 문서의 낱말을 그대로 베끼지 말고 사용자가 실제로 쓸 법한 말로 적는다. 칸마다 질문이 스무 개만 되어도 12칸 × 2종류 × 20개 = 480번의 호출이니, 하루 안에 충분히 돌릴 수 있는 규모다.

기록할 지표

정확도와 함께 첫 토큰까지의 시간을 같은 표에 남긴다. 가령 정확도가 128K까지 버티더라도 그 길이에서 첫 토큰이 6초 걸린다면 대화형 제품에서는 쓸 수 없는 길이다. 두 숫자가 한 표에 있어야 「어디까지 늘려도 되는가」가 하나의 답으로 나온다 — 정확도가 기준을 넘고 지연이 허용 범위 안에 드는 가장 긴 칸이 그 답이다.

이 표가 나오면 우리 시스템에서 컨텍스트를 어디까지 늘려도 되는지에 숫자로 답할 수 있다. 대부분의 경우 그 값은 모델이 광고하는 창 크기보다 한참 작고, 그 사실을 알고 설계하는 것과 모르고 설계하는 것의 차이가 크다. 모델을 바꾸면 표도 다시 잰다. 실효 창은 우리 문서만의 성질이 아니라 모델의 성질이기도 하다.

실효 창 안에서도 줄일 수 없는 몫은 남는다. 앞에서 뺀 시스템 지시와 도구 스키마는 요청마다 똑같이 들어가 매번 프리필을 다시 치른다. 다음 글은 그 반복을 없애는 프롬프트 캐싱을 다룬다.


읽어주셔서 감사합니다. 😊

LATEST

에이전트·RAG의 최신 글

에이전트·RAG2026.08.23

에이전트는 어디서 어긋나기 시작하는가

에이전트가 이상한 답을 낼 때 증상은 마지막에 보이지만 어긋난 자리는 그보다 앞입니다. 한 걸음이 무너지는 여섯 자리를 나누고, 증상에서 원인을 거슬러 찾는 방법과 자리별 처방을 정리합니다.

29 MIN
에이전트·RAG2026.08.23

에이전트가 무엇을 했는지 나중에 알 수 있게 만들기

에이전트는 같은 입력에도 다른 경로로 갑니다. 그래서 로그 몇 줄로는 왜 그렇게 됐는지 복원이 안 됩니다. 트레이스를 어떻게 나누고 구간마다 무엇을 붙이며 어떤 지표를 볼지 정리합니다.

29 MIN
에이전트·RAG2026.08.23

에이전트 비용은 걸음 수보다 빨리 늘어난다

걸음이 두 배면 비용은 두 배가 아니라 서너 배입니다. 왜 그렇게 되는지, 어디서 새는지, 상한을 몇 겹으로 어떻게 거는지와 실제로 효과가 큰 순서대로의 대응을 정리합니다.

13 MIN