지난 글에서 예산을 넘겼을 때 무엇부터 버릴지를 정했다면, 그보다 한 단계 앞의 질문이 남는다. 애초에 문서를 검색해서 필요한 조각만 넣을 것인가, 아니면 통째로 창에 밀어 넣을 것인가.
창이 100만 토큰까지 커지면서 "이제 검색은 필요 없다"는 말이 자주 나온다. 반대로 "긴 창은 비싸기만 하다"는 말도 같이 나온다. 둘 다 조건을 빼고 말해서 그렇지, 실제로는 몇 가지 값만 확인하면 어느 쪽인지 대체로 정해진다.
선별의 주체
요청 전 선별과 요청 후 선별
두 방식 모두 "모델이 답에 필요한 근거를 보게 한다"는 같은 목적을 갖는다. 다른 것은 그 선별을 언제 누가 하느냐다. 문서를 미리 잘게 나눈 토막, 곧 조각마다 뜻이 비슷한 글끼리 가까이 놓이는 숫자 벡터(임베딩)를 만들어 두고 질문과 가까운 조각만 골라 넣는 것이 검색이고, 고르지 않고 문서 전문을 창에 넣는 것이 긴 문맥이다. 검색에서는 요청을 보내기 전에 우리 코드가 고르고, 긴 문맥에서는 요청을 받은 뒤 모델이 고른다. 모델이 고르는 수단은 어텐션이다 — 답의 토큰 하나를 만들 때마다 입력의 모든 토큰에 가중치를 매겨 어디를 볼지 정하는 장치이고, 긴 문맥은 이 가중치 계산에 선별을 통째로 맡기는 셈이다.
| 검색해서 넣기 | 통째로 넣기 | |
|---|---|---|
| 선별하는 주체 | 우리 코드 | 모델 |
| 요청당 입력 토큰 | 작다 (조각 몇 개) | 크다 (문서 전체) |
| 준비 비용 | 색인·임베딩·갱신 | 없다 |
| 놓치는 방식 | 검색이 못 찾으면 끝 | 창 안에 있어도 못 볼 수 있다 |
| 근거 표시 | 조각 단위로 명확하다 | 문서 어디인지 모른다 |
| 문서가 바뀔 때 | 재색인이 필요하다 | 그냥 새로 넣으면 된다 |
선별을 누가 하느냐는 곧 실패를 누가 책임지느냐다. 우리 코드가 고르면 실패도 우리 코드 안에서 일어나므로 로그로 추적할 수 있다. 모델이 고르면 실패는 어텐션 가중치 안에서 일어나고, 그건 밖에서 들여다볼 수 없다.
놓치는 방식
두 방식은 틀리는 모양이 다르다. 검색의 실패는 깔끔하다. 정답이 든 조각이 상위 몇 개 안에 안 뽑혔으면 모델은 그 내용을 아예 못 보고, 대개 "문서에 그런 내용이 없다"고 답하거나 일반 지식으로 메운다. 틀렸다는 사실은 나쁘지만 원인은 하나다 — 뽑힌 조각 목록을 열어 보면 정답 조각이 없다.
긴 문맥의 실패는 흐릿하다. 정답 문단은 분명히 창 안에 있었는데 모델이 그 옆의 비슷한 문단을 근거로 삼았거나, 두 문단의 값을 섞었거나, 가운데쯤 있던 문단을 덜 읽었다. 입력에 다 있었으니 "검색이 못 찾았다"는 핑계가 없고, 어디서 틀어졌는지 짚을 자리도 없다. 운영하는 쪽에서 보면 이 차이가 크다. 고칠 수 있는 실패와 다시 돌려 보는 것 말고는 할 게 없는 실패다.
근거 표시
표의 마지막 두 줄이 자주 놓치는 자리다. 검색은 어느 조각을 넣었는지 우리가 알기 때문에 조각에 번호를 붙여 넣고 "근거 번호를 함께 적어라"라고 시킬 수 있다. 답의 문장마다 출처를 달 수 있고, 그 출처가 실제로 넣은 조각인지 코드로 대조할 수도 있다.
통째로 넣으면 모델이 "문서에 따르면"이라고 말해도 그게 어느 문단인지 확인할 길이 마땅치 않다. 쪽 번호나 절 번호를 인용하게 할 수는 있지만, 그 번호가 맞는지 검증하려면 결국 문서를 다시 뒤져야 한다. 근거 표시가 화면에 나가는 서비스라면 이 차이 하나로 방식이 정해지기도 한다.
선택을 강제하는 조건
비용이나 정확도를 따지기 전에, 고를 여지 자체가 없는 경우가 있다. 아래 셋 중 하나라도 해당하면 계산을 하기 전에 이미 답이 나와 있다.
접근 권한
사용자마다 볼 수 있는 문서가 다르면 고르는 단계가 반드시 있어야 한다. 인사 문서를 볼 수 없는 직원의 질문에 인사 문서가 섞인 묶음을 통째로 넣으면, 모델에게 "이건 말하지 마라"라고 지시해도 그 내용은 이미 창 안에 있다. 지시는 새는 확률을 낮출 뿐 막지 못한다.
그래서 권한이 갈리는 자료에서는 필터가 모델 앞에 서야 한다. 검색을 쓰면 이 필터가 자연스럽게 끼어든다 — 색인 단계에서 문서마다 권한 표시를 달고, 질의할 때 그 사용자가 볼 수 있는 것만 후보로 삼는다. 긴 문맥을 쓰더라도 "이 사용자가 볼 수 있는 문서 묶음"을 만드는 단계가 따로 필요해지고, 그 단계는 이미 검색의 절반이다.
문서 갱신 속도
문서가 시시각각 바뀌면 검색 쪽이 불리하다. 원문이 고쳐지면 조각을 다시 자르고, 벡터를 다시 만들고, 색인을 다시 써야 한다. 이 과정이 몇 분이든 몇 시간이든 그 사이에는 옛 내용이 검색된다. 재고 현황, 장애 공지, 오늘 바뀐 정책처럼 정확한 최신 값이 답의 전부인 자료라면 그 지연이 곧 오답이다.
긴 문맥은 이 문제가 없다. 요청할 때 원문을 그대로 읽어 넣으므로 늘 지금 것을 본다. 문서가 작고 자주 바뀌는 자료일수록 통째로 넣는 쪽으로 기운다. 반대로 문서가 크고 거의 안 바뀌는 자료라면 색인을 한 번 만들어 오래 쓰므로 갱신 비용은 무시할 만하다.
감사와 인용
금융·의료·법무처럼 답의 근거를 나중에 증명해야 하는 도메인에서는 "어느 문서의 어느 부분을 보고 답했는가"가 기록으로 남아야 한다. 앞에서 본 근거 표시의 차이가 여기서는 선택의 문제가 아니라 요구 사항이 된다. 넣은 조각과 답을 함께 저장해 두면 감사 때 그 요청을 그대로 재현할 수 있다. 문서 전문을 넣었다면 "이 300쪽 중 어딘가"라는 답밖에 못 한다.
이 요구는 비용과도 엮인다. 감사용 기록을 남기려면 요청마다 입력 전체를 보관해야 하는데, 조각 여덟 개를 넣은 요청이면 몇 킬로바이트지만 문서 전문을 넣은 요청이면 요청마다 수백 킬로바이트가 쌓인다. 문서 원본을 따로 판 관리하고 요청에는 판 번호만 적는 식으로 줄일 수는 있지만, 그러려면 결국 "어느 판의 어느 문서를 넣었는가"를 우리 코드가 알고 있어야 한다. 선별의 주체가 우리 코드여야 한다는 앞의 이야기로 돌아오는 셈이다. 감사가 요구되는 시스템에서 긴 문맥을 쓰고 싶다면, 적어도 무엇을 넣었는지만큼은 검색처럼 기록하는 층을 따로 둔다.
비용 구조
질문 수와 문서 길이
한 번만 물어볼 문서라면 계산이 간단하다. 검색을 붙이는 데 드는 임베딩·색인 비용이 그냥 넣는 입력 비용보다 크면 검색이 손해다. 문제는 같은 문서에 질문이 여러 번 올 때다.
문서 토큰 수를 , 질문 수를 , 입력 토큰당 단가를 , 검색으로 줄여 넣는 조각의 토큰 수를 이라 하면 대략 이렇게 된다.
값을 넣어 보자. 아래 숫자는 특정 서비스의 요금이 아니라 계산을 따라가려고 정한 가정이다. 문서가 20만 토큰이고, 검색은 조각 열 개 분량인 8,000토큰을 넣는다고 하자. 이 의 4%다. 단위를 "입력 1,000토큰 값"으로 잡으면 긴 문맥은 질문 하나에 200, 검색은 8이다. 색인 비용은 문서 전체를 한 번 임베딩하는 값인데, 임베딩 단가가 생성 모델 입력 단가의 50분의 1이라고 가정하면 4쯤이다.
질문이 한 번이면 200 대 12, 열 번이면 2,000 대 84다. 색인 비용이 한 번만 들기 때문에 질문이 늘수록 검색 쪽의 고정비는 묻히고, 격차는 , 곧 25배에 가까워진다.
프롬프트 캐시
여기에 프롬프트 캐시가 끼면 식이 한 번 더 바뀐다. 앞서 보낸 입력과 앞부분이 똑같은 요청이 오면, 그 앞부분을 처음부터 다시 계산하지 않고 저장해 둔 중간 결과를 꺼내 쓰는 장치다. 다시 계산하지 않으므로 서비스는 그 부분을 할인한 단가로 받는다. 캐시 적중 시 단가를 라 하면 긴 문맥 쪽은 첫 요청만 제값을 내고 나머지는 할인된 값을 낸다.
를 의 10분의 1로 가정하면 위 예에서 두 번째 질문부터는 20씩 붙는다. 열 번이면 200 + 9 × 20 = 380이다. 2,000이던 것이 380이 되니 크게 줄었지만, 검색의 84와 견주면 여전히 4.5배다.
그림이 보여 주듯 캐시는 격차를 줄이지 뒤집지는 못한다. 뒤집히는 것은 검색이 넣는 양이 커질 때다. 조각을 쉰 개, 40,000토큰씩 넣는 시스템이라면 질문당 40이 되어 캐시를 쓴 긴 문맥의 20보다 오히려 비싸다. 근거를 넉넉히 넣는 습관이 있는 검색 시스템이 캐시 붙은 긴 문맥에 비용에서 밀리는 자리가 여기다.
다만 캐시는 조건이 까다롭다. 앞부분이 토큰 단위로 완전히 같아야 하고, 저장해 두는 시간이 짧으며, 어떤 서비스는 처음 저장할 때 웃돈을 받는다. 질문이 여러 사용자에게 흩어져 같은 문서가 몇 시간에 한 번씩만 불린다면 대부분이 첫 요청이 되어 캐시가 없는 것과 같아진다. 계산에 넣을 것은 가 아니라 실제로 관측한 적중률이다.
지연
비용이 뒤집혀도 지연은 따로 봐야 한다. 입력이 길면 모델이 그 입력을 읽어 들이는 단계가 길어지고, 그만큼 첫 토큰 지연, 곧 요청을 보낸 뒤 답의 첫 글자가 나오기까지의 시간이 늘어난다. 캐시가 적중하면 이 읽어 들이는 단계의 상당 부분이 생략되므로 지연도 줄지만, 답의 토큰을 하나씩 만들 때마다 어텐션이 창 전체를 훑는 비용은 남는다. 20만 토큰 위에서 만드는 답은 8,000토큰 위에서 만드는 답보다 한 글자씩 더 느리게 나온다.
그리고 지연은 평균이 아니라 꼬리로 체감된다. 캐시 적중률이 80%라면 다섯 번에 한 번은 20만 토큰을 처음부터 읽는다. 평균 비용은 잘 내려가도 사용자 다섯 중 하나는 매번 긴 대기를 겪는다. 검색은 입력이 늘 작으므로 이 꼬리가 짧다. 비용은 긴 문맥이 이기고 지연은 검색이 이기는 구간이 있다는 뜻이고, 둘 중 무엇을 우선할지는 제품이 정한다.
무관한 비율
세 경우
"창에 들어가니까 다 넣자"가 위험한 이유는 창 안에 있다고 다 쓰이지는 않기 때문이다. 그런데 이 손실은 문서 길이보다 경쟁하는 후보의 수와 성격에 더 민감하다. 같은 10만 토큰이라도 무엇으로 채웠느냐에 따라 결과가 갈린다.
- 관련 문서 한 편을 통째로 넣는 경우 — 대체로 잘 된다. 문맥이 이어져 있어 오히려 조각보다 낫다. 앞 절에서 정의한 용어를 뒤 절이 쓰고, 표가 온전하며, "위에서 말한 예외"가 무엇인지 모델이 찾아갈 수 있다.
- 비슷한 문서 서른 편을 넣는 경우 — 답이 흔들리기 시작한다. 같은 정책의 판 여러 개, 지역마다 조금씩 다른 약관처럼 비슷한 내용이 여러 벌 있으면 모델이 어느 것을 근거로 삼았는지가 요청마다 달라진다. 같은 질문을 두 번 했는데 답의 숫자가 바뀌는 증상이 여기서 나온다.
- 관련 없는 문서가 섞인 경우 — 가장 나쁘다. 무관한 내용이 답에 끌려 들어온다. 질문과 낱말이 겹치는 무관한 문단은 특히 위험하다. 모델 입장에서는 그 문단이 근거처럼 보인다.
판단 기준
그래서 실무의 판단은 "창에 들어가는가"가 아니라 "넣으려는 것 중 무관한 비율이 얼마인가"다. 이 비율이 높으면 창이 아무리 커도 검색이나 필터로 걸러야 한다. 창이 커진 것은 넣을 수 있는 양이 늘어난 것이지, 모델이 그 안에서 고르는 능력이 같은 배수로 늘어난 것이 아니다.
무관한 비율은 대략 잴 수 있다. 질문 몇십 개를 골라 사람이 "이 질문에 실제로 필요한 문서"를 표시해 두고, 통째로 넣으려던 묶음에서 그 문서가 차지하는 토큰 비율을 세면 된다. 그 비율이 절반을 넘으면 통째로 넣어도 무난하고, 10%를 밑돌면 넣는 쪽보다 고르는 쪽이 일을 더 잘한다. 이 경계값 자체는 모델과 과제마다 다르므로 자기 데이터로 다시 그어야 한다.
문서 한 편 질의응답
반대 방향의 실수도 있다. 문서 한 편에 대한 질의응답인데 습관처럼 조각내어 검색을 붙이는 것이다. 계약서 한 부, 논문 한 편, 설명서 한 권처럼 질문이 그 문서 안에서만 나오는 경우에는 무관한 비율이 애초에 낮다. 여기서 조각으로 쪼개면 얻는 것은 없고 잃는 것만 생긴다 — 표가 잘리고, 정의와 그것을 쓰는 문장이 떨어지고, "제3조의 예외"가 어느 조각에 있는지 검색이 찾아야 한다.
이런 문서는 창에 들어가는 한 통째로 넣는 것이 기본값이고, 같은 문서에 질문이 이어지면 캐시를 붙인다. 검색이 필요해지는 것은 문서가 창을 넘을 때뿐이다.
첫 갈림길의 "들어가는가"는 예산을 뺀 뒤로 센다. 창이 20만 토큰이라도 출력 상한과 안전 여유, 시스템 지시와 대화 이력을 빼면 실제로 쓸 수 있는 자리는 그보다 훨씬 적다.
섞어 쓰는 방식
실제로 둘 중 하나만 고르는 경우는 드물다. 자주 쓰는 조합이 셋 있고, 셋 다 앞에서 본 두 방식의 약점을 서로 메우는 모양이다.
넓게 찾아 통째로
검색으로 문서 단위까지만 좁히고, 고른 문서는 조각내지 않고 전문을 넣는다. 문서가 수천 개인데 질문마다 두세 편만 관련 있는 상황에 맞는다. 검색의 역할이 "정답 문단 찾기"에서 "무관한 것 버리기"로 바뀌므로 검색 품질에 대한 요구가 낮아진다. 정답 문단이 1위로 뽑히지 않아도 그 문단이 든 문서가 상위 몇 편에만 들면 된다.
이 방식은 앞 절의 무관한 비율을 낮추는 장치로 읽으면 이해가 쉽다. 수천 편 전부를 넣으면 무관한 비율이 99%를 넘지만, 검색으로 세 편을 고르면 그 비율이 확 줄어든 상태에서 긴 문맥의 장점, 곧 문서 안의 문맥이 온전한 것을 그대로 누린다.
캐시 위의 검색
자주 쓰는 공통 자료(제품 설명서, 정책 문서)는 캐시되는 앞부분에 고정으로 넣고, 질문마다 달라지는 부분만 검색해서 뒤에 붙인다. 앞부분이 안 변해야 캐시가 살아 있으므로 순서를 뒤집으면 안 된다. 검색 결과를 앞에 두고 공통 자료를 뒤에 두면 질문마다 앞부분이 달라져 캐시가 한 번도 적중하지 않는다.
이 조합에서 흔한 실수는 공통 자료 안에 날짜나 사용자 이름 같은 값을 끼워 넣는 것이다. "오늘은 2026년 8월 13일입니다" 한 줄이 시스템 지시 첫머리에 있으면 그 날짜가 바뀌는 순간 뒤의 수만 토큰이 전부 캐시에서 빠진다. 바뀌는 값은 전부 고정 자료 뒤로 보낸다.
두 단계 호출
긴 문맥 모델에게 먼저 "이 문서에서 질문과 관련된 부분의 위치"를 뽑게 하고, 그 부분만 다시 넣어 답을 만든다. 첫 호출은 선별을 모델에게 맡기되 결과를 위치로 내놓게 하고, 두 번째 호출은 그 위치의 원문만으로 답한다. 호출이 두 번이라 지연이 늘지만, 근거가 명시되고 최종 답변 단계의 입력이 짧아진다. 긴 문맥의 약점이던 근거 표시를 되찾는 방법이다.
def answer(question, doc_ids):
docs = load(doc_ids)
if estimate(docs) <= INPUT_BUDGET and len(docs) <= DOC_CAP:
return ask(system, docs, question) # 통째로
hits = search(question, doc_ids, k=TOP_K) # 검색으로 좁힌다
if whole_doc_fits(hits):
return ask(system, load(hits.doc_ids), question) # 문서 단위로 복원
return ask(system, hits.chunks, question) # 조각으로
이 코드에서 중요한 것은 whole_doc_fits 한 줄이다. 검색으로 좁힌 뒤 조각을 그 문서의 전문으로 되돌릴 수 있으면 되돌리는 것이 대체로 낫다. 조각화의 손실은 대부분 여기서 회복된다. 그리고 DOC_CAP이 따로 있는 이유는 앞 절의 서른 편 경우다 — 토큰 예산에 들어가더라도 문서 수가 많으면 통째로 넣지 않는다.
측정과 라우팅
재야 하는 네 값
이 판단은 감으로 하면 매번 뒤집힌다. 로그에서 네 값만 뽑아 두면 대화가 짧아진다.
| 값 | 어떻게 쓰는가 |
|---|---|
| 질문당 관련 문서 수의 분포 | 상위 백분위가 문서 상한을 정한다 |
| 같은 문서에 오는 질문 수 | 1에 가까우면 검색이 손해다 |
| 캐시 적중률 | 낮으면 긴 문맥의 비용 계산이 뒤집힌다 |
| 검색 상위 의 재현율 | 낮으면 창을 키워도 답이 안 좋아진다 |
마지막 줄의 재현율은 정답 조각이 있는 질문 가운데 검색이 그 조각을 상위 안에 실제로 뽑아 온 비율이다. 정답 조각을 사람이 표시해 둔 질문 몇백 개면 잴 수 있다.
이 값이 특히 중요한 것은 순서 오류를 막아 주기 때문이다. 검색이 정답 조각을 놓치고 있는데 창을 키우는 것으로 대응하면, 를 늘려 무관한 조각을 더 많이 넣게 되고 무관한 비율이 올라가 정확도가 오히려 떨어진다. 재현율이 낮으면 고칠 곳은 창이 아니라 검색이다 — 청킹을 바꾸거나, 키워드 검색을 섞거나, 재순위 모델을 붙인다. 창을 키우는 것은 재현율이 충분히 높은데도 필요한 근거가 상위 밖으로 밀려날 때의 처방이다.
질문 유형 라우팅
세 경로가 한 시스템 안에 함께 있는 것이 정상이다. 그러면 요청마다 어느 경로로 보낼지를 정하는 단계가 생기는데, 이것이 라우팅이다. 가장 단순한 라우팅은 위 코드처럼 토큰 수와 문서 수로 가르는 규칙이다. 한 걸음 더 가면 질문의 성격으로 가른다 — "이 계약서의 해지 조건은?"처럼 문서 하나를 지목한 질문은 통째로, "작년 우리 정책 중 원격 근무에 관한 것 전부"처럼 여러 문서를 종합하는 질문은 넓게 찾아 통째로, "에러 코드 E-402의 뜻"처럼 짧은 사실 하나를 묻는 질문은 조각 검색으로 보낸다.
질문의 성격을 판별하는 일을 작은 모델 하나에 맡기기도 하지만, 처음에는 규칙으로 시작하는 편이 낫다. 규칙은 틀렸을 때 왜 틀렸는지가 보이고, 그 틀린 사례가 쌓이면 나중에 분류 모델을 학습시킬 데이터가 된다.
경로별 로그
어느 경로로 갔는지를 로그에 남기는 것이 나중에 이 판단을 다시 할 수 있게 해 준다. 요청마다 경로, 입력 토큰 수, 캐시 적중 여부, 첫 토큰 지연, 그리고 가능하면 정답 여부를 함께 적는다. 그다음 이 값들을 경로별로 따로 집계한다.
전체 평균만 보면 경로 하나의 문제가 다른 경로에 묻힌다. 전체 정확도가 괜찮은데 "넓게 찾아 통째로" 경로만 유독 낮다면 문서 상한이 너무 높은 것이고, 비용이 갑자기 오른 원인이 "통째로" 경로의 캐시 적중률 하락이라면 공통 자료 앞머리에 누가 바뀌는 값을 끼워 넣었는지 찾아야 한다. 경로가 로그에 없으면 이런 질문은 던질 수조차 없다.
정리하면 이 선택은 하나를 고르고 끝나는 것이 아니다. 질문 수가 적고 문서가 확실하면 통째로 넣고, 후보가 많고 무관한 비율이 높으면 검색으로 거르고, 반복되는 공통 자료는 캐시에 고정한다. 그리고 그 셋 사이를 어떻게 오갔는지 남겨 두면, 모델과 요금이 바뀌는 날 이 판단을 처음부터 다시 하지 않고 숫자만 갈아 넣어 다시 그을 수 있다.
읽어주셔서 감사합니다. 😊

