지난 글까지 무엇을 어떻게 찾을 것인가를 다뤘다. 이번에는 그 한 번이 얼마나 걸리고 얼마가 드는가다.
RAG가 느리다거나 비싸다는 말은 자주 나오는데, 어디가 그런지를 나눠 본 뒤에 하는 경우는 드물다. 그리고 나눠 보면 대개 짐작과 다른 자리가 나온다.
단계별 시간
네 구간
RAG 질의 한 번은 네 구간을 차례로 지난다. 질문을 벡터로 바꾸는 임베딩, 그 벡터와 가까운 청크를 저장소에서 꺼내는 검색, 꺼낸 후보를 다시 줄 세우는 재순위, 그리고 고른 근거를 프롬프트에 붙여 답을 쓰게 하는 생성이다. 앞의 셋이 「무엇을 넣을지」를 정하고 마지막 하나가 「넣은 것으로 무엇을 쓸지」를 정한다. 시간을 재려면 이 네 구간을 따로 재야 한다 — 전체 시간 하나만 보면 어느 구간을 만져야 할지 알 길이 없다.
숫자는 구성마다 다르지만 비율의 모양은 잘 안 바뀐다. 검색 쪽 전부를 합쳐도 200ms 안팎이고, 답을 만드는 데 2~3초가 든다. 생성이 느린 까닭은 구조에 있다. 생성 모델은 답을 한 토큰씩 차례로 쓰고, 토큰 하나를 쓸 때마다 모델 전체를 한 번 통과한다. 400토큰짜리 답이면 그 통과가 400번이다. 반면 벡터 거리를 재는 일은 미리 만들어 둔 색인을 한 번 걷는 것으로 끝난다.
검색을 줄였을 때
그래서 검색을 빠르게 만드는 일은 생각보다 돌려받는 것이 적다. 벡터 저장소를 더 빠른 것으로 바꿔 검색을 40ms에서 20ms로 줄여도, 전체가 3초라면 사용자가 느끼는 시간은 0.7% 짧아진다. 검색 쪽 200ms를 통째로 반으로 줄여도 3%가 조금 넘는다. 저장소를 바꾸는 데 드는 이관 작업과 재색인 비용을 생각하면, 지연만 보고 저장소를 갈아타는 것은 대개 수지가 안 맞는다.
이 계산은 반대 방향으로도 읽힌다. 생성에서 10%만 줄여도 검색 전체를 없앤 것보다 크다. 손을 댈 자리를 고를 때는 구간의 속도가 아니라 구간의 지분을 먼저 본다.
재순위의 몫
검색 안쪽만 따로 보면 재순위가 3분의 2를 쓴다. 재순위는 후보 50개를 질문과 한 쌍씩 묶어 모델에 통과시키고 관련도를 다시 매기는 일이라, 벡터 거리를 재는 것과는 자릿수가 다르다. 그래서 「검색이 느리다」는 불평은 대개 재순위 이야기다.
그런데 재순위를 빼는 것이 답은 아니다. 재순위가 있으면 근거를 열 개 대신 세 개만 넣고도 답 품질이 유지된다. 벡터 거리만으로 뽑은 상위 열 개에는 질문과 낱말은 겹치지만 답을 담지 않은 청크가 섞여 있고, 재순위가 그것들을 아래로 내려 주기 때문이다. 청크 하나가 600토큰이라면 일곱 개가 빠질 때 생성 단계에 들어가는 입력이 4,200토큰 준다. 모델이 그만큼을 읽는 시간과 그 토큰의 값이 재순위에 쓴 120ms와 재순위 모델 비용보다 크다. 한 단계만 보고 판단하면 이 맞바꿈이 안 보인다 — 재순위 구간의 시간은 늘었는데 전체는 줄어드는 일이 실제로 일어난다.
근거 토큰
한 질의의 토큰
비용은 시간과 조금 다르게 쏠린다. 임베딩과 벡터 저장소도 돈이 들지만, 질의 한 번의 비용을 세어 보면 대부분 생성 모델에 넣은 입력 토큰이다. 토큰은 모델이 글을 읽고 쓰는 단위이고, 생성 모델의 값은 읽은 토큰과 쓴 토큰의 수로 매겨진다. 임베딩은 질문 30토큰 하나를 벡터로 바꾸는 일이라 같은 질의에서 차지하는 몫이 작다.
한 질의를 토큰으로 세어 보자. 사용자 질문 30토큰, 시스템 지침 800토큰, 근거 청크 열 개 6,000토큰, 답 400토큰. 입력이 6,830이고 출력이 400이다. 그리고 입력의 88%가 근거다. 출력 토큰은 보통 입력 토큰보다 몇 배 비싸게 매겨지지만, 이 질의에서는 개수 차이가 열 배를 훌쩍 넘으므로 돈의 대부분은 여전히 근거가 쓴다.
이 비율을 하루 질의 수에 곱해 보면 무게가 실감난다. 하루 10만 질의라면 근거만으로 하루 6억 토큰이 모델에 들어간다. 시스템 지침은 8,000만, 질문은 300만이다. 단가가 얼마이든 이 셋의 비율은 그대로이므로, 청구서를 줄이려면 6억 쪽을 건드려야 한다는 결론도 그대로다. 임베딩 쪽은 질문 300만 토큰만 처리하면 되고 문서 색인은 처음 한 번과 갱신 때만 들므로, 일상의 비용에서는 자리가 작다.
근거 개수
여기서 나오는 결론이 하나 있다. 근거 개수를 줄이는 것이 가장 큰 절약 수단이다. 열 개를 네 개로 줄이면 근거가 2,400토큰이 되어 입력이 3,230토큰, 절반 아래로 떨어진다. 시스템 지침을 아무리 다듬어도 800토큰 안에서 움직이는 것이고, 질문은 줄일 수도 없다.
문제는 그냥 줄이면 답이 나빠진다는 것이다. 벡터 거리 순서로 상위 넷만 자르면 다섯째나 일곱째에 있던 진짜 근거가 빠진다. 그래서 앞에서 본 재순위가 필요하다 — 개수를 줄이면서 품질을 지키는 장치다. 순서는 「재순위를 넣는다 → 그 위에서 개수를 줄인다」이고, 거꾸로 하면 줄인 만큼 답이 틀린다.
수단별 대가
줄이는 수단을 한자리에 놓으면 이렇다.
| 줄이는 수단 | 지연 | 비용 | 치르는 대가 |
|---|---|---|---|
| 근거 개수를 줄인다 | 크게 준다 | 크게 준다 | 필요한 근거가 빠지면 답이 틀린다 |
| 재순위를 넣는다 | 검색은 늘고 생성은 준다 | 준다 | 재순위 모델 비용이 붙는다 |
| 청크를 짧게 만든다 | 준다 | 준다 | 맥락이 잘려 근거가 조각난다 |
| 작은 모델로 답한다 | 크게 준다 | 크게 준다 | 근거가 많을 때 요약을 놓친다 |
| 답을 흘려 보낸다 | 체감만 준다 | 그대로 | 없다. 안 할 이유가 없다 |
| 프롬프트 캐시를 쓴다 | 조금 준다 | 준다 | 순서를 고정해야 한다 |
맨 아래 두 줄부터 한다. 대가가 거의 없기 때문이다. 위쪽 넷은 품질과 맞바꾸는 것이라 평가 없이 손대면 안 된다. 아래 두 절이 그 두 줄을 차례로 다루고, 그다음 절이 위쪽 넷을 다룬다.
응답 스트리밍
첫 글자까지의 시간
전체 3초 중 첫 글자가 나오기까지가 600ms이고 나머지 2,400ms는 뒷부분을 쓰는 시간이다. 답을 다 만든 뒤에 한꺼번에 보내면 사용자는 3초를 기다리고, 흘려 보내면 0.6초 뒤부터 읽기 시작한다. 이렇게 만들어지는 대로 토큰을 보내는 방식이 스트리밍이다. 총 시간은 똑같은데 사용자가 빈 화면을 보는 시간이 다섯 분의 일로 준다. 사람이 읽는 속도는 모델이 쓰는 속도보다 느린 경우가 많아, 읽는 동안 뒷부분이 따라온다.
그래서 재는 값이 둘이어야 한다. 질의를 보낸 뒤 첫 토큰이 도착하기까지의 첫 글자까지의 시간(TTFT)과 마지막 토큰까지의 전체 시간이다. 앞엣것은 모델이 입력 전체를 읽는 단계가, 뒤엣것은 답을 한 토큰씩 쓰는 단계가 대부분을 정한다.
고칠 자리
두 값은 고쳐야 할 자리가 서로 다르다.
- 첫 글자까지가 길다 → 입력이 길다. 근거 토큰, 시스템 지침, 캐시 적중률을 본다
- 전체가 길다 → 출력이 길다. 답 길이 지침, 모델 크기를 본다
근거를 줄이면 앞엣것이 짧아지고, 답을 짧게 쓰게 하면 뒤엣것이 짧아진다. 한 값만 보고 있으면 엉뚱한 쪽을 만지게 된다. 예를 들어 전체 시간만 재는 팀이 「느리다」를 듣고 근거를 열에서 다섯으로 줄였는데 답이 평균 900토큰이었다면, 줄어드는 것은 첫 글자까지의 수백 ms뿐이고 답을 쓰는 몇 초는 그대로다. 그 경우에 먼저 할 일은 「핵심만 다섯 문장 안으로」 같은 답 길이 지침이다.
반대로 스트리밍을 켜 두었는데도 「느리다」가 나온다면 첫 글자까지의 시간을 본다. 사람은 빈 화면이 1초를 넘으면 기다리고 있다고 느끼고, 그 뒤에 글이 빠르게 흘러도 첫인상이 남는다.
중간 상태
스트리밍이 시작되기 전의 600ms도 비워 둘 필요는 없다. 검색과 재순위가 도는 동안 「문서 세 건을 찾았습니다」처럼 지금 무엇을 하고 있는지를 먼저 보내면, 사용자는 기다리는 이유를 안다. 고른 근거의 제목을 답보다 먼저 보여 주는 구성도 흔하다 — 근거는 생성 전에 이미 정해져 있으므로 지연 없이 보낼 수 있고, 사용자는 답을 읽기 전에 어느 문서를 바탕으로 했는지 확인할 수 있다.
이 방식은 시간을 한 ms도 줄이지 않는다. 바뀌는 것은 빈 화면의 길이뿐이다. 그런데도 체감에는 이쪽이 근거 개수를 줄이는 것보다 크게 듣는 경우가 많고, 품질을 하나도 건드리지 않는다. 다만 상태 문구가 실제 단계와 어긋나면 안 된다. 검색이 끝나지 않았는데 「답을 쓰는 중」이라고 띄우면, 그 뒤에 오는 긴 침묵이 오히려 고장처럼 읽힌다.
프롬프트 캐시
앞에서부터의 일치
프롬프트 캐싱은 앞서 처리한 프롬프트 앞부분의 계산 결과를 저장해 두었다가, 다음 요청의 앞부분이 똑같으면 다시 계산하지 않고 꺼내 쓰는 방식이다. 꺼내 읽은 토큰은 보통 기본 입력 단가보다 훨씬 싸게 매겨지고 읽는 시간도 준다. 다만 RAG에서는 조건이 하나 붙는다. 캐시는 프롬프트의 앞에서부터 같은 데까지만 걸린다. 한 글자라도 다른 지점이 나오면 거기서 끊기고, 그 뒤는 전부 새로 계산된다.
고정과 가변의 배치
근거 문서는 질의마다 다르니 캐시에 걸릴 수 없다. 그건 어쩔 수 없다. 문제는 그 근거를 프롬프트 맨 앞에 두는 구성이다 — 그러면 뒤에 오는 시스템 지침 800토큰이 고정인데도 매번 새로 계산된다.
고정된 것을 앞으로, 매번 바뀌는 것을 뒤로 보낸다. 시스템 지침과 고정 예시를 앞에 두면 그만큼이 캐시에 걸리고, 근거와 질문만 매번 새로 읽힌다. 순서를 바꾸는 것뿐인데 입력 비용이 눈에 띄게 내려간다. 지침이 800토큰이면 입력의 12%쯤이지만, 고정 예시를 여럿 두는 구성이라면 고정 부분이 수천 토큰이 되어 몫이 커진다.
조심할 자리는 앞부분에 몰래 섞여 드는 가변값이다. 시스템 지침 첫 줄에 「오늘 날짜」나 사용자 이름을 넣으면 그 줄부터 캐시가 깨진다. 날짜가 꼭 필요하면 질문 바로 앞으로 옮긴다.
청크 정렬
여기에 하나 더 있다. 근거 청크를 붙이는 순서도 고정해야 한다. 검색 점수 순으로 붙이면 같은 문서가 뽑혀도 자리가 흔들려 캐시가 안 먹는다. 문서 식별자처럼 안 변하는 기준으로 정렬해 붙이면, 자주 뽑히는 문서 조합에서 캐시가 걸릴 여지가 생긴다. 다만 청크 순서가 답 품질에 영향을 주는 만큼 — 모델은 긴 입력의 가운데에 놓인 것을 덜 쓰는 경향이 있다 — 이 맞바꿈은 평가로 확인하고 정한다. 질문마다 근거 조합이 거의 겹치지 않는 서비스라면 얻을 것이 없으니 점수 순을 그대로 둔다.
답 캐시
같은 질문이 되풀이되는 서비스라면 한 층을 더 둘 수 있다. 질문과 답을 통째로 저장해 두었다가 같은 질문이 오면 검색도 생성도 건너뛰고 저장한 답을 돌려주는 답 캐시다. 사내 도움말처럼 「연차는 어떻게 신청하나요」가 하루에 수백 번 오는 곳에서는 이 층 하나가 생성 비용의 상당 부분을 없앤다.
대가는 신선도다. 근거 문서가 고쳐졌는데 캐시에 옛 답이 남아 있으면 틀린 답이 빠르게 나간다. 그래서 유효 시간을 짧게 두거나, 문서가 갱신될 때 그 문서를 근거로 썼던 답을 함께 지운다. 문장이 조금만 달라도 다른 질문으로 치는 정확 일치부터 시작하고, 뜻이 비슷한 질문까지 묶는 것은 틀린 답을 내줄 위험이 커서 나중에 평가와 함께 넓힌다.
품질과 맞바꾸는 수단
세 가지 대가
표의 위쪽 넷 가운데 재순위를 뺀 셋 — 근거 개수, 청크 길이, 모델 크기 — 은 각각 다른 것을 잃는다. 근거 개수를 줄이면 재현율, 곧 답에 필요한 근거가 후보 안에 들어 있을 비율이 떨어진다. 청크를 짧게 자르면 근거 하나가 앞뒤 맥락을 잃어, 「이 조항은 다음 경우에 적용되지 않는다」 같은 단서가 옆 청크로 떨어져 나간다. 작은 모델로 바꾸면 근거 여럿을 엮어 하나의 답으로 만드는 힘이 약해지고, 근거 사이에 서로 다른 말이 있을 때 그것을 짚지 못한다.
셋 다 평균적인 질문에서는 티가 잘 안 난다. 「연차 신청 방법」처럼 근거 하나로 답이 끝나는 질문은 근거를 셋으로 줄여도, 청크를 반으로 잘라도, 작은 모델로 바꿔도 대개 같은 답이 나온다. 그래서 몇 개를 손으로 넣어 보고 「괜찮네」로 결론 내리기 쉽다. 잃는 것은 근거가 여럿 필요한 질문, 예외 조항이 걸린 질문처럼 원래 어려운 질문에서 먼저 드러난다. 그런 질문은 전체의 일부여도 틀렸을 때의 값이 크다 — 예외 조항을 놓친 답은 틀린 답이 아니라 그럴듯하게 틀린 답이라, 사용자가 의심하지 않고 따른다.
최소 평가 묶음
그래서 이 셋은 평가 없이 손대지 않는다. 크게 만들 필요는 없다. 실제 로그에서 뽑은 질문 50~100개에 기대하는 답이나 꼭 들어가야 할 근거를 적어 둔 묶음이면 시작할 수 있고, 그중 일부는 일부러 어려운 질문 — 근거가 둘 이상 필요한 것, 답이 문서에 없는 것 — 으로 채운다. 설정 하나를 바꿀 때마다 이 묶음을 돌려 정답률과 함께 평균 입력 토큰, p95 지연을 나란히 적는다. 그러면 「비용 40% 절감, 정답률 2점 하락」처럼 맞바꿈이 숫자로 보이고, 감수할지 말지를 정할 수 있다.
시도 순서
순서는 싼 것부터다. 흘려 보내기와 캐시 순서 정리는 품질을 안 건드리므로 먼저 한다. 그다음이 재순위를 넣고 그 위에서 근거 개수를 줄이는 것이다 — 평가 묶음에서 정답률이 안 떨어지는 가장 작은 개수를 찾는다. 청크 길이는 색인을 다시 만들어야 하므로 그 뒤이고, 모델 크기는 품질이 가장 크게 흔들리는 수단이라 마지막에 둔다. 작은 모델은 전부를 바꾸기보다 쉬운 질문만 보내는 식으로 일부에 먼저 써 본다.
꼬리 지연
p95
마지막으로 무엇을 재느냐다. 평균 응답 시간이 2.8초라는 값은 거의 쓸모가 없다. 불만은 평균에서 나오지 않는다.
p95를 본다. 응답 시간을 짧은 것부터 줄 세웠을 때 95%째에 놓인 값이 p95다. 백 번 중 다섯 번은 그보다 오래 걸린다는 뜻이다. 상위 5%가 8초를 쓰고 있다면 하루 10만 질의에서 그 5%는 5,000번이고, 그 사람들이 서비스를 판단한다. 평균은 그 5,000번이 8초에서 15초로 늘어도 크게 안 움직인다.
꼬리의 원인
꼬리가 길어지는 이유는 평균이 길어지는 이유와 다른 경우가 많다. 근거가 유난히 긴 문서였거나, 앞 글에서 본 것처럼 같은 색인을 쓰는 다른 고객사의 대량 적재에 밀렸거나, 필터 선택도가 나쁜 구간에 걸렸거나, 모델이 답을 유난히 길게 썼거나. 이런 원인은 평균을 보는 동안에는 숨어 있다가 p95와 p99에서만 보인다. 꼬리를 줄이는 방법도 평균과 다르다. 근거 문서의 길이에 상한을 두어 한 질의에 들어가는 토큰이 들쭉날쭉하지 않게 하고, 답 길이에도 최대 토큰을 건다. 그리고 단계마다 시간 상한을 둔다. 재순위가 정해 둔 시간 안에 끝나지 않으면 벡터 거리 순서로 상위 몇 개를 그대로 쓰는 식으로, 품질을 조금 내주고 멈추는 대신 답을 내는 길을 미리 만들어 둔다. 그 길을 탄 요청은 따로 표시해 두어야 얼마나 자주 그런 일이 생기는지 셀 수 있다. 그리고 생성 모델 쪽 지연은 서비스 제공자의 혼잡도에 따라 시간대마다 출렁이므로, 같은 설정이라도 낮과 밤의 꼬리가 다를 수 있다.
단계별 기록
단계마다 따로 기록한다. 전체 시간 하나만 남기면 느린 요청을 찾아도 어디가 느렸는지 모른다. 임베딩·검색·재순위·생성 네 값과 입력 토큰 수, 근거 개수를 함께 남기면 느린 요청 몇 개만 봐도 원인이 보인다. 생성은 다시 첫 글자까지의 시간과 전체 시간으로 나눠 적는다. 캐시를 쓴다면 캐시에서 읽힌 토큰 수도 같은 줄에 적어 두어야 순서를 바꾼 효과가 보인다. RAG 평가에서 품질 지표를 남길 때 이 값들을 같은 자리에 함께 남기면, 나중에 품질과 비용을 한 화면에서 비교할 수 있다.
목표
목표를 먼저 정한다. 「빠르게」는 목표가 아니다. 사내 문서 검색이라면 p95 5초도 괜찮고, 통화 중에 상담원을 돕는 용도라면 첫 글자까지 1초를 넘으면 못 쓴다. 비용도 마찬가지로 질의당 상한을 적어 둔다. 목표가 정해져야 위 표의 어느 줄까지 감수할지가 정해지고, 이미 목표 안에 들어온 값을 더 깎느라 품질을 내주는 일도 막는다. 목표는 한 번 정하고 끝나지 않는다. 문서가 늘어 색인이 커지거나 사용 패턴이 바뀌면 같은 설정에서도 p95가 슬금슬금 오르므로, 단계별 기록을 주마다 목표와 견주어 본다. 목표를 넘기 시작한 단계가 다음에 손댈 자리다.
정리
- 한 질의의 시간은 대부분 생성이 쓴다. 검색을 반으로 줄여도 전체는 거의 안 준다
- 검색 안쪽에서는 재순위가 대부분이지만, 그 덕에 근거를 줄이면 생성에서 더 크게 돌려받는다
- 비용은 근거 토큰이 8할 이상이다. 재순위를 넣은 뒤 개수를 줄이는 것이 가장 큰 절약이다
- 흘려 보내기와 캐시 순서 정리부터 한다. 품질을 안 깎고 얻는 것이라서다
- 캐시는 프롬프트 앞에서부터만 걸린다. 고정된 것을 앞에, 바뀌는 것을 뒤에 둔다
- 같은 질문이 되풀이되면 답 캐시를 두되, 문서 갱신에 맞춰 지운다
- 근거 개수·청크 길이·모델 크기는 작은 평가 묶음을 돌리며 하나씩 바꾼다
- 첫 글자까지의 시간과 전체 시간을 나눠 잰다. 고칠 자리가 다르다
- 평균이 아니라 p95를 보고, 단계별 시간과 토큰 수를 함께 기록한다
읽어주셔서 감사합니다. 😊

