지난 글까지가 무엇을 넣고 무엇을 접을지를 정하는 얘기였다. 남은 결정이 하나 있다. 넣기로 한 것들을 어떤 순서로 늘어놓을 것인가. 이 결정은 검색 파이프라인을 만들 때 대개 무의식적으로 내려진다 — 검색기가 돌려준 순서를 그대로 이어 붙이는 것이다. 코드 한 줄이라 결정이라는 자각도 없다.
이 글에서 조각(chunk)은 원문을 검색하기 좋은 크기로 잘라 낸 한 토막이고, 검색기는 질문과 가까운 조각을 점수가 높은 순서로 몇 개 돌려준다. 그 점수가 관련도이고, 점수로 매긴 차례가 순위다. 그리고 그렇게 받은 조각을 프롬프트 안 어느 자리에 어떤 차례로 놓을지 정하는 일이 이 글의 주제인 배치다. 순위는 검색기가 정하고, 배치는 우리 코드가 정한다 — 둘은 같은 목록을 두고 서로 다른 질문에 답한다.
배치가 공짜가 아닌 이유는 위치 효과 때문이다. 같은 내용이라도 창의 앞머리나 질문 바로 앞에 있으면 모델이 잘 쓰고, 긴 창의 한가운데에 묻히면 덜 쓰는 경향이 여러 실험에서 관찰됐다. 이 경향을 인정하고 나면 관련도 1위 조각을 가장 덜 읽히는 자리에 두는 배치가 실제로 존재한다는 것도 따라 나온다.
배치의 조건
조각 수와 길이
먼저 범위를 좁혀 두자. 조각이 서넛뿐이면 어떻게 늘어놓든 차이가 거의 없다. 전부 창의 앞쪽에 몰려 있어 위치 효과가 생길 여지가 없다.
배치가 의미를 갖는 조건은 셋이다.
| 조건 | 왜 |
|---|---|
| 조각이 여덟 개를 넘는다 | 가운데라 부를 만한 구간이 생긴다 |
| 조각 하나가 길다 | 개수가 적어도 총 길이가 길면 같은 일이 벌어진다 |
| 관련도 편차가 크다 | 1위와 8위가 비슷비슷하면 순서를 바꿔도 얻을 게 없다 |
여덟이라는 수는 경계선이 아니라 어림이다. 조각 하나가 500토큰이면 여덟 개가 4,000토큰이고, 앞뒤에 시스템 지시와 질문이 붙으면 「가운데」가 수천 토큰 너비로 생긴다. 반대로 조각이 서른 개라도 하나가 50토큰짜리 짧은 문장이면 전체가 1,500토큰이라 앞쪽에 다 들어간다. 그래서 개수보다 정확한 기준은 조각이 차지하는 총 토큰이고, 개수는 그것을 대신 부르는 이름일 뿐이다.
관련도 편차
세 번째 조건은 놓치기 쉽다. 배치는 「좋은 것을 좋은 자리에」 놓는 일인데, 좋은 것과 나쁜 것의 차이가 없으면 옮길 이유도 없다. 재순위 점수가 0.91, 0.90, 0.89, 0.88처럼 촘촘하게 붙어 있으면 1위와 8위를 바꿔도 기대 이득이 거의 0이다. 반대로 0.95, 0.71, 0.40처럼 벌어져 있으면 1위 하나의 자리가 답의 질을 좌우한다.
셋 다 아니라면 이 글의 나머지는 안 읽어도 된다. 검색 개수를 다섯으로 줄이는 편이 배치를 고민하는 것보다 확실하다. 조각 수를 줄이면 가운데라는 구간 자체가 사라지고, 덤으로 비용과 지연까지 준다.
암묵적 결정
배치를 고민하지 않은 시스템에도 배치는 있다. 검색기 출력을 그대로 잇는 한 줄이 이미 「순위 그대로」라는 선택이고, 벡터 DB가 거리 오름차순으로 돌려주는지 점수 내림차순으로 돌려주는지에 따라 그 선택이 정반대가 되기도 한다. 라이브러리를 바꿨더니 정확도가 이유 없이 몇 점 떨어졌다는 사례 가운데 일부는 이 반환 순서가 뒤집힌 것이다. 결정을 의식하지 않으면 결정이 바뀌어도 모른다.
세 가지 배치
순위 그대로
검색기 출력을 그대로 쓴다. 1위가 창의 앞머리에 온다. 앞머리는 잘 읽히는 자리이므로 나쁜 선택이 아니고, 무엇보다 구현이 없다는 것이 장점이다. 약점은 2위부터다 — 2~3위가 곧바로 가운데로 밀려 들어가고, 질문 바로 앞의 좋은 자리는 관련도가 가장 낮은 꼴찌가 차지한다. 모델이 답을 쓰기 직전에 마지막으로 본 것이 가장 덜 관련된 조각이라는 뜻이다.
역순
1위를 질문 바로 앞에 둔다. 질문에 가장 가까운 자리라 모델이 마지막으로 본 내용이 되고, 답을 쓰기 직전의 맥락으로 작동한다. 한 조각만 근거로 삼으면 되는 단순 질의응답에서 이 배치가 유리한 경우가 많다. 「환불 기한이 며칠인가」처럼 답이 한 문장에 있는 질문이 그렇다. 대신 2위, 3위가 1위 바로 앞에서 가운데 쪽으로 밀리므로 근거를 여럿 엮어야 하는 질문에는 약하다.
역순이 기대는 전제가 하나 있다. 질문이 조각들 뒤에 온다는 것이다. 질문을 맨 앞에 두고 조각을 그 아래 늘어놓는 프롬프트에서는 「질문 바로 앞」이라는 자리가 없어지고, 역순은 1위를 오히려 창의 맨 끝, 질문에서 가장 먼 곳으로 보낸다. 그래서 배치를 정하기 전에 질문의 자리부터 정한다. 긴 자료 뒤에 질문을 두는 쪽이 대체로 낫다는 안내가 많고, 질문을 앞에 한 번 적고 끝에 다시 한 번 적는 방법도 쓰인다.
샌드위치
홀수 순위를 앞에서부터, 짝수 순위를 뒤에서부터 채워 상위권이 양 끝에 오게 한다. 일곱 조각이면 1·3·5·7·6·4·2 차례가 되어 1위가 맨 앞, 2위가 맨 뒤, 가운데에는 6위와 7위 같은 하위권이 놓인다. 앞과 뒤가 둘 다 잘 읽히는 자리라는 관찰을 그대로 이용하는 배치다. 조각이 열 개를 넘고 여러 근거를 종합해야 하는 과제에서 가장 안정적이다. 「두 정책의 차이를 비교하라」처럼 근거가 둘 이상이면 1위와 2위가 둘 다 좋은 자리를 얻는다.
배치의 목적함수
이 세 배치는 같은 목적함수의 서로 다른 해로 볼 수 있다. 조각 의 관련도를 , 그 조각이 놓인 위치의 읽힘 가중치를 라 하면 우리가 키우려는 것은 이 값이다.
가 앞뒤로 높고 가운데가 낮은 U자라면, 를 최대로 만드는 배치는 큰 를 큰 자리에 붙이는 것이다. 그게 샌드위치다. 반대로 가 뒤로 갈수록 단조 증가한다고 보면 답은 역순이 되고, 앞으로 갈수록 크다고 보면 순위 그대로가 된다. 세 배치가 서로 다른 철학이 아니라 w의 모양에 대한 서로 다른 가정이라는 점이 요점이다.
숫자로 한 번 따라가 보자. 조각 다섯의 관련도가 1.0, 0.8, 0.6, 0.4, 0.2이고 다섯 자리의 가중치가 U자로 1.0, 0.6, 0.4, 0.6, 1.0이라 하자. 순위 그대로면 이고, 샌드위치(1·3·5·4·2)면 이다. 같은 다섯 조각인데 늘어놓는 차례만으로 15% 가까이 차이가 난다. 다만 이 계산은 를 안다고 가정했다. 실제 의 모양은 모델과 길이에 따라 달라지고, 최근 모델일수록 U자가 얕아지는 경향도 있다. 결국 재 봐야 안다.
조각 사이의 관계
이웃 조각
배치를 관련도 순서 문제로만 보면 놓치는 것이 있다. 조각들은 서로 독립이 아니다. 같은 문서의 3절과 4절이 각각 2위와 6위로 뽑혔다면, 이 둘을 떼어 놓는 배치는 문맥을 끊는다. 4절의 「이 경우」가 3절을 가리키고 있는데 사이에 다른 문서가 끼면 모델이 그 지시어를 엉뚱한 곳에 연결한다.
이 실패는 조용하다. 답이 틀리는 것이 아니라 그럴듯하게 섞여서 나온다. 3절이 「유료 플랜」을 설명하고 4절이 「이 경우 환불은 7일 이내」라고 적었는데, 사이에 무료 플랜 문서가 끼면 모델은 무료 플랜에도 7일 환불이 있다고 답할 수 있다. 청킹이 문장 중간을 자를수록, 조각이 짧을수록 이런 지시어 의존이 늘어난다.
문서 단위 묶음
그래서 실무에서는 문서 단위로 묶은 뒤 묶음끼리 배치하는 편이 안전하다. 같은 문서에서 온 조각을 원문 차례대로 붙여 하나의 묶음으로 만들고, 묶음의 대표 점수는 그 안에서 가장 높은 조각의 점수로 정한 다음, 묶음들을 샌드위치로 펼친다.
def arrange(chunks):
# 1) 같은 문서의 조각을 묶고 원문 순서로 정렬
groups = defaultdict(list)
for c in chunks:
groups[c.doc_id].append(c)
for g in groups.values():
g.sort(key=lambda c: c.position)
# 2) 묶음의 대표 점수 = 그 안 최고 점수
ranked = sorted(groups.values(), key=lambda g: max(c.score for c in g), reverse=True)
# 3) 샌드위치로 펼친다
head, tail = [], []
for i, g in enumerate(ranked):
(head if i % 2 == 0 else tail).extend(g)
return head + list(reversed(tail))
대표 점수를 평균이 아니라 최댓값으로 잡는 데는 이유가 있다. 평균을 쓰면 관련도 높은 조각 하나에 덜 관련된 이웃이 둘 붙은 묶음이 손해를 본다. 그런데 그 이웃은 정답 조각의 문맥을 살리려고 함께 들어온 것이니 벌을 받을 이유가 없다. 묶음이 커지면 그 묶음 하나가 창의 넓은 구간을 차지하므로, 한 문서에서 가져올 조각 수에 상한을 두는 것도 함께 정한다.
묶음을 만들다 보면 반대 방향의 처방도 보인다. 3절과 5절이 뽑혔는데 4절이 빠져 있으면, 4절을 일부러 끌어와 셋을 잇는 편이 나을 때가 있다. 뽑힌 조각의 앞뒤 이웃을 함께 가져오는 이 확장은 지시어가 많은 문서에서 효과가 크지만, 그만큼 창을 먹으므로 이웃 하나까지만 붙이는 식으로 폭을 묶어 둔다.
시간 순서 자료
시간 순서가 의미를 갖는 데이터라면 그쪽을 따른다. 회의록, 로그, 변경 이력처럼 순서 자체가 정보인 자료를 관련도 순으로 섞으면 모델이 시간 관계를 잘못 읽는다. 「처음에는 A로 정했다가 다음 회의에서 B로 바꿨다」는 흐름이 관련도 순으로 뒤집히면 모델은 A가 최종 결정이라고 답한다. 이런 자료는 관련도로 고르되 시간순으로 늘어놓는다. 고르는 일과 늘어놓는 일을 분리하면 이 구분이 자연스러워진다 — 앞 단계는 무엇이 들어갈지만 정하고, 뒤 단계가 자료의 성격에 따라 차례를 정한다.
경계와 머리말
경계 표시
조각 사이의 구분이 흐릿하면 모델이 두 문서의 내용을 하나로 이어 읽는다. 서로 다른 제품의 가격표 두 개가 빈 줄 하나만 두고 붙어 있으면 답에서 값이 섞여 나온다. 사람 눈에는 문단이 바뀐 것이 보이지만 모델에게는 빈 줄 하나가 같은 문서 안의 문단 구분과 구별되지 않는다. 경계는 눈에 띄는 구분선과 머리말로 명시한다.
구분선의 모양은 무엇이든 괜찮지만 본문에 나올 리 없는 모양이어야 한다. 마크다운 문서를 조각으로 넣는데 구분선을 ---만으로 그으면 원문 안의 가로줄과 구별되지 않는다. 그래서 번호와 문서 이름을 함께 적은 줄을 쓰거나, 조각마다 여는 표지와 닫는 표지를 짝으로 붙인다. 닫는 표지가 있으면 모델이 조각이 어디서 끝나는지까지 알 수 있어, 긴 조각 뒤에 붙은 다음 조각의 첫 문장을 앞 조각의 결론으로 읽는 일이 준다.
--- [1] 문서: 배포 정책 v3 / 절: 2.1 / 갱신: 2026-05-14 ---
(본문)
--- [2] 문서: 배포 정책 v2 / 절: 2.1 / 갱신: 2025-11-02 ---
(본문)
머리말 세 값
머리말에 넣을 값은 세 가지면 충분하다. 어느 문서인지, 어느 부분인지, 언제 것인지. 특히 갱신일은 값이 크다. 같은 절의 옛 판과 새 판이 함께 뽑히는 일이 흔한데, 날짜가 적혀 있으면 모델이 새 쪽을 고른다. 없으면 대개 앞에 있는 쪽을 고른다 — 그리고 앞에 무엇이 오느냐는 배치가 정하므로, 날짜 없는 시스템에서는 배치를 바꾸는 순간 답이 옛 판과 새 판 사이를 오간다.
머리말을 더 늘리고 싶은 유혹이 있지만 조각마다 붙는 값이라 비용이 개수만큼 곱해진다. 조각 스무 개에 머리말이 40토큰씩이면 800토큰이다. 작성자, 태그, 원본 경로 같은 값은 답에 쓰이지 않는 한 넣지 않는다.
번호와 인용
번호를 붙여 두는 것도 이유가 있다. 답에 근거를 인용하라고 지시할 때 모델이 이 번호를 쓴다. 그러면 답을 검증할 때 사람이 원문을 되짚기 쉽고, 자동 검증도 붙일 수 있다 — 답이 인용한 번호의 조각에 실제로 그 문장이 있는지를 문자열 비교나 작은 판정 모델로 확인하는 식이다.
번호는 배치가 끝난 뒤에 매긴다. 순위 번호를 그대로 쓰면 샌드위치에서 [1] 다음에 [3]이 오고 맨 끝에 [2]가 놓여, 모델이 번호 차례를 순서로 오해하거나 인용 번호를 헷갈린다. 창 안의 차례대로 1부터 다시 매기고, 그 번호와 원래 조각 ID의 대응표는 코드 쪽에 따로 들고 있으면 된다.
중복 제거
중복의 출처
검색 결과에는 거의 같은 내용이 여러 조각으로 들어온다. 출처는 크게 둘이다. 하나는 청킹 자체다 — 조각 경계에서 문맥이 끊기지 않게 앞뒤를 겹치게 잘라 두면, 이웃한 두 조각이 그 겹친 구간을 함께 들고 있다. 다른 하나는 원문이다. 같은 공지 문단이 여러 문서에 복사돼 있거나, 위키의 옛 판과 새 판이 둘 다 색인에 남아 있으면 내용이 같은 조각이 여러 문서 이름으로 뽑힌다.
반복의 가중 효과
이걸 그대로 넣으면 두 가지 손해가 겹친다. 하나는 창을 먹는 것이다. 열 자리 중 셋이 같은 내용이면 실제로 들어간 근거는 여덟 개뿐이고, 밀려난 둘 중에 정답이 있었을 수 있다. 다른 하나가 더 고약하다. 같은 말이 여러 번 나온다는 사실 자체가 그 내용을 더 중요해 보이게 만든다. 사람도 세 문서에서 같은 문장을 보면 확립된 사실로 믿기 쉽듯이, 모델도 반복된 내용 쪽으로 답이 기운다. 반복된 문단이 옛 판이라면 새 판 하나가 옛 판 셋에 밀린다.
유사도 임계
제거는 단순한 기준으로 충분하다. 순위 차례대로 하나씩 보면서, 이미 고른 조각들과의 최대 유사도가 임계를 넘으면 버린다. 여기서 유사도는 검색에 쓰려고 조각마다 만들어 둔 벡터, 곧 임베딩 두 개가 이루는 각도의 코사인이고, 1에 가까울수록 내용이 같다.
def dedupe(ranked, threshold=0.92):
kept = []
for c in ranked:
if all(cosine(c.vec, k.vec) < threshold for k in kept):
kept.append(c)
return kept
순위 차례로 훑기 때문에 겹치는 둘 중 점수가 높은 쪽이 남는다. 임계를 너무 낮게 잡으면 관점이 다른 근거까지 날아간다. 같은 주제를 다른 결론으로 다룬 두 문서는 임베딩이 꽤 가까울 수 있는데, 비교형 질문에서는 바로 그 둘이 필요하다. 그래서 0.9 언저리에서 시작해 평가셋으로 조정한다.
제거 로그
그리고 버린 것을 로그로 남겨 두면 나중에 「왜 그 문서가 안 들어갔지」를 추적할 수 있다. 무엇이 무엇 때문에 버려졌는지, 그때 유사도가 얼마였는지를 함께 남긴다. 사용자가 「분명히 그 문서에 있는데」라고 할 때 검색이 못 찾은 것인지, 찾았는데 중복으로 버린 것인지, 넣었는데 모델이 안 쓴 것인지를 가르는 근거가 이 로그다.
재순위와 배치
두 일의 분담
여기서 자주 뒤섞이는 개념을 갈라 두자. 재순위(reranking)는 1차 검색이 넉넉히 뽑아 온 후보를 더 정밀한 모델로 다시 채점해 순위를 고치는 단계다. 재순위는 무엇을 넣을지 고르는 정확도를 올리는 일이고, 배치는 넣기로 한 것을 덜 낭비하는 일이다. 재순위 모델을 붙였다고 배치 문제가 사라지지 않고, 배치를 잘한다고 나쁜 검색이 좋아지지도 않는다.
다만 재순위는 배치의 재료를 바꾼다. 재순위 점수는 1차 검색 점수보다 편차가 큰 경우가 많아서, 앞에서 말한 「관련도 편차」 조건이 재순위를 붙인 뒤에 비로소 성립하기도 한다. 재순위가 없을 때는 배치를 바꿔도 아무 차이가 없다가, 재순위를 붙이고 나서 배치가 의미를 갖기 시작하는 일이 생긴다.
처리 순서
파이프라인 안의 차례는 정해져 있다. 1차 검색으로 후보를 넉넉히 뽑고, 재순위로 다시 채점하고, 중복을 걷어 내고, 상위 몇 개를 자른 다음, 마지막에 배치한다. 중복 제거를 재순위 앞에 두면 재순위 비용은 줄지만 점수가 낮은 쪽이 남을 수 있고, 배치를 자르기 전에 하면 잘려 나갈 조각에 좋은 자리를 줄 수도 있다. 배치는 늘 마지막이다 — 무엇이 들어갈지 확정된 다음에야 어디에 둘지를 정할 수 있다.
검색 실패의 오진
순서로는 재순위가 먼저인 데는 더 근본적인 이유가 있다. 잘못 뽑힌 문서를 어디에 두든 답은 안 나온다. 정답 조각이 애초에 상위 열 개 안에 없으면 배치는 열 개의 오답을 이리저리 옮기는 일일 뿐이다. 그런데 배치는 코드 몇 줄이라 손대기 쉽고, 재순위나 청킹을 고치는 것은 색인을 다시 만들어야 해서 무겁다. 그래서 쉬운 쪽부터 만지다가, 정답 조각이 애초에 안 뽑힌 시스템에서 배치만 몇 주씩 붙잡고 있게 된다. 이 오진을 막는 것이 다음 절의 측정이다.
배치 실험
배치만 바꾸기
배치는 코드 몇 줄로 바꿀 수 있어서 실험 비용이 아주 싸다. 대신 차이가 작아서 대충 재면 잡음에 묻힌다. 그래서 조각 개수와 조각 집합을 고정하고 배치만 바꿔 세 벌을 돌린다. 같은 질문, 같은 검색 결과, 같은 프롬프트에서 늘어놓는 차례만 다르게 해야 차이가 배치 때문이라고 말할 수 있다. 생성 온도는 0으로 두거나, 0이 아니라면 같은 질문을 여러 번 돌려 평균을 낸다. 질문이 200개이고 정확도 차이가 2점이라면 잡음 안에 들어갈 수 있는 크기이므로, 같은 질문에서 배치끼리 맞고 틀린 쌍을 세어 비교하는 편이 전체 정확도를 견주는 것보다 민감하다.
앞에서 미뤄 둔 도 이 틀로 직접 잴 수 있다. 정답이 든 조각 하나와 관련 없는 조각 아홉을 준비하고, 정답 조각만 1번 자리부터 10번 자리까지 옮겨 가며 같은 질문을 던진다. 자리마다 맞힌 비율을 그리면 그 모델, 그 길이에서의 읽힘 가중치 곡선이 나온다. 곡선이 평평하면 배치를 고민할 이유가 없다는 뜻이고, 가운데가 깊게 꺼져 있으면 샌드위치가, 끝으로 갈수록 오르면 역순이 답이다. 모델을 바꿀 때마다 이 곡선을 한 번씩 다시 그려 두면 배치 결정이 추측이 아니라 측정 위에 선다.
질문 유형별 집계
질문을 두 종류로 나눠 따로 집계한다 — 근거 하나로 답하는 것, 근거 여럿을 종합하는 것. 앞에서 본 대로 역순은 앞쪽에, 샌드위치는 뒤쪽에 강하다. 두 유형을 섞어 하나의 평균으로 보면 서로의 이득이 상쇄되어 「배치는 차이가 없다」는 결론이 나온다. 실제 사용자 질문에서 두 유형의 비율을 세어 보고, 비율이 한쪽으로 크게 기울어 있으면 그쪽에 맞는 배치를 기본으로 둔다.
정답 위치 기록
정답이 몇 번 조각에 있었는지를 함께 기록한다. 이 항목이 진단의 핵심이다. 정답이 상위권에 있었는데 틀렸다면 배치나 프롬프트 문제이고, 정답 조각이 아예 안 뽑혔다면 배치를 아무리 바꿔도 소용없다. 틀린 답을 이 기준으로 두 무더기로 가르면, 어느 쪽이 큰지에 따라 다음에 손댈 곳이 정해진다. 틀린 답의 대부분이 「정답 조각 없음」이면 손댈 곳은 검색과 청킹이다.
대개의 결론은 이렇다. 조각이 적으면 아무 배치나 쓰고, 많으면 샌드위치를 기본으로 두고, 시간 순서가 의미 있는 자료는 그쪽을 따른다. 그리고 이 결정보다 훨씬 큰 이득은 조각 개수 자체를 줄이는 데서 나온다. 개수를 줄이는 것은 결국 창의 칸마다 몇 토큰을 줄지 정하는 예산의 문제이고, 그 예산이 넘쳤을 때 무엇부터 덜어 낼지가 다음 글의 주제다.
읽어주셔서 감사합니다. 😊

