1차 검색의 1위·2위 점수 차가 작은 질의에만 cross-encoder를 걸고 재순위 비율을 10%씩 올리며 nDCG@10을 쟀다. scifact에서 하위 40%에만 걸면 전부 재순위한 이득의 93.6~102.6%를 지켰고, 60~70%에만 걸면 전부 건 것보다 0.6~0.8%p 높았다. 영어 cross-encoder는 KorQuAD에서 전부 걸면 21~24%p를 잃어 판정에서 뺐다.
KorQuAD 질의 5,774개에 두벌식 이웃 키 치환·받침 탈락과 덧붙임·의존명사와 보조용언 앞 공백 삭제를 넣고 dense·형태소 BM25·문자 2-gram BM25의 R@1을 무작위 잡음과 짝지어 쟀다. 의존명사 띄어쓰기는 전부 틀려도 손실이 0이었고, 이웃 키 오타는 dense에서 무작위보다 1.96~2.39%p 더 아팠다. 세 검색기의 순위는 끝까지 안 뒤집혔다.
토크나이저 아홉을 구현 다섯으로 같은 한국어·영어 문단에 걸었다. 초당 글자 수는 33배 갈렸지만 임베딩 시간의 1%를 넘은 것은 순수 파이썬 하나였다. 그보다 먼저, transformers 5의 AutoTokenizer가 세 토크나이저에서 tokenizer.json과 다른 토큰 열을 냈다.
AWS 가격 목록의 MemoryDB·S3 요금에 정밀도별 벡터 크기와 직접 잰 HNSW 그래프 144.4바이트를 곱했다. 문서 840만 개까지는 fp32도 가장 작은 노드 하나에 들어 압축이 한 푼도 못 아꼈고, 1억 개에서 1비트 단독은 1%p에 월 $12를 받는 거래였다.
kiwipiepy·soyspacing·kss의 띄어쓰기 교정을 KorQuAD 질의 5,774개에 걸었다. 형태소 BM25 앞의 교정은 어절 10%가 틀릴 때까지 본전도 못 했고 15%부터 +0.7~1.0%p를 벌었지만, 교정 없는 문자 2-gram BM25를 어느 조건에서도 넘지 못했다.
언어 판별기 여섯 가지(설정까지 아홉 줄)를 21개 언어 2,100문장에 걸고 앞에서 2자부터 48자까지 잘라 가며 쟀다. 평균 정확도 95%를 지키는 최소 길이는 32자(넷)와 48자(셋)로 갈렸고, 후보 언어를 21개로 좁힌 lingua만 24자에서 섰다. 한국어·영어 둘만 보면 2자에서 96%가 나오는 판별기도 있었는데, 그것은 판별이 아니라 영어 쪽으로 기운 사전값이었다.
사람이 옮긴 Belebele 한영 대역 900쌍을 토크나이저 일곱에 넣어 재니 출력 쪽 세율은 입력과 같거나 낮았다(o200k 짧은 답 1.387, 입력 1.456). 그런데 출력 단가가 입력의 5배인 GPT-5.6에서는 답이 질문의 19%만 넘어도 한국어 할증의 절반 이상이 출력에서 나왔다. 단가 배수가 1.43인 DeepSeek V3.2에서는 그 경계가 68%였다.
SPLADE++를 transformers로 직접 계산해 scifact에서 BM25·TAS-B와 쟀다. 전체 5,183편에서 nDCG@10 0.7024로 논문 0.702와 맞았고 BM25보다 4.08%p 높았다. 이득은 질의와 정답의 낱말 겹침 하위 3분의 1에 몰렸고(+14.74%p) 나머지 두 무리에서는 BM25와 구별되지 않았다. 대가는 질의당 훑는 게시물 22.8배였다.
ColBERTv2를 transformers로 직접 올려 scifact에서 쟀다. 전체 5,183편에서는 nDCG@10 0.6917로 논문 0.693에 맞았고 MiniLM보다 4.66%p 높았지만, 1,000편에서는 MiniLM과 구별되지 않았고 같은 크기의 단일 벡터 bge-base에 6.23%p 졌다. 인덱스는 MiniLM의 39배였다.
1차 검색 상위 k개 문서 벡터의 평균을 질의 벡터에 섞는 의사 적합 피드백을 k 넷 × 섞는 비율 다섯으로 KorQuAD 5,774질의와 scifact 300질의에 걸었다. R@1이 구간 밖으로 오른 조합은 하나도 없었고, 비율 0.2부터 KorQuAD R@1이 0.59~0.66%p 떨어졌다. 맞은 질의가 잃는 수가 틀린 질의가 버는 수를 첫 비율부터 넘었다.
KorQuAD 질의 5,774개에 자모 치환·음절 탈락과 띄어쓰기 오류를 5·10·20%로 넣고 dense·형태소 BM25·문자 2-gram BM25의 R@1을 쟀다. 음절 20%에서 형태소 BM25는 20.25%p, dense는 18.20%p를 잃었고 문자 2-gram은 5.98%p만 잃었다. 세 방법의 순위는 어느 비율에서도 뒤집히지 않았다.
KorQuAD 문단을 256·512자로 자르며 겹침을 0·10·25·50%로 흔들고 질의 5,774개로 쟀다. 정답 문단을 찾는 R@5는 어느 겹침에서도 구간 밖으로 오르지 않았고, 512자 겹침 50%에서는 오히려 떨어졌다. 오른 것은 1위 조각에 답이 든 비율이었다 — 256자 겹침 50%에서 +3.10%p.
작은 임베딩 + 재순위 세 갈래와 큰 임베딩 단독 세 갈래를 scifact 2,000편에서 같은 자로 쟀다. 110M짜리 bge-base 단독이 가장 무거운 재순위보다 nDCG@10이 3.31%p 높고 질의당 7.8배 빨랐다. 대가는 색인 시간 5.9배와 인덱스 2배였다.
Vertex가 토큰 단위로 파는 multilingual-e5-small을 같은 모델 그대로 CPU 인스턴스에서 돌려 손익분기를 닫힌 식으로 풀었다. 실시간 요금과는 가동률 78~94%에서 만나지만 배치 요금은 가동률 100%에서도 1.24~1.88배 비쌌고, 한국어 토큰세는 양쪽에 똑같이 붙어 손익분기를 옮기지 않았다.
scifact 임베딩 5,183개와 그 열 배를 npy·npz·parquet·sqlite·faiss에 fp32·fp16으로 저장했다. 압축(npz)은 7%를 줄이고 저장을 백 배 늦췄고, fp16은 크기를 절반으로 줄이면서 nDCG@10을 넷째 자리까지 그대로 뒀다. 100개만 꺼낼 때 크기와 무관한 것은 npy 메모리 매핑과 sqlite뿐이었다.
게이트 없는 cross-encoder 여섯을 scifact의 같은 후보 다섯 개에 걸었다. 다섯이 nDCG@10 +3.21~+3.67%p로 서로 구별되지 않았고, 질의당 13ms짜리와 567ms짜리가 같은 자리에 섰다. 구간 밖으로 나간 것은 gte-reranker-modernbert-base의 +5.94%p뿐이었다.
정규식·kiwipiepy·kss 네 백엔드를 손으로 만든 경계 40건(숫자 뒤 마침표·말줄임표·인용부호·목록)과 KorQuAD 문단 960개에 걸었다. 목록은 줄바꿈을 경계로 안 보는 분리기 다섯이 6~10건씩 틀렸고, 실제 문단에서는 kss fast가 「~다는」·「~다고」 앞을 653번 잘랐다.
kiwipiepy·mecab-ko·soynlp·konlpy 다섯 백엔드와 공백·문자 2-gram을 KorQuAD 문단 960개와 질의 5,774개에 걸어 토큰화 속도, 설치 시간과 용량, 그 토큰으로 만든 BM25의 R@1을 쟀다. 형태소 분석기 넷과 문자 2-gram이 같은 구간에 섰고, 한나눔·soynlp·공백만 확실히 잃었다.