RESULT / 80

과학·실험2026.11.1726 MIN

재순위는 헷갈리는 질의에만 걸면 얼마를 아끼는가: 질의 40%에 걸어 이득을 다 냈고, 확신한 질의에는 안 거는 편이 나았다

1차 검색의 1위·2위 점수 차가 작은 질의에만 cross-encoder를 걸고 재순위 비율을 10%씩 올리며 nDCG@10을 쟀다. scifact에서 하위 40%에만 걸면 전부 재순위한 이득의 93.6~102.6%를 지켰고, 60~70%에만 걸면 전부 건 것보다 0.6~0.8%p 높았다. 영어 cross-encoder는 KorQuAD에서 전부 걸면 21~24%p를 잃어 판정에서 뺐다.

과학·실험2026.11.1736 MIN

사람이 내는 오타로 다시 재면: 의존명사 띄어쓰기는 R@1을 하나도 안 깎았고, 이웃 키 오타는 무작위보다 dense를 더 깎았다

KorQuAD 질의 5,774개에 두벌식 이웃 키 치환·받침 탈락과 덧붙임·의존명사와 보조용언 앞 공백 삭제를 넣고 dense·형태소 BM25·문자 2-gram BM25의 R@1을 무작위 잡음과 짝지어 쟀다. 의존명사 띄어쓰기는 전부 틀려도 손실이 0이었고, 이웃 키 오타는 dense에서 무작위보다 1.96~2.39%p 더 아팠다. 세 검색기의 순위는 끝까지 안 뒤집혔다.

도구2026.11.1234 MIN

토크나이저 속도 실측: 같은 한국어를 자르는 데 몇 배가 갈리는가 — 33배가 갈렸지만 병목은 아니었고, 먼저 갈린 것은 토큰 열이었다

토크나이저 아홉을 구현 다섯으로 같은 한국어·영어 문단에 걸었다. 초당 글자 수는 33배 갈렸지만 임베딩 시간의 1%를 넘은 것은 순수 파이썬 하나였다. 그보다 먼저, transformers 5의 AutoTokenizer가 세 토크나이저에서 tokenizer.json과 다른 토큰 열을 냈다.

도구2026.11.1236 MIN

모델 카드는 학습 데이터를 밝히는가: 평가셋 겹침을 배제할 수 있는 모델 — SciFact 점수를 내건 아홉 중 데이터를 다 적은 둘은 SciFact의 원천 말뭉치로 학습했다

임베딩·재순위 모델 35개의 카드를 토큰 없이 받아 학습 데이터 공개를 명시·부분·없음으로 갈랐다. 다 적은 것은 13개였고, SciFact 점수를 내건 9개 중에서는 둘뿐이었으며 그 둘도 SciFact 문서를 뽑아 온 S2ORC로 학습했다.

도구2026.11.1125 MIN

벡터 저장 비용: fp32·fp16·int8·1비트를 달러로 바꾸면 — 1억 개에서 int8은 월 $476에 KorQuAD 0.14%p를 팔았고, 1비트는 그래프에 막혀 2.8배만 줄었다

AWS 가격 목록의 MemoryDB·S3 요금에 정밀도별 벡터 크기와 직접 잰 HNSW 그래프 144.4바이트를 곱했다. 문서 840만 개까지는 fp32도 가장 작은 노드 하나에 들어 압축이 한 푼도 못 아꼈고, 1억 개에서 1비트 단독은 1%p에 월 $12를 받는 거래였다.

도구2026.11.1134 MIN

한국어 띄어쓰기 교정기 실측: BM25 앞에 붙일 값이 있는가 — 어절 15%가 틀려야 본전이었고, 두 글자씩 자르는 편이 늘 더 쌌다

kiwipiepy·soyspacing·kss의 띄어쓰기 교정을 KorQuAD 질의 5,774개에 걸었다. 형태소 BM25 앞의 교정은 어절 10%가 틀릴 때까지 본전도 못 했고 15%부터 +0.7~1.0%p를 벌었지만, 교정 없는 문자 2-gram BM25를 어느 조건에서도 넘지 못했다.

도구2026.11.1041 MIN

언어 판별기 실측: 짧은 문장에서 무너지는 자리 — 21개 언어에서 95%를 지키려면 32자가 필요했고, 후보를 좁히자 24자로 내려왔다

언어 판별기 여섯 가지(설정까지 아홉 줄)를 21개 언어 2,100문장에 걸고 앞에서 2자부터 48자까지 잘라 가며 쟀다. 평균 정확도 95%를 지키는 최소 길이는 32자(넷)와 48자(셋)로 갈렸고, 후보 언어를 21개로 좁힌 lingua만 24자에서 섰다. 한국어·영어 둘만 보면 2자에서 96%가 나오는 판별기도 있었는데, 그것은 판별이 아니라 영어 쪽으로 기운 사전값이었다.

도구2026.11.0432 MIN

출력 쪽의 한국어 팽창: 같은 답이 몇 배로 청구되는가 — 세율은 입력보다 높지 않았고, 청구서를 가른 것은 출력 단가 배수였다

사람이 옮긴 Belebele 한영 대역 900쌍을 토크나이저 일곱에 넣어 재니 출력 쪽 세율은 입력과 같거나 낮았다(o200k 짧은 답 1.387, 입력 1.456). 그런데 출력 단가가 입력의 5배인 GPT-5.6에서는 답이 질문의 19%만 넘어도 한국어 할증의 절반 이상이 출력에서 나왔다. 단가 배수가 1.43인 DeepSeek V3.2에서는 그 경계가 68%였다.

논문2026.11.0436 MIN

고차원의 허브: 몇몇 문서가 모든 질의의 이웃이 되는가 — 균등난수에서는 그랬고, 임베딩에서는 고치면 손해였다

Radovanović 등(2010)의 k-최근접 출현 횟수 왜도를 재현하니 iid 균등난수 384차원에서 4.84~7.72까지 치솟았다. 실제 임베딩은 문서끼리 세면 1.21·1.82로 iid 20차원 수준이었고, 질의로 세면 KorQuAD에서 3.43이었다. 허브를 깎는 교정 둘은 왜도를 절반으로 줄였지만 KorQuAD R@1을 2.51~3.38%p 잃었다.

논문2026.11.0327 MIN

SPLADE 축소 재현: 학습한 희소 벡터는 BM25를 어디서 이기는가 — 질의 낱말이 정답에 덜 겹치는 3분의 1에서만 이겼다

SPLADE++를 transformers로 직접 계산해 scifact에서 BM25·TAS-B와 쟀다. 전체 5,183편에서 nDCG@10 0.7024로 논문 0.702와 맞았고 BM25보다 4.08%p 높았다. 이득은 질의와 정답의 낱말 겹침 하위 3분의 1에 몰렸고(+14.74%p) 나머지 두 무리에서는 BM25와 구별되지 않았다. 대가는 질의당 훑는 게시물 22.8배였다.

논문2026.11.0331 MIN

ColBERT 축소 재현: 토큰 단위 매칭은 그 저장 비용을 버는가 — 인덱스 39배를 쓰고 1,000편에서는 MiniLM과 같은 자리였다

ColBERTv2를 transformers로 직접 올려 scifact에서 쟀다. 전체 5,183편에서는 nDCG@10 0.6917로 논문 0.693에 맞았고 MiniLM보다 4.66%p 높았지만, 1,000편에서는 MiniLM과 구별되지 않았고 같은 크기의 단일 벡터 bge-base에 6.23%p 졌다. 인덱스는 MiniLM의 39배였다.

과학·실험2026.10.2827 MIN

MMR로 다양성을 올리면 정확도를 얼마나 내주는가: 중복이 없으면 λ 0.8부터 내주고, 중복이 있어도 원래 자리로는 못 돌아온다

MMR의 λ를 1.0에서 0.3까지 내리며 scifact 원본·중복 주입 코퍼스 넷과 KorQuAD에서 nDCG@10과 상위 10개의 고유 문서 수·쌍 유사도를 쟀다. 원본 scifact는 λ 0.8에서 nDCG@10을 1.16%p 내줬고, 중복 코퍼스에서는 λ 0.9~0.8이 1.16~2.89%p를 되찾았지만 원본의 0.6451에는 어느 λ에서도 닿지 못했다.

과학·실험2026.10.2828 MIN

상위 문서로 질의를 고쳐 쓰면 오르는가: 두 코퍼스 마흔 조합 어디서도 오르지 않았다

1차 검색 상위 k개 문서 벡터의 평균을 질의 벡터에 섞는 의사 적합 피드백을 k 넷 × 섞는 비율 다섯으로 KorQuAD 5,774질의와 scifact 300질의에 걸었다. R@1이 구간 밖으로 오른 조합은 하나도 없었고, 비율 0.2부터 KorQuAD R@1이 0.59~0.66%p 떨어졌다. 맞은 질의가 잃는 수가 틀린 질의가 버는 수를 첫 비율부터 넘었다.

과학·실험2026.10.2729 MIN

오타와 띄어쓰기 오류가 섞인 질의: 형태소 BM25가 가장 크게 잃었고, 순위는 끝까지 안 뒤집혔다

KorQuAD 질의 5,774개에 자모 치환·음절 탈락과 띄어쓰기 오류를 5·10·20%로 넣고 dense·형태소 BM25·문자 2-gram BM25의 R@1을 쟀다. 음절 20%에서 형태소 BM25는 20.25%p, dense는 18.20%p를 잃었고 문자 2-gram은 5.98%p만 잃었다. 세 방법의 순위는 어느 비율에서도 뒤집히지 않았다.

과학·실험2026.10.2726 MIN

청크 겹침은 recall을 얼마에 사는가: 문단은 거의 못 사고, 답이 든 조각을 샀다

KorQuAD 문단을 256·512자로 자르며 겹침을 0·10·25·50%로 흔들고 질의 5,774개로 쟀다. 정답 문단을 찾는 R@5는 어느 겹침에서도 구간 밖으로 오르지 않았고, 512자 겹침 50%에서는 오히려 떨어졌다. 오른 것은 1위 조각에 답이 든 비율이었다 — 256자 겹침 50%에서 +3.10%p.

도구2026.10.2123 MIN

재순위를 붙일 것인가, 큰 임베딩을 쓸 것인가 — bge-base 하나가 재순위 셋을 모두 앞섰고, 그 값은 질의가 아니라 색인에서 냈다

작은 임베딩 + 재순위 세 갈래와 큰 임베딩 단독 세 갈래를 scifact 2,000편에서 같은 자로 쟀다. 110M짜리 bge-base 단독이 가장 무거운 재순위보다 nDCG@10이 3.31%p 높고 질의당 7.8배 빨랐다. 대가는 색인 시간 5.9배와 인덱스 2배였다.

도구2026.10.2128 MIN

임베딩 API와 CPU 자체 호스팅의 손익분기 — 같은 e5-small을 배치 요금으로 사면 CPU는 쉬지 않고 돌려도 못 따라갔다

Vertex가 토큰 단위로 파는 multilingual-e5-small을 같은 모델 그대로 CPU 인스턴스에서 돌려 손익분기를 닫힌 식으로 풀었다. 실시간 요금과는 가동률 78~94%에서 만나지만 배치 요금은 가동률 100%에서도 1.24~1.88배 비쌌고, 한국어 토큰세는 양쪽에 똑같이 붙어 손익분기를 옮기지 않았다.

도구2026.10.2025 MIN

토큰 없이 받을 수 있는 토크나이저는 어디까지인가 — 게이트는 README와 LICENSE만 내줬고, 원본은 해시로 미러에서 찾았다

공개 14개·게이트 5개 저장소에서 작은 파일을 전부 토큰 없이 받아 봤다. 게이트 너머로 나온 것은 README와 LICENSE뿐이었지만, 메타데이터의 해시는 열려 있어 Llama·Gemma 토크나이저를 미러에서 원본과 같은 것으로 확인했다.

도구2026.10.1628 MIN

임베딩을 무엇으로 저장할 것인가: 크기·저장·로드 시간 — 압축은 7%밖에 못 줄였고, 절반을 줄인 것은 fp16이었다

scifact 임베딩 5,183개와 그 열 배를 npy·npz·parquet·sqlite·faiss에 fp32·fp16으로 저장했다. 압축(npz)은 7%를 줄이고 저장을 백 배 늦췄고, fp16은 크기를 절반으로 줄이면서 nDCG@10을 넷째 자리까지 그대로 뒀다. 100개만 꺼낼 때 크기와 무관한 것은 npy 메모리 매핑과 sqlite뿐이었다.

도구2026.10.1625 MIN

CPU에서 돌릴 수 있는 재순위 모델 — 4.4M짜리 TinyBERT와 278M짜리 bge가 구별되지 않았고, 갈린 것은 ModernBERT 하나였다

게이트 없는 cross-encoder 여섯을 scifact의 같은 후보 다섯 개에 걸었다. 다섯이 nDCG@10 +3.21~+3.67%p로 서로 구별되지 않았고, 질의당 13ms짜리와 567ms짜리가 같은 자리에 섰다. 구간 밖으로 나간 것은 gte-reranker-modernbert-base의 +5.94%p뿐이었다.

도구2026.10.1546 MIN

한국어 문장 분리기 실측: 경계 오류가 실제로 나는 자리 — 목록은 줄바꿈부터 갈라야 했고, kss fast는 「~다고」 앞에서 653번 잘랐다

정규식·kiwipiepy·kss 네 백엔드를 손으로 만든 경계 40건(숫자 뒤 마침표·말줄임표·인용부호·목록)과 KorQuAD 문단 960개에 걸었다. 목록은 줄바꿈을 경계로 안 보는 분리기 다섯이 6~10건씩 틀렸고, 실제 문단에서는 kss fast가 「~다는」·「~다고」 앞을 653번 잘랐다.

도구2026.10.1524 MIN

한국어 형태소 분석기 실측: 속도·설치 난이도·검색 품질 — BM25에서는 문자 2-gram이 분석기 넷과 구별되지 않았고 질의당 29배 빨랐다

kiwipiepy·mecab-ko·soynlp·konlpy 다섯 백엔드와 공백·문자 2-gram을 KorQuAD 문단 960개와 질의 5,774개에 걸어 토큰화 속도, 설치 시간과 용량, 그 토큰으로 만든 BM25의 R@1을 쟀다. 형태소 분석기 넷과 문자 2-gram이 같은 구간에 섰고, 한나눔·soynlp·공백만 확실히 잃었다.