리서치

LAB / 31번째 글

상위 문서로 질의를 고쳐 쓰면 오르는가: 두 코퍼스 마흔 조합 어디서도 오르지 않았다

1차 검색 상위 k개 문서 벡터의 평균을 질의 벡터에 섞는 의사 적합 피드백을 k 넷 × 섞는 비율 다섯으로 KorQuAD 5,774질의와 scifact 300질의에 걸었다. R@1이 구간 밖으로 오른 조합은 하나도 없었고, 비율 0.2부터 KorQuAD R@1이 0.59~0.66%p 떨어졌다. 맞은 질의가 잃는 수가 틀린 질의가 버는 수를 첫 비율부터 넘었다.

PALDYN Team28 MIN READ

지난 글은 질의에 잡음을 넣어 흔들었습니다. 이번에는 질의를 일부러 고칩니다. 사용자가 넣은 질의가 짧거나 문서와 다른 말을 쓰면, 1차 검색이 가져온 상위 문서를 보고 질의를 문서 쪽으로 당겨 다시 찾는 방법이 있습니다. 생성 모델 없이, 벡터 덧셈 한 번으로 끝나는 질의 확장입니다.

이 방법은 1차 검색이 맞았다는 가정 위에 서 있습니다. 상위 문서가 정답 근처에 있으면 질의가 정답 쪽으로 더 다가가고, 상위 문서가 엉뚱하면 질의가 엉뚱한 쪽으로 끌려갑니다. 계획은 그래서 이득을 평균 하나로 끝내지 말고 1차 검색이 맞은 질의와 틀린 질의로 갈라 보라고 적었고, 「맞은 질의는 굳히고 틀린 질의는 더 멀리 보낸다」를 가설로 걸었습니다.

결과를 먼저 적습니다. 두 코퍼스, 마흔 조합 가운데 R@1이 구간 밖으로 오른 조합은 하나도 없었습니다. 섞는 비율이 0.1이면 구별되지 않을 만큼만 움직이고, 0.2부터는 KorQuAD에서 R@1이 0.59~0.66%p 떨어졌습니다. 가설의 절반도 틀렸습니다. 틀린 질의는 실제로 정답을 되찾기도 했지만, 맞은 질의에서 잃는 수가 첫 비율부터 그보다 많았습니다.

질의를 고쳐 쓰는 여러 방식의 개념은 질문을 바꿔 다시 검색하기가 맡습니다. 코퍼스와 채점은 CPU만으로 세우는 검색 실험대 그대로이고, 여기서는 상위 문서 몇 개를 얼마나 섞는지 두 값만 흔듭니다.

실험 설계

의사 적합 피드백

검색 결과를 사람이 보고 「이 문서가 맞다」고 표시해 주면 그 문서 쪽으로 질의를 고쳐 다시 찾을 수 있습니다. 이것이 적합 피드백이고, 질의 벡터에 맞는 문서 벡터를 더하고 틀린 문서 벡터를 빼는 식이 1970년대의 Rocchio 식입니다. 사람의 표시 없이 1차 검색의 상위 k개를 그냥 맞는 문서로 치고 같은 일을 하면 의사 적합 피드백(pseudo-relevance feedback, PRF)이 됩니다. 「의사」가 붙는 이유는 맞다는 표시가 사람이 아니라 1차 검색의 순위에서 오기 때문입니다.

이 글이 쓰는 식은 그 가운데 가장 단순한 꼴입니다. 1차 검색 상위 k개 문서 벡터의 평균을 c라 하면, 새 질의는 q′=(1−α) q+α cq' = (1-\alpha)\,q + \alpha\,c 를 길이 1로 다시 맞춘 것입니다. 틀린 문서를 빼는 항은 두지 않았습니다. α가 0이면 원래 질의, 1이면 상위 문서들의 평균 자체가 됩니다. 이 q'로 같은 색인을 한 번 더 찾습니다.

코퍼스와 격자

코퍼스는 실험대의 둘입니다.

  • KorQuAD: 위키백과 문단 960개, 질의 5,774개 전부, 정답 문단은 질의마다 하나. 모델은 intfloat/multilingual-e5-small이고 접두사 query: ·passage: 를 붙입니다.
  • scifact: 과학 논문 초록 5,183편, test 질의 300개, 정답 쌍 339개. 모델은 all-MiniLM-L6-v2입니다.

격자는 k ∈ {1, 3, 5, 10} × α ∈ {0.1, 0.2, 0.3, 0.5, 0.7}로 코퍼스마다 스무 조합입니다. 판정은 질의를 짝지은 부트스트랩 1,000회로 냅니다. 같은 질의에 두 조건을 다 걸었으므로 질의마다 차이를 먼저 구하고 그 차이를 되뽑습니다. 1차 검색이 R@1을 맞힌 질의를 「맞은 질의」, 못 맞힌 질의를 「틀린 질의」라 부릅니다.

재현과 출력

인코딩

pip install torch sentence-transformers datasets numpy

리눅스에서 CUDA 의존까지 받고 싶지 않으면 torch만 먼저 CPU 휠로 깝니다: pip install torch --index-url https://download.pytorch.org/whl/cpu. 이번 컨테이너에서는 그 주소가 프록시에서 막혀(403) PyPI 기본 휠을 깔았고 GPU 없이 CPU로만 돌렸습니다.

import sys, time, numpy as np
from datasets import load_dataset
from sentence_transformers import SentenceTransformer

t0, name = time.perf_counter(), sys.argv[1]
enc = lambda m, x: m.encode(x, batch_size=64, normalize_embeddings=True, show_progress_bar=False)
if name == "korquad":
    val = load_dataset("KorQuAD/squad_kor_v1")["validation"]
    paras = sorted({r["context"] for r in val})
    pid = {p: i for i, p in enumerate(paras)}
    m = SentenceTransformer("intfloat/multilingual-e5-small")
    D = enc(m, ["passage: " + p for p in paras])
    Q = enc(m, ["query: " + r["question"] for r in val])
    G = np.zeros((len(val), len(paras)), bool)
    G[np.arange(len(val)), [pid[r["context"]] for r in val]] = True
else:
    corpus = load_dataset("BeIR/scifact", "corpus")["corpus"]
    queries = load_dataset("BeIR/scifact", "queries")["queries"]
    gold = {}
    for r in load_dataset("BeIR/scifact-qrels")["test"]:
        gold.setdefault(str(r["query-id"]), set()).add(str(r["corpus-id"]))
    qids, qtext = sorted(gold, key=int), {str(q["_id"]): q["text"] for q in queries}
    dids = [str(d["_id"]) for d in corpus]
    m = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
    D = enc(m, [(d["title"] + " " + d["text"]).strip() for d in corpus])
    Q = enc(m, [qtext[q] for q in qids])
    G = np.array([[d in gold[q] for d in dids] for q in qids])
np.savez(f"{name}.npz", D=D, Q=Q, G=G)
print(f"{name}: docs={len(D)} queries={len(Q)} gold pairs={G.sum()} dim={D.shape[1]} "
      f"elapsed={time.perf_counter() - t0:.0f}s")
python3 prf_encode.py korquad
python3 prf_encode.py scifact
korquad: docs=960 queries=5774 gold pairs=5774 dim=384 elapsed=79s
scifact: docs=5183 queries=300 gold pairs=339 dim=384 elapsed=95s

두 코퍼스를 합치면 3분 가까이 걸려 코퍼스마다 명령을 나눴습니다. 뒤의 두 스크립트는 여기서 남긴 korquad.npz·scifact.npz만 읽습니다.

격자 스윕

right: lost@1은 맞은 질의 가운데 R@1을 잃은 몫, wrong: won@1은 틀린 질의 가운데 R@1을 되찾은 몫, wrong: lost@10은 틀린 질의 가운데 1차 검색에서 상위 10개 안에 있던 정답이 10위 밖으로 밀려난 몫입니다.

import numpy as np

disc = 1.0 / np.log2(np.arange(2, 12))


def score(Q, D, G):
    top = np.argsort(-(Q @ D.T), axis=1)[:, :10]
    rel = np.take_along_axis(G, top, 1).astype(float)
    idcg = np.array([disc[:min(g, 10)].sum() for g in G.sum(1)])
    return rel[:, 0], (rel * disc).sum(1) / idcg, rel.any(1).astype(float), top


def ci(d, bs):
    lo, hi = np.percentile(d[bs].mean(1) * 100, [2.5, 97.5])
    return f"{d.mean() * 100:+6.2f} [{lo:+6.2f},{hi:+6.2f}]"


for name in ("korquad", "scifact"):
    z = np.load(f"{name}.npz")
    D, Q, G = z["D"], z["Q"], z["G"]
    bs = np.random.default_rng(0).integers(0, len(Q), (1000, len(Q)))
    r1, nd, h10, top = score(Q, D, G)
    ok = r1 == 1
    print(f"\n{name}: n={len(Q)}  R@1 {r1.mean():.4f}  nDCG@10 {nd.mean():.4f}  "
          f"first-pass right {ok.sum()} / wrong {(~ok).sum()}")
    print(f"{'k':>3}{'alpha':>6}{'dR@1 all %p':>24}{'dnDCG@10 all %p':>24}"
          f"{'right: lost@1':>14}{'wrong: won@1':>13}{'wrong: lost@10':>15}")
    for k in (1, 3, 5, 10):
        C = D[top[:, :k]].mean(1)  # 1차 상위 k개 문서 벡터의 평균
        for a in (0.1, 0.2, 0.3, 0.5, 0.7):
            Q2 = (1 - a) * Q + a * C
            Q2 /= np.linalg.norm(Q2, axis=1, keepdims=True)
            s1, sn, s10, _ = score(Q2, D, G)
            print(f"{k:>3}{a:>6.1f}{ci(s1 - r1, bs):>24}{ci(sn - nd, bs):>24}"
                  f"{(s1[ok] == 0).mean():>14.4f}{(s1[~ok] == 1).mean():>13.4f}"
                  f"{((h10 == 1) & (s10 == 0))[~ok].sum() / (~ok).sum():>15.4f}")
python3 prf.py

실제 출력

korquad: n=5774  R@1 0.7785  nDCG@10 0.8806  first-pass right 4495 / wrong 1279
  k alpha             dR@1 all %p         dnDCG@10 all %p right: lost@1 wrong: won@1 wrong: lost@10
  1   0.1   +0.00 [ +0.00, +0.00]   -0.10 [ -0.19, -0.01]        0.0000       0.0000         0.0164
  1   0.2   +0.00 [ +0.00, +0.00]   -0.31 [ -0.44, -0.18]        0.0000       0.0000         0.0360
  1   0.3   +0.00 [ +0.00, +0.00]   -0.70 [ -0.88, -0.53]        0.0000       0.0000         0.0688
  1   0.5   +0.00 [ +0.00, +0.00]   -1.57 [ -1.81, -1.32]        0.0000       0.0000         0.1384
  1   0.7   +0.00 [ +0.00, +0.00]   -2.28 [ -2.57, -1.99]        0.0000       0.0000         0.1876
  3   0.1   -0.09 [ -0.31, +0.14]   -0.12 [ -0.22, -0.02]        0.0056       0.0156         0.0149
  3   0.2   -0.59 [ -0.99, -0.24]   -0.36 [ -0.52, -0.21]        0.0171       0.0336         0.0235
  3   0.3   -1.33 [ -1.84, -0.85]   -0.73 [ -0.94, -0.51]        0.0311       0.0493         0.0375
  3   0.5   -4.26 [ -5.02, -3.53]   -2.24 [ -2.57, -1.93]        0.0808       0.0915         0.0672
  3   0.7  -11.07 [-12.11,-10.03]   -5.53 [ -5.98, -5.08]        0.1842       0.1478         0.0884
  5   0.1   -0.14 [ -0.43, +0.14]   -0.15 [ -0.29, -0.03]        0.0091       0.0258         0.0141
  5   0.2   -0.61 [ -1.06, -0.21]   -0.37 [ -0.55, -0.18]        0.0211       0.0469         0.0250
  5   0.3   -1.63 [ -2.23, -1.11]   -0.88 [ -1.14, -0.63]        0.0403       0.0680         0.0352
  5   0.5   -6.11 [ -6.98, -5.30]   -3.19 [ -3.58, -2.81]        0.1123       0.1188         0.0508
  5   0.7  -16.90 [-18.10,-15.79]   -8.88 [ -9.46, -8.33]        0.2618       0.1572         0.0680
 10   0.1   -0.05 [ -0.36, +0.24]   -0.06 [ -0.18, +0.06]        0.0085       0.0274         0.0031
 10   0.2   -0.66 [ -1.09, -0.23]   -0.41 [ -0.61, -0.22]        0.0234       0.0524         0.0109
 10   0.3   -1.68 [ -2.27, -1.07]   -0.98 [ -1.24, -0.71]        0.0429       0.0751         0.0133
 10   0.5   -6.65 [ -7.53, -5.77]   -3.93 [ -4.34, -3.49]        0.1215       0.1267         0.0367
 10   0.7  -20.51 [-21.72,-19.22]  -12.37 [-13.03,-11.66]        0.3090       0.1603         0.0610

scifact: n=300  R@1 0.5033  nDCG@10 0.6451  first-pass right 151 / wrong 149
  k alpha             dR@1 all %p         dnDCG@10 all %p right: lost@1 wrong: won@1 wrong: lost@10
  1   0.1   +0.00 [ +0.00, +0.00]   -0.18 [ -0.80, +0.47]        0.0000       0.0000         0.0201
  1   0.2   +0.00 [ +0.00, +0.00]   -0.48 [ -1.56, +0.59]        0.0000       0.0000         0.0470
  1   0.3   +0.00 [ +0.00, +0.00]   -1.26 [ -2.75, +0.24]        0.0000       0.0000         0.0940
  1   0.5   +0.00 [ +0.00, +0.00]   -1.99 [ -3.90, -0.05]        0.0000       0.0000         0.1477
  1   0.7   +0.00 [ +0.00, +0.00]   -2.88 [ -5.00, -0.73]        0.0000       0.0000         0.2013
  3   0.1   -0.67 [ -1.67, +0.00]   -0.09 [ -0.62, +0.45]        0.0132       0.0000         0.0134
  3   0.2   -1.33 [ -3.00, +0.00]   -0.34 [ -1.25, +0.52]        0.0331       0.0067         0.0268
  3   0.3   -2.33 [ -4.33, -0.33]   -0.93 [ -2.05, +0.18]        0.0530       0.0067         0.0470
  3   0.5   -4.00 [ -6.67, -1.33]   -1.71 [ -3.18, -0.21]        0.0993       0.0201         0.0604
  3   0.7   -9.00 [-12.67, -5.33]   -3.98 [ -5.90, -1.99]        0.2119       0.0336         0.0805
  5   0.1   -0.33 [ -1.00, +0.00]   -0.16 [ -0.70, +0.35]        0.0066       0.0000         0.0201
  5   0.2   -1.33 [ -2.67, +0.00]   -0.91 [ -1.73, -0.15]        0.0265       0.0000         0.0268
  5   0.3   -2.33 [ -4.33, -0.33]   -1.21 [ -2.35, -0.07]        0.0530       0.0067         0.0268
  5   0.5   -6.67 [-10.00, -3.66]   -3.12 [ -4.88, -1.51]        0.1523       0.0201         0.0336
  5   0.7  -12.33 [-17.00, -7.67]   -6.10 [ -8.57, -3.75]        0.2980       0.0537         0.0403
 10   0.1   -0.33 [ -1.00, +0.00]   -0.28 [ -0.72, +0.10]        0.0066       0.0000         0.0067
 10   0.2   -0.33 [ -1.33, +0.67]   -0.60 [ -1.26, +0.07]        0.0132       0.0067         0.0134
 10   0.3   -1.00 [ -3.33, +1.00]   -1.35 [ -2.44, -0.25]        0.0464       0.0268         0.0134
 10   0.5   -4.00 [ -7.33, -1.00]   -3.91 [ -5.67, -2.20]        0.1192       0.0403         0.0403
 10   0.7  -11.67 [-15.67, -7.66]   -8.27 [-10.48, -6.02]        0.2649       0.0336         0.0537

기준선은 앞 글들과 넷째 자리까지 같습니다. KorQuAD 5,774질의의 R@1 0.7785는 한국어에서 BM25가 임베딩을 이기는 질의가 낸 dense 값이고, scifact nDCG@10 0.6451은 실험대의 합격 판정 값입니다. PRF에는 난수가 끼지 않아 같은 입력이면 같은 출력이 나옵니다. 산포는 질의를 되뽑은 부트스트랩 구간으로만 읽습니다.

격자 전체

k=1의 R@1

k=1인 다섯 줄은 R@1 변화가 두 코퍼스 모두 정확히 0입니다. 측정이 고장 난 것이 아니라 식에서 나오는 성질입니다. 1위 문서 벡터를 d₁, 그 점수를 s₁이라 하면 새 질의에서 d₁의 점수는 (1−α)s1+α(1-\alpha)s_1 + \alpha 이고, 다른 문서 d의 점수는 (1−α)s+α (d1⋅d)(1-\alpha)s + \alpha\,(d_1 \cdot d) 입니다. s < s₁이고 길이 1인 두 벡터의 내적은 1을 넘지 않으니 d₁은 언제나 1위를 지킵니다. 다시 길이를 맞추는 것은 모든 점수를 같은 수로 나누는 일이라 순위를 안 바꿉니다.

그래서 k=1의 PRF는 1위를 못 바꾸고 2위 아래만 1위 문서와 닮은 문서로 채웁니다. 그 결과가 nDCG@10의 하락(KorQuAD −0.10~−2.28%p)과 wrong: lost@10 열입니다. 1차 검색이 틀린 질의에서는 1위가 오답이므로 그 오답을 닮은 문서가 위로 올라오고, α=0.7이면 상위 10개 안에 있던 정답의 18.76%가 10위 밖으로 밀려납니다. 오답을 굳히는 쪽으로만 작동하는 셈입니다.

섞는 비율

k가 3 이상이면 1위도 바뀔 수 있습니다. 그런데 R@1이 오른 조합은 마흔 가운데 하나도 없습니다. KorQuAD에서 α=0.1인 세 줄(k=3·5·10)이 −0.05~−0.14%p로 구간이 0을 품어 구별되지 않고, α=0.2부터는 세 줄 모두 구간이 0 아래로 나갑니다(−0.59·−0.61·−0.66%p). α가 커질수록 손해가 빨리 자라서, α=0.5면 −4.26~−6.65%p, α=0.7이면 k=10에서 −20.51%p입니다.

nDCG@10은 R@1보다 먼저 손해를 냅니다. KorQuAD에서 구간이 0을 품은 칸은 k=10·α=0.1의 −0.06%p [−0.18, +0.06] 하나뿐이고, 나머지 열아홉 칸은 전부 0 아래입니다. 2위 아래 순위를 상위 문서들과 닮은 쪽으로 당기는 일이 1위를 바꾸기 전에 먼저 일어나기 때문입니다.

두 코퍼스

scifact도 방향은 같고 구간이 넓을 뿐입니다. 질의가 300개라 R@1 한 질의가 0.33%p이고, α=0.1에서 k=3이 −0.67%p, k=5·10이 −0.33%p로 한두 질의를 잃었습니다. nDCG@10이 구간 밖으로 처음 나가는 비율은 k=1·3에서 α=0.5, k=5에서 0.2, k=10에서 0.3입니다.

scifact에서 눈에 띄는 것은 wrong: won@1 열이 거의 비어 있다는 것입니다. 틀린 질의 149개 가운데 되찾은 몫이 가장 커도 5.37%(k=5·α=0.7)이고, k=5에서는 α=0.2까지 0입니다. KorQuAD의 틀린 질의는 같은 자리에서 4.69%를 되찾았습니다. 과학 초록 코퍼스에서 MiniLM의 1차 상위 문서는 정답 쪽을 가리키는 힘이 더 약했다는 뜻이고, 그만큼 PRF가 벌 거리가 처음부터 적었습니다.

맞은 질의와 틀린 질의

손익의 비

PRF가 R@1을 올리려면 틀린 질의가 버는 수가 맞은 질의가 잃는 수보다 커야 합니다. 맞은 질의는 R@1이 이미 1이라 잃기만 할 수 있고, 틀린 질의는 0이라 벌기만 할 수 있습니다. 1차 R@1을 p라 하면 맞은 질의가 틀린 질의의 p/(1−p)배 있으므로, 틀린 질의에서 되찾는 비율이 맞은 질의에서 잃는 비율의 p/(1−p)배를 넘어야 본전입니다. KorQuAD는 4,495 대 1,279라 그 문턱이 3.51배, scifact는 151 대 149라 1.01배입니다.

KorQuAD에서 실제로 잰 비는 그 문턱에 한 번도 닿지 않았습니다. k=10에서 α=0.1이면 틀린 질의의 2.74%가 되찾고 맞은 질의의 0.85%가 잃어 3.22배이고, α=0.2에서 2.24배, 0.3에서 1.75배, 0.5에서 1.04배, 0.7에서 0.52배로 α가 커질수록 줄어듭니다. 질의 수로 바꾸면 α=0.1에서 잃은 38개 대 되찾은 35개이고, α=0.7이면 1,389개 대 205개입니다. 계획이 꺾이는 지점으로 잡은 「손해가 이득을 넘는 α」는 격자의 첫 칸인 0.1에서 이미 넘었습니다.

이 문턱은 1차 검색이 좋을수록 높아집니다. 1차 R@1이 0.78인 코퍼스에서는 틀린 질의가 적어 PRF가 벌 대상 자체가 적고, 잃을 대상은 많습니다. scifact는 1차 R@1이 0.50이라 문턱이 1.01배로 낮았지만, 거기서는 되찾는 비율이 잃는 비율의 0~0.58배여서 낮은 문턱도 못 넘었습니다.

밀려나는 정답

가설의 「틀린 질의를 더 멀리 보낸다」는 반만 맞았습니다. 틀린 질의 가운데 정답이 상위 10개 밖으로 밀려나는 몫이 k=10에서 α=0.1의 0.31%부터 α=0.7의 6.10%까지 늘었습니다. 같은 자리에서 1위로 올라선 몫(2.74~16.03%)보다는 작습니다. 틀린 질의만 놓고 보면 PRF는 버는 쪽이 더 컸습니다. 잃는 것은 맞은 질의 쪽이었습니다.

「맞은 질의를 굳힌다」는 R@1로는 확인할 수 없는 말입니다. 이미 1위인 정답은 더 올라갈 자리가 없으니, PRF가 맞은 질의에 할 수 있는 일은 1위를 지키거나 잃는 것뿐입니다. 그리고 비율을 올리면 잃는 쪽이 빠르게 커집니다. k=10에서 맞은 질의가 R@1을 잃는 몫이 α=0.3에서 4.29%, 0.5에서 12.15%, 0.7에서 30.90%입니다. 상위 열 개의 평균에는 정답 하나와 오답 아홉이 섞이므로, α가 크면 질의가 정답이 아니라 그 열의 중심 쪽으로 끌려갑니다.

확신 구간

1차 점수 차

틀린 질의에서는 벌고 맞은 질의에서는 잃는다면, 1차 검색이 확신하지 못한 질의에만 PRF를 거는 길이 남습니다. 확신을 1위와 2위의 점수 차로 재고, 그 차의 사분위로 질의를 네 무리로 나눠 무리마다 R@1 변화를 따로 냈습니다. q1이 점수 차가 가장 작은, 곧 가장 덜 확신한 무리입니다.

import numpy as np

disc = 1.0 / np.log2(np.arange(2, 12))


def score(Q, D, G):
    top = np.argsort(-(Q @ D.T), axis=1)[:, :10]
    rel = np.take_along_axis(G, top, 1).astype(float)
    idcg = np.array([disc[:min(g, 10)].sum() for g in G.sum(1)])
    return rel[:, 0], (rel * disc).sum(1) / idcg, rel.any(1).astype(float), top


for name in ("korquad", "scifact"):
    z = np.load(f"{name}.npz")
    D, Q, G = z["D"], z["Q"], z["G"]
    r1, _, _, top = score(Q, D, G)
    s = -np.sort(-(Q @ D.T), axis=1)[:, :2]
    band = np.digitize(s[:, 0] - s[:, 1], np.quantile(s[:, 0] - s[:, 1], [0.25, 0.5, 0.75]))
    print(f"\n{name}: first-pass margin (top1 - top2 score) quartiles, q1 = least confident")
    print("  first-pass R@1  " + "  ".join(f"q{b + 1} {r1[band == b].mean():.4f}" for b in range(4)))
    for k, a in ((3, 0.2), (10, 0.2), (10, 0.3), (5, 0.5)):
        C = D[top[:, :k]].mean(1)
        Q2 = (1 - a) * Q + a * C
        d = score(Q2 / np.linalg.norm(Q2, axis=1, keepdims=True), D, G)[0] - r1
        cell = []
        for b in range(4):
            x = d[band == b]
            bs = np.random.default_rng(0).integers(0, len(x), (1000, len(x)))
            lo, hi = np.percentile(x[bs].mean(1) * 100, [2.5, 97.5])
            cell.append(f"q{b + 1} {x.mean() * 100:+6.2f} [{lo:+6.2f},{hi:+6.2f}]")
        print(f"  k={k:<2} a={a}  dR@1 %p  " + "  ".join(cell))
python3 prf_margin.py
korquad: first-pass margin (top1 - top2 score) quartiles, q1 = least confident
  first-pass R@1  q1 0.4211  q2 0.7607  q3 0.9391  q4 0.9931
  k=3  a=0.2  dR@1 %p  q1  -2.35 [ -3.81, -0.90]  q2  +0.00 [ +0.00, +0.00]  q3  +0.00 [ +0.00, +0.00]  q4  +0.00 [ +0.00, +0.00]
  k=10 a=0.2  dR@1 %p  q1  -2.56 [ -4.29, -0.69]  q2  -0.07 [ -0.21, +0.00]  q3  +0.00 [ +0.00, +0.00]  q4  +0.00 [ +0.00, +0.00]
  k=10 a=0.3  dR@1 %p  q1  -4.71 [ -6.79, -2.56]  q2  -1.94 [ -2.64, -1.25]  q3  -0.07 [ -0.21, +0.00]  q4  +0.00 [ +0.00, +0.00]
  k=5  a=0.5  dR@1 %p  q1 -10.32 [-12.88, -7.62]  q2 -10.33 [-12.35, -8.53]  q3  -3.46 [ -4.36, -2.56]  q4  -0.35 [ -0.69, -0.07]

scifact: first-pass margin (top1 - top2 score) quartiles, q1 = least confident
  first-pass R@1  q1 0.1733  q2 0.3200  q3 0.6267  q4 0.8933
  k=3  a=0.2  dR@1 %p  q1  -5.33 [-12.00, +0.00]  q2  +0.00 [ +0.00, +0.00]  q3  +0.00 [ +0.00, +0.00]  q4  +0.00 [ +0.00, +0.00]
  k=10 a=0.2  dR@1 %p  q1  -1.33 [ -5.33, +2.67]  q2  +0.00 [ +0.00, +0.00]  q3  +0.00 [ +0.00, +0.00]  q4  +0.00 [ +0.00, +0.00]
  k=10 a=0.3  dR@1 %p  q1  +0.00 [ -6.67, +6.67]  q2  -4.00 [-10.67, +1.33]  q3  +0.00 [ +0.00, +0.00]  q4  +0.00 [ +0.00, +0.00]
  k=5  a=0.5  dR@1 %p  q1  -4.00 [-10.67, +2.67]  q2 -12.00 [-20.03, -4.00]  q3  -8.00 [-14.67, -2.67]  q4  -2.67 [ -6.67, +0.00]

덜 확신한 질의

점수 차는 1차 검색이 맞을지를 잘 가릅니다. KorQuAD에서 q1의 1차 R@1은 0.4211, q4는 0.9931입니다. 틀린 질의가 q1에 몰려 있으니, PRF를 q1에만 걸면 문턱이 낮아져(q1의 p/(1−p)는 0.73배) 벌 수 있을 것처럼 보입니다.

그런데 q1에서도 R@1은 내려갑니다. k=3·α=0.2에서 −2.35%p, k=10·α=0.2에서 −2.56%p로 구간이 0 아래이고, 순위가 바뀐 질의는 거의 전부 q1에 있습니다(q3·q4는 이 두 줄에서 0.00). 점수 차가 큰 질의는 PRF를 걸어도 1위가 안 바뀌고, 1위가 바뀔 만큼 흔들리는 질의에서는 잃는 쪽이 더 많았습니다. 확신이 낮은 질의만 골라 거는 것은 PRF의 손해를 한곳에 모을 뿐 없애지 못했습니다. scifact에서도 구간 밖으로 오른 칸은 없습니다.

꺾이는 지점

판정

이 코퍼스 둘에서 PRF에 공짜 구간은 있어도 버는 구간은 없었습니다. 한 줄로 적으면, 섞는 비율 0.1까지는 R@1이 구별될 만큼 움직이지 않고(KorQuAD k=10에서 −0.05%p [−0.36, +0.24]), 0.2부터는 k와 상관없이 KorQuAD R@1이 0.590.66%p 떨어지며 0.5면 47%p를 잃습니다.

계획이 잡은 꺾이는 지점, 「틀린 질의의 손해가 맞은 질의의 이득을 넘는 α」는 방향을 뒤집어 읽어야 성립합니다. R@1에서 이득은 틀린 질의에서만, 손해는 맞은 질의에서만 생기고, 맞은 질의가 잃은 수는 격자의 첫 비율 0.1에서부터 틀린 질의가 되찾은 수보다 많았습니다(KorQuAD k=10에서 38 대 35). 본전이 되려면 틀린 질의의 회복률이 맞은 질의 손실률의 3.51배여야 하는데, 잰 값은 가장 높을 때 3.22배였습니다.

쓸 자리

밀집 검색에 상위 문서 벡터를 섞는 PRF는 이 결과로는 기본값으로 켤 근거가 없습니다. 켜야 한다면 α를 0.1 아래로 두는 것까지가 안전한 범위이고, 그 범위에서는 버는 것도 없습니다. 확신이 낮은 질의에만 거는 것도 손해를 한곳에 모을 뿐이었습니다.

이 결론이 뒤집힐 수 있는 자리는 1차 검색이 약한 코퍼스입니다. 문턱 p/(1−p)는 1차 R@1이 낮을수록 내려가므로, 1차 R@1이 0.3쯤인 코퍼스에서는 틀린 질의의 회복률이 손실률의 0.43배만 넘어도 본전입니다. scifact는 문턱이 1.01배였는데도 회복률이 손실률의 0.58배에 그쳤으니, 낮은 문턱만으로 PRF가 이긴다고 기대하기는 어렵습니다. 1차 검색이 틀린 질의를 바로잡는 일은 상위 문서를 다시 읽어 순위를 고치는 재순위 쪽이 더 확실했습니다 — 재순위 후보를 몇 개까지 넘길 것인가에서 cross-encoder가 같은 scifact에서 nDCG@10을 3.58%p 올렸습니다.

한계와 측정 환경

한계

  • 식 하나만 걸었습니다. Rocchio의 틀린 문서 빼기 항, 상위 문서를 점수로 가중하는 평균, 문서마다 따로 섞는 방식은 재지 않았습니다.
  • 밀집 검색에서만 쟀습니다. 어휘 검색(BM25)에 거는 고전적인 PRF는 질의에 단어를 더하는 일이라 작동 방식이 다릅니다. 이 결과를 BM25의 질의 확장으로 옮겨 읽으면 안 됩니다.
  • 모델이 코퍼스마다 하나입니다. e5-small과 MiniLM은 둘 다 질의와 문서를 같은 공간에 놓도록 학습된 모델이라 질의 벡터를 문서 벡터 쪽으로 당기는 일이 이미 학습 안에 들어 있을 수 있습니다. 다른 모델에서는 다를 수 있습니다.
  • KorQuAD 질문은 문단을 읽고 만든 것이라 1차 검색이 강합니다. 1차 R@1이 낮은 코퍼스에서의 결론은 「쓸 자리」의 문턱 계산까지만 말할 수 있고, 그런 코퍼스로 잰 값이 아닙니다.
  • 「확신 구간」의 분할은 1위와 2위의 점수 차 하나만 썼습니다. 다른 확신 지표(1위 점수 자체, 상위 k개의 흩어짐)로 가르면 결과가 다를 수 있습니다.

측정 환경

항목 값
OS Linux 6.18.44 x86_64, glibc 2.39
CPU / RAM Intel Xeon @ 2.10GHz, 4 vCPU (torch 4스레드) / 15GB
Python 3.11.17
패키지 torch 2.14.1 (PyPI 휠, CPU로 실행), sentence-transformers 6.2.0, transformers 5.21.0, datasets 5.1.0, huggingface_hub 2.3.0, numpy 2.4.6
모델 intfloat/multilingual-e5-small (614241f), sentence-transformers/all-MiniLM-L6-v2 (1110a24)
데이터 KorQuAD/squad_kor_v1 (01aad238) validation, BeIR/scifact (b3b53356), BeIR/scifact-qrels (2938d17d) test
실행 시간 인코딩 KorQuAD 79초 · scifact 95초, 격자 스윕 5.0초, 확신 구간 1.7초
측정일 2026-10-28 (KST)

위 출력은 발행 전 자기검사로 패키지를 새로 깐 빈 가상환경에서 세 스크립트를 다시 돌린 것이고, 첫 실행의 출력과 인코딩 시간 말고는 글자까지 같았습니다.


읽어주셔서 감사합니다. 😊

LATEST

과학·실험의 최신 글

과학·실험2026.11.17

재순위는 헷갈리는 질의에만 걸면 얼마를 아끼는가: 질의 40%에 걸어 이득을 다 냈고, 확신한 질의에는 안 거는 편이 나았다

1차 검색의 1위·2위 점수 차가 작은 질의에만 cross-encoder를 걸고 재순위 비율을 10%씩 올리며 nDCG@10을 쟀다. scifact에서 하위 40%에만 걸면 전부 재순위한 이득의 93.6~102.6%를 지켰고, 60~70%에만 걸면 전부 건 것보다 0.6~0.8%p 높았다. 영어 cross-encoder는 KorQuAD에서 전부 걸면 21~24%p를 잃어 판정에서 뺐다.

26 MIN
과학·실험2026.11.17

사람이 내는 오타로 다시 재면: 의존명사 띄어쓰기는 R@1을 하나도 안 깎았고, 이웃 키 오타는 무작위보다 dense를 더 깎았다

KorQuAD 질의 5,774개에 두벌식 이웃 키 치환·받침 탈락과 덧붙임·의존명사와 보조용언 앞 공백 삭제를 넣고 dense·형태소 BM25·문자 2-gram BM25의 R@1을 무작위 잡음과 짝지어 쟀다. 의존명사 띄어쓰기는 전부 틀려도 손실이 0이었고, 이웃 키 오타는 dense에서 무작위보다 1.96~2.39%p 더 아팠다. 세 검색기의 순위는 끝까지 안 뒤집혔다.

36 MIN
과학·실험2026.10.27

청크 겹침은 recall을 얼마에 사는가: 문단은 거의 못 사고, 답이 든 조각을 샀다

KorQuAD 문단을 256·512자로 자르며 겹침을 0·10·25·50%로 흔들고 질의 5,774개로 쟀다. 정답 문단을 찾는 R@5는 어느 겹침에서도 구간 밖으로 오르지 않았고, 512자 겹침 50%에서는 오히려 떨어졌다. 오른 것은 1위 조각에 답이 든 비율이었다 — 256자 겹침 50%에서 +3.10%p.

26 MIN