파인튜닝한 새 모델 B를 기존 모델 A와 같은 사내 평가 세트 500문항에 돌렸습니다. A가 82.0%, B가 84.0%입니다. 두 글 전에 이 장면을 처음 만났을 때는 두 점수를 서로 다른 문항에서 잰 것처럼 다뤘고, 차의 표준오차가 2.37%p라 2점 차는 그 0.84배밖에 안 되어 「구분되지 않는다」로 끝났습니다. 지난 글은 해석식이 없는 지표에 오차막대를 붙이는 부트스트랩을 다루면서, 같은 문항으로 두 버전을 짝지어 견주는 길을 숙제로 남겼습니다. 이번에는 평가 로그에 문항마다 두 모델이 맞혔는지 틀렸는지가 그대로 남아 있습니다.
같은 날 팀 대시보드에는 사내 평가 말고도 벤치마크 아홉 개가 더 올라와 있습니다. 수학, 코드, 요약, 번역, 추론, 표 읽기, 안전, 검색, 지시 따르기입니다. 열 칸 중 여섯 칸에 「유의한 개선」이라는 초록 표시가 붙어 있습니다. 이 글은 두 질문에 답합니다. 같은 500문항에서 잰 2점은 독립으로 볼 때와 무엇이 달라지는가. 그리고 열 번 재서 여섯 번 이겼다는 표는 무엇을 말하는가.
짝지은 차이
네 칸 표
정답률 두 개만 보면 82와 84지만, 문항별 결과를 펼치면 500문항이 네 칸으로 나뉩니다. 두 모델이 다 맞힌 문항이 405개, 다 틀린 문항이 75개, A만 맞힌 문항이 5개, B만 맞힌 문항이 15개입니다. A의 정답 수는 405와 5를 더한 410, B는 405와 15를 더한 420이라 82.0%와 84.0%가 그대로 나옵니다.
같은 대상을 두 조건에서 재고 그 둘을 한 쌍으로 묶어 견주는 방식을 쌍체 비교라고 합니다. 여기서 쌍의 단위는 문항입니다. 문항 하나에서 A의 결과와 B의 결과가 한 쌍이고, 500쌍이 있습니다. 앞의 계산은 이 짝을 버리고 정답률만 남긴 것이었습니다.
네 칸 중 대각선의 두 칸, 곧 둘 다 맞히거나 둘 다 틀린 480문항은 두 모델을 가르는 데 아무것도 하지 않습니다. 405문항은 어느 모델에게 줘도 맞는 쉬운 문항이고 75문항은 어느 쪽도 못 푸는 문항입니다. 두 모델의 차이는 나머지 20문항에서만 생깁니다. 두 모델의 결과가 서로 갈린 이 문항을 엇갈린 문항이라고 부르겠습니다. 정답률의 차 2%p는 엇갈린 문항에서 B가 이긴 15와 A가 이긴 5의 차 10을 500으로 나눈 것과 정확히 같습니다.
차이의 분산
문항 에서 A의 결과를 , B의 결과를 라 하고, 맞으면 1, 틀리면 0으로 적습니다. 문항별 차이 는 B만 맞힌 문항에서 , A만 맞힌 문항에서 , 나머지에서 0입니다. 정답률의 차는 이 의 평균 입니다. 그러니 두 정답률의 차를 판정하는 문제가 숫자 500개의 평균 하나를 판정하는 문제로 바뀝니다. 평균의 표준오차는 분산과 표준오차에서 세운 대로 한 값의 분산을 으로 나눈 것의 제곱근입니다.
의 분산은 의 평균에서 평균의 제곱을 뺀 값입니다. 는 엇갈린 문항에서만 1이므로 그 평균은 엇갈린 비율 이고, 분산은 입니다.
짝지어 본 차의 표준오차가 0.89%p입니다. 독립으로 본 2.37%p의 3분의 1 남짓입니다.
같은 결과를 분산의 식으로 다시 보겠습니다. 공분산을 넣으면 차의 분산은
입니다. 앞의 두 항이 0.0002952와 0.0002688로, 독립 계산은 여기서 멈췄습니다. 같은 문항으로 재면 마지막 항이 살아납니다. 문항별 결과의 공분산을 500으로 나눈 가 0.0002424이고, 두 배를 빼면 가 남습니다. 제곱근이 0.0089로, 위의 값과 같습니다. 두 계산은 같은 것을 다른 쪽에서 센 것입니다.
import numpy as np
# 같은 500문항: 둘 다 정답 405, A만 5, B만 15, 둘 다 오답 75
a = np.array([1] * 405 + [1] * 5 + [0] * 15 + [0] * 75)
b = np.array([1] * 405 + [0] * 5 + [1] * 15 + [0] * 75)
n = len(a)
d = b - a # 문항별 차이: -1, 0, +1
se_paired = np.sqrt(d.var() / n)
se_indep = np.sqrt(a.var() / n + b.var() / n)
cov = np.mean((a - a.mean()) * (b - b.mean()))
print(f"정답률: A = {a.mean():.3f}, B = {b.mean():.3f}")
print(f"차의 SE(독립으로 볼 때) = {se_indep:.4f}")
print(f"차의 SE(짝지어 볼 때) = {se_paired:.4f}")
print(f"문항 결과의 상관 = {cov / (a.std() * b.std()):.3f}")
정답률: A = 0.820, B = 0.840
차의 SE(독립으로 볼 때) = 0.0237
차의 SE(짝지어 볼 때) = 0.0089
문항 결과의 상관 = 0.861
판정도 달라집니다. 관측된 차 2%p는 0.89%p의 2.25배이고, 정규 근사로 양측 p값이 0.025입니다. 95% 구간은 , 곧 0.25%p에서 3.75%p로 0을 벗어납니다. 같은 숫자 82와 84가, 문항별 결과를 버리면 「열 번에 네 번은 우연히 나오는 차」이고 살리면 「우연으로 보기 어려운 차」입니다.
공분산의 크기
무엇이 이 차이를 만들었는지는 마지막 출력 줄이 말합니다. 문항별 결과의 상관이 0.861입니다. A가 맞히는 문항은 B도 대체로 맞히고, A가 틀리는 문항은 B도 대체로 틀립니다. 「이 문항은 원래 어렵다」는 흔들림이 두 점수에 똑같이 실려 있다가, 차를 내는 순간 지워진 것입니다.
반대쪽 끝을 상상해 보면 이 효과가 분명해집니다. 두 모델이 문항마다 서로 무관하게 맞히고 틀린다면, 엇갈린 문항의 비율은 A만 맞힐 확률 과 B만 맞힐 확률 를 더한 0.2824가 됩니다. 500문항 중 141개쯤이 엇갈리는 것입니다. 그때 의 분산은 로, 독립 계산의 두 분산 합 와 같아집니다. 짝을 지어도 얻는 것이 없는 세계입니다.
실제 모델 비교는 대개 상관이 높은 쪽 끝에 있습니다. 같은 기반 모델을 파인튜닝한 두 버전, 프롬프트만 바꾼 두 설정, 체크포인트 두 개는 대부분의 문항에서 같은 답을 냅니다. 그러니 같은 문항에 돌리고 문항별 결과를 남기기만 하면 표준오차가 크게 줄어듭니다. 이 이득은 문항 수를 늘려서 얻는 것이 아니라 이미 가진 정보를 버리지 않아서 얻는 것입니다. 거꾸로 말하면, 두 모델을 서로 다른 문항 세트에서 잰 표나 정답률만 공개된 남의 표에는 이 이득이 없습니다.
부호 검정과 순열 검정
이항 부호 검정
표준오차와 정규 근사로 판정하면 한 가지가 걸립니다. 판정을 실제로 정하는 것은 엇갈린 문항 20개뿐인데, 20개는 정규 근사를 믿기에는 작은 수입니다. 다행히 엇갈린 문항만 보면 정확한 분포를 바로 셀 수 있습니다.
두 모델의 실력이 같다는 귀무가설 아래에서는, 결과가 엇갈린 문항 하나가 B 쪽으로 갈지 A 쪽으로 갈지가 반반입니다. 엇갈린 문항 20개에서 B가 이긴 수는 동전 20번을 던져 앞면이 나온 수와 같은 이항분포 를 따릅니다. 엇갈린 문항마다 어느 쪽이 이겼는지를 와 로만 적고, 그 개수를 이항분포로 판정하는 방법을 부호 검정이라고 합니다.
관측은 20번 중 B가 15번입니다. 이것은 가설검정의 논리에서 동전 20번에 앞면 15번을 판정한 계산과 똑같습니다. 15 이상이 나올 확률이 0.0207이고, 양쪽 꼬리를 합친 p값이 0.0414입니다. 유의수준 0.05에서 기각됩니다.
정규 근사의 p값 0.025와 정확한 값 0.041 사이에는 거리가 있습니다. 엇갈린 문항이 20개뿐이라 이항분포가 아직 계단 모양이고, 정규 곡선이 꼬리를 얇게 잡은 탓입니다. 결론은 같지만, 0.05 근처에서는 이 차이가 판정을 가를 수 있습니다. 엇갈린 문항이 수십 개 이하라면 정확한 부호 검정을 쓰는 편이 안전합니다. 대각선의 480문항은 이 검정에서 통째로 빠집니다. 문항 수가 500이든 5,000이든, 판정의 재료는 두 모델이 갈라선 문항의 수와 방향입니다.
순열 검정
부호 검정의 논리를 한 걸음 일반화하면 어떤 지표에나 쓸 수 있는 검정이 나옵니다. 두 모델의 실력이 같다면, 문항 하나에서 「A의 결과」와 「B의 결과」라는 이름표는 바꿔 붙여도 상관이 없어야 합니다. 그러니 문항마다 동전을 던져 앞면이면 두 모델의 결과를 맞바꾸고, 그렇게 섞은 자료에서 차를 다시 계산합니다. 이것을 수만 번 되풀이하면 귀무가설 아래에서 차가 이루는 분포, 곧 귀무분포가 나옵니다. 관측된 차가 이 분포의 꼬리 어디에 있는지를 세는 방법이 순열 검정입니다. 같은 문항 안에서만 결과를 맞바꾸므로 짝은 그대로 지켜집니다.
import numpy as np
def paired_perm(a, b, metric, R=100_000, seed=0):
rng = np.random.default_rng(seed)
obs = metric(b) - metric(a)
swap = rng.random((R, len(a))) < 0.5 # 문항마다 동전을 던져
A = np.where(swap, b, a) # 앞면이면 두 모델의 결과를 맞바꾼다
B = np.where(swap, a, b)
null = metric(B) - metric(A)
return obs, null, np.mean(np.abs(null) >= abs(obs) - 1e-12)
acc = lambda x: x.mean(-1)
# 500문항: 둘 다 정답 405, A만 5, B만 15, 둘 다 오답 75
a = np.array([1] * 405 + [1] * 5 + [0] * 15 + [0] * 75)
b = np.array([1] * 405 + [0] * 5 + [1] * 15 + [0] * 75)
obs, null, p = paired_perm(a, b, acc)
print(f"관측된 차 = {obs:.3f}")
print(f"귀무분포의 표준편차 = {null.std():.4f}")
print(f"p = {p:.4f}")
관측된 차 = 0.020
귀무분포의 표준편차 = 0.0090
p = 0.0424
p값 0.0424는 부호 검정의 정확한 값 0.0414와 소수 셋째 자리에서 맞습니다. 정답률에서는 둘이 같은 검정이기 때문입니다. 대각선 문항은 맞바꿔도 결과가 같으니 아무것도 하지 않고, 엇갈린 문항 하나를 맞바꾸면 차가 만큼 움직이며, 맞바꿀지 말지가 반반이므로 그 개수가 이항분포를 따릅니다. 시드를 1, 2, 3으로 바꿔 돌리면 0.0409, 0.0409, 0.0414가 나옵니다. 10만 번 섞으면 p값이 소수 셋째 자리에서 흔들리는 정도라는 뜻이고, 이 흔들림이 지난 글에서 본 몬테카를로 오차입니다. 귀무분포의 표준편차 0.0090은 앞에서 식으로 얻은 짝지은 표준오차 0.0089와 거의 같습니다.
평균이 아닌 지표
순열 검정이 부호 검정보다 나은 자리는 지표가 평균이 아닐 때입니다. 위의 paired_perm 은 지표에 대해 아무것도 모르고, 결과 표를 받아 숫자 하나를 내는 함수만 받습니다. 지난 글에서 부트스트랩에 지표 함수를 넘긴 것과 같은 구조입니다.
지난 글의 환불 분류기로 돌아갑니다. 문의 300건에서 F1 0.769였던 분류기 A에 프롬프트를 손본 B를 같은 300건에 돌렸더니 F1이 0.800이 나왔다고 합시다. B는 A가 놓친 환불 요청 10건을 새로 잡았지만 A가 잡던 5건을 놓쳤고, 환불이 아닌 문의를 3건 더 잘못 골랐습니다. 지난 글은 F1의 95% 구간 폭이 0.17이라 0.80이라는 숫자만으로는 나아졌다고 말하기 어렵다고 했습니다. 이제 짝지어 판정할 수 있습니다.
def f1(y, p):
tp = ((y == 1) & (p == 1)).sum(-1)
fp = ((y == 0) & (p == 1)).sum(-1)
fn = ((y == 1) & (p == 0)).sum(-1)
return 2 * tp / (2 * tp + fp + fn)
y = np.array([1] * 60 + [0] * 240)
pa = np.zeros(300, int); pa[0:45] = 1; pa[60:72] = 1 # TP 45, FP 12
pb = np.zeros(300, int); pb[5:55] = 1; pb[66:81] = 1 # TP 50, FP 15
obs, null, p = paired_perm(pa, pb, lambda x: f1(y, x))
print(f"F1: A = {f1(y, pa):.3f}, B = {f1(y, pb):.3f}, 차 = {obs:.3f}")
print(f"p = {p:.4f}")
F1: A = 0.769, B = 0.800, 차 = 0.031
p = 0.5065
p값이 0.51입니다. 두 분류기가 갈라선 문의가 30건인데, 그 안에서 B가 이긴 쪽과 진 쪽이 거의 맞먹어서 F1의 차 0.031은 이름표를 아무렇게나 바꿔 붙여도 절반쯤은 나오는 크기입니다. 이 판정에는 F1의 분산 식도, 정규분포도 쓰이지 않았습니다. 짝을 지키며 이름표를 섞고, 같은 지표 함수를 다시 부른 것이 전부입니다.
효과 크기와 검정력
효과 크기
p값 0.041은 「두 모델이 같다면 이만한 차가 나오기 어렵다」는 말이지 차이가 크다는 말이 아닙니다. 초급 글에서 동전을 십만 번 던지면 0.005의 편향도 기각된다는 것을 봤습니다. 그래서 판정과 함께 차이가 얼마나 큰지를 따로 적는데, 그 크기를 재는 값을 효과 크기라고 합니다. p값은 효과 크기와 표본 크기가 함께 정하고, 효과 크기는 표본 크기를 떼어 낸 차이 자체입니다.
가장 정직한 효과 크기는 원래 단위의 차, 곧 2.0%p와 그 95% 구간 0.25~3.75%p입니다. 읽는 사람이 자기 일에 그 차이가 의미 있는지를 바로 판단할 수 있습니다. 그런데 정답률의 차는 어디서 생겼는지에 따라 무게가 다릅니다. 50%에서 52%로 오른 것과 97%에서 99%로 오른 것은 둘 다 2%p지만, 뒤쪽은 오답이 3%에서 1%로 3분의 1이 된 일입니다.
이 차이를 담으려고 비율을 각도로 바꿔 빼는 값이 코헨의 h입니다.
아크사인 변환은 0이나 1 근처의 비율을 늘려 주어, 같은 %p라도 경계 쪽에서 크게 나오게 합니다. 82에서 84는 , 50에서 52는 0.040, 97에서 99는 0.148입니다. 코헨이 제안한 관례로는 0.2가 작은 효과라, 우리 2점은 그 기준의 4분의 1입니다. 관례의 문턱은 심리학 실험에서 온 것이라 모델 평가에 그대로 들이댈 이유는 없지만, 한 벤치마크 안에서 점수대가 다른 차이를 견줄 때는 쓸모가 있습니다.
짝지은 효과 크기
짝지은 비교에서는 차의 평균을 차의 표준편차로 나눈 를 효과 크기로 쓰기도 합니다. 우리 예에서 라 입니다. 그런데 이 값에는 함정이 있습니다. 분모 가 두 모델이 얼마나 비슷한지에 따라 달라집니다. 두 모델이 문항마다 무관하게 맞히는 세계였다면 같은 2%p에 , 이 나옵니다. 차이 자체는 같은데 두 모델의 상관이 높을수록 효과가 커 보이는 것입니다.
는 차이의 크기라기보다 「이 설계에서 차이가 얼마나 잘 보이느냐」에 가깝고, 그래서 아래의 검정력 계산에는 딱 맞지만 다른 실험과 효과를 견주는 데는 맞지 않습니다. 보고서에는 다음 셋을 함께 적는 것으로 충분합니다.
- 원래 단위의 차와 그 구간: 2.0%p, 95% 구간 0.25~3.75%p
- 엇갈린 문항의 두 수: B만 정답 15, A만 정답 5
- 판정에 쓴 검정과 p값: 부호 검정, 0.041
두 번째 줄은 짧지만 정보가 많습니다. 갈라선 문항의 4분의 3을 B가 가져갔다는 사실과, 그 갈라선 문항이 20개뿐이라는 사실이 함께 보입니다.
검정력
가설검정의 논리에서 검정력을 실제로 차이가 있을 때 그것을 잡아낼 확률로 정의했습니다. 이번에는 평가를 설계하는 쪽에서 씁니다. 참 세계에서 A만 맞히는 문항이 1%, B만 맞히는 문항이 3%라고, 곧 참 차이가 정확히 2%p이고 엇갈림이 4%라고 합시다. 500문항으로 이 차이를 잡을 확률은 얼마일까요.
정규 근사로는 이라 0.61입니다. 이 세계에서 500문항짜리 평가를 2만 번 새로 뽑아 정확한 부호 검정을 돌리면 0.54가 나옵니다. 정확한 검정은 계단 모양 분포 때문에 1종 오류를 0.05보다 조금 덜 쓰고, 그만큼 검정력도 조금 낮습니다. 어느 쪽이든 참 차이가 2%p여도 두 번 중 한 번 가까이는 놓칩니다. 독립으로 보는 설계라면 검정력이 0.13입니다. 일곱 번 중 여섯 번을 놓치는 셈입니다.
필요한 문항 수
검정력을 0.8로 맞추려면 문항이 몇 개 있어야 할까요. 참 차이가 , 문항별 차의 분산이 일 때, 양측 유의수준 와 검정력 를 맞추는 문항 수는
입니다. 은 기각선이고, 는 참 분포의 80%가 그 선 너머에 오도록 평균을 더 밀어내는 거리입니다. 두 거리의 합이 표준오차 몇 개만큼인지를 정하고, 표준오차가 이니 거꾸로 풀면 위 식이 됩니다. 두 계수를 더해 제곱한 값은 7.85입니다.
| 설계 | 검정력 0.8에 필요한 문항 수 | |
|---|---|---|
| 짝지은 비교, 엇갈림 4% | 0.0396 | 777 |
| 짝지은 비교, 엇갈림 10% | 0.0996 | 1,954 |
| 독립 비교(모델마다) | 0.282 | 5,533 |
짝지은 비교에 엇갈림이 4%면 777문항이고, 독립 비교라면 모델마다 5,533문항입니다. 일곱 배 차이입니다. 정확한 부호 검정으로 같은 세계를 모의실험하면 800문항에서 0.776, 850문항에서 0.805라, 실제로는 850문항쯤이 필요합니다. 두 글 전에 독립 비교로 2,708문항을 구한 것은 관측된 차가 정확히 2%p일 때 구간이 0을 겨우 벗어나는 수, 곧 검정력 0.5의 수였습니다. 검정력 0.8을 원하면 그 두 배 남짓이 됩니다.
표의 가운데 줄은 엇갈림 비율이 계산을 얼마나 좌우하는지 보여 줍니다. 엇갈림이 4%에서 10%로 늘면 필요한 문항이 2.5배가 됩니다. 평가를 설계할 때 이 비율은 예전 버전끼리의 비교 로그에서 어림할 수 있습니다. 기존 평가에서 문항별 결과를 남겨 두어야 하는 이유가 하나 더 생기는 셈입니다.
다중 비교
가족별 오류율
이제 대시보드의 열 칸으로 갑니다. 벤치마크마다 같은 문항으로 두 모델을 짝지어 부호 검정을 했고, 열 개의 p값을 얻었습니다. 각 검정은 유의수준 0.05를 지킵니다. 문제는 열 개를 한꺼번에 보고 「어딘가에서 이겼다」를 결론으로 삼을 때입니다.
초급 글에서 공정한 동전 스무 개를 검정하면 적어도 하나가 잘못 기각될 확률이 0.64라는 것을 셌습니다. 여러 검정을 한 묶음으로 볼 때, 그중 하나라도 1종 오류를 낼 확률을 가족별 오류율이라고 합니다. 검정 개가 서로 독립이고 모두 귀무가설이 참이면
입니다. 가 5면 0.226, 10이면 0.401, 20이면 0.642, 50이면 0.923입니다. 두 모델이 모든 벤치마크에서 똑같아도, 벤치마크 열 개를 돌리면 열 번에 네 번은 어딘가에 초록 표시가 붙습니다.
모의실험으로 확인했습니다. 2,000문항짜리 벤치마크 열 개에서 두 모델이 문항마다 2%씩 반대로 엇갈려 실력이 같은 세계를 만들고, 엇갈린 문항으로 정규 근사 검정을 해 2만 번 되풀이했습니다. 하나라도 유의해진 비율이 0.41, 벤치마크 스무 개에서는 0.643이었습니다. 식과 맞습니다.
이 문제는 벤치마크 수에서만 생기지 않습니다. 하위 범주 열두 개로 쪼갠 표, 프롬프트 다섯 가지와 온도 세 가지의 조합, 체크포인트 스무 개 중 가장 좋은 것 고르기가 전부 같은 구조입니다. 견준 횟수를 보고서에 적지 않으면, 읽는 사람은 유의하다는 표시가 몇 번의 시도에서 나온 것인지 알 길이 없습니다.
본페로니 보정
가장 단순한 처방은 검정 하나하나의 문턱을 로 낮추는 것입니다. 이것을 본페로니 보정이라고 합니다. 근거는 확률의 합집합 부등식 한 줄입니다. 사건 여러 개 중 하나라도 일어날 확률은 각 확률의 합을 넘지 않으므로
입니다. 이 부등식은 검정들이 서로 독립이든 얽혀 있든 성립합니다. 벤치마크끼리는 대개 얽혀 있으니(수학을 잘하는 모델이 추론도 잘하는 식으로) 이 성질이 쓸모 있습니다. 독립인 열 개라면 정확한 가족별 오류율이 로 0.05 바로 아래입니다.
대시보드에 적용합니다. 벤치마크마다 엇갈린 문항을 세어 부호 검정을 했고, 문턱 를 넘는지 봅니다.
import numpy as np
from scipy import stats
# 벤치마크 10개: (A만 맞힌 문항, B만 맞힌 문항)
bench = {"사내 QA": (5, 15), "수학": (12, 35), "코드": (16, 38),
"요약": (18, 40), "번역": (18, 35), "추론": (13, 30),
"표 읽기": (9, 18), "안전": (6, 7), "검색": (17, 16),
"지시 따르기": (11, 9)}
p = np.array([stats.binomtest(c, b + c).pvalue for b, c in bench.values()])
k, alpha = len(p), 0.05
order = np.argsort(p) # 작은 p부터
rank = np.empty(k, int)
rank[order] = np.arange(1, k + 1)
bonf = p <= alpha / k
holm = np.zeros(k, bool)
for i, j in enumerate(order): # 작은 p부터 α/k, α/(k-1), … 와 견준다
if p[j] > alpha / (k - i):
break
holm[j] = True
ok = [r for r in range(1, k + 1) if p[order[r - 1]] <= r / k * alpha]
bh = rank <= max(ok, default=0) # 통과한 가장 큰 순위까지 전부
mark = lambda x: "O" if x else "."
print("순위 p값 보정없음 본페로니 홀름 BH 벤치마크")
for j in order:
flags = [p[j] <= alpha, bonf[j], holm[j], bh[j]]
print(f"{rank[j]:>3} {p[j]:.4f}", *(f"{mark(x):^6}" for x in flags), list(bench)[j])
print("발견 수:", (p <= alpha).sum(), bonf.sum(), holm.sum(), bh.sum())
순위 p값 보정없음 본페로니 홀름 BH 벤치마크
1 0.0011 O O O O 수학
2 0.0038 O O O O 코드
3 0.0054 O . O O 요약
4 0.0137 O . . O 추론
5 0.0270 O . . . 번역
6 0.0414 O . . . 사내 QA
7 0.1221 . . . . 표 읽기
8 0.8238 . . . . 지시 따르기
9 1.0000 . . . . 안전
10 1.0000 . . . . 검색
발견 수: 6 2 3 4
보정 없이는 여섯 칸이 초록이었는데, 본페로니 보정 뒤에는 수학과 코드 두 칸만 남습니다. 0.0054인 요약이 문턱 0.005를 아슬아슬하게 넘지 못했습니다. 사내 QA의 0.0414는 한참 위입니다.
홀름 보정
본페로니 보정은 안전하지만 지나치게 엄격합니다. 열 개 모두에 가장 엄한 문턱을 똑같이 매기기 때문입니다. 같은 가족별 오류율을 지키면서 문턱을 단계적으로 풀어 주는 방법이 홀름 보정입니다. p값을 작은 것부터 세우고, 첫째는 , 둘째는 , 셋째는 와 차례로 견주다가, 처음으로 문턱을 넘지 못하는 자리에서 멈춥니다. 그 앞까지가 기각입니다.
논리는 이렇습니다. 가장 작은 p값이 를 넘지 못하면 본페로니와 같은 이유로 멈추는 것이 맞습니다. 넘었다면 그 벤치마크는 기각된 것으로 치고, 남은 개 안에서 다시 본페로니를 하는 셈이라 문턱이 로 조금 풀립니다. 이렇게 한 칸씩 줄여 가도 가족별 오류율은 여전히 아래로 지켜집니다.
대시보드에서는 수학 0.0011이 0.005를, 코드 0.0038이 을, 요약 0.0054가 를 통과하고, 추론 0.0137이 에서 멈춥니다. 세 칸이 남습니다. 홀름 보정은 본페로니가 기각한 것을 언제나 기각하고 그보다 더 기각할 수 있으므로, 가족별 오류율을 지키려면 본페로니 대신 이것을 기본으로 쓰지 않을 이유가 없습니다.
거짓 발견률
가족별 오류율은 「단 하나의 거짓 양성도 내지 않을 확률」을 지킵니다. 신약 승인처럼 거짓 양성 하나가 큰 비용이면 맞는 기준이지만, 벤치마크 스무 개에서 개선된 영역을 골라 다음 실험의 후보로 삼는 일이라면 지나칩니다. 이때는 질문을 바꿉니다. 유의하다고 고른 것들 가운데 거짓이 섞인 비율을 평균적으로 얼마 이하로 둘 것인가. 이 비율의 기댓값을 거짓 발견률이라고 합니다. 고른 것이 없으면 그 비율은 0으로 칩니다.
거짓 발견률을 아래로 두는 표준 절차가 벤저민·호크버그의 BH 절차입니다. p값을 작은 것부터 로 세우고, 번째에 문턱 를 매깁니다. 그리고 를 만족하는 가장 큰 를 찾아, 1번부터 그 번까지를 모두 기각합니다. 홀름이 위에서부터 내려가다 처음 막히는 곳에서 멈췄다면, BH는 아래에서부터 올라오며 문턱 아래에 든 가장 높은 자리를 찾습니다.
로 대시보드에 매깁니다. 문턱은 순위마다 0.005, 0.010, 0.015, 0.020, 0.025, 0.030으로 올라갑니다. 수학 0.0011, 코드 0.0038, 요약 0.0054, 추론 0.0137이 각자의 문턱 아래에 들고, 번역 0.0270이 0.025를, 사내 QA 0.0414가 0.030을 넘습니다. 그 위로도 문턱 아래에 드는 순위가 없으므로 네 칸이 남습니다.
세 보정이 실제로 무엇을 맞바꾸는지 모의실험으로 쟀습니다. 2,000문항짜리 벤치마크 스무 개 중 여덟 개에서 B가 참으로 1%p 낫고(A만 맞힘 1.5%, B만 맞힘 2.5%) 열두 개에서는 같은 세계를 2만 번 만들었습니다. 참 차이가 있는 벤치마크 하나를 보정 없이 잡을 확률은 0.614입니다.
| 방법 | 참 개선을 잡은 수 | 거짓으로 고른 수 | 가족별 오류율 | 거짓 발견률 |
|---|---|---|---|---|
| 보정 없음 | 4.91 | 0.61 | 0.467 | 0.102 |
| 본페로니 | 1.66 | 0.03 | 0.028 | 0.013 |
| 홀름 | 1.73 | 0.03 | 0.031 | 0.014 |
| BH() | 2.76 | 0.12 | 0.113 | 0.029 |
보정 없이는 참 개선 여덟 개 중 4.91개를 잡지만 고른 것의 10%가 거짓입니다. 본페로니와 홀름은 거짓을 거의 없앤 대신 참 개선을 1.7개밖에 못 잡습니다. BH는 가족별 오류율을 포기하고(0.113) 거짓 발견률을 0.029로 지키면서 참 개선을 2.76개 잡습니다. 거짓 발견률이 0.05보다 더 낮게 나온 것은, BH가 실제로는 참 귀무가설의 비율을 곱한 아래로 지키기 때문입니다. BH의 이 보장은 검정들이 독립이거나 같은 방향으로 얽혀 있을 때 성립하는데, 벤치마크 점수끼리의 얽힘은 대개 같은 방향이라 실무에서 무리가 없습니다.
고전 검정과의 대응
t검정
통계 교과서는 이 자리에서 t검정, 카이제곱 검정, 분산분석을 차례로 가르칩니다. 이 글이 한 계산은 그 셋을 다른 이름으로 이미 지나왔습니다. 대응을 확인해 둡니다.
대응표본 t검정은 짝지은 차 의 평균을 표준오차로 나눈 을 자유도 인 t분포에 견주는 검정입니다. 우리 500문항에서 scipy.stats.ttest_rel(b, a) 는 , p값 0.0252를 냅니다. 「차이의 분산」 소절에서 짝지은 표준오차로 구한 2.25배, p값 0.025와 같은 계산입니다. t분포와 정규분포의 차이는 자유도 499에서 소수 넷째 자리에나 나타납니다.
반대로 두 모델의 결과를 서로 다른 두 집단으로 보는 독립표본 t검정은 p값 0.400을 냅니다. 두 글 전의 독립 계산 0.40과 같습니다. t검정 이름표에 「대응」이 붙느냐 아니냐가 곧 공분산 항을 살리느냐 버리느냐입니다.
카이제곱 검정
정답률 비교를 2×2 표의 카이제곱 검정으로 하는 경우도 많습니다. 행에 모델, 열에 정답과 오답을 놓고(410·90과 420·80) 독립성 검정을 하면 카이제곱 0.709, p값 0.400이 나옵니다. 독립 비교와 같은 답이고, 0.709는 독립 비교의 z값 0.842를 제곱한 것입니다. 이 표는 두 모델의 결과가 같은 문항에서 나왔다는 사실을 담지 못하므로, 같은 문항으로 잰 비교에 쓰면 판정이 지나치게 보수적이 됩니다.
같은 문항에 맞는 카이제곱 검정은 맥니마 검정입니다. 행과 열에 각각 A와 B의 정답 여부를 놓은 네 칸 표, 곧 맨 앞의 그림 그대로에서 엇갈린 두 칸만 씁니다. A만 맞힌 수를 , B만 맞힌 수를 이라 하면
이고 자유도 1의 카이제곱 분포에서 p값이 0.0253입니다. 이것은 부호 검정을 정규 근사한 것이고, 맥니마 검정의 정확판이 바로 부호 검정 0.0414입니다.
분산분석
모델이 셋 이상이면 교과서는 분산분석으로 넘어갑니다. 여러 집단의 평균이 모두 같은지를 집단 안의 흩어짐과 집단 사이의 흩어짐을 견주어 한 번에 판정하는 검정입니다. 평가에서는 두 가지가 맞지 않습니다. 기본형 분산분석은 집단을 서로 독립으로 보므로 같은 문항이라는 짝을 버립니다. 그리고 「어딘가 다르다」는 판정 하나만 주고 어느 모델이 어느 모델보다 나은지는 말해 주지 않아서, 결국 짝마다 다시 견줘야 합니다.
그래서 이 자리에서는 다음 순서로 대신합니다.
- 견줄 짝을 미리 정한다. 새 모델과 기존 모델 하나씩이면 짝이 하나이고, 후보 다섯 중 가장 나은 것을 고르는 일이면 짝이 열 개다.
- 짝마다 같은 문항으로 쌍체 검정을 한다. 정답률이면 부호 검정, 평균이 아닌 지표면 순열 검정이다.
- 짝의 수만큼 보정한다. 하나라도 거짓이면 곤란한 결정이면 홀름, 후보를 추리는 일이면 BH다.
0과 1로 매긴 결과를 셋 이상 짝지어 한 번에 보는 고전 검정으로 코크런의 Q 검정이 있지만, 그것도 「어딘가 다르다」까지만 말한다는 점은 분산분석과 같습니다. 이름을 정리하면 다음 표와 같습니다.
| 교과서의 이름 | 이 글에서 한 일 | 우리 예의 p값 |
|---|---|---|
| 독립표본 t검정, 2×2 카이제곱 | 짝을 버린 독립 비교 | 0.400 |
| 대응표본 t검정 | 짝지은 차의 평균을 표준오차로 판정 | 0.025 |
| 맥니마 검정 | 엇갈린 문항으로 정규 근사 | 0.025 |
| 맥니마 정확 검정 | 부호 검정 | 0.041 |
| 대응 순열 검정 | 문항마다 이름표 맞바꾸기 | 0.042 |
| 분산분석 | 짝마다 쌍체 검정 뒤 다중 비교 보정 | — |
정리
처음 장면
같은 500문항에서 82.0%와 84.0%가 나온 장면으로 돌아갑니다. 정답률 두 개만 보면 차의 표준오차가 2.37%p라 판정할 수 없었습니다. 문항별 결과를 펼치니 두 모델은 480문항에서 같은 답을 냈고, 갈라선 20문항 중 15개를 B가 가져갔습니다. 짝지은 표준오차는 0.89%p, 부호 검정의 p값은 0.041, 차의 95% 구간은 0.253.75%p입니다. 보고서에는 「같은 500문항에서 +2.0%p(95% 구간 0.33.7), 엇갈린 문항 B 15 : A 5, 부호 검정 p = 0.041」이라고 적으면 됩니다. 다만 이 차이를 검정력 0.8로 확실히 잡으려면 문항이 850개쯤 필요했으니, 500문항의 결과는 운 좋게 잡힌 쪽에 가깝다는 것도 알고 있어야 합니다.
대시보드의 초록 여섯 칸은 열 번을 견준 결과였습니다. 홀름 보정으로는 수학·코드·요약 세 칸이, BH로는 추론까지 네 칸이 남고, 처음 장면의 사내 QA는 어느 보정에서도 남지 않습니다. 사내 QA를 실험 전에 유일한 주 지표로 정해 두었다면 그 하나의 검정은 보정 없이 0.041로 읽어도 됩니다. 열 칸을 보고 나서 그중 잘 나온 것을 골랐다면 그렇게 읽을 수 없습니다. 무엇을 몇 번 견줄지를 자료를 보기 전에 적어 두는 것이, 이 글의 계산 전부를 떠받치는 조건입니다.
핵심 정리
- 같은 문항으로 두 모델을 재면 문항별 차 의 평균 하나를 판정하는 문제가 된다. 차의 분산에 항이 살아나, 문항 결과의 상관이 0.861인 우리 예에서 표준오차가 2.37%p에서 0.89%p로 줄었다.
- 판정의 재료는 두 모델이 갈라선 엇갈린 문항뿐이다. 실력이 같다면 엇갈린 문항 하나가 어느 쪽으로 갈지는 반반이라, B가 이긴 수가 이항분포를 따른다. 이것이 부호 검정이고, 20개 중 15개는 p = 0.041이다.
- 순열 검정은 문항마다 두 모델의 이름표를 맞바꿔 귀무분포를 만든다. 정답률에서는 부호 검정과 같고(0.042), 지표 함수만 바꾸면 F1 같은 평균이 아닌 지표에도 그대로 쓴다. F1 0.769와 0.800은 p = 0.51이었다.
- 효과 크기는 p값과 따로 적는다. 원래 단위의 차와 구간, 엇갈린 문항의 두 수가 기본이고, 점수대가 다른 차이를 견줄 때는 코헨의 h를 쓴다. 짝지은 는 두 모델의 상관에 따라 커지므로 실험끼리 견주는 데는 맞지 않는다.
- 필요한 문항 수는 이다. 2%p를 검정력 0.8로 잡는 데 엇갈림 4%의 짝지은 비교는 777문항(정확 검정으로 850쯤), 독립 비교는 모델마다 5,533문항이다.
- 검정 개를 한꺼번에 보면 하나라도 우연히 유의할 확률이 로 늘어 열 개에서 0.401이다. 본페로니는 문턱을 로, 홀름은 로 단계적으로 매겨 가족별 오류율을 지키고, BH는 를 문턱으로 거짓 발견률을 지킨다. 대시보드의 여섯 칸은 각각 2, 3, 4칸이 되었다.
- 대응표본 t검정과 맥니마 검정은 짝지은 비교의 정규 근사이고, 부호 검정은 맥니마의 정확판이다. 독립표본 t검정과 2×2 카이제곱은 짝을 버린 비교이며, 분산분석의 자리는 짝마다 쌍체 검정을 하고 다중 비교를 보정하는 것으로 대신한다.
다음 글 중급 77번 · 몬테카를로 추정과 pass@k는 이 글과 지난 글에서 계속 써 온 「수만 번 뽑아서 센다」를 그 자체로 다룹니다. 순열 검정의 p값이 시드에 따라 소수 셋째 자리에서 흔들린 것처럼, 무작위로 뽑아 센 값에는 뽑은 횟수가 정하는 오차가 따릅니다. 그 오차가 뽑은 횟수와 어떤 관계로 줄어드는지를 유도하고, 문제마다 답을 여러 번 생성하는 코드 벤치마크의 pass@k를 편향 없이 추정하는 식을 세웁니다.
읽어주셔서 감사합니다. 😊

