파인튜닝을 한 바퀴 돌리고 사내 평가 세트 500문항에 올렸습니다. 기존 모델이 82.0%였고 새 모델이 84.0%가 나왔습니다. 팀 채널에 「2점 올랐습니다, 이번 주에 바꿉시다」라는 메시지가 올라오고 다들 엄지를 누릅니다. 같은 날 다른 회사가 낸 모델 카드에는 벤치마크 열 개짜리 표가 실려 있고, 칸마다 소수 첫째 자리까지 적힌 점수가 굵게 칠해진 1등을 가리킵니다. 그 표 어디에도 오차막대는 없습니다.
두 장면이 묻는 것은 같습니다. 500문항에서 잰 2점이 정말 모델의 차이인가, 아니면 문항을 다른 500개로 뽑았으면 뒤집힐 차이인가. 이 글은 그 질문에 손으로 답합니다. 점수 하나에 오차막대를 붙이는 식을 세우고, 그 식이 작은 표본에서 어떻게 틀리는지와 고치는 법을 본 뒤, 82와 84를 직접 판정합니다.
이 글부터 13단원 「측정: 모든 점수에는 오차막대가 있다」가 시작됩니다. 표본평균의 분산이 이라는 결과는 분산과 표준오차에서, 표본평균이 정규분포로 모인다는 중심극한정리와 분위수 1.96은 정규분포와 중심극한정리에서 세웠습니다. 여기서는 그 둘을 정답률이라는 한 가지 숫자에 적용합니다.
추정량
추정 대상과 추정량
평가 점수가 무엇을 재는지부터 정해야 합니다. 우리가 알고 싶은 것은 「이 500문항에서 몇 개를 맞혔나」가 아닙니다. 그건 이미 압니다. 알고 싶은 것은 같은 종류의 문항을 무한히 많이 냈을 때 모델이 맞히는 비율, 곧 참 정답률 입니다. 500문항은 그 큰 문항 더미에서 뽑아 온 표본이고, 는 영영 직접 볼 수 없는 값입니다.
볼 수 없는 값을 표본으로 어림하는 규칙을 추정량이라 하고, 그 규칙에 실제 표본을 넣어 나온 숫자를 추정값이라 합니다. 정답률에서는 추정량이 「맞힌 개수 를 문항 수 으로 나눈다」는 규칙 이고, 추정값이 그 규칙이 이번 500문항에서 내놓은 0.84입니다. 모자를 씌운 는 「 를 어림한 것」이라는 표시입니다.
이 구분이 이 글 전체를 받칩니다. 0.84라는 숫자 하나는 흔들리지 않습니다. 흔들리는 것은 규칙입니다. 문항을 새로 뽑을 때마다 가 달라지고, 따라서 는 확률변수입니다. 오차막대는 이 확률변수가 얼마나 흩어지는지를 그린 것이지, 0.84라는 숫자의 성질이 아닙니다.
문항 하나의 채점 결과를 라 하면 맞으면 1, 틀리면 0이고, 입니다. 이렇게 1이 나올 확률 하나로 정해지는 0/1 확률변수를 베르누이 확률변수라 부릅니다. 맞힌 개수는 이고 정답률은 그 평균입니다. 정답률이 결국 표본평균이라는 이 한 줄 덕분에, 분산과 중심극한정리에서 세운 결과가 전부 그대로 넘어옵니다.
편향과 불편성
좋은 추정량의 첫째 조건은 평균적으로 과녁을 맞히는 것입니다. 추정량의 기댓값과 참값의 차를 편향이라 하고, 편향이 0인 추정량을 불편추정량이라 합니다. 확률변수와 기댓값에서 미니배치 손실이 전체 손실의 불편추정량이라는 것을 같은 정의로 봤습니다.
정답률은 불편입니다. 기댓값의 선형성으로 한 줄이면 됩니다.
이고, 그것을 개 더해 으로 나눴습니다. 문항끼리 독립이라는 가정조차 쓰지 않았습니다.
평가 파이프라인은 이 성질을 의외로 쉽게 깹니다. 응답 시간이 넘어 타임아웃 난 문항을 「채점 불가」로 빼고 나머지로 정답률을 내는 경우가 흔한데, 타임아웃은 대개 모델이 길게 헤매는 어려운 문항에서 납니다. 어려운 문항이 골라서 빠지니 남은 문항의 정답률은 참값보다 위로 기웁니다. 프롬프트 다섯 개를 돌려 가장 높은 점수를 적는 것도 같은 방향의 편향입니다. 앞의 것은 분모에서 문항을 고른 것이고 뒤의 것은 결과를 고른 것인데, 어느 쪽이든 규칙이 바뀌었으니 의 불편성은 더 이상 보장되지 않습니다.
일치성
불편성만으로는 부족합니다. 첫 문항 하나만 채점해 그 결과 을 정답률로 적는 규칙을 생각해 봅시다. 이므로 이것도 불편추정량입니다. 그러나 값이 0 아니면 1이라, 문항을 500개 내든 5만 개 내든 이 추정은 참값 0.82 근처에 한 번도 오지 않습니다.
그래서 둘째 조건을 둡니다. 표본이 커질수록 추정값이 참값 근처에 몰리는 성질을 일치성이라 합니다. 정확히는 어떤 작은 폭 을 잡아도 이 에서 0으로 가는 것입니다. 여기서 는 재려는 참값, 은 표본 개로 만든 추정량입니다. 최대가능도가 가진 성질로 이름을 본 적이 있는데, 여기서는 그 뜻을 정답률에서 직접 확인합니다.
import numpy as np
rng = np.random.default_rng(1)
p, trials = 0.82, 20_000
for n in [20, 100, 500]:
X = rng.binomial(1, p, size=(trials, n)) # 문항별 채점 0/1
first = X[:, 0] # 첫 문항만
phat = X.mean(axis=1) # 정답률
print(n, round(first.mean(), 3), round(first.std(), 3),
round(phat.mean(), 3), round(phat.std(), 4))
# 20 0.82 0.384 0.82 0.0852
# 100 0.823 0.381 0.82 0.0383
# 500 0.822 0.382 0.82 0.0172
평가를 2만 번 다시 한 결과입니다. 두 추정량 모두 평균이 0.82로 불편이지만, 첫 문항만 보는 쪽은 표준편차가 0.38에서 꿈쩍하지 않고 정답률은 0.085에서 0.017로 좁아집니다.
정답률이 일치추정량인 이유는 분산과 표준오차의 대수의 법칙 그대로입니다. 편향이 0이고 분산이 으로 0에 가니, 체비쇼프 부등식으로 벗어날 확률도 0에 갑니다. 일반적으로 편향과 분산이 둘 다 0으로 가면 일치성이 따라옵니다. 거꾸로 일치추정량이 불편일 필요는 없습니다 — 바로 다음 소절의 추정량이 그렇습니다.
평균제곱오차
불편성과 일치성 사이의 저울질을 한 숫자로 재는 것이 평균제곱오차, 곧 추정값과 참값의 차를 제곱해 평균 낸 값입니다. 이것은 편향의 제곱과 분산의 합으로 정확히 갈립니다.
를 로 쪼개 제곱하면 교차항의 기댓값이 0이라 이 두 항만 남습니다.
맞힌 개수에 1을, 문항 수에 2를 더한 를 정답률 대신 써 보면 이 분해가 무엇을 말하는지 보입니다. 이 추정량은 기댓값이 라 편향이 입니다. 0.5보다 큰 를 늘 조금 낮잡습니다. 대신 분산은 으로 보다 작습니다. 에서 견주면 이렇습니다.
| 참 정답률 | 의 평균제곱오차 | 의 평균제곱오차 |
|---|---|---|
| 0.5 | 0.01250 | 0.01033 |
| 0.9 | 0.00450 | 0.00504 |
에서는 편향이 0인데 분산만 줄었으니 더하기를 한 쪽이 낫고, 에서는 편향 의 제곱이 줄어든 분산보다 커져 원래 정답률이 낫습니다. 편향이 로 0에 가므로 이 추정량도 일치추정량입니다. 불편이 아니어도 일치할 수 있고, 불편이라고 늘 더 정확한 것도 아닙니다. 이 「가운데 쪽으로 조금 당기기」는 뒤에서 Wilson 구간의 중심으로 다시 나옵니다.
비율의 표준오차
베르누이 분산
가 얼마나 흩어지는지 구합니다. 베르누이 확률변수 하나의 분산은
입니다. 가 0 아니면 1이라 이므로 첫 항이 그냥 가 됩니다. 문항끼리 독립이면 분산과 표준오차에서 유도한 표본평균의 분산 에 를 넣어
을 얻습니다. 추정량의 표준편차를 표준오차라 부르고, 오차막대의 길이가 이 값의 몇 배로 정해집니다.
는 에서 0.25로 가장 크고 양 끝으로 갈수록 작아집니다. 정답률이 반반인 모델이 가장 흔들리고, 거의 다 맞히거나 거의 다 틀리는 모델은 덜 흔들립니다. 결과가 한쪽으로 쏠릴수록 문항을 바꿔도 결과가 덜 바뀌니 당연합니다. 500문항이면 에서 표준오차가 2.24%p, 0.82에서 1.72%p, 0.84에서 1.64%p, 0.97에서 0.76%p입니다.
플러그인 추정
문제가 하나 있습니다. 표준오차 식에 참 정답률 가 들어 있는데, 그 를 모르니까 재고 있는 것입니다. 실무에서는 모르는 참값 자리에 그 추정값을 그대로 꽂아 넣습니다. 이렇게 식 안의 모르는 값을 추정값으로 바꿔 넣는 방법을 플러그인 추정이라 합니다.
82.0%를 500문항에서 쟀다면 , 곧 1.72%p를 적습니다. 이 수백이면 가 에서 몇 %p 벗어나 있어도 는 거의 같아서 이 바꿔치기가 해를 끼치지 않습니다. 0.80과 0.84를 넣어도 표준오차는 1.79와 1.64로, 0.1%p 남짓 움직일 뿐입니다.
이 바꿔치기가 해를 끼치는 자리는 따로 있습니다. 20문항을 다 맞혀 이면 플러그인 표준오차가 정확히 0이 됩니다. 「20개 다 맞혔으니 이 모델의 정답률은 오차 없이 100%」라는 말이 되는데, 그럴 리가 없습니다. 참 정답률이 0.9여도 20개를 다 맞힐 확률이 나 됩니다. 이 구멍이 뒤의 두 절에서 정규 근사 구간을 버리고 Wilson 구간으로 옮겨 가는 이유입니다.
문항 수와 정밀도
식의 모양이 정밀도의 값을 정합니다. 이 제곱근 안에 있으므로 표준오차를 절반으로 줄이려면 문항이 네 배 필요합니다. 그리고 이므로 표준오차는 어떤 에서도 을 넘지 않습니다. 뒤에서 쓸 1.96을 곱하면 이라, 95% 구간의 한쪽 폭은 어떤 모델이든 대략 이하입니다. 오차막대 없는 표를 읽을 때 가장 먼저 꺼낼 어림셈이 이것입니다.
| 문항 수 | 100 | 500 | 1,000 | 10,000 |
|---|---|---|---|---|
| 95% 구간의 한쪽 폭 상한 | 9.8%p | 4.4%p | 3.1%p | 0.98%p |
곡선이 처음에는 가파르다가 금방 눕습니다. 100문항에서 500문항으로 가면 표준오차가 5.00에서 2.24%p로 절반 넘게 줄지만, 거기서 다시 반을 줄이려면 2,000문항이 필요합니다. 소수 첫째 자리까지 의미 있는 점수, 곧 한쪽 폭 0.1%p를 원하면 문항이 백만 개 가까이 필요합니다. 표에 찍힌 소수점 아래 자리는 대개 계산기의 자릿수이지 측정의 자릿수가 아닙니다.
정규 근사 구간
신뢰구간
표준오차를 오차막대로 바꾸려면 확률의 말이 필요합니다. 데이터에서 계산한 두 끝점 사이에 참값이 들어 있다고 정해진 확률로 말할 수 있는 구간을 신뢰구간이라 합니다. 95% 신뢰구간이라는 말의 정확한 뜻은 「같은 방식으로 표본을 새로 뽑아 구간을 다시 그리기를 되풀이하면, 그렇게 그린 구간들 가운데 95%가 참값을 품는다」입니다. 확률이 걸린 쪽은 구간이고, 참값은 움직이지 않습니다.
중심극한정리에 따르면 는 이 크면 평균 , 표준편차 인 정규분포에 가깝습니다. 표준정규분포에서 ±1.96 사이가 95%이므로, 가 참값에서 안에 있을 확률이 대략 95%입니다. 그 문장을 참값 쪽으로 뒤집고 표준오차를 플러그인으로 바꾸면
을 얻습니다. 정규분포로 어림해 얻은 이 구간을 정규 근사 구간이라 부르겠습니다. 통계 교과서에서는 이 식을 처음 세운 사람의 이름을 따 Wald 구간이라고도 합니다. 1.96을 곱한 쪽, 곧 구간의 가운데에서 한쪽 끝까지의 길이를 반폭이라 부릅니다.
500문항에서 82.0%는 이라 78.6%에서 85.4%이고, 84.0%는 이라 80.8%에서 87.2%입니다. 처음 장면의 두 점수에 오차막대가 붙었습니다. 두 막대가 상당 부분 겹친다는 것까지는 벌써 보이는데, 그게 판정인지는 뒤의 「두 점수의 차이」 절에서 따로 봅니다.
포함 확률
「95%」는 약속이고, 그 약속이 지켜지는지는 따로 확인할 수 있습니다. 참값 를 하나 정해 두고, 표본을 뽑아 구간을 그렸을 때 그 구간이 를 품을 확률을 포함 확률이라 합니다. 좋은 95% 구간은 어떤 에서나 포함 확률이 0.95 근처여야 합니다.
정답률은 맞힌 개수가 0부터 까지 가지뿐이라 포함 확률을 시뮬레이션 없이 정확히 셀 수 있습니다. 각 에서 구간을 그려 를 품는지 보고, 품는 들의 이항확률 를 더하면 됩니다. 500문항, 에서 그렇게 세면 정규 근사 구간의 포함 확률은 0.949입니다. 약속대로입니다.
경계 근처의 실패
문항이 적어지면 이야기가 달라집니다. 에서 같은 계산을 마다 하면 아래 그림의 보라색 곡선이 나옵니다.
근처에서는 0.94~0.96으로 그럭저럭 맞지만, 에서 0.881, 에서 0.876, 에서 0.639, 에서 0.332로 무너집니다. 0.01부터 0.99까지 고르게 평균을 내도 0.853입니다. 「95% 구간」이라고 적어 놓고 실제로는 일곱 번에 한 번꼴로 참값을 놓치는 셈입니다.
원인은 둘이 겹친 것입니다. 하나는 플러그인 소절에서 본 구멍입니다. 이면 20문항을 다 맞힐 확률이 0.36인데, 그때 구간은 폭 0짜리 점 이 되어 0.95를 품을 수가 없습니다. 다른 하나는 정규 근사 자체입니다. 가 경계에 붙어 있으면 의 분포가 한쪽이 1에서 잘린 비대칭 모양인데, 좌우 대칭인 정규분포로 어림하니 양쪽 폭을 똑같이 잡는 것부터 틀립니다. 그 결과 19/20에서는 구간이 85.4%에서 104.5%로, 있을 수 없는 1 위로 삐져나갑니다.
LLM 평가에서 이 상황은 드물지 않습니다. 쉬운 하위 범주의 정답률이 95%를 넘는 일이 흔하고, 범주별로 나누면 한 칸에 문항이 스무 개 남짓인 일도 흔합니다. 안전성 평가의 거부율처럼 0에 붙은 비율도 마찬가지입니다. 문항이 적고 점수가 경계에 붙을수록 이 구간을 믿으면 안 됩니다.
Wilson 구간
구간의 뒤집기
정규 근사 구간이 한 일을 다시 보면 고칠 자리가 보입니다. 출발점은 「 가 참값 에서 표준오차 안에 있다」는 문장이었습니다( 는 95%면 1.96). 그런데 그 표준오차는 원래 , 곧 참값으로 계산한 것입니다. 정규 근사 구간은 이 자리에 를 꽂았습니다. 꽂지 않고 그대로 두면 어떻게 될까요.
후보 마다 「이 가 참이라면, 지금 본 가 그 의 표준오차로 배 안에 드는가」를 묻고, 통과하는 후보를 전부 모읍니다. 조건은
이고, 양변을 제곱해 에 대해 정리하면 이차부등식이 됩니다.
이차항의 계수가 양수이므로 두 근 사이가 해이고, 근의 공식으로 끝점을 얻습니다.
이렇게 참값으로 계산한 표준오차를 그대로 두고 부등식을 에 대해 풀어 얻은 구간을 Wilson 구간이라 합니다. 1927년에 이 계산을 처음 낸 사람의 이름입니다. 정규 근사는 여전히 쓰지만, 플러그인이라는 두 번째 어림을 걷어 낸 것입니다.
중심의 이동
끝점 식의 두 부분을 따로 읽습니다. 가운데는
로, 와 를 의 비로 섞은 값입니다. 이므로 대략 , 곧 맞힌 것 둘과 틀린 것 둘을 미리 얹어 놓고 정답률을 낸 것과 같습니다. 평균제곱오차 소절의 와 같은 종류의, 가운데 쪽으로 조금 당기기입니다. 20/20이면 가운데가 1이 아니라 0.919로 내려앉습니다.
반폭 쪽은 근호 안에 이 더해져 있어 가 0이나 1이어도 0이 되지 않습니다. 20/20의 Wilson 구간은 83.9%에서 100%입니다. 「20개 다 맞혔다」에서 말할 수 있는 것은 「참 정답률이 84% 아래일 가능성은 낮다」까지이고, Wilson 구간이 정확히 그 말을 합니다. 그리고 두 끝점이 언제나 0과 1 사이에 있습니다. 부등식의 해가 애초에 인 범위에서 나오기 때문입니다.
그림에서 두 구간을 견주면 차이가 경계 쪽에 몰려 있습니다. 14/20에서는 두 구간이 거의 같고, 17/20과 19/20에서는 정규 근사 구간이 1을 넘어가는 동안 Wilson 구간은 가운데 쪽으로 비켜 서서 0과 1 사이에 머뭅니다. 20/20에서는 한쪽이 점이고 한쪽이 16%p 폭입니다.
두 구간의 비교
포함 확률 그림의 하늘색 곡선이 Wilson 구간입니다. 에서도 에서 0.927, 에서 0.925, 에서 0.940이고, 0.05부터 0.95 사이 어디서도 0.92 밑으로 내려가지 않습니다. 0.01부터 0.99까지 평균은 0.954로, 약속한 0.95에 붙어 있습니다. 곡선이 톱니처럼 오르내리는 것은 맞힌 개수가 정수라서 생기는 것이고 어떤 구간도 피하지 못합니다.
시뮬레이션으로도 한 번 확인합니다.
import numpy as np
def wald(x, n, z=1.96):
p = x / n
h = z * np.sqrt(p * (1 - p) / n)
return p - h, p + h
def wilson(x, n, z=1.96):
p = x / n
d = 1 + z**2 / n
c = (p + z**2 / (2 * n)) / d
h = z * np.sqrt(p * (1 - p) / n + z**2 / (4 * n**2)) / d
return c - h, c + h
rng = np.random.default_rng(0)
n, p = 20, 0.95
x = rng.binomial(n, p, size=100_000) # 평가를 10만 번 다시 한다
for f in (wald, wilson):
lo, hi = f(x, n)
print(f.__name__, round(float(np.mean((lo <= p) & (p <= hi))), 3))
# wald 0.641
# wilson 0.925
정확히 센 0.639와 0.925를 소수 둘째 자리까지 따라갑니다.
그러면 500문항짜리 평가에서는 어느 쪽을 써도 되느냐 하면, 거의 그렇습니다. 82.0%의 Wilson 구간은 78.4%에서 85.1%로 정규 근사 구간 78.6~85.4%와 0.3%p 안쪽에서 맞습니다. 문항이 수백이고 점수가 경계에서 멀면 두 식이 같은 답을 냅니다. 차이가 나는 것은 문항이 수십이거나 점수가 0이나 100에 붙은 칸이고, 바로 거기서 정규 근사가 틀립니다. 식 하나로 모든 칸을 처리하려면 Wilson 쪽을 기본으로 두는 편이 낫습니다. 손계산은 조금 길어도 코드로는 한 줄 차이입니다.
두 점수의 차이
차이의 분산
이제 82와 84입니다. 판정할 대상은 두 정답률의 차 이고, 이것도 추정량입니다. 기댓값은 로 불편이고, 분산은 두 측정이 서로 독립이면 분산의 가법성에 따라 빼기에서도 더해집니다.
을 곱한 것은 분산에서 제곱되어 이 되므로, 두 흔들림이 서로를 지우지 않고 쌓입니다.
플러그인으로 넣습니다.
차의 표준오차가 2.37%p입니다. 두 점수가 모두 0.83 근처라 이 값은 한 점수의 표준오차 1.68%p 안팎에 를 곱한 것과 거의 같습니다. 관측된 차 2.0%p는 표준오차의 배입니다. 1.96배에 한참 못 미칩니다. 95% 구간으로 적으면 , 곧 −2.65%p에서 +6.65%p로 0을 넉넉히 품습니다. 정규분포에서 표준오차의 0.84배 이상 벗어날 확률은 양쪽을 합쳐 0.40입니다. 두 모델의 참 정답률이 똑같아도 이만한 차는 열 번에 네 번 나옵니다.
판정은 이렇습니다. 문항을 서로 독립으로 뽑아 잰 것으로 보면 500문항의 82%와 84%는 구분되지 않습니다. 「2점 올랐다」가 아니라 「B가 A보다 2.7점 나쁠 수도, 6.7점 좋을 수도 있다」가 이 측정이 말할 수 있는 전부입니다.
오차막대의 겹침
오차막대가 그려진 그래프를 보면 흔히 「막대가 겹치면 차이가 없고 안 겹치면 차이가 있다」로 읽습니다. 이 규칙은 반만 맞고, 틀리는 방향이 정해져 있습니다.
두 95% 막대가 안 겹치려면 두 점수의 차가 두 반폭의 합, 곧 를 넘어야 합니다. 82와 84에서 그 값은 %p입니다. 그런데 차이의 검정이 실제로 요구하는 것은 %p입니다. 두 길이를 더한 것은 제곱해 더하고 근호를 씌운 것보다 늘 길기 때문에, 막대가 안 겹치는 기준은 실제 기준보다 엄격합니다. 두 표준오차가 같으면 정확히 배 엄격합니다.
그래서 읽는 규칙은 비대칭입니다. 95% 막대가 안 겹치면 차이가 있다고 봐도 됩니다. 막대가 겹친다고 차이가 없다고 하면 안 됩니다. 차가 4.65와 6.58 사이면 막대는 겹치지만 차의 구간은 0을 벗어납니다. 판정은 언제나 차의 표준오차로 따로 하고, 막대는 눈으로 훑는 데만 씁니다. 처음 장면의 2.0%p는 어느 기준으로도 모자라니 이 경우에는 결론이 같습니다.
필요한 문항 수
거꾸로 물을 수도 있습니다. 82와 84의 2%p를 구분하려면 문항이 몇 개 있어야 할까요. 관측된 차가 정확히 2%p일 때 95% 구간이 0을 겨우 벗어나는 을 구하면
입니다. 모델마다 2,708문항입니다. 500문항의 다섯 배가 넘습니다.
이것도 넉넉한 숫자가 아닙니다. 참 차이가 정확히 2%p여도 관측된 차는 그 주위에서 흔들리므로, 이면 절반쯤은 2보다 작게 나와 구간이 0을 품습니다. 참 차이를 높은 확률로 잡아내도록 문항 수를 정하는 계산, 곧 검정력은 「중급 76번 · 같은 문항으로 두 모델 비교하기」가 맡습니다. 여기서 가져갈 것은 크기의 감입니다. 2%p는 수천 문항짜리 차이이고, 500문항으로는 5%p 가까이 벌어져야 겨우 말이 됩니다.
같은 문항의 비교
한 가지 단서가 남았습니다. 위의 계산은 두 모델을 서로 다른 500문항으로 쟀다고 가정했습니다. 실제로는 같은 500문항에 두 모델을 돌렸을 가능성이 큽니다. 그러면 「이 문항은 원래 어렵다」는 흔들림이 두 점수에 똑같이 실려, 차를 낼 때 상당 부분이 서로 지워집니다. 분산의 가법성에서 빠졌던 공분산 항, 의 마지막 항이 살아나는 것입니다.
같은 문항으로 쟀다면 차의 표준오차는 2.37%p보다 작을 수 있고, 같은 2점이 유의해질 수도 있습니다. 판정에는 문항별로 두 모델의 결과가 어떻게 갈렸는지가 필요하고, 정답률 두 개만으로는 계산이 안 됩니다. 그 계산은 「중급 76번 · 같은 문항으로 두 모델 비교하기」의 몫입니다. 이 글의 독립 계산은 문항별 결과가 없을 때, 그러니까 남이 낸 표의 숫자 두 개만 들고 있을 때 쓸 수 있는 가장 보수적인 판정입니다. 실무 쪽 절차는 평가 점수의 통계적 유의성에 정리돼 있습니다.
벤치마크 표
문항 수의 역산
모델 카드의 표로 돌아갑니다. 오차막대가 없어도 문항 수만 알면 막대를 직접 그릴 수 있습니다. 문항 수는 대개 벤치마크 논문이나 데이터셋 카드에 있습니다.
몇 가지 널리 쓰이는 크기로 계산해 봅니다. 코드 생성 벤치마크 HumanEval은 164문제입니다. 90%를 받았다면 표준오차가 %p, 95% 반폭이 4.6%p입니다. 대학원 수준 과학 문항 묶음인 GPQA Diamond는 198문항이라 70% 근처에서 반폭이 6.4%p입니다. 수학 경시 AIME를 한 해치(I·II 합쳐 30문항) 쓰는 표라면 문항 하나가 3.3%p이고, 24/30, 곧 80%의 표준오차가 7.3%p입니다. 문항이 30개에 점수가 경계 쪽이니 Wilson 구간을 씁니다. 62.7%에서 90.5%입니다. 정규 근사로는 65.7~94.3%라 위쪽이 4%p 가까이 부풀어 있습니다.
이 숫자를 들고 표를 다시 보면, 1~2점 차이로 매겨진 순위 대부분이 구간 안에서 뒤섞입니다. 표가 보여 주는 1등은 「이번에 뽑힌 문항에서 가장 높았던 모델」이고, 「다른 문항에서도 가장 높을 모델」인지는 차의 표준오차가 정합니다.
읽는 순서
오차막대 없는 표를 읽는 순서를 네 걸음으로 정리합니다.
- 문항 수 을 찾는다. 표에 없으면 벤치마크 논문에서 찾는다. 하위 범주로 쪼갠 표라면 그 칸의 문항 수를 찾는다.
- 한 점수의 95% 반폭을 으로 어림한다. 이것은 에서의 가장 넓은 값이라, 점수가 경계에 가까우면 실제 폭은 더 좁다. 정확히 원하면 이나 Wilson 구간을 계산한다.
- 두 점수의 차를 볼 때는 그 폭에 를 곱한다. 500문항이면 한 점수의 상한이 4.5%p, 차의 상한이 6.3%p다. 82와 84처럼 점수가 0.83 근처면 실제 값은 3.2~3.4%p와 4.65%p다.
- 조건을 확인한다. 같은 문항에 돌렸는지, 몇 번 돌려 평균 냈는지, 몇 개의 벤치마크와 몇 개의 모델을 한 표에 견줬는지.
첫 세 걸음은 계산이고 마지막 걸음은 이 식이 어디까지 맞는지를 묻는 걸음입니다. 그 내용이 다음 소절입니다.
표 밖의 오차
이 글의 표준오차가 재는 것은 한 가지, 문항을 다시 뽑으면 생기는 흔들림입니다. 표에 실린 점수에는 그것 말고도 흔들림이 섞여 있습니다.
첫째는 생성의 무작위성입니다. 온도를 0보다 크게 두고 문항마다 한 번씩 생성했다면 채점 결과는 여전히 0/1 하나라, 같은 식이 그 무작위성까지 함께 셉니다. 문항마다 여러 번 생성해 평균을 냈다면 생성 쪽 흔들림만 줄어들고 문항 쪽 흔들림은 그대로 남습니다. 여러 번 뽑아 평균 내는 추정과 pass@k는 「중급 77번 · 몬테카를로 추정과 pass@k」가 다룹니다.
둘째는 측정 설정입니다. 프롬프트 형식, few-shot 예시의 선택, 정답을 뽑아내는 파싱 규칙, 채점하는 모델이 바뀌면 점수가 몇 점씩 움직이는데, 이것은 문항을 몇 개 더 늘려도 줄지 않는 편향입니다. 두 회사의 표가 서로 다른 설정으로 잰 숫자라면 표준오차를 아무리 정확히 계산해도 두 숫자를 나란히 놓을 근거가 없습니다.
셋째는 여러 번 견주기입니다. 벤치마크 열 개에 모델 다섯 개를 견준 표에서는 참 차이가 하나도 없어도 어딘가에서 우연히 큰 차가 나옵니다. 그 보정은 「중급 76번」이 맡습니다. 그리고 해석식이 없는 지표, 이를테면 F1이나 nDCG에 구간을 붙이는 일반적인 방법은 「중급 75번 · 부트스트랩」이 다룹니다. 이 글의 식은 맞고 틀리고를 세는 점수, 곧 정답률에만 쓸 수 있습니다.
정리
처음 장면
500문항에서 82.0%가 84.0%가 된 장면으로 돌아갑니다. 두 점수에 95% 막대를 붙이면 78.685.4%와 80.887.2%이고, 차의 표준오차는 2.37%p, 관측된 차는 그 0.84배입니다. 두 모델이 똑같아도 열 번에 네 번은 이만한 차가 납니다. 그 채널의 메시지는 「2점 올랐습니다」가 아니라 「구분되지 않습니다. 같은 문항으로 쟀다면 문항별로 다시 보겠습니다」였어야 합니다. 2%p를 독립 측정만으로 구분하려면 모델마다 2,700문항 넘게 필요합니다.
모델 카드의 표도 같은 식으로 읽힙니다. 문항 수를 찾아 을 어림하고, 차이는 거기에 를 곱하면, 소수 첫째 자리까지 적힌 숫자들 가운데 실제로 갈리는 칸이 몇 개 안 남습니다. 오차막대는 표에서 빠져 있어도 측정에서는 빠진 적이 없습니다.
핵심 정리
- 추정량은 표본으로 참값을 어림하는 규칙이고 추정값은 그 규칙이 낸 숫자다. 오차막대는 규칙의 흔들림을 그린 것이다. 정답률 은 0/1 채점 결과의 표본평균이다.
- 기댓값이 참값과 같으면 불편, 표본이 커질수록 참값 근처에 몰리면 일치다. 첫 문항만 보는 추정은 불편이지만 일치하지 않고, 는 편향이 있지만 일치한다. 타임아웃 문항을 빼거나 가장 좋은 프롬프트를 고르면 정답률이 위로 편향된다.
- 평균제곱오차는 편향의 제곱과 분산의 합이다. 불편이라고 늘 더 정확하지는 않다.
- 정답률의 표준오차는 이고 실무에서는 를 꽂아 쓴다. 95% 반폭은 어떤 에서도 대략 이하다. 500문항이면 4.4%p다.
- 정규 근사 구간 는 문항이 수백이고 점수가 경계에서 멀면 맞는다. , 에서는 실제 포함 확률이 0.639로 무너지고, 다 맞히면 폭이 0이 된다.
- Wilson 구간은 표준오차에 참값을 그대로 두고 부등식을 에 대해 푼 것이다. 중심이 쪽으로 당겨지고 끝점이 늘 0과 1 사이에 있으며, 같은 자리에서 포함 확률 0.925를 지킨다.
- 독립 측정의 차의 표준오차는 각 분산을 더해 근호를 씌운다. 500문항의 82%와 84%는 차가 %p라 구분되지 않는다.
- 95% 막대가 안 겹치면 차이가 있다고 봐도 되지만, 겹친다고 차이가 없다고 하면 안 된다. 겹침 기준이 최대 배 엄격하다.
- 같은 문항으로 잰 비교, 여러 번 견주기의 보정, 해석식이 없는 지표의 구간은 각각 중급 76번, 76번, 75번의 일이다.
읽어주셔서 감사합니다. 😊

