코드 생성 모델을 HumanEval처럼 생긴 문제 164개로 평가합니다. 문제마다 온도를 0.8로 두고 답을 10번씩 생성해, 모두 1,640개의 답을 단위 테스트에 돌렸습니다. 통과한 답은 764개였고, 10번 모두 실패한 문제가 32개, 10번 모두 통과한 문제가 18개였습니다. 팀의 보고서에는 「pass@1 0.466, pass@10 0.805」가 적혔습니다. 여기서 pass@k는 한 문제에 답을 번 생성했을 때 그중 하나라도 테스트를 통과할 확률이고, 벤치마크 점수는 그 확률을 문제 164개에 걸쳐 평균한 값입니다.
지난 글에서는 같은 문항으로 두 모델을 견주는 법을 다뤘습니다. 그런데 이번 보고서를 받은 사람들의 질문은 그보다 한 걸음 앞에 있었습니다. 하나는 「0.466이 얼마나 흔들리는 숫자냐」였습니다. 다른 하나는 논문과 맞춰 보려고 pass@5를 따로 계산했더니 사람마다 값이 달랐다는 것입니다. 한 사람은 문제마다 통과 비율 을 구해 에 넣어 0.713을 얻었고, 다른 사람은 「10번 중 하나라도 통과한 문제의 비율」 0.805를 pass@5라고 적었습니다. 마지막 질문은 10번이면 충분하냐, 100번으로 늘리면 얼마나 나아지느냐였습니다.
세 질문은 모두 같은 뿌리에서 나옵니다. pass@k는 생성이라는 무작위 실험의 기댓값이고, 우리는 그 기댓값을 유한한 시도로 추정하고 있습니다. 이 글은 무작위로 뽑은 시도의 평균으로 기댓값을 추정할 때 오차가 어떻게 줄어드는지부터 세우고, 그 위에서 pass@k의 올바른 추정량을 유도한 뒤, 문제 수와 생성 수가 오차를 어떻게 나눠 갖는지 계산합니다.
몬테카를로 추정
기댓값과 표본평균
문제 하나만 떼어 놓고 봅니다. 이 문제에 답을 한 번 생성해 테스트를 돌리면 통과하거나 실패합니다. 통과를 1, 실패를 0으로 적은 확률변수를 라 하면, 이 문제의 실제 통과 확률은 입니다. 모델의 가중치와 온도가 정해져 있으면 도 정해진 값이지만, 그것을 직접 계산할 길은 없습니다. 모델이 낼 수 있는 답을 전부 나열하고 각 답의 확률을 더해야 하는데, 답의 경우의 수가 천문학적이기 때문입니다.
할 수 있는 일은 실제로 여러 번 생성해 보는 것입니다. 번 생성해 을 얻고 그 평균
을 의 추정값으로 씁니다. 는 통과한 횟수입니다. 이처럼 계산할 수 없는 기댓값을, 그 분포에서 무작위로 뽑은 표본의 평균으로 대신하는 방법을 몬테카를로 추정이라고 합니다. 이름은 카지노로 유명한 모나코의 지명에서 왔습니다. 주사위를 던지듯 무작위 시행을 되풀이해 답을 얻는다는 뜻입니다.
몬테카를로 추정은 기댓값이 들어가는 곳이면 어디에나 섭니다. 미니배치 손실이 전체 데이터 손실의 추정이고, 정책 그래디언트가 보상 기댓값의 기울기를 표본 몇 개로 추정하며, 부트스트랩이 표본분포를 재표집 번으로 흉내 낸 것도 같은 일입니다. 공통점은 둘입니다. 추정값의 기댓값이 원래 기댓값과 같다는 것, 그리고 표본을 늘릴수록 흔들림이 일정한 속도로 줄어든다는 것입니다.
표본평균의 분산
앞의 성질은 기댓값의 선형성에서 바로 나옵니다. 이므로 몬테카를로 추정은 평균적으로 과녁에 맞습니다.
뒤의 성질은 분산이 정합니다. 생성 하나하나가 서로 독립이면, 분산과 표본오차에서 본 대로 독립인 것의 합의 분산은 각 분산의 합입니다. 하나의 분산을 이라 하면
입니다. 이 바깥으로 나오면서 제곱되어 이 되고, 안에서 더한 분산 개가 그중 하나를 지웁니다. 통과·실패처럼 0과 1만 나오는 시행이면 이고, 표준편차를 취하면 추정량과 표준오차에서 만난 이 그대로 나옵니다.
통과 확률이 0.3인 문제 하나로 확인했습니다. 번 생성해 통과 비율을 내는 일을 10만 번 되풀이하고, 그 10만 개의 추정값이 얼마나 흩어지는지 표준편차를 셌습니다.
import numpy as np
p = 0.3 # 한 문제의 실제 통과 확률
rng = np.random.default_rng(0)
for n in [10, 40, 160, 640]:
c = rng.binomial(n, p, size=100_000) # n번 생성해 통과 횟수를 센다, 10만 번 되풀이
est = c / n
print(f"n={n:4d} 평균 {est.mean():.4f} 흔들림 {est.std():.4f}"
f" 식 {np.sqrt(p * (1 - p) / n):.4f}")
n= 10 평균 0.2999 흔들림 0.1450 식 0.1449
n= 40 평균 0.2997 흔들림 0.0723 식 0.0725
n= 160 평균 0.3000 흔들림 0.0363 식 0.0362
n= 640 평균 0.3000 흔들림 0.0181 식 0.0181
평균은 어느 에서나 0.3이고, 흔들림은 식과 넷째 자리까지 맞습니다. 그리고 눈에 띄는 것은 = 10에서 0.145라는 크기입니다. 실제로 0.3인 문제를 10번 시도하면 0.1로도 0.5로도 흔하게 나온다는 뜻입니다. 문제 하나의 추정값은 이만큼 거칩니다.
제곱근 법칙
표준편차로 쓰면 오차의 크기는
입니다. 표본 수가 분모에 제곱근으로 들어간다는 이 관계를 이 글에서는 제곱근 법칙이라고 부르겠습니다. 위의 출력에서 을 4배씩 늘릴 때마다 흔들림이 0.1450, 0.0723, 0.0363, 0.0181로 꼭 절반씩 줄었습니다. 2배로 늘리면 , 곧 0.71배로만 줄어듭니다.
이 법칙의 실전적인 뜻은 비용입니다. 오차를 절반으로 줄이려면 표본이 4배 들고, 소수 한 자리를 더 얻으려면, 곧 오차를 10분의 1로 줄이려면 100배가 듭니다. 처음 몇 개의 표본은 오차를 크게 깎지만 갈수록 같은 개수가 깎는 몫이 줄어듭니다. 그래서 「일단 많이 돌려 보자」는 계획은 대개 처음 생각보다 훨씬 비쌉니다.
법칙에는 두 가지가 들어 있지 않다는 점도 짚어 둡니다. 첫째, 추정하려는 값이 무엇인지와 상관이 없습니다. 통과율이든 응답 길이의 평균이든 한 번 시행의 표준편차 만 오차의 크기에 들어가고, 줄어드는 속도는 늘 입니다. 둘째, 이 오차는 생성을 다시 해서 생기는 흔들림만 셉니다. 문제 자체를 새로 뽑을 때의 흔들림은 여기 없습니다. 그 몫은 마지막 절에서 따로 셉니다.
필요한 표본 수
목표 반폭
제곱근 법칙은 거꾸로 쓰면 계획 도구가 됩니다. 95% 신뢰구간은 추정값에 를 붙인 것이고, 그 를 구간의 반폭이라고 합니다. 반폭을 이하로 만들고 싶다면 을 에 대해 풀면 됩니다.
를 모르는 채로 계획해야 할 때는 가 가장 큰 를 넣습니다. 그 값이 0.25라 어떤 에서도 넉넉한 답이 나옵니다.
import numpy as np
def n_needed(p, eps, z=1.96):
"""95% 구간의 반폭이 eps 이하가 되는 최소 n"""
return int(np.ceil((z / eps) ** 2 * p * (1 - p)))
for p, eps in [(0.5, 0.05), (0.5, 0.01), (0.3, 0.05), (0.3, 0.01), (0.02, 0.004)]:
print(f"p={p:<5} 반폭 {eps:<6} → n = {n_needed(p, eps):,}")
p=0.5 반폭 0.05 → n = 385
p=0.5 반폭 0.01 → n = 9,604
p=0.3 반폭 0.05 → n = 323
p=0.3 반폭 0.01 → n = 8,068
p=0.02 반폭 0.004 → n = 4,706
반폭을 0.05에서 0.01로 5분의 1로 줄이자 필요한 수가 385에서 9,604로 25배가 됐습니다. 제곱근 법칙을 뒤집은 것이 제곱 법칙이라 그렇습니다. 문제 하나의 통과 확률을 소수 둘째 자리까지 믿을 만하게 재려면 생성이 만 번 가까이 든다는 뜻이고, 문제 164개 각각에 그렇게 하는 것은 현실적이지 않습니다. 다행히 벤치마크 점수는 문제 하나의 값이 아니라 164개의 평균이라 사정이 다릅니다. 그 계산은 마지막 절의 몫입니다.
드문 사건
마지막 줄은 결이 다릅니다. 탈옥 프롬프트가 안전 장치를 뚫는 비율처럼 2%쯤 되는 드문 사건을 상대 오차 20%, 곧 0.02 ± 0.004로 재려면 4,706번이 듭니다. 반폭 0.004는 0.5 근처의 사건이라면 6만 번 가까이 필요한 정밀도인데 여기서는 4,706번으로 됩니다. 가 작아서입니다. 그러나 상대 오차로 보면 사정이 뒤집혀서, 사건이 드물수록 같은 상대 정밀도에 더 많은 시도가 듭니다. 상대 오차 에 가 분모로 들어가기 때문입니다.
드문 사건에서는 한 번도 안 일어나는 경우가 흔합니다. 100번 시도해 0번 성공했을 때 「성공률 0%」라고 적으면 정보를 버리는 것입니다. 실제 성공률이 일 때 100번 모두 실패할 확률은 이고, 이것이 5%까지 내려가는 가 단측 95% 상한입니다. 를 풀면 이고, = 100에서 0.0295입니다. 이므로 이 값은 거의 정확히 입니다. 「 번 중 0번이면 상한은 」이라는 이 어림을 3의 규칙이라고 합니다. 탈옥 시도 100번을 다 막았다는 결과가 말해 주는 것은 「뚫릴 확률이 3% 아래일 것」까지입니다.
pass@k
문제 하나의 pass@k
이제 pass@k로 갑니다. 통과 확률이 인 문제에 답을 번 독립으로 생성하면, 모두 실패할 확률은 이고 하나라도 통과할 확률은
입니다. 이것이 문제 하나의 pass@k입니다. 이면 로, pass@1은 통과 확률 그 자체입니다. 통과 확률 0.3인 문제라면 pass@2가 0.51, pass@5가 0.832, pass@10이 0.972, pass@20이 0.9992입니다. 한 번에 맞히는 일은 드물어도 열 번 중 한 번은 거의 맞힌다는 뜻이고, 사람이 여러 후보 중 고를 수 있거나 테스트로 자동 검증할 수 있는 자리에서는 이 값이 실제 쓸모에 가깝습니다.
pass@k도 기댓값입니다. 답 개를 생성해 「하나라도 통과했으면 1」을 매기는 확률변수의 기댓값이 이므로, 정의 그대로의 몬테카를로 추정은 답을 정확히 개 생성해 하나라도 통과했는지 보는 일을 여러 번 되풀이해 평균하는 것입니다. 이 방법은 뒤에서 다른 추정과 함께 견줍니다.
벤치마크 평균
벤치마크의 pass@k는 문제 개의 pass@k를 평균한 값입니다. 문제 의 통과 확률을 라 하면
입니다. 평균을 바깥에서 내는 것이 중요합니다. 문제마다 pass@k를 구하고 나서 평균하는 것과, 통과 확률을 먼저 평균하고 거기서 pass@k를 계산하는 것은 다른 값을 줍니다.
이 글의 장면은 실제로 그 차이가 큰 세계에서 나왔습니다. 문제마다의 통과 확률이 양 끝에 몰린 세계, 곧 쉬운 문제는 거의 늘 풀고 어려운 문제는 거의 못 푸는 세계입니다. 이 세계의 평균 통과 확률은 0.480이고 pass@10은 0.840입니다. 그런데 0.480을 에 넣으면 0.9986이 나옵니다. 열 번 시도해도 못 푸는 문제가 꽤 있다는 사실을 평균이 지워 버린 것입니다. 장면의 32문제가 그런 문제였습니다.
오목한 곡선
이 어긋남의 방향은 곡선의 모양이 정합니다. 는 가 0에서 1로 갈 때 처음에 가파르게 오르다가 1 근처에서 눕습니다. 곡선 위의 두 점을 이은 선분이 늘 곡선보다 아래에 있는 이런 모양을 오목함수라고 합니다. 젠센 부등식에서 다룬 볼록함수를 뒤집은 것이고, 이계도함수 가 에서 0 이하라 판정됩니다.
오목함수에 젠센 부등식을 쓰면 부등호가 뒤집혀, 무작위인 값 에 대해
가 됩니다. 함숫값의 평균이 평균의 함숫값보다 작습니다. 앞의 0.840과 0.9986이 이 부등식의 왼쪽과 오른쪽입니다. 문제마다 흩어진 가 자리에 들어간 것입니다.
이 부등식은 다음 절에서 한 번 더, 이번에는 다른 자리에 들어간 흩어짐으로 나옵니다. 어디서 흩어짐이 생기느냐에 따라 치우치는 방향이 반대가 되므로, 무엇을 평균하고 무엇을 곡선에 넣는지를 매번 따져야 합니다.
순진한 추정
플러그인 추정
문제마다 10번 생성해 통과 횟수 를 얻었습니다. pass@5를 구하는 가장 손쉬운 방법은 자리에 을 넣는 것입니다. 모르는 값 자리에 그 추정값을 그대로 끼워 넣어 만든 추정량을 플러그인 추정량이라고 합니다. 장면의 0.713이 이렇게 나왔습니다.
는 의 불편 추정량, 곧 기댓값이 추정하려는 값과 정확히 같은 추정량입니다. 그러나 불편성은 오목한 곡선을 지나면서 깨집니다. 이번에는 문제의 난이도가 아니라 생성 10번의 우연 때문에 가 주변에 흩어지고, 젠센 부등식이 를 줍니다. 플러그인 추정량은 아래로 치우칩니다.
통과 확률 0.3인 문제에 정확히 계산했습니다. 10번 생성에서 가 0부터 10까지 나올 확률을 이항분포로 구하고 각 경우의 추정값에 곱해 더하면, 추정량의 기댓값과 표준편차가 시뮬레이션 없이 나옵니다.
import numpy as np
from scipy.stats import binom
from scipy.special import comb
p, n, k = 0.3, 10, 5
true = 1 - (1 - p) ** k
cs = np.arange(n + 1)
w = binom.pmf(cs, n, p) # 통과 횟수 c가 나올 확률
plugin = 1 - (1 - cs / n) ** k # 비율을 식에 그대로 넣은 값
unbiased = 1 - comb(n - cs, k) / comb(n, k) # 부분집합을 센 값
best_n = (cs > 0).astype(float) # 10번 중 하나라도 통과
print(f"참값 pass@5 {true:.4f}")
for name, est in [("플러그인", plugin), ("부분집합", unbiased), ("10번 중 하나라도", best_n)]:
mean = (w * est).sum()
sd = np.sqrt((w * (est - mean) ** 2).sum())
rmse = np.sqrt((w * (est - true) ** 2).sum())
print(f"{name:10s} 기댓값 {mean:.4f} 편향 {round(mean - true, 8) + 0.0:+.4f} 표준편차 {sd:.4f} RMSE {rmse:.4f}")
sd_k = np.sqrt(true * (1 - true))
print(f"정확히 5번 기댓값 {true:.4f} 편향 +0.0000 표준편차 {sd_k:.4f} RMSE {sd_k:.4f}")
참값 pass@5 0.8319
플러그인 기댓값 0.7597 편향 -0.0722 표준편차 0.2160 RMSE 0.2277
부분집합 기댓값 0.8319 편향 +0.0000 표준편차 0.2092 RMSE 0.2092
10번 중 하나라도 기댓값 0.9718 편향 +0.1398 표준편차 0.1657 RMSE 0.2168
정확히 5번 기댓값 0.8319 편향 +0.0000 표준편차 0.3739 RMSE 0.3739
플러그인 추정량의 기댓값은 0.760으로, 참값 0.832보다 0.072 낮습니다. RMSE는 추정값이 참값에서 평균적으로 얼마나 떨어지는지를 재는 값으로, 편향과 흔들림을 함께 담습니다. 마지막 줄 「정확히 5번」은 답을 딱 5개만 생성해 하나라도 통과했는지 보는 정의 그대로의 방법이고, 그 기댓값이 곧 참값이라 편향이 0입니다. 나머지 줄은 아래에서 차례로 읽습니다.
그림의 흐린 점들이 = 0부터 6까지의 가 곡선 위에 놓이는 자리입니다. 오른쪽으로 벗어난 점은 곡선이 누워 있어 조금밖에 못 올라가고, 왼쪽으로 벗어난 점은 곡선이 가팔라 많이 내려갑니다. 그 평균이 곡선 아래의 붉은 점입니다.
n개 중 하나라도
두 번째 사람의 0.805는 「10번 중 하나라도 통과했는가」를 문제마다 매겨 평균한 값입니다. 이 값이 겨누는 것은 pass@5가 아니라 pass@10입니다. 10번이나 기회를 주고 나서 5번 기회의 성공률이라고 부른 것이라, 기회가 많았던 만큼 위로 치우칩니다. 위 표에서 통과 확률 0.3인 문제의 기댓값이 0.972, 편향이 +0.140입니다. 그림에서는 아래 곡선에서 읽어야 할 값을 위 곡선에서 읽은 것입니다.
이 혼동은 생각보다 흔합니다. 답을 개 생성해 그중 가장 좋은 것을 고르는 방식을 best-of-n이라 하는데, best-of-n의 성공률을 더 작은 의 pass@k라는 이름으로 보고하면 이 편향이 생깁니다. 반대로 일 때 「 개 중 하나라도」는 정의 그대로라 편향이 없습니다. 장면의 pass@10 0.805는 10번 생성에서 낸 것이므로 올바른 값입니다. 같은 0.805를 pass@5라고 부른 것이 문제였습니다.
평균에서 환산
세 번째로 흔한 지름길은 이미 보고된 pass@1에서 pass@k를 계산하는 것입니다. 벤치마크 pass@1이 0.466이니 을 pass@5라고 적는 식입니다. 앞 절의 젠센 부등식이 이 값이 위로 치우친다고 말합니다. 문제마다 흩어진 난이도가 평균 안에 숨었기 때문입니다. 장면의 데이터로 보면 0.957은 올바른 추정값 0.743보다 0.21이나 높습니다.
정리하면 같은 「순진한 pass@k」라도 치우치는 방향이 다릅니다.
- 문제마다 을 곡선에 넣는 플러그인 추정은 아래로 치우친다. 생성의 우연으로 생긴 흩어짐이 오목한 곡선을 지난다.
- 벤치마크 평균 pass@1을 곡선에 넣는 환산은 위로 치우친다. 문제 사이의 흩어짐을 평균이 지운다.
- 번 생성해 「하나라도 통과」를 pass@k라 부르면 위로 치우친다. 실제로는 pass@n을 잰 것이다.
세 경우 모두 원인은 하나입니다. 기댓값을 내는 자리와 오목한 곡선을 지나는 자리의 순서가 바뀌었습니다. 올바른 추정량은 문제마다, 생성 개를 다 쓰면서, 곡선을 지나기 전에 기댓값이 맞도록 만들어야 합니다.
불편 추정량
부분집합 세기
「정확히 5번」이 편향 없는 이유를 다시 봅니다. 5개를 생성해 하나라도 통과했는지 보는 일이 pass@5의 정의 그 자체이기 때문입니다. 그런데 우리 손에는 10개가 있습니다. 10개 중 5개를 고르는 방법은 = 252가지이고, 그 하나하나가 「정확히 5번」의 한 번 실험과 같은 자격을 갖습니다. 252가지를 전부 해 보고 평균하면 됩니다.
평균은 세기로 바뀝니다. 10개 중 통과가 개, 실패가 개라면, 고른 5개가 모두 실패인 경우는 실패 개 중에서만 5개를 고른 경우이고 그 수는 입니다. 나머지는 통과가 하나라도 섞인 경우입니다. 일반적으로 개 중 개가 통과했을 때
입니다. 이것이 Codex 논문이 HumanEval과 함께 제시한 pass@k 추정량입니다. 가진 개에서 개를 도로 넣지 않고 무작위로 뽑았을 때 하나라도 통과가 섞일 확률로 읽어도 같습니다. 집은 것을 도로 넣지 않고 뽑는 방식을 비복원 추출이라고 하며, 부트스트랩의 복원 추출과 반대입니다. 도로 넣으면 같은 답이 두 번 뽑혀 「서로 다른 시도 개」가 되지 않습니다.
손으로 셀 수 있게 작게 줄여 봅니다. 답 5개를 생성해 2개가 통과했고 pass@2를 구하려 합니다. 5개에서 2개를 고르는 방법은 10가지이고, 실패 3개 중에서만 고른 쌍은 3가지입니다. 추정값은 입니다. 플러그인으로 계산하면 라 더 작습니다.
불편성
이 추정량의 기댓값이 정확히 pass@k라는 것은 기댓값의 선형성 하나로 증명됩니다. 개 답의 통과 여부가 서로 독립이고 각각 통과 확률이 라 합니다. 개 중 개짜리 부분집합 하나마다, 안의 답이 모두 실패면 1이고 아니면 0인 값을 라 합니다. 이처럼 어떤 일이 일어났는지를 1과 0으로 적은 확률변수를 지시확률변수라 하고, 그 기댓값은 그 일이 일어날 확률입니다. 의 답 개가 모두 실패할 확률은 이므로 입니다.
모두 실패인 부분집합의 수는 를 모든 에 걸쳐 더한 것이고, 앞 소절에서 센 대로 그 수는 입니다. 여기서 대문자 는 아직 생성하기 전의 통과 횟수, 곧 확률변수입니다. 부분집합은 모두 개이고 하나하나의 기댓값이 같으므로
입니다. 양변을 로 나누면 이고, 1에서 빼면 입니다. 곡선을 지나고 나서도 기댓값이 과녁에 맞으므로, 플러그인과 달리 이 추정량은 pass@k의 불편 추정량입니다.
증명에서 부분집합들 사이의 독립은 쓰지 않았다는 점이 중요합니다. 두 부분집합이 답을 공유해 끼리 얽혀 있어도 선형성은 그대로 성립합니다. 앞의 표에서 「부분집합」 줄의 기댓값이 참값과 넷째 자리까지 같았던 것이 이 증명의 숫자판입니다. 정확히 계산한 은 42.354이고, 도 42.354입니다.
이면 추정량은 으로, 통과 비율 그 자체가 됩니다. pass@1에서는 플러그인과 불편 추정량이 같고, 장면의 0.466은 어느 쪽으로 계산해도 같습니다. 곡선이 직선이라 젠센 부등식이 등호로 서기 때문입니다.
안정한 계산
식을 그대로 코드로 옮기면 큰 에서 깨집니다. 은 10의 600제곱쯤 되는 수라 float64가 담을 수 있는 최댓값 1.8 × 10의 308제곱을 넘습니다. 분자와 분모가 둘 다 무한대가 되고 그 비는 정의되지 않습니다. 비가 0과 1 사이의 평범한 수인데도 계산 도중에 넘쳐 버리는 것입니다.
해결책은 비를 먼저 정리해 큰 수를 만들지 않는 것입니다. 이항계수를 계승으로 풀고 같은 항을 지우면
입니다. 은 부터 까지 개의 곱이고, 는 부터 까지 개의 곱이라 짝지으면 개의 분수가 됩니다. 분수 하나하나가 0과 1 사이라 곱이 넘칠 일이 없습니다. 실패가 개도 안 되면, 곧 이면 모두 실패인 부분집합이 없으므로 추정값은 1입니다.
import numpy as np
from scipy.special import comb
def pass_at_k_comb(n, c, k):
with np.errstate(invalid="ignore"):
return 1 - comb(n - c, k) / comb(n, k)
def pass_at_k(n, c, k):
if n - c < k: # 실패가 k개도 안 되면 어떤 k개에도 통과가 섞인다
return 1.0
return 1.0 - np.prod(1.0 - k / np.arange(n - c + 1, n + 1))
for n, c, k in [(5, 2, 2), (10, 3, 5), (200, 2, 100), (2000, 2, 1000)]:
print(f"n={n:<5} c={c} k={k:<5} 조합 {pass_at_k_comb(n, c, k):.6f}"
f" 곱 {pass_at_k(n, c, k):.6f}")
print(comb(2000, 1000))
n=5 c=2 k=2 조합 0.700000 곱 0.700000
n=10 c=3 k=5 조합 0.916667 곱 0.916667
n=200 c=2 k=100 조합 0.751256 곱 0.751256
n=2000 c=2 k=1000 조합 nan 곱 0.750125
inf
= 200까지는 두 방법이 같고, 2,000에서 조합으로 계산한 쪽만 무너집니다. 곱으로 계산한 쪽은 개의 곱만 하므로 비용도 작습니다. 큰 수끼리의 비를 그대로 계산하지 않고 정리해서 작은 수의 곱으로 바꾸는 이 요령은 수치 안정성에서 본 다른 패턴과 같은 결입니다.
추정량의 분산
편향이 없다는 것만으로는 부족합니다. 「정확히 5번」도 편향이 없었지만 표준편차가 0.374였습니다. 결과가 0 아니면 1이라 흔들림이 큽니다. 부분집합 추정량은 같은 불편성을 유지하면서 표준편차가 0.209입니다. 분산으로 보면 3.2배 작습니다.
이유는 부분집합 추정량이 「정확히 5번」의 실험 252개를 평균한 것이라는 데 있습니다. 실험들이 답을 나눠 쓰니 서로 독립은 아니어서 252배로 줄지는 않지만, 10개의 답에 든 정보를 빠짐없이 쓰므로 5개만 쓰는 쪽보다 분명히 덜 흔들립니다. 답 10개를 생성해 놓고 그중 5개만 골라 pass@5를 내는 것은 비싸게 얻은 정보의 절반을 버리는 일입니다.
표의 다른 줄도 같은 눈으로 읽힙니다. 플러그인은 표준편차가 0.216으로 비슷하지만 편향 0.072가 더해져 RMSE가 0.228입니다. 「10번 중 하나라도」는 결과가 거의 늘 1이라 흔들림은 작지만 편향 0.140이 RMSE의 대부분을 차지합니다. 문제 하나에서는 셋의 RMSE 차이가 커 보이지 않습니다. 그러나 벤치마크는 문제 164개의 평균이고, 평균을 내면 흔들림은 제곱근 법칙으로 줄어드는데 편향은 그대로 남습니다. 문제가 많을수록 편향이 오차의 전부가 됩니다.
두 겹의 무작위성
문제 사이와 문제 안
이제 장면의 숫자에 오차막대를 붙입니다. 벤치마크 점수를 흔드는 것은 두 겹입니다. 하나는 어떤 문제가 벤치마크에 들어왔느냐입니다. 문제를 새로 뽑으면 쉬운 문제가 더 들어오기도 하고 덜 들어오기도 합니다. 문제마다의 참 pass@k가 흩어진 정도를 문제 사이 분산이라 하겠습니다. 다른 하나는 문제마다 10번만 생성했다는 것입니다. 같은 문제를 다시 생성하면 가 달라집니다. 문제 하나의 추정값이 생성의 우연으로 흔들리는 정도를 문제 안 분산이라 하겠습니다.
두 분산은 그냥 더해집니다. 문제 하나의 추정값 를 놓고, 그 문제의 참 통과 확률 가 무작위로 정해진 뒤 생성이 일어난다고 보면
입니다. 첫째 항은 문제마다의 참값이 흩어진 정도이고, 둘째 항은 문제를 하나 고정했을 때 생성으로 생기는 분산의 평균입니다. 전체 분산을 「조건부 기댓값의 분산」과 「조건부 분산의 기댓값」으로 쪼개는 이 항등식을 전체 분산 법칙이라고 합니다. 문제 개를 독립으로 뽑아 평균하면 분산이 으로 나뉘므로, 벤치마크 점수의 표준오차는
입니다. 제곱근 법칙이 두 번 들어 있습니다. 문제 수 이 전체를 나누고, 생성 수 은 둘째 항 안에서만 그것을 줄입니다. pass@1이라면 둘째 항이 이라 그 모양이 그대로 보입니다.
표준오차
좋은 소식은 두 항을 따로 추정하지 않아도 합을 바로 잴 수 있다는 것입니다. 문제마다 하나씩 나온 추정값 164개는 각각 위의 전체 분산을 가진 값이고, 그 164개의 표본분산이 곧 두 항의 합을 추정합니다. 그러니 문제별 추정값의 표준편차를 로 나누면 표준오차입니다. 부트스트랩에서 문제를 다시 뽑기만 해도 생성의 무작위성까지 담긴다고 했던 것이 이 사실입니다.
import numpy as np
def pass_at_k(n, c, k):
if n - c < k:
return 1.0
return 1.0 - np.prod(1.0 - k / np.arange(n - c + 1, n + 1))
# 문제 164개, 문제마다 10번 생성. 통과 횟수 c = 0, 1, …, 10 인 문제의 수
hist = np.array([32, 11, 14, 15, 12, 16, 6, 6, 12, 22, 18])
c = np.repeat(np.arange(11), hist)
n, m = 10, len(c)
for k in [1, 5, 10]:
est = np.array([pass_at_k(n, ci, k) for ci in c]) # 문제마다 하나
se = est.std(ddof=1) / np.sqrt(m)
print(f"pass@{k:<2} = {est.mean():.3f} ± {1.96 * se:.3f} (SE {se:.4f})")
print(f"플러그인 pass@5 = {np.mean(1 - (1 - c / n) ** 5):.3f}")
print(f"10번 중 하나라도 통과 = {np.mean(c > 0):.3f}")
pass@1 = 0.466 ± 0.055 (SE 0.0280)
pass@5 = 0.743 ± 0.060 (SE 0.0304)
pass@10 = 0.805 ± 0.061 (SE 0.0310)
플러그인 pass@5 = 0.713
10번 중 하나라도 통과 = 0.805
이 식이 맞는지는 장면을 만든 세계로 확인했습니다. 장면의 164문제는 통과 확률을 0과 1 근처에 몰리게 뽑는 베타분포 에서 나왔고, 이 세계의 참 pass@1은 0.480, pass@5는 0.763입니다. 같은 세계에서 문제 164개짜리 벤치마크를 2만 번 새로 만들고 문제마다 10번씩 생성해, 추정값이 실제로 얼마나 흔들리는지와 그 평균이 어디에 서는지를 셌습니다.
import numpy as np
from scipy.special import comb
rng = np.random.default_rng(1)
a, b, m, n, R = 0.6, 0.65, 164, 10, 20_000
cs = np.arange(n + 1)
table = {k: 1 - comb(n - cs, k) / comb(n, k) for k in [1, 5]} # c별 불편 추정값
plug5 = 1 - (1 - cs / n) ** 5
p = rng.beta(a, b, size=(R, m)) # 벤치마크를 새로 만든다(문제를 다시 뽑는다)
c = rng.binomial(n, p) # 문제마다 10번 생성
for k in [1, 5]:
s = table[k][c].mean(1)
print(f"pass@{k} 평균 {s.mean():.4f} 실제 SE {s.std():.4f}")
s = plug5[c].mean(1); print(f"플러그인 pass@5 평균 {s.mean():.4f}")
s = (c > 0).mean(1); print(f"하나라도 평균 {s.mean():.4f}")
pass@1 평균 0.4800 실제 SE 0.0276
pass@5 평균 0.7634 실제 SE 0.0288
플러그인 pass@5 평균 0.7327
하나라도 평균 0.8397
데이터 하나에서 잰 표준오차 0.0280과 0.0304가 실제 흔들림 0.0276과 0.0288에 잘 맞습니다. 불편 추정량의 평균은 참값 0.480과 0.763에 넷째 자리까지 서고, 플러그인 pass@5는 2만 번 평균해도 0.733으로 0.031 아래에, 「10번 중 하나라도」는 0.840으로 0.076 위에 섭니다. 이 0.031과 0.076은 벤치마크를 아무리 많이 새로 만들어도 줄지 않는 편향이고, 둘 다 표준오차 0.029와 같거나 더 큰 크기입니다.
생성 수와 문제 수
남은 질문은 10번이면 충분하냐는 것입니다. 이번에는 두 항을 따로 알아야 합니다. pass@1에서는 문제 안 분산을 데이터에서 바로 추정할 수 있습니다. 문제 하나의 생성 분산 의 불편 추정값이 이고, 표본분산에서 로 나누던 것과 같은 보정이 들어 있습니다. 이것을 문제 164개에 걸쳐 평균하면 둘째 항이고, 전체 표본분산에서 빼면 첫째 항입니다. 그다음 만 바꿔 표준오차를 다시 계산합니다.
import numpy as np
hist = np.array([32, 11, 14, 15, 12, 16, 6, 6, 12, 22, 18])
c = np.repeat(np.arange(11), hist)
n, m = 10, len(c)
phat = c / n
within = np.mean(c * (n - c) / (n * n * (n - 1))) # 문제 안: 10번 생성의 흔들림
total = phat.var(ddof=1) # 문제별 추정값 전체의 흩어짐
between = total - within # 문제 사이: 난이도의 흩어짐
print(f"문제 사이 {between:.4f} 문제 안 {within:.4f} 합 {total:.4f}")
for n_new in [1, 5, 10, 20, 50, 100]:
se = np.sqrt((between + within * n / n_new) / m)
print(f"n = {n_new:3d} SE {se:.4f}")
print(f"n → ∞ SE {np.sqrt(between / m):.4f}")
eps = 0.02 # 95% 구간 반폭 목표
for n_new in [10, 100]:
v = between + within * n / n_new
print(f"반폭 {eps}, n = {n_new}: 문제 {int(np.ceil((1.96 / eps) ** 2 * v)):,}개")
문제 사이 0.1151 문제 안 0.0135 합 0.1285
n = 1 SE 0.0390
n = 5 SE 0.0294
n = 10 SE 0.0280
n = 20 SE 0.0273
n = 50 SE 0.0268
n = 100 SE 0.0266
n → ∞ SE 0.0265
반폭 0.02, n = 10: 문제 1,235개
반폭 0.02, n = 100: 문제 1,119개
문제 사이 분산이 0.1151, 문제 안 분산이 0.0135로 전체의 9할이 문제 쪽에서 옵니다. 문제마다 한 번만 생성하면 표준오차가 0.0390이고, 10번으로 늘리면 0.0280으로 크게 줄지만, 거기서 100번으로 다시 10배를 늘려도 0.0266으로 겨우 0.0014 줄어듭니다. 생성을 무한히 해도 0.0265 아래로는 못 내려갑니다. 그 바닥은 문제가 164개뿐이라서 생긴 것이고, 생성으로는 손댈 수 없습니다.
정밀도 목표를 정하면 무엇을 늘려야 하는지가 숫자로 나옵니다. pass@1을 ±0.02로 보고하고 싶다면 문제당 10번 생성으로 문제가 1,235개, 100번 생성으로 1,119개 필요합니다. 생성을 10배로 늘려 아낀 문제는 116개뿐입니다. 비용으로 보면 문제 수를 늘리는 쪽이 압도적으로 쌉니다. 그렇다고 생성을 아끼면 안 되는 이유도 있습니다. pass@k를 보고하려면 여야 하고, 이 에 가까울수록 불편 추정량이 「정확히 번」에 가까워져 문제 안 분산이 커집니다. 같은 세계에서 pass@5의 문제 안 몫은 = 5일 때 전체 분산의 42%, = 10일 때 22%, = 20일 때 11%였습니다. 보고할 가장 큰 의 두 배쯤을 생성하면 문제 안 몫이 전체의 4분의 1 아래로 내려가고, 그 너머는 문제를 늘리는 편이 낫습니다.
질문이 「이 164문제에서 생성만 다시 하면 얼마나 달라지나」라면 첫째 항이 빠집니다. 장면에서 그 값은 로, 같은 164문제에서 생성만 2만 번 다시 한 실험에서도 0.0091이 나왔습니다. 생성 1,640번 전체에 제곱근 법칙이 걸린 크기입니다. 같은 문제로 두 모델이나 두 설정을 견줄 때 문제 사이의 흔들림이 상쇄되는 것이 바로 이 구조 덕분이고, 지난 글의 쌍체 비교가 그 자리를 다뤘습니다.
정리
처음 장면
문제 164개에 10번씩 생성해 pass@1 0.466과 pass@10 0.805를 얻은 장면으로 돌아갑니다. 두 숫자 모두 올바른 추정값입니다. pass@1은 통과 비율이 곧 불편 추정량이고, pass@10은 라 「하나라도 통과」가 정의 그대로입니다. 문제 단위 표준오차를 붙이면 보고서에는 「pass@1 0.466 ± 0.055, pass@10 0.805 ± 0.061(95%, 문제 164개, 문제당 10번 생성)」이라고 적으면 됩니다.
pass@5를 두고 갈렸던 값들도 정리됩니다. 0.713은 플러그인이라 아래로, 10번 중 하나라도 통과한 비율 0.805는 사실상 pass@10이라 위로 치우친 값입니다. 부분집합을 센 불편 추정량으로 계산한 0.743 ± 0.060이 보고할 값이고, 이 164문제의 실제 통과 확률로 계산한 pass@5는 0.748이었습니다. 생성을 100번으로 늘리자는 제안에는 표준오차가 0.0280에서 0.0266으로만 준다는 답이 돌아갑니다. 오차막대를 줄이려면 문제를 늘려야 하고, ±0.02를 원한다면 문제가 1,200개 남짓 있어야 합니다.
핵심 정리
- 몬테카를로 추정은 계산할 수 없는 기댓값을 무작위 표본의 평균으로 대신한다. 기댓값은 그대로 맞고, 분산은 이라 오차가 로 준다. 오차를 절반으로 줄이려면 표본이 4배, 한 자리 더 얻으려면 100배 든다.
- 반폭 을 얻는 데 필요한 표본은 이고, 를 모르면 0.5를 넣는다. 반폭 0.05에 385번, 0.01에 9,604번이다. 번 중 0번 일어난 사건의 95% 상한은 약 이다.
- 문제 하나의 pass@k는 이고 벤치마크 pass@k는 그것을 문제에 걸쳐 평균한 값이다. 곡선이 오목하므로 평균 통과 확률을 곡선에 넣으면 위로 치우친다(0.480 → 0.9986, 실제 pass@10은 0.840).
- 문제마다 을 곡선에 넣는 플러그인은 아래로 치우치고(통과 확률 0.3, = 10, pass@5에서 −0.072), 번 생성해 「하나라도 통과」를 pass@k라 부르면 위로 치우친다(+0.140).
- 불편 추정량 은 개에서 개를 비복원 추출했을 때 통과가 섞일 확률이다. 모두 실패인 부분집합의 수를 지시확률변수의 합으로 쓰면 선형성만으로 불편성이 나온다. 이면 이다.
- 계산은 로 한다. 이항계수를 그대로 쓰면 = 2,000에서 넘쳐 nan이 된다.
- 벤치마크 점수의 분산은 문제 사이 분산과 문제 안 분산의 합을 문제 수로 나눈 것이다. 문제별 추정값의 표준편차를 으로 나누면 둘을 함께 담은 표준오차가 나온다. 장면에서 전체의 9할이 문제 쪽이라, 생성을 10번에서 100번으로 늘려도 표준오차는 0.0280에서 0.0266으로만 줄었다.
여기까지는 모델 하나의 점수가 얼마나 믿을 만한지를 다뤘습니다. 실제 리더보드는 모델 여럿을 한 줄로 세워야 하고, 그 재료가 정답률이 아니라 「두 답 중 어느 쪽이 나은가」라는 사람의 판정일 때도 많습니다. 다음 글인 중급 78번 · Elo와 아레나 순위에서는 짝 비교의 승패만으로 모델마다 점수를 매기는 Bradley–Terry 모형과, 그 점수를 경기가 들어올 때마다 고쳐 가는 Elo 갱신을 다룹니다.
읽어주셔서 감사합니다. 😊

