수학

MATH / 중급 75번

부트스트랩: 분포 가정 없이 신뢰구간 만들기

가진 표본에서 다시 뽑아 표본분포를 근사하는 원리를 세우고, 300문항 F1 0.769에 오차막대를 붙여 봅니다. 백분위수 구간과 BCa가 언제 갈리는지, 재표집을 몇 번 해야 끝점이 멈추는지, 그리고 문항·문서·문제 중 무엇을 다시 뽑아야 하는지를 numpy 실험으로 확인합니다.

PALDYN Team46 MIN READ

고객 문의에서 환불 요청만 골라내는 LLM 분류기를 만들었습니다. 평가 세트는 문의 300건이고 그중 실제 환불 요청은 60건입니다. 분류기는 57건을 환불 요청이라고 골랐고, 그중 45건이 맞았습니다. 맞게 고른 45건이 TP(참 양성), 환불이 아닌데 고른 12건이 FP(거짓 양성), 환불인데 놓친 15건이 FN(거짓 음성), 환불이 아니어서 고르지 않은 228건이 TN(참 음성)입니다. 고른 것 중 맞은 비율인 정밀도는 45/57 = 0.789, 실제 환불 중 잡아낸 비율인 재현율은 45/60 = 0.75이고, 둘의 조화평균인 F1은 0.769입니다.

보고서에 「F1 0.77」이라고 적어 올렸더니 질문이 하나 돌아왔습니다. 「300건이면 얼마나 흔들리는 숫자인가요?」 지난 글에서 정확도에는 p(1−p)/n\sqrt{p(1-p)/n} 이라는 표준오차 식이 있었고, 거기에 1.96을 곱해 구간을 만들었습니다. 그런데 F1에는 그런 식이 없습니다. F1은 문항마다 매긴 점수의 평균이 아닙니다. 분자와 분모에 TP가 함께 들어가고, 분모의 FP와 FN도 표본마다 달라지는 확률변수입니다.

이 글은 식 없이 그 질문에 답하는 방법을 다룹니다. 가진 300건에서 300건을 다시 뽑는 일을 수천 번 되풀이해, 평가 세트가 달랐다면 F1이 어떻게 나왔을지를 흉내 냅니다. 이름은 부트스트랩이고, 해석식이 없는 평가 지표에 오차막대를 붙이는 표준 도구입니다.

재표집

표본분포

질문을 정확히 적는 데서 시작합니다. 「F1 0.769가 얼마나 흔들리느냐」는 같은 분류기를 같은 종류의 문의 300건으로 다시 평가하면 F1이 얼마나 다르게 나오느냐는 뜻입니다. 세상에 있는 환불 문의 전체를 모집단이라 하면, 거기서 300건을 뽑을 때마다 F1이 하나씩 나옵니다. 뽑기를 끝없이 되풀이했을 때 그 F1들이 이루는 분포를 그 통계량의 표본분포라고 합니다. 표준오차는 이 분포의 표준편차이고, 95% 신뢰구간은 이 분포가 실제 값 주변에서 얼마나 퍼지는지를 거꾸로 읽은 범위입니다.

정확도는 표본분포를 식으로 알 수 있었습니다. 문항마다 맞고 틀림이 정답률 pp 인 베르누이 시행이고, 그 평균의 분산은 p(1−p)/np(1-p)/n 입니다. 거기에 중심극한정리가 모양까지 정규분포로 정해 줍니다. F1은 이 두 걸음이 모두 막힙니다. 분산을 손으로 유도하려면 TP·FP·FN의 결합분포를 세우고 비율의 분산을 테일러 전개로 근사해야 하며, 그 근사가 300건에서 얼마나 맞는지는 또 따로 확인해야 합니다.

경험분포

막힌 이유는 모집단을 모른다는 데 있습니다. 모집단을 안다면 거기서 300건을 몇천 번 뽑아 F1을 세면 그만입니다. 부트스트랩은 여기서 대담한 대체를 합니다. 모집단 대신 가진 표본을 쓰는 것입니다.

가진 300건 각각에 1/300씩 확률을 준 분포를 경험분포라고 합니다. 문항 하나를 무작위로 집으면 TP였던 문항이 나올 확률이 45/300, FN이 15/300, FP가 12/300, TN이 228/300입니다. 표본이 모집단에서 고르게 뽑혔다면 경험분포는 모집단을 닮았고, 표본이 클수록 더 닮습니다. 모르는 분포 자리에 그 분포에서 나온 표본의 경험분포를 끼워 넣는 이 대체를 플러그인 원리라고 합니다. 표본평균으로 모평균을 추정하는 것도 같은 원리를 평균 하나에 쓴 것입니다.

부트스트랩은 이 원리를 통계량 하나가 아니라 표본분포 전체에 씁니다. 모집단에서 300건을 뽑는 실험을, 경험분포에서 300건을 뽑는 실험으로 바꿔 치르는 것입니다. 경험분포는 우리가 완전히 아는 분포이므로 이 실험은 컴퓨터로 몇 번이든 돌릴 수 있습니다.

복원 추출

경험분포에서 300건을 뽑는다는 것은, 300건 중 하나를 집어 기록하고 도로 넣는 일을 300번 하는 것입니다. 집은 것을 도로 넣고 다시 뽑는 이 방식을 복원 추출이라고 합니다. 도로 넣지 않으면 300건을 300번 뽑았을 때 원래 표본이 순서만 바뀌어 나오므로 아무것도 흔들리지 않습니다. 도로 넣기 때문에 어떤 문항은 두세 번 뽑히고 어떤 문항은 한 번도 안 뽑히며, 그 차이가 표본마다 F1을 다르게 만듭니다.

이렇게 뽑은 300건을 부트스트랩 표본이라 하고, 거기서 다시 계산한 F1을 θ^∗\hat\theta^{*} 로 적습니다. 별표는 「원래 표본이 아니라 다시 뽑은 표본에서 나온 값」이라는 표시입니다. 이것을 BB 번 되풀이해 얻은 θ^1∗,…,θ^B∗\hat\theta^{*}_1, \dots, \hat\theta^{*}_B 의 분포가 부트스트랩 분포이고, 이것이 우리가 볼 수 없는 표본분포의 대역입니다.

원래 표본 300건에서 복원 추출로 B개의 부트스트랩 표본을 만들고 각각에서 F1을 다시 계산하는 절차

특정 문항 하나가 부트스트랩 표본에 한 번도 안 들어갈 확률은 300번 모두 다른 문항이 뽑힐 확률, 곧

(1−1300)300≈0.367\left(1 - \frac{1}{300}\right)^{300} \approx 0.367

입니다. nn 이 커지면 이 값은 1/e≈0.3681/e \approx 0.368 로 갑니다. 그러니 부트스트랩 표본 하나에는 원래 문항의 63% 남짓만 들어 있고 나머지 자리는 중복이 채웁니다. 실제로 표본 2,000개를 세어 보니 서로 다른 문항의 비율이 평균 63.2%였습니다. 부트스트랩 표본은 원래 표본보다 「덜 다양한」 표본이지만, 크기가 같으므로 F1이 흔들리는 폭은 원래 실험과 같은 규모로 재현됩니다.

해석식과의 대조

처음 쓰는 도구는 답을 아는 문제에 먼저 대 봅니다. 지난 글의 500문항 정확도 82%(410문항 정답)에 부트스트랩을 1만 번 돌렸습니다. 부트스트랩 분포의 표준편차가 0.0173, 해석식 0.82×0.18/500\sqrt{0.82 \times 0.18 / 500} 이 0.0172입니다. 2.5%와 97.5% 지점을 읽은 구간은 0.786에서 0.854로, 정규 근사 구간 0.82±1.96×0.01720.82 \pm 1.96 \times 0.0172 와 소수 셋째 자리까지 같았습니다.

맞는 것이 당연합니다. 정답 여부만 있는 표본의 경험분포는 정답률 0.82인 베르누이 분포이고, 거기서 500번 뽑은 평균은 해석식이 가정한 바로 그 분포를 따르기 때문입니다. 부트스트랩이 새로운 것을 하는 자리는 식이 끝나는 곳, 곧 F1 같은 지표입니다.

부트스트랩 구간

부트스트랩 표준오차

F1에 같은 절차를 씁니다. 300건의 정답 라벨과 예측을 한 쌍씩 묶어 두고, 문항 번호를 복원 추출해 쌍째로 꺼낸 뒤 F1을 다시 계산합니다. 모델을 다시 돌리는 것이 아니라 이미 나온 예측을 다시 뽑는 것이라 1만 번도 1초 안에 끝납니다.

import numpy as np

def f1(y, p):
    tp = ((y == 1) & (p == 1)).sum(-1)
    fp = ((y == 0) & (p == 1)).sum(-1)
    fn = ((y == 1) & (p == 0)).sum(-1)
    return 2 * tp / (2 * tp + fp + fn)

def bootstrap(metric, y, p, B=10_000, seed=0):
    rng = np.random.default_rng(seed)
    idx = rng.integers(0, len(y), size=(B, len(y)))  # 문항 번호를 복원 추출
    return metric(y[idx], p[idx])                     # 행마다 지표를 다시 계산

# 300문항: TP 45, FN 15, FP 12, TN 228
y = np.array([1] * 60 + [0] * 240)
p = np.array([1] * 45 + [0] * 15 + [1] * 12 + [0] * 228)

stats = bootstrap(f1, y, p)
print(f"F1 = {f1(y, p):.3f}")
print(f"SE = {stats.std(ddof=1):.4f}")
print("95% 구간 =", np.percentile(stats, [2.5, 97.5]).round(3))
F1 = 0.769
SE = 0.0437
95% 구간 = [0.678 0.848]

부트스트랩 분포의 표준편차

SE^boot=1B−1∑b=1B(θ^b∗−θˉ∗)2\widehat{\mathrm{SE}}_{\text{boot}} = \sqrt{\frac{1}{B-1}\sum_{b=1}^{B}\left(\hat\theta^{*}_b - \bar\theta^{*}\right)^2}

를 부트스트랩 표준오차라고 합니다. θˉ∗\bar\theta^{*} 는 BB 개 값의 평균입니다. 여기서는 0.0437이 나왔습니다.

이 값이 맞는지는 원래라면 알 길이 없습니다. 이번에는 모집단을 일부러 만들어 확인했습니다. 환불 요청 비율 20%, 재현율 0.75, 환불이 아닌 문의를 잘못 고를 확률 5%인 세계를 정하고 거기서 300건짜리 평가 세트를 2만 번 새로 뽑았더니, F1의 실제 표준편차가 0.0437이었습니다. 표본 하나에서 다시 뽑기만으로 얻은 값이 모집단을 알아야 얻을 수 있는 값과 맞은 것입니다.

백분위수 구간

표준오차보다 바로 쓸 수 있는 것은 구간입니다. 부트스트랩 값 1만 개를 크기 순으로 세우고 아래에서 2.5% 자리(250번째)와 97.5% 자리(9,750번째)를 읽으면, 그 사이가 백분위수 구간입니다. 위 출력의 0.678에서 0.848이 그것입니다.

F1 부트스트랩 값 1만 개의 히스토그램과 2.5%·97.5% 지점이 만드는 백분위수 구간 0.678~0.848

논리는 이렇습니다. 부트스트랩 분포가 표본분포를 흉내 낸다면, 평가 세트를 새로 뽑을 때 F1이 그 분포의 가운데 95% 안에 들 것입니다. 그 범위를 그대로 구간으로 씁니다. 분포의 모양을 아무것도 가정하지 않았다는 것이 이 구간의 장점입니다. 히스토그램이 정규분포처럼 생겼는지, 한쪽으로 치우쳤는지를 미리 정하지 않고, 나온 값을 세기만 합니다.

보고서의 질문에 대한 답도 여기서 나옵니다. F1 0.769는 300건 평가에서 대략 0.68에서 0.85 사이를 오가는 숫자입니다. 폭이 0.17이니, 다음 버전이 F1 0.80을 냈다고 해서 그것만으로 나아졌다고 말하기는 어렵습니다. 같은 문항으로 두 버전을 견주는 방법은 중급 76번 · 쌍체 검정과 다중 비교가 따로 다룹니다.

정규 근사 구간

부트스트랩 표준오차를 얻었으니 정규 근사도 할 수 있습니다. 0.769±1.96×0.04370.769 \pm 1.96 \times 0.0437 은 0.684에서 0.855입니다. 백분위수 구간 0.678~0.848과 견주면 양쪽 끝이 모두 0.006쯤 오른쪽으로 밀려 있습니다.

차이는 부트스트랩 분포가 완전히 좌우대칭이 아니라는 데서 옵니다. F1은 위로 1을 넘을 수 없어서 높은 쪽 꼬리가 눌리고 낮은 쪽 꼬리가 조금 깁니다. 정규 근사 구간은 대칭이라고 가정하고 점추정값 양쪽에 같은 폭을 붙이므로 그 비대칭을 못 봅니다. 백분위수 구간은 분포를 그대로 읽으므로 낮은 쪽이 더 멀리 나갑니다.

이 경우에는 차이가 표준오차의 7분의 1이라 어느 쪽을 써도 결론이 같습니다. 분포가 크게 치우치면 이야기가 달라지는데, 그때는 백분위수 구간도 완전하지 않습니다. 다음 절이 그 자리입니다.

BCa 구간

치우친 통계량

에이전트가 작업 하나를 끝내는 데 쓰는 토큰 수를 40번 재서 평균을 냈다고 합시다. 토큰 수는 대개 짧게 끝나다가 가끔 길을 잃고 열 배를 쓰는 식으로 오른쪽 꼬리가 깁니다. 중앙값이 8,000토큰이고 꼬리가 긴 로그정규분포에서 40개를 뽑아 봤습니다. 가장 작은 값이 1,094, 중앙값이 7,584, 가장 큰 값이 136,229였고 평균은 18,751이었습니다. 이 세계의 실제 평균은 16,435입니다.

이 표본의 왜도는 2.60입니다. 평균의 왜도는 원래 왜도를 n\sqrt{n} 으로 나눈 만큼 남으므로 2.60/40≈0.412.60/\sqrt{40} \approx 0.41 이 예상되고, 실제로 부트스트랩 분포의 왜도가 0.40이었습니다. 표본 40개로는 평균의 분포가 아직 눈에 띄게 오른쪽으로 기울어 있다는 뜻입니다.

이런 자리에서 백분위수 구간이 얼마나 맞는지 직접 셌습니다. 같은 세계에서 40개짜리 표본을 2,000번 새로 뽑고, 표본마다 부트스트랩을 2,000번 돌려 95% 백분위수 구간을 만든 뒤, 실제 평균 16,435가 구간 안에 들어간 비율을 셉니다. 이 비율을 구간의 포함 확률이라고 합니다. 95% 구간이라면 95%여야 합니다.

구간 포함 실제 값이 구간보다 아래 실제 값이 구간보다 위
정규 근사 86.6% 0.3% 13.2%
백분위수 87.4% 0.6% 12.1%
BCa 89.1% 2.5% 8.5%

백분위수 구간은 87.4%만 맞았고, 놓친 12.6%가 거의 다 한쪽에서 났습니다. 실제 평균이 구간 위로 벗어난 경우가 12.1%, 아래로 벗어난 경우는 0.6%뿐입니다. 양쪽에 2.5%씩 놓쳐야 할 것이 한쪽으로 몰린 것입니다. 구간이 전체적으로 너무 왼쪽에 서 있다는 뜻입니다.

편향 보정

왜 왼쪽에 서는지부터 봅니다. 오른쪽 꼬리가 긴 분포에서 40개를 뽑으면, 대부분의 표본은 드물게 나오는 큰 값을 덜 담아서 평균이 실제보다 작게 나옵니다. 가끔 큰 값을 여럿 담은 표본이 평균을 크게 끌어올려 균형을 맞출 뿐입니다. 그래서 표본평균은 대체로 실제보다 작은 쪽에 놓이고, 그 표본에서 만든 구간도 함께 왼쪽에 놓입니다.

이 어긋남을 재는 첫 번째 값이 편향 보정 상수 z^0\hat z_0 입니다. 부트스트랩 값 가운데 원래 추정값보다 작은 것의 비율을 표준정규분포의 분위수로 옮긴 값입니다.

z^0=Φ−1 ⁣(#{θ^b∗<θ^}B)\hat z_0 = \Phi^{-1}\!\left(\frac{\#\{\hat\theta^{*}_b < \hat\theta\}}{B}\right)

Φ\Phi 는 표준정규분포의 누적분포함수이고 Φ−1\Phi^{-1} 은 그 역입니다. 부트스트랩 분포의 중앙값이 원래 추정값과 같다면 비율이 정확히 0.5이고 z^0=0\hat z_0 = 0 입니다. 토큰 예에서는 1만 개 중 53.6%가 18,751보다 작아서 z^0=0.090\hat z_0 = 0.090 이었습니다. 부트스트랩 분포가 원래 추정값을 중앙에 두지 않고 조금 오른쪽에 두고 있으니, 구간을 그만큼 오른쪽으로 옮기라는 신호입니다.

가속

두 번째 값은 분포의 퍼짐이 위치에 따라 달라지는 정도입니다. 토큰 수의 평균이 실제로 더 큰 세계라면 꼬리가 더 길어서 표본평균의 흔들림도 더 큽니다. 실제 평균이 클수록 표준오차도 커지는 것입니다. 그러면 구간은 점추정값 양쪽에 같은 폭이 아니라, 위쪽을 더 넓게 잡아야 합니다. 이 기울기를 재는 값이 가속 상수 a^\hat a 입니다.

a^\hat a 는 잭나이프로 계산합니다. 잭나이프는 표본에서 하나씩 빼 가며 통계량을 nn 번 다시 계산하는 방법이고, ii 번째를 뺀 값을 θ^(i)\hat\theta_{(i)}, 그 nn 개의 평균을 θˉ(⋅)\bar\theta_{(\cdot)} 로 적습니다.

a^=∑i=1n(θˉ(⋅)−θ^(i))36[∑i=1n(θˉ(⋅)−θ^(i))2]3/2\hat a = \frac{\sum_{i=1}^{n}\left(\bar\theta_{(\cdot)} - \hat\theta_{(i)}\right)^3}{6\left[\sum_{i=1}^{n}\left(\bar\theta_{(\cdot)} - \hat\theta_{(i)}\right)^2\right]^{3/2}}

분자의 세제곱 합은 왜도를 셀 때와 같은 꼴입니다. 값 하나를 뺐을 때 평균이 크게 내려가는 문항, 곧 136,229 같은 큰 값이 한쪽에 몰려 있으면 세제곱 합이 양수로 커집니다. 토큰 예에서 a^=0.069\hat a = 0.069 였습니다.

보정된 백분위

두 값을 얻으면 2.5%와 97.5% 대신 읽을 자리를 새로 정합니다. zαz_{\alpha} 를 표준정규분포의 α\alpha 분위수라 할 때

α1=Φ ⁣(z^0+z^0+z0.0251−a^ (z^0+z0.025)),α2=Φ ⁣(z^0+z^0+z0.9751−a^ (z^0+z0.975))\alpha_1 = \Phi\!\left(\hat z_0 + \frac{\hat z_0 + z_{0.025}}{1 - \hat a\,(\hat z_0 + z_{0.025})}\right), \qquad \alpha_2 = \Phi\!\left(\hat z_0 + \frac{\hat z_0 + z_{0.975}}{1 - \hat a\,(\hat z_0 + z_{0.975})}\right)

이고, 부트스트랩 분포의 α1\alpha_1 지점과 α2\alpha_2 지점 사이를 BCa 구간이라고 합니다. 이름은 편향 보정(bias-corrected)과 가속(accelerated)의 머리글자입니다. z^0=0\hat z_0 = 0 이고 a^=0\hat a = 0 이면 α1=Φ(z0.025)=0.025\alpha_1 = \Phi(z_{0.025}) = 0.025 가 되어 백분위수 구간으로 돌아갑니다. BCa는 백분위수 구간을 버리는 것이 아니라 읽는 자리만 옮기는 것입니다.

토큰 예에 넣어 봅니다. 아래쪽은 0.090−1.960=−1.8700.090 - 1.960 = -1.870 이고 분모가 1−0.069×(−1.870)=1.1281 - 0.069 \times (-1.870) = 1.128 이라 괄호 안이 0.090+(−1.870/1.128)=−1.5680.090 + (-1.870/1.128) = -1.568, α1=Φ(−1.568)=0.058\alpha_1 = \Phi(-1.568) = 0.058 입니다. 위쪽은 같은 계산으로 α2=0.993\alpha_2 = 0.993 입니다. 2.5%와 97.5%가 아니라 5.8%와 99.3% 지점을 읽으라는 뜻이고, 그렇게 읽은 구간이 12,331에서 30,675입니다. 백분위수 구간 11,004~27,940보다 아래 끝이 1,300쯤, 위 끝이 2,700쯤 올라갔습니다.

오른쪽으로 치우친 토큰 수 평균의 부트스트랩 분포에서 백분위수 구간과 BCa 구간이 읽는 자리

포함 확률 표의 마지막 줄이 이 이동의 효과입니다. 위로 놓치는 비율이 12.1%에서 8.5%로 줄었고 아래로 놓치는 비율이 0.6%에서 2.5%로 늘어, 놓치는 쪽이 양쪽으로 고르게 퍼졌습니다. 포함 확률도 87.4%에서 89.1%로 올랐습니다. 그래도 95%에는 못 미칩니다. 표본 40개는 오른쪽 꼬리를 충분히 담지 못하고, 담지 못한 것은 어떤 보정으로도 되살릴 수 없습니다. 같은 실험을 표본 160개로 되풀이하면 백분위수 91.2%, BCa 92.7%로 둘 다 올라갑니다. BCa는 작은 표본의 치우침을 덜어 주지만 표본 크기를 대신하지는 않습니다.

F1에도 BCa를 계산해 봤습니다. z^0=−0.032\hat z_0 = -0.032, a^=−0.010\hat a = -0.010 으로 둘 다 0에 가깝고, 읽는 자리는 1.95%와 96.86%, 구간은 0.672에서 0.844로 백분위수 구간 0.678~0.848과 거의 같았습니다. 분포가 거의 대칭인 자리에서는 두 구간이 같은 답을 주고, 치우칠수록 갈립니다. 계산이 조금 더 들 뿐 손해가 없으므로 BCa를 기본으로 쓰는 라이브러리가 많습니다. scipy.stats.bootstrap도 기본 방법이 BCa입니다.

재표집 횟수

몬테카를로 오차

부트스트랩에는 오차가 두 겹 있습니다. 첫째는 표본이 300건뿐이라 생기는 오차이고, 구간이 재려는 것이 바로 이것입니다. 둘째는 부트스트랩 분포를 무한히가 아니라 BB 번만 뽑아서 생기는 오차입니다. 같은 300건으로 시드만 바꿔 돌려도 구간 끝이 조금씩 달라지는데, 이 흔들림을 몬테카를로 오차라고 합니다. 첫째 오차는 평가 세트를 늘려야만 줄지만, 둘째 오차는 컴퓨터를 더 돌리면 줄어듭니다.

무작위로 뽑은 표본으로 기댓값을 추정할 때 오차가 뽑은 수의 제곱근에 반비례해 줄어든다는 일반 법칙은 중급 77번 · 몬테카를로 추정과 pass@k가 유도합니다. 여기서는 그 법칙을 끌어오지 않고, F1 예에서 BB 를 바꿔 가며 실제로 얼마나 흔들리는지만 잽니다.

끝점의 흔들림

같은 300건에 BB = 200, 1,000, 10,000으로 부트스트랩을 각각 300번씩 다시 돌려, 표준오차와 95% 구간 양 끝이 시드에 따라 얼마나 달라지는지 표준편차를 셌습니다.

BB 표준오차의 흔들림 아래 끝의 흔들림 아래 끝의 범위 위 끝의 흔들림
200 0.0021 0.0094 0.646 ~ 0.701 0.0065
1,000 0.0010 0.0048 0.667 ~ 0.690 0.0031
10,000 0.0003 0.0021 0.673 ~ 0.680 0.0009

B가 200, 1,000, 10,000일 때 300번 반복한 구간 아래 끝과 위 끝이 퍼지는 범위

표준오차는 BB = 200에서도 0.0437 언저리에서 0.0021만 흔들립니다. 표준오차 자체의 5% 정도입니다. 그런데 구간 끝은 같은 BB = 200에서 0.0094 흔들리고, 300번 중 가장 낮게 나온 것이 0.646, 가장 높게 나온 것이 0.701이었습니다. 시드 하나를 바꿨을 뿐인데 보고서의 아래 끝이 0.65가 되기도 하고 0.70이 되기도 하는 것입니다.

구간 끝이 더 흔들리는 이유는 끝을 정하는 값의 수에 있습니다. 표준편차는 BB 개 값을 전부 써서 계산하지만, 2.5% 지점은 분포의 맨 아래 꼬리에 있는 값 몇 개가 정합니다. BB = 200이면 2.5% 아래에 있는 값이 다섯 개뿐이고, 그 다섯 중 하나가 어디에 떨어지느냐에 따라 끝이 움직입니다. BCa가 읽는 99.3% 같은 자리는 꼬리가 더 얇아서 같은 BB 에서 더 크게 흔들립니다.

실무 기준

흔들림을 무엇과 견줄지가 기준입니다. 재려는 것은 표본 오차, 곧 0.0437 규모의 흔들림이고, 몬테카를로 오차는 그보다 충분히 작으면 됩니다. 정리하면 이렇습니다.

  • 표준오차만 필요하면 BB = 1,000이면 넉넉하다. 흔들림이 표준오차의 2% 남짓이다.
  • 백분위수 구간을 보고하려면 BB = 10,000을 쓴다. 1,000에서는 아래 끝이 소수 둘째 자리에서 오간다.
  • BCa는 더 바깥의 꼬리를 읽으므로 같은 정밀도를 얻으려면 그보다 더 뽑는다.
  • 시드를 바꿔 두 번 돌려 보고, 보고할 자릿수에서 끝점이 달라지면 BB 를 늘린다.

비용은 거의 문제가 되지 않습니다. 부트스트랩은 모델을 다시 돌리지 않고 이미 나온 예측과 라벨을 다시 뽑는 일이라, F1 300건에 1만 번이 노트북에서 1초 안팎입니다. 비싼 것은 모델 추론이고, 그것은 평가할 때 한 번만 합니다. 거꾸로 말하면 예측을 문항별로 저장해 두지 않고 점수 하나만 남기면 부트스트랩을 할 수 없습니다.

재표집 단위

문항

부트스트랩에서 가장 자주 틀리는 것은 무엇을 다시 뽑느냐입니다. 원칙은 하나입니다. 평가 세트를 새로 만든다면 독립적으로 새로 뽑힐 단위를 다시 뽑습니다. 환불 분류기에서는 문의 한 건이 그 단위이고, 그래서 위의 코드는 문항 번호를 뽑아 라벨과 예측을 쌍째로 가져왔습니다. 이 독립적으로 뽑히는 단위를 재표집 단위라고 부르겠습니다.

F1에서는 이것이 특히 중요합니다. F1이 문항별 점수의 평균이 아니기 때문입니다. 흔한 지름길이 평가 세트를 작은 묶음으로 나눠 묶음마다 F1을 내고 그것들을 평균하는 것인데, 300건을 무작위로 섞어 30건씩 열 묶음으로 나눠 보니 묶음별 F1이 0.286에서 0.923까지 흩어졌고 그 평균은 0.730이었습니다. 전체로 계산한 0.769와 다릅니다. 섞는 방법을 2,000번 바꿔 평균을 내도 0.753으로, 전체 F1보다 체계적으로 낮았습니다. 30건 안에 환불 요청이 몇 건 없으면 한두 건의 실수가 그 묶음의 F1을 크게 떨어뜨리기 때문입니다. 2,000번 중 세 번은 환불 요청도 예측도 하나 없는 묶음이 생겨 F1이 정의되지 않았습니다.

지표가 전체 표에서 한 번에 계산되는 값이면, 다시 뽑은 표에서도 한 번에 계산해야 합니다. 부트스트랩은 지표를 쪼개지 않고 표를 다시 뽑기 때문에 이 문제가 없습니다.

묶음

문항이 서로 독립이 아닐 때는 재표집 단위가 문항보다 커집니다. RAG 시스템을 문서 50개에서 6개씩 뽑은 질문 300개로 평가한다고 합시다. 같은 문서에서 나온 질문들은 운명을 같이합니다. 문서가 검색 색인에 잘 잡히면 여섯이 대체로 맞고, 표가 잘못 파싱됐으면 여섯이 대체로 틀립니다. 평가 세트를 새로 만든다면 새로 뽑히는 것은 질문이 아니라 문서입니다.

문서마다 정답률이 다르게 흩어진 세계를 만들어 확인했습니다. 실제 정확도는 0.750이고, 이 세계에서 평가 세트를 2만 번 새로 뽑아 잰 실제 표준오차가 0.0370이었습니다.

다시 뽑은 것 부트스트랩 표준오차 95% 구간 포함 확률
질문 300개 0.0235 82.3%
문서 50개(질문 여섯씩 통째로) 0.0396 94.8%

질문 단위로 다시 뽑으면 같은 문서 안의 상관이 끊겨 표준오차가 작게 나오고, 문서 단위로 다시 뽑으면 실제 흔들림을 재현한다

질문을 하나씩 다시 뽑으면 같은 문서의 질문들이 서로 다른 부트스트랩 표본으로 흩어져, 문서 하나가 통째로 맞거나 틀리는 흔들림이 사라집니다. 그래서 표준오차가 0.0235로, 문항을 독립으로 본 해석식 0.0238과 같은 값이 나옵니다. 실제 0.0370보다 3분의 1 이상 작고, 95%라고 적은 구간이 실제로는 82%만 맞습니다. 문서 번호를 뽑아 그 문서의 질문 여섯을 통째로 가져오면 0.0396, 포함 확률 94.8%로 돌아옵니다. 이렇게 서로 얽힌 문항을 묶음째 다시 뽑는 방법을 군집 부트스트랩이라고 합니다. 대화 하나의 여러 턴, 코드 저장소 하나의 여러 과제, 한 사람이 쓴 여러 답변이 모두 같은 구조입니다.

시도와 문제

코드 생성 벤치마크에서는 문제마다 답을 여러 번 생성해 pass@k를 계산합니다. pass@k는 답을 kk 번 생성했을 때 그중 하나라도 테스트를 통과할 확률입니다. 문제 164개에 문제마다 10번씩 생성한 결과로 pass@1과 pass@5를 냈다고 합시다. 문제마다 pass@1 추정값은 통과 횟수를 10으로 나눈 값이고, pass@5에도 문제마다 추정값을 내는 식이 있습니다. 그 식의 유도는 중급 77번 · 몬테카를로 추정과 pass@k의 몫이고, 여기서는 문제마다 숫자 하나가 나온다는 사실만 씁니다.

재표집 단위는 생성 한 번이 아니라 문제입니다. 문제 하나 안의 10번은 같은 문제를 푸는 시도라 서로 얽혀 있고, 벤치마크를 새로 만든다면 새로 뽑히는 것은 문제이기 때문입니다. 실험한 세계에서 pass@1은 0.482, pass@5는 0.715가 나왔고, 문제를 다시 뽑은 부트스트랩 표준오차는 각각 0.0293과 0.0322, 95% 구간은 0.4240.540과 0.6500.777이었습니다. 같은 세계에서 벤치마크를 새로 뽑아 잰 실제 표준오차가 0.0283과 0.0305였으니 잘 맞습니다. 생성 1,640번을 낱개로 다시 뽑으면 pass@1의 표준오차가 0.0123으로, 실제의 절반도 안 되게 나옵니다.

문제를 다시 뽑는 것만으로 생성의 무작위성까지 담긴다는 점도 짚어 둡니다. 문제마다의 추정값에는 10번만 생성해서 생긴 흔들림이 이미 들어 있고, 문제를 다시 뽑으면 그 값들이 통째로 함께 다시 뽑히기 때문입니다. 두 겹의 무작위성을 따로 다시 뽑지 않아도 됩니다.

평균이 아닌 지표

지표 함수

앞의 코드에서 bootstrap 함수는 F1에 대해 아무것도 모릅니다. 받는 것은 문항 표를 숫자 하나로 바꾸는 함수뿐입니다. 이것이 부트스트랩이 어떤 지표에나 쓰이는 이유입니다. 지표가 표에서 계산되기만 하면, 그 계산을 다시 뽑은 표에 그대로 되풀이하면 됩니다. 이렇게 지표를 「재표집 단위의 표를 받아 숫자 하나를 내는 함수」로 보는 관점을 이 글에서는 지표 함수라고 부르겠습니다.

그러니 할 일은 두 가지로 줄어듭니다. 지표 함수를 재표집 단위의 표를 받는 꼴로 적고, 그 표의 행을 다시 뽑는 것입니다. 클래스마다 F1을 내서 평균하는 매크로 F1, 문턱값을 옮겨 가며 그린 정밀도·재현율 곡선의 아래 넓이, 모델이 낸 확률과 실제 정답률의 어긋남을 재는 보정 오차가 모두 표 전체에서 한 번에 계산되는 값이라 식으로 표준오차를 내기 어렵지만, 지표 함수만 있으면 부트스트랩은 똑같이 돌아갑니다.

해석식이 있는 지표에도 그대로 씁니다. 그때는 부트스트랩이 해석식과 맞는지가 코드를 검사하는 수단이 됩니다. 앞에서 정확도로 해석식과 대조한 것이 그 예입니다.

nDCG

검색 평가의 nDCG@10은 정답 문서가 상위 10개 안에서 얼마나 위에 놓였는지를 0에서 1 사이로 매긴 점수입니다. 질의마다 값이 하나 나오고 전체 점수는 그 평균이라, 지표 함수는 「질의별 값의 평균」이고 재표집 단위는 질의입니다.

질의 200개짜리 실험에서 nDCG@10이 0.630, 질의별 값의 표준편차를 200\sqrt{200} 으로 나눈 해석식 표준오차가 0.0167, 질의를 다시 뽑은 부트스트랩 표준오차가 0.0166, 95% 백분위수 구간이 0.598~0.662였습니다. 평균인 지표에서는 두 방법이 같은 답을 줍니다. 질의별 값이 0과 1 근처에 몰리는 등 모양이 정규분포와 거리가 멀어도, 평균 200개는 이미 종 모양에 가깝기 때문입니다. 다만 검색 평가는 질의가 같은 사용자나 같은 주제에서 몰려 나오는 일이 흔하고, 그럴 때는 앞의 문서 예처럼 묶음째 다시 뽑아야 합니다. 그 판단은 해석식이 대신해 주지 않습니다.

적용 한계

부트스트랩이 안 되는 자리도 알아 둡니다. 첫째는 극값입니다. 40번 실행 중 가장 오래 걸린 시간 같은 최댓값은 부트스트랩 표본에서 원래 최댓값을 넘을 수 없어서, 부트스트랩 분포가 실제 표본분포를 흉내 내지 못합니다. 표본에 없는 값을 경험분포가 만들어 낼 수는 없습니다.

둘째는 아주 작은 표본입니다. 문항 열 개짜리 평가에서는 경험분포가 모집단을 거칠게만 닮고, 토큰 예에서 본 것처럼 꼬리를 못 담은 만큼 구간이 좁아집니다. 표본 40개의 BCa도 89%에 머물렀습니다.

셋째는 부트스트랩이 재는 오차의 범위입니다. 부트스트랩은 재표집 단위를 새로 뽑을 때의 흔들림만 잽니다. 프롬프트 문구를 바꿨을 때, 채점 모델이 바뀌었을 때, 평가 문항이 학습 데이터에 섞여 들어갔을 때 생기는 차이는 그 표 안에 없으므로 구간에도 나타나지 않습니다. 구간은 「같은 방식으로 문항을 다시 모았다면」이라는 조건을 달고 읽어야 합니다.

정리

처음 장면

환불 요청 300건에서 F1 0.769를 얻고 「얼마나 흔들리는 숫자냐」는 질문을 받았던 장면으로 돌아갑니다. 식이 없어서 막혔던 질문에, 라벨과 예측의 쌍을 다시 뽑아 F1을 1만 번 다시 계산하는 것으로 답했습니다. 부트스트랩 표준오차가 0.0437이었고, 모집단을 일부러 만들어 확인한 실제 값도 0.0437이었습니다. 보고서에는 「F1 0.77, 95% 구간 0.680.85(문항 단위 부트스트랩, B = 10,000)」이라고 적으면 됩니다. 분포가 거의 대칭이라 BCa 구간 0.670.84도 같은 이야기를 합니다.

그 구간은 다음 질문도 정리해 줍니다. 폭이 0.17이니 다음 버전의 F1이 0.80이라는 것만으로는 나아졌다고 말할 수 없습니다. 평가 세트를 키우든지, 같은 문항으로 두 버전을 짝지어 견주든지 해야 합니다. 그리고 평가 문의가 고객 한 명에게서 여러 건씩 왔다면, 다시 뽑을 단위는 문의가 아니라 고객입니다.

핵심 정리

  • 표본분포는 평가 세트를 새로 뽑을 때마다 지표가 이루는 분포다. 부트스트랩은 모르는 모집단 대신 가진 표본의 경험분포에서 크기 nn 짜리 표본을 복원 추출해 그 분포를 흉내 낸다.
  • 부트스트랩 표본 하나에는 원래 문항의 약 63%(1−1/e1 - 1/e)가 들어간다. 그래도 크기가 같으므로 흔들림의 규모는 재현된다.
  • 정확도 500문항 82%에서 부트스트랩 표준오차 0.0173이 해석식 0.0172와 맞았다. 해석식이 없는 F1 300건에서는 0.0437이 나왔고, 실제 표준편차도 0.0437이었다.
  • 백분위수 구간은 부트스트랩 값의 2.5%와 97.5% 지점을 읽는다. 분포 모양을 가정하지 않지만, 치우친 통계량에서는 구간이 한쪽으로 밀려 포함 확률이 떨어진다(토큰 평균 n=40n=40 에서 87.4%).
  • BCa는 편향 보정 상수 z^0\hat z_0 와 잭나이프로 구한 가속 상수 a^\hat a 로 읽는 자리를 옮긴다. 토큰 예에서 5.8%와 99.3% 지점을 읽어 포함 확률을 89.1%로 올리고 놓치는 쪽을 양쪽으로 고르게 했다. 대칭에 가까우면 백분위수 구간과 같아진다.
  • 재표집 횟수는 표본 오차가 아니라 몬테카를로 오차를 줄인다. 표준오차는 BB = 1,000이면 넉넉하고, 구간 끝은 꼬리 몇 개가 정하므로 BB = 10,000을 쓴다.
  • 재표집 단위는 평가 세트를 새로 만들 때 독립으로 새로 뽑힐 단위다. 같은 문서의 질문을 낱개로 뽑으면 표준오차가 0.0370 대신 0.0235로 나오고 95% 구간이 82%만 맞았다. pass@k는 생성이 아니라 문제를 다시 뽑는다.
  • 지표를 「재표집 단위의 표를 받아 숫자 하나를 내는 함수」로 적으면 F1·매크로 F1·nDCG·pass@k에 같은 코드가 돌아간다. 극값, 아주 작은 표본, 표 밖에서 오는 차이에는 쓸 수 없다.

읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN