수학

MATH / 중급 78번

Elo와 아레나 순위: Bradley–Terry로 리더보드 읽기

Elo 갱신식이 Bradley-Terry 로그가능도에 대한 확률적 경사상승 한 걸음임을 유도하고, K 계수가 무엇을 맞바꾸는지, 경기 순서에 흔들리는 온라인 갱신과 최대가능도 일괄 추정이 어떻게 다른지를 모의 아레나 4만 경기로 확인합니다. 순위마다 구간을 붙여 몇 위 차이가 실제로 갈리는지 계산으로 판정합니다.

PALDYN Team53 MIN READ

사내에 LLM 아레나를 열었습니다. 직원이 질문 하나를 넣으면 이름을 가린 모델 둘이 답하고, 직원은 더 나은 쪽을 고릅니다. 모델 열두 개가 4만 600번 붙었고, 순위표 위쪽은 이렇습니다.

순위 모델 점수 경기 수
1 A 1314 10,841
2 H 1291 600
3 B 1279 9,838
4 C 1274 8,929
5 E 1270 10,014

지금 사내 기본 모델은 5위 E입니다. 회의에서 질문이 나옵니다. 「3위 B가 9점 높은데 B로 바꿔야 하나요? 그리고 지난주에 들어온 H는 600경기 만에 2위인데 이건 믿어도 되나요?」

지난 글에서는 모델 하나를 놓고 샘플 몇 개로 그 모델의 점수를 추정했습니다. 아레나에는 그런 절대 점수가 없습니다. 데이터는 전부 「이 둘 중에서는 이쪽」이라는 쌍 비교이고, 순위표의 점수는 그 비교들에서 거꾸로 세운 눈금입니다. 그 눈금을 세우는 모형은 선호 쌍에서 보상 모델 손실을 유도한 글의 Bradley-Terry 모델 그대로입니다. 이 글은 그 모형 위에서 세 가지를 합니다. Elo라는 갱신식이 그 모형의 학습 규칙이라는 것을 유도하고, 경기를 하나씩 반영하는 갱신과 전부 한꺼번에 맞추는 추정이 왜 다른 순위를 내는지 보이고, 마지막으로 순위표의 숫자에 구간을 붙여 「3위가 5위보다 낫다」를 말할 수 있는지 판정합니다.

위 순위표는 진짜 강도를 정해 두고 경기를 뽑아 만든 모의 아레나입니다. 그래서 추정이 맞았는지를 정답과 견줄 수 있습니다.

Elo 점수

기대 승점

Elo 점수는 체스에서 선수의 실력을 숫자 하나로 적으려고 만든 눈금입니다. 선수마다 점수 RR 을 하나씩 두고, 두 선수가 붙을 때 A가 얻을 것으로 기대하는 승점을 두 점수의 차이로 정합니다.

EA=11+10(RB−RA)/400E_A = \frac{1}{1 + 10^{(R_B - R_A)/400}}

이 EAE_A 를 기대 승점이라 부릅니다. 이기면 1점, 비기면 0.5점, 지면 0점을 받는다고 할 때 A가 한 경기에서 평균적으로 가져갈 점수이고, 무승부가 없으면 곧 A가 이길 확률입니다. B 쪽 식은 RAR_A 와 RBR_B 를 바꾸면 되고, 두 값을 더하면 언제나 1입니다.

숫자 400과 밑 10은 눈금을 정하는 관습입니다. 점수가 400점 앞서면 이길 승산, 곧 이길 확률을 질 확률로 나눈 값이 정확히 10배가 됩니다. EA=1/(1+10−1)=0.909E_A = 1/(1+10^{-1}) = 0.909 이니 열한 번 중 열 번을 이기는 차이입니다. 다른 수를 골라도 눈금만 늘거나 줄 뿐, 아래의 수학은 하나도 바뀌지 않습니다.

로지스틱 눈금

식의 10의 거듭제곱을 자연로그의 밑으로 바꿔 적으면 정체가 드러납니다. 10x=exln⁡1010^{x} = e^{x \ln 10} 이므로

EA=11+e−c (RA−RB)=σ(c (RA−RB)),c=ln⁡10400E_A = \frac{1}{1 + e^{-c\,(R_A - R_B)}} = \sigma\big(c\,(R_A - R_B)\big), \qquad c = \frac{\ln 10}{400}

입니다. σ\sigma 는 55번에서 쓴 시그모이드 함수이고, 오른쪽은 Bradley-Terry 모델의 P(A≻B)=σ(rA−rB)P(A \succ B) = \sigma(r_A - r_B) 에서 강도를 r=cRr = cR 로 놓은 것과 같습니다. 그러니까 Elo 점수는 Bradley-Terry 강도에 상수 1/c1/c 를 곱해 눈금만 늘린 것입니다. 강도 1, 곧 로그 오즈 1이 Elo로는 173.7점입니다.

import numpy as np

c = np.log(10) / 400                      # Elo 1점이 로그 오즈로 얼마인가

def expected(gap):                        # Elo 기대 승점
    return 1 / (1 + 10 ** (-gap / 400))

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

print(f"c = ln10/400 = {c:.6f}")
for gap in [0, 10, 30, 50, 100, 200, 400]:
    print(f"차이 {gap:>3}점  E = {expected(gap):.4f}  σ(c·차이) = {sigmoid(c * gap):.4f}")
c = ln10/400 = 0.005756
차이   0점  E = 0.5000  σ(c·차이) = 0.5000
차이  10점  E = 0.5144  σ(c·차이) = 0.5144
차이  30점  E = 0.5431  σ(c·차이) = 0.5431
차이  50점  E = 0.5715  σ(c·차이) = 0.5715
차이 100점  E = 0.6401  σ(c·차이) = 0.6401
차이 200점  E = 0.7597  σ(c·차이) = 0.7597
차이 400점  E = 0.9091  σ(c·차이) = 0.9091

Elo 점수 차이에 따른 기대 승점 곡선과 10·50·100·200·400점 차이의 값

두 열이 소수 넷째 자리까지 같습니다. 이 표가 순위표를 읽는 눈금입니다. 순위표에서 눈에 띄는 10점 차이는 승률 51.4%이고, 30점이 54.3%, 50점이 57.2%입니다. 체스에서 10점은 아무도 신경 쓰지 않는 차이인데, LLM 아레나에서는 순위 몇 칸이 이 정도 차이로 갈리곤 합니다. 3위와 5위의 9점 차이는 「B와 E가 백 번 붙으면 B가 51번쯤 이긴다」는 주장입니다.

승점과 무승부

A가 그 경기에서 실제로 받은 점수를 SS 라 적겠습니다. 이기면 1, 비기면 0.5, 지면 0입니다. 기대 승점 EAE_A 는 모형이 경기 전에 내놓는 예측이고, SS 는 경기 뒤에 관측한 결과입니다. 모형이 맞다면 SS 의 평균이 EAE_A 입니다.

아레나에도 「둘 다 좋다」·「둘 다 나쁘다」 같은 무승부 단추가 있습니다. Bradley-Terry 모델에는 무승부 자리가 없어서, 55번에서 본 것처럼 버리거나 반씩 나눕니다. S=0.5S = 0.5 로 넣는 것이 반씩 나누는 쪽이고, 아래의 갱신식과 손실이 그 값을 그대로 받습니다. 무승부를 따로 모형에 넣는 확장도 있지만 순위를 읽는 논리는 바뀌지 않으므로, 이 글의 모의 아레나는 무승부 없이 만들었습니다.

갱신식

한 경기의 가능도

Elo의 핵심은 경기가 끝날 때마다 점수를 고치는 식입니다.

RA←RA+K (S−EA),RB←RB−K (S−EA)R_A \leftarrow R_A + K\,(S - E_A), \qquad R_B \leftarrow R_B - K\,(S - E_A)

예상보다 잘하면 오르고 못하면 내립니다. 직관적인 식이지만 어디서 왔는지 따져 보면 Bradley-Terry 모형에서 나옵니다. 먼저 경기 하나의 결과가 모형 아래에서 얼마나 그럴듯한지를 적습니다.

ℓ=Sln⁡EA+(1−S)ln⁡(1−EA)\ell = S \ln E_A + (1 - S) \ln (1 - E_A)

S=1S = 1 이면 ln⁡EA\ln E_A 만 남고, S=0S = 0 이면 ln⁡(1−EA)\ln(1 - E_A) 만 남습니다. 이긴 경기에서는 「A가 이길 확률」의 로그를, 진 경기에서는 「A가 질 확률」의 로그를 쓰는 것입니다. 이 ℓ\ell 이 경기 하나의 로그가능도입니다. 최대가능도에서 본 것처럼 경기들이 서로 독립이면 전체 로그가능도는 이 값을 경기마다 더한 합이고, 점수를 그 합이 가장 크게 되도록 고르는 것이 최대가능도 추정입니다. S=1S = 1 일 때의 −ℓ-\ell 은 55번의 보상 모델 손실 −log⁡σ(rw−rl)-\log\sigma(r_w - r_l) 과 같은 식입니다.

기울기

ℓ\ell 을 RAR_A 로 미분합니다. 시그모이드의 도함수가 σ(1−σ)\sigma(1-\sigma) 이고 안쪽에 cc 가 곱해져 있으므로 ∂EA/∂RA=c EA(1−EA)\partial E_A / \partial R_A = c\,E_A(1 - E_A) 입니다.

∂ℓ∂RA=SEA c EA(1−EA)−1−S1−EA c EA(1−EA)=c [S(1−EA)−(1−S)EA]=c (S−EA)\begin{aligned} \frac{\partial \ell}{\partial R_A} &= \frac{S}{E_A}\, c\,E_A(1-E_A) - \frac{1-S}{1-E_A}\, c\,E_A(1-E_A) \\ &= c\,\big[S(1-E_A) - (1-S)E_A\big] \\ &= c\,(S - E_A) \end{aligned}

분모가 깔끔하게 지워지고 「결과 빼기 예측」만 남습니다. 로지스틱 회귀의 기울기가 언제나 「정답 빼기 예측 확률」이었던 것과 같은 일입니다. RBR_B 로 미분하면 부호만 바뀐 −c (S−EA)-c\,(S - E_A) 가 나옵니다. 숫자로 확인해 둡니다. 순위표의 B(1279점)와 E(1270점)가 붙는 경기에서 로그가능도를 아주 조금씩 움직여 잰 기울기와 위 식을 견줍니다.

def loglik(ra, rb, s):                    # 한 경기의 로그가능도
    e = expected(ra - rb)
    return s * np.log(e) + (1 - s) * np.log(1 - e)

ra, rb = 1279.0, 1270.0
e = expected(ra - rb)
h = 1e-4
for s in [1.0, 0.5, 0.0]:
    num = (loglik(ra + h, rb, s) - loglik(ra - h, rb, s)) / (2 * h)
    print(f"S = {s}  수치 기울기 {num:+.6f}  c·(S−E) {c * (s - e):+.6f}")
for K in [4, 32]:
    print(f"K = {K:>2}  이기면 {K * (1 - e):+.2f}점  지면 {K * (0 - e):+.2f}점"
          f"  (로그 오즈 학습률 {c * K:.4f})")
S = 1.0  수치 기울기 +0.002804  c·(S−E) +0.002804
S = 0.5  수치 기울기 -0.000075  c·(S−E) -0.000075
S = 0.0  수치 기울기 -0.002953  c·(S−E) -0.002953
K =  4  이기면 +1.95점  지면 -2.05점  (로그 오즈 학습률 0.0230)
K = 32  이기면 +15.59점  지면 -16.41점  (로그 오즈 학습률 0.1842)

세 경우 모두 여섯째 자리까지 맞습니다. 비긴 경기의 기울기가 0이 아니라 살짝 음수인 것도 눈여겨볼 만합니다. 9점 앞선 B는 0.513점을 기대받았는데 0.5점만 받았으니, 비겨도 아주 조금 내려갑니다.

경사상승 한 걸음

로그가능도를 키우는 방향은 기울기 방향입니다. 기울기에 작은 수 η\eta 를 곱한 만큼 점수를 옮기는 일을 경사상승이라 하고, 전체 데이터가 아니라 경기 하나의 기울기로 옮기면 확률적 경사상승입니다. 손실의 부호를 뒤집은 것이므로 확률적 경사하강과 같은 절차를 오르막으로 적은 것뿐이고, η\eta 는 거기서의 학습률과 같은 역할입니다. 경기 하나에 대해 한 걸음 옮기면

RA←RA+η c (S−EA)R_A \leftarrow R_A + \eta\, c\,(S - E_A)

이고, 이것을 Elo 갱신식과 맞대면

K=η cK = \eta\, c

입니다. Elo 갱신식은 Bradley-Terry 로그가능도에 대한 확률적 경사상승 한 걸음이고, K 계수는 그 학습률에 상수 cc 를 곱한 값입니다. 55번이 예고한 대응이 이것입니다. 위 출력의 마지막 두 줄이 그 한 걸음의 크기입니다. K = 4이면 B가 이길 때 1.95점, 질 때 2.05점이 움직입니다. 로그 오즈 단위로 바꾸면, 곧 강도 r=cRr = cR 을 옮기는 학습률로 적으면 cKcK = 0.0230입니다.

기대 승점에서 점수 이동까지 경기 하나의 갱신을 다섯 걸음으로 나눈 도식

점수 합 보존

갱신식에서 A가 얻은 만큼 B가 정확히 잃습니다. 그래서 경기를 몇 번 치르든 모든 모델의 점수 합은 처음 값 그대로입니다. 열두 모델을 전부 1200점에서 시작하면 합은 영원히 14,400이고 평균은 영원히 1200입니다.

55번에서 Bradley-Terry 강도는 모두에 같은 상수를 더해도 확률이 바뀌지 않아, 절대 위치가 데이터에 없다고 했습니다. Elo는 그 빈 자리를 시작값으로 메웁니다. 평균이 1200에 묶여 있으니 「1291점」은 「평균보다 91점 위」라는 뜻이고, 다른 아레나의 1291점과 견줄 수 없습니다. 두 순위표가 같은 모델을 함께 다루지 않는 한, 점수를 옮겨 붙여 비교하는 것은 평행이동 자유도를 무시하는 일입니다.

K 계수

학습률

K가 학습률이라는 것을 알면 K를 고르는 문제가 학습률을 고르는 문제가 됩니다. 확률적 경사법을 학습률을 고정한 채 돌리면 해에 수렴하지 않고 해 근처를 계속 맴돕니다. 경기 하나하나가 잡음 섞인 기울기를 주는데, 고정된 걸음으로 그 잡음을 매번 그대로 따라가기 때문입니다. 걸음이 크면 해에 빨리 다가가지만 크게 맴돌고, 걸음이 작으면 작게 맴돌지만 다가가는 데 오래 걸립니다.

체스에서는 이 맞바꿈을 의도적으로 씁니다. 새로 들어온 선수는 K를 크게 두어 제자리를 빨리 찾게 하고, 경기 수가 쌓인 선수는 K를 작게 둡니다. 학습률을 처음에 크게 두었다가 줄여 가는 스케줄과 같은 발상입니다.

속도와 흔들림

진짜 차이가 50점인 두 모델을 0점 차이에서 시작시켜 3,000경기를 치르게 했습니다. 같은 실험을 2,000번 되풀이해, 추정 차이의 평균이 40점에 처음 닿는 경기와 3,000경기 뒤 추정 차이가 반복마다 얼마나 퍼져 있는지를 셉니다. 둘뿐이므로 한 경기에 두 점수가 반대로 K씩, 차이로는 2K씩 움직입니다.

def two_model_run(K, gap=50, games=3000, reps=2000, seed=1):
    rng = np.random.default_rng(seed)
    wins = rng.random((reps, games)) < expected(gap)    # 진짜 차이 50점
    d = np.zeros(reps)                                  # 추정 차이, 0에서 시작
    mean_path = np.empty(games)
    for t in range(games):
        d += 2 * K * (wins[:, t] - expected(d))         # 두 점수가 K씩 반대로 움직인다
        mean_path[t] = d.mean()
    reach = (mean_path >= 40).argmax() + 1              # 평균이 40점에 닿는 경기
    return reach, d.mean(), d.std()

for K in [1, 4, 16, 32]:
    reach, mean, sd = two_model_run(K)
    print(f"K = {K:>2}  평균이 40점에 닿는 경기 {reach:5d}  "
          f"3000경기 뒤 평균 {mean:5.1f}  SD {sd:5.1f}")

rng = np.random.default_rng(1)
wins = rng.random((2000, 3000)) < expected(50)          # 위와 같은 경기들
p_hat = wins.mean(1)
d_mle = np.log(p_hat / (1 - p_hat)) / c                 # 3000경기를 한꺼번에 쓴 최대가능도
print(f"일괄 추정  평균 {d_mle.mean():5.1f}  SD {d_mle.std():5.1f}  "
      f"이론 SE {1 / (c * np.sqrt(3000 * 0.5715 * 0.4285)):5.1f}")
K =  1  평균이 40점에 닿는 경기   562  3000경기 뒤 평균  50.4  SD  13.3
K =  4  평균이 40점에 닿는 경기   140  3000경기 뒤 평균  50.4  SD  26.6
K = 16  평균이 40점에 닿는 경기    38  3000경기 뒤 평균  52.1  SD  54.2
K = 32  평균이 40점에 닿는 경기    17  3000경기 뒤 평균  54.4  SD  78.3

K를 네 배로 키울 때마다 다가가는 경기 수는 대략 4분의 1로 줄고, 흔들림의 표준편차는 대략 두 배가 됩니다. 흔들림이 K\sqrt{K} 에 비례해 커지는 것입니다. K = 32에서는 평균도 50이 아니라 54.4로 조금 밀려 있습니다. 기대 승점 곡선이 휘어 있어서 크게 튄 쪽과 반대쪽으로 튄 쪽이 같은 크기로 되돌아오지 않기 때문입니다.

같은 승패 순서에서 K = 4와 K = 32가 추정 차이를 움직인 길과 진짜 차이 50점

유효 기억

K = 4의 SD 26.6은 진짜 차이 50점의 절반을 넘습니다. 3,000경기나 치렀는데 왜 이렇게 흔들릴까요. 갱신식을 진짜 차이 d∗d^* 근처에서 일차식으로 펴 보면 이유가 보입니다. 추정 차이 dd 가 진짜보다 d−d∗d - d^* 만큼 벗어나 있으면, 기대 승점이 대략 c p(1−p)(d−d∗)c\,p(1-p)(d - d^*) 만큼 덜 나와 다음 경기에서 평균적으로 그만큼 끌려옵니다.

E[dt+1−d∗]≈(1−2Kc p(1−p)) (dt−d∗)\mathbb{E}[d_{t+1} - d^*] \approx \big(1 - 2Kc\,p(1-p)\big)\,(d_t - d^*)

p=0.5715p = 0.5715 와 K = 4를 넣으면 한 경기마다 벗어난 양의 약 1.1%만 지워집니다. 거꾸로 말해 지금 점수에 실질적으로 남아 있는 것은 최근 89경기 남짓의 기억입니다. 더 오래된 경기는 지수적으로 잊힙니다. 실제로 SD 26.6은 경기 174개로 낸 추정의 표준오차와 같은 크기입니다. 고정된 K로 갱신하는 Elo는 3,000경기를 다 쓰는 추정이 아니라, 늘 최근 백몇십 경기만 보는 추정입니다.

위 코드의 마지막 줄이 대조군입니다. 같은 3,000경기를 한꺼번에 넣어 승률에서 바로 차이를 거꾸로 구하면, 곧 최대가능도로 풀면 SD가 6.4입니다. 55번의 1/n p(1−p)1/\sqrt{n\,p(1-p)} 를 Elo 눈금으로 옮긴 이론값과도 맞습니다. 같은 데이터에서 흔들림이 네 배 차이 납니다.

일괄 추정  평균  50.2  SD   6.4  이론 SE   6.4

온라인과 일괄

경기 순서

경기가 들어오는 대로 하나씩 반영하는 방식을 온라인 갱신이라 하고, 모인 경기를 전부 한꺼번에 놓고 점수를 정하는 방식을 일괄 추정이라 합니다. 온라인 갱신에는 일괄 추정에 없는 성질이 하나 있습니다. 같은 경기들이라도 들어온 순서에 따라 결과가 다릅니다. 앞 절의 유효 기억이 그 이유입니다. 최근 경기의 무게가 크니, 무엇이 최근이었느냐가 점수를 바꿉니다.

모의 아레나를 만들어 확인합니다. 기존 모델 열하나가 4만 경기를 치르고, 진짜 강도가 B와 같은 H가 마지막에 들어와 600경기를 치릅니다. 모델마다 불리는 빈도가 달라 경기 수가 3,593부터 10,841까지 고르지 않습니다.

names = np.array(list("ABCDEFGHIJKL"))
true = np.array([1335, 1300, 1292, 1288, 1284, 1255,
                 1232, 1300, 1155, 1118, 1078, 1001], float)
true += 1200 - true.mean()                           # 평균을 1200에 맞춘다
pop = np.array([10, 9, 8, 7, 9, 6, 6, 0, 5, 4, 4, 3], float)  # 얼마나 자주 불리나
M = len(names)

rng = np.random.default_rng(3)
p = pop / pop.sum()
a = rng.choice(M, 80_000, p=p); b = rng.choice(M, 80_000, p=p)
a, b = a[a != b][:40_000], b[a != b][:40_000]        # 기존 모델끼리 4만 경기
other = rng.choice(M, 600, p=p)                      # H가 마지막에 600경기
left = rng.random(600) < 0.5
a = np.r_[a, np.where(left, 7, other)]
b = np.r_[b, np.where(left, other, 7)]
s = (rng.random(len(a)) < expected(true[a] - true[b])).astype(float)  # a가 이기면 1

games = np.bincount(a, minlength=M) + np.bincount(b, minlength=M)
print("경기 수", len(a))
print(" ".join(f"{n}:{g}" for n, g in zip(names, games)))
경기 수 40600
A:10841 B:9838 C:8929 D:7923 E:10014 F:6935 G:7040 H:600 I:5847 J:4733 K:4907 L:3593

이 경기들에 K = 4로 온라인 Elo를 돌립니다. 한 번은 실제로 치러진 순서대로, 백 번은 같은 경기를 순서만 섞어서입니다.

def online_elo(a, b, s, K=4.0, init=1200.0, order=None):
    R = [init] * M
    for t in (range(len(a)) if order is None else order):
        i, j = a[t], b[t]
        d = K * (s[t] - 1 / (1 + 10 ** ((R[j] - R[i]) / 400)))
        R[i] += d; R[j] -= d                          # 한 사람이 얻은 만큼 상대가 잃는다
    return np.array(R)

elo = online_elo(a, b, s)                             # 실제로 치러진 순서
rng = np.random.default_rng(7)
shuffled = np.array([online_elo(a, b, s, order=rng.permutation(len(a)))
                     for _ in range(100)])            # 같은 경기, 순서만 100가지
print("점수 합", round(elo.sum(), 6))
sd = shuffled.std(axis=0)
for m in np.argsort(-true):
    print(f"{names[m]}  진짜 {true[m]:6.1f}  시간순 {elo[m]:6.1f}  "
          f"섞은 100번 평균 {shuffled[:, m].mean():6.1f}  SD {sd[m]:4.1f}")
top = np.bincount(shuffled.argmax(1), minlength=M)
print("1위가 된 횟수", {str(names[m]): int(top[m]) for m in np.flatnonzero(top)})
점수 합 14400.0
A  진짜 1315.2  시간순 1305.6  섞은 100번 평균 1315.1  SD 17.1
B  진짜 1280.2  시간순 1286.0  섞은 100번 평균 1278.6  SD 17.8
H  진짜 1280.2  시간순 1285.3  섞은 100번 평균 1287.9  SD 12.2
C  진짜 1272.2  시간순 1276.2  섞은 100번 평균 1271.8  SD 18.1
D  진짜 1268.2  시간순 1266.0  섞은 100번 평균 1271.0  SD 16.1
E  진짜 1264.2  시간순 1247.8  섞은 100번 평균 1273.6  SD 17.1
F  진짜 1235.2  시간순 1257.5  섞은 100번 평균 1236.8  SD 17.9
G  진짜 1212.2  시간순 1207.4  섞은 100번 평균 1203.1  SD 16.8
I  진짜 1135.2  시간순 1152.1  섞은 100번 평균 1134.3  SD 13.7
J  진짜 1098.2  시간순 1091.6  섞은 100번 평균 1084.3  SD 17.0
K  진짜 1058.2  시간순 1049.0  섞은 100번 평균 1056.4  SD 18.2
L  진짜  981.2  시간순  975.4  섞은 100번 평균  986.9  SD 16.5

첫 줄은 앞 절의 점수 합 보존이 정확히 지켜졌다는 확인입니다. 그다음이 문제입니다. 경기는 하나도 안 바뀌었는데 순서만 섞어도 모델마다 점수가 표준편차 12~18점씩 움직입니다. 시간순 결과에서는 진짜 1264점인 E가 1247.8점으로 내려가 진짜 1235점인 F(1257.5점)보다 아래에 섰습니다. 사내 기본 모델이 하필 마지막 몇백 경기에서 운이 나빴다면, 시간순 Elo는 그것을 크게 반영합니다.

순위의 흔들림

같은 출력의 마지막 줄은 1위가 누구였는지 센 것입니다.

1위가 된 횟수 {'A': 80, 'B': 5, 'C': 4, 'D': 2, 'E': 3, 'H': 6}

진짜 1위인 A가 백 번 중 여든 번만 1위였고, 나머지 스무 번은 다섯 모델이 나눠 가졌습니다. 진짜 강도로는 A와 다른 모델의 차이가 35점이나 되는데도 그렇습니다. 데이터가 그 정도로 모자라서가 아닙니다. 4만 경기면 넉넉한데, 고정된 K가 그중 최근 일부만 쓰기 때문입니다.

순서를 섞은 백 번의 평균은 진짜 값에 꽤 가깝다는 것도 보입니다. 여러 순서로 돌려 평균을 내면 순서 효과가 지워진다는 뜻이고, 실제로 이 방법을 쓰는 순위표도 있었습니다. 하지만 순서에 무관한 답이 필요하다면 처음부터 순서가 없는 추정을 하는 편이 깔끔합니다.

최대가능도 일괄 추정

모든 경기의 로그가능도를 더한 합을 한꺼번에 최대화하면 경기 순서가 식에서 사라집니다. 합에는 순서가 없기 때문입니다. 55번에서 Bradley-Terry 모델은 비교 한 번을 「A 자리에 +1, B 자리에 −1」인 특징 벡터로 적은 로지스틱 회귀라고 했으니, 이 일괄 추정은 그 로지스틱 회귀를 푸는 일입니다.

푸는 방법으로는 뉴턴법을 씁니다. 기울기와 함께 로그가능도의 곡률을 재서, 곡률로 나눈 만큼 한 번에 옮기는 방법입니다. 로그가능도가 오목하므로 몇 번 만에 꼭대기에 닿습니다. 곡률 행렬에 부호를 뒤집은 것은 다음 절에서 다시 쓰므로 이름을 미리 붙여 둡니다. 경기 tt 의 특징 벡터를 xtx_t, 그 경기의 예측 확률을 ptp_t 라 하면

I=∑tpt(1−pt) xtxt⊤\mathcal{I} = \sum_t p_t (1 - p_t)\, x_t x_t^{\top}

이고, 이것을 피셔 정보 행렬이라 부릅니다. 로그 오즈 단위에서 로그가능도가 꼭대기에서 얼마나 뾰족한지를 재는 행렬이고, 뉴턴법의 한 걸음은 기울기에 이 행렬의 역을 곱한 것입니다. 평행이동 자유도 때문에 이 행렬은 역행렬이 없습니다. 그래서 행렬이 아무 일도 하지 않는 방향, 곧 모두에 같은 값을 더하는 방향을 빼고 나머지만 뒤집는 의사역행렬을 쓰고, 걸음마다 평균을 빼서 위치를 묶은 뒤 Elo 눈금으로 옮기면서 평균을 1200에 둡니다. 온라인 Elo의 시작값과 같은 자리입니다.

def fit_bt(a, b, s, n=None, n_iter=30):
    n = np.ones(len(a)) if n is None else n           # 같은 경기가 몇 번 있었나
    r = np.zeros(M)                                   # 로그 오즈 단위의 강도
    for _ in range(n_iter):
        p = sigmoid(r[a] - r[b])
        g = np.bincount(a, n * (s - p), M) - np.bincount(b, n * (s - p), M)
        w = n * p * (1 - p)
        H = np.zeros((M, M))                          # 피셔 정보 행렬
        np.add.at(H, (a, a), w); np.add.at(H, (b, b), w)
        np.add.at(H, (a, b), -w); np.add.at(H, (b, a), -w)
        r += np.linalg.pinv(H, rcond=1e-10) @ g       # 뉴턴 한 걸음
        r -= r.mean()                                 # 평행이동 자유도를 묶는다
    return r / c + 1200, np.linalg.pinv(H, rcond=1e-10) / c**2   # Elo 눈금, 공분산

R, V = fit_bt(a, b, s)
se = np.sqrt(np.diag(V))
board = np.argsort(-R)
for k, m in enumerate(board, 1):
    print(f"{k:>2}위 {names[m]}  {R[m]:6.1f} ± {1.96 * se[m]:4.1f}  "
          f"경기 {games[m]:>5}  (진짜 {true[m]:6.1f}, 시간순 Elo {elo[m]:6.1f})")
 1위 A  1313.9 ±  6.8  경기 10841  (진짜 1315.2, 시간순 Elo 1305.6)
 2위 H  1291.4 ± 26.5  경기   600  (진짜 1280.2, 시간순 Elo 1285.3)
 3위 B  1278.5 ±  7.0  경기  9838  (진짜 1280.2, 시간순 Elo 1286.0)
 4위 C  1273.7 ±  7.3  경기  8929  (진짜 1272.2, 시간순 Elo 1276.2)
 5위 E  1270.2 ±  7.0  경기 10014  (진짜 1264.2, 시간순 Elo 1247.8)
 6위 D  1268.7 ±  7.7  경기  7923  (진짜 1268.2, 시간순 Elo 1266.0)
 7위 F  1239.1 ±  8.1  경기  6935  (진짜 1235.2, 시간순 Elo 1257.5)
 8위 G  1202.5 ±  8.1  경기  7040  (진짜 1212.2, 시간순 Elo 1207.4)
 9위 I  1134.3 ±  9.1  경기  5847  (진짜 1135.2, 시간순 Elo 1152.1)
10위 J  1086.6 ± 10.4  경기  4733  (진짜 1098.2, 시간순 Elo 1091.6)
11위 K  1055.4 ± 10.6  경기  4907  (진짜 1058.2, 시간순 Elo 1049.0)
12위 L   985.6 ± 13.4  경기  3593  (진짜  981.2, 시간순 Elo  975.4)

맨 앞 장면의 순위표가 이 출력입니다. 경기를 1만 번 안팎 치른 모델은 일괄 추정이 진짜 값에서 대개 몇 점 안에 있습니다. 시간순 Elo가 E를 16점, F를 22점 틀린 것과 대조됩니다. 대신 이 표에서도 5위와 6위는 진짜 순서와 거꾸로입니다. 진짜로는 D(1268.2)가 E(1264.2)보다 4점 위인데 추정은 E를 1.5점 위에 두었습니다. 일괄 추정이 순서의 잡음을 없앤 것이지 표본의 잡음까지 없앤 것은 아닙니다. 그 남은 잡음의 크기가 「±」 뒤의 숫자이고, 다음 절에서 그 숫자를 읽습니다.

공개 아레나 순위표도 같은 길을 걸었습니다. LMSYS의 Chatbot Arena는 처음에 온라인 Elo로 순위를 매기다가 Bradley-Terry 최대가능도로 옮겼습니다. 400과 10의 눈금은 그대로 두고, 숫자를 만드는 절차만 위의 fit_bt 쪽으로 바꾼 것입니다.

순위의 불확실성

표준오차

fit_bt가 돌려준 두 번째 값은 피셔 정보 행렬의 의사역행렬을 c2c^2 로 나눈 것입니다. 데이터가 많으면 최대가능도 추정값은 진짜 값 주위에서 정규분포에 가깝게 퍼지고, 그 공분산 행렬이 피셔 정보의 역행렬로 근사됩니다. 로그가능도가 꼭대기에서 뾰족할수록, 곧 정보가 많을수록 추정이 덜 흔들린다는 말입니다. 대각 원소의 제곱근이 모델마다의 표준오차이고, 위 표의 「±」는 거기에 1.96을 곱한 95% 구간의 반폭입니다.

피셔 정보의 식에서 모델 ii 의 대각 원소는 그 모델이 치른 경기마다 p(1−p)p(1-p) 를 더한 값입니다. 비슷한 상대와 붙은 경기가 많을수록 커지고, 따라서 표준오차는 대략 경기 수의 제곱근에 반비례합니다. 600경기의 H는 표준오차가 13.5점, 1만 경기 남짓인 A는 3.5점이라 3.9배 차이가 납니다. 경기 수의 제곱근 비는 4.3배이니 거의 그 비율입니다. H가 600경기를 전부 비슷한 상대와만 치렀다고 쳐서 55번의 식으로 바로 셈해도 14.2점이 나옵니다.

모의 아레나 열두 모델의 일괄 추정 점수와 95% 구간, 600경기인 H만 막대가 넓다

그림에서 H의 막대는 1265점부터 1318점까지 걸쳐 있습니다. 1위 A의 막대와도, 6위 D의 막대와도 겹칩니다. 2위라는 자리가 데이터가 정한 것인지 600경기의 운인지를 이 막대 하나로는 아직 가를 수 없다는 뜻입니다.

대전 부트스트랩

피셔 정보로 낸 표준오차는 「데이터가 충분히 많다」는 근사에 기댑니다. 600경기짜리 모델에 그 근사가 맞는지는 다른 방법으로 확인해 볼 만합니다. 부트스트랩에서 쓴 방법을 경기 단위로 씁니다. 4만 600경기에서 4만 600경기를 복원 추출해 Bradley-Terry를 다시 맞추고, 이것을 천 번 되풀이합니다.

재표집 단위를 경기로 잡은 것은 아레나에서 독립으로 새로 생기는 단위가 경기이기 때문입니다. 같은 사람이 여러 경기를 매기는 아레나라면 부트스트랩 글에서처럼 사람을 단위로 다시 뽑아야 합니다. 같은 (모델 쌍, 결과) 조합을 한 줄로 묶어 두면 재표집은 각 줄에 횟수를 다시 뽑아 주는 일이 되어 빨라집니다.

# 같은 (a, b, 결과)를 한 줄로 묶어 두면 재표집이 빨라진다
key = (a * M + b) * 2 + s.astype(int)
uniq, cnt = np.unique(key, return_counts=True)
ua, ub, us = uniq // 2 // M, uniq // 2 % M, (uniq % 2).astype(float)

rng = np.random.default_rng(11)
boot = np.array([fit_bt(ua, ub, us, rng.multinomial(len(a), cnt / len(a)))[0]
                 for _ in range(1000)])                 # 경기를 복원 추출해 다시 맞춘다
ranks = (-boot).argsort(1).argsort(1) + 1               # 부트스트랩마다 순위
for k, m in enumerate(board, 1):
    lo, hi = np.percentile(boot[:, m], [2.5, 97.5])
    rlo, rhi = np.percentile(ranks[:, m], [2.5, 97.5])
    print(f"{k:>2}위 {names[m]}  SE {se[m]:4.1f} / 부트 {boot[:, m].std():4.1f}  "
          f"구간 {lo:6.1f}~{hi:6.1f}  순위 {rlo:.0f}~{rhi:.0f}")
 1위 A  SE  3.5 / 부트  3.5  구간 1306.8~1320.7  순위 1~2
 2위 H  SE 13.5 / 부트 14.0  구간 1265.3~1319.7  순위 1~6
 3위 B  SE  3.6 / 부트  3.5  구간 1272.1~1285.3  순위 2~4
 4위 C  SE  3.7 / 부트  3.7  구간 1266.2~1280.5  순위 3~6
 5위 E  SE  3.6 / 부트  3.6  구간 1262.9~1277.0  순위 3~6
 6위 D  SE  3.9 / 부트  3.8  구간 1261.2~1276.3  순위 3~6
 7위 F  SE  4.2 / 부트  4.1  구간 1231.0~1247.3  순위 7~7
 8위 G  SE  4.1 / 부트  4.3  구간 1194.1~1210.9  순위 8~8
 9위 I  SE  4.6 / 부트  4.6  구간 1125.1~1143.3  순위 9~9
10위 J  SE  5.3 / 부트  5.2  구간 1076.0~1096.5  순위 10~10
11위 K  SE  5.4 / 부트  5.4  구간 1044.1~1065.5  순위 11~11
12위 L  SE  6.8 / 부트  6.6  구간  972.5~ 999.1  순위 12~12

두 표준오차가 거의 같습니다. 600경기의 H만 부트스트랩 쪽이 14.0으로 조금 크고, 나머지는 소수 첫째 자리에서 갈립니다. 이 정도 데이터에서는 피셔 정보 근사로 충분하고, 경기가 수십 번뿐인 모델이 끼어 있다면 부트스트랩 쪽을 믿는 편이 안전합니다. 하지만 부트스트랩의 진짜 쓸모는 표준오차가 아니라 마지막 열에 있습니다.

순위 구간

부트스트랩 표본마다 점수를 다시 맞췄으니 순위도 다시 셀 수 있습니다. 천 번의 순위에서 2.5%와 97.5% 지점을 읽은 것이 순위 구간입니다. 점수의 구간은 피셔 정보로도 낼 수 있지만, 순위는 점수 열두 개를 정렬해서 나오는 값이라 해석식이 없습니다. 부트스트랩 글에서 F1에 식이 없을 때 쓴 것과 같은 이유로 여기서도 다시 뽑기가 답입니다.

부트스트랩 1,000번에서 읽은 열두 모델의 순위 구간, 1~6위가 서로 겹친다

H의 순위 구간은 16위입니다. 천 번 가운데 2위였던 것이 715번이지만, 1위였던 것도 83번, 6위였던 것도 44번입니다. 3위 B는 24위, 46위의 C·E·D는 셋 다 36위로 구간이 같습니다. 7위 F부터는 구간이 한 칸으로 좁혀집니다. 순위표 위쪽 여섯 줄은 「여섯 모델이 대략 이 순서」라는 뜻이고, 아래쪽 여섯 줄은 「정확히 이 순서」라는 뜻입니다. 같은 모양의 숫자 열두 줄이 실제로는 두 종류의 정보를 담고 있었습니다.

차이의 판정

점수차의 구간

순위 구간이 겹친다는 것만으로는 「B와 E 가운데 어느 쪽이 나은가」에 답하지 못합니다. 두 모델을 직접 묻는 값은 점수의 차이이고, 그 차이의 분산은 공분산 행렬에서 바로 나옵니다.

Var(R^i−R^j)=Vii+Vjj−2Vij\mathrm{Var}(\hat R_i - \hat R_j) = V_{ii} + V_{jj} - 2V_{ij}

마지막 항이 중요합니다. 두 모델이 같은 상대들과 붙었다면 추정값이 함께 움직여 공분산이 생기고, 그만큼 차이는 각각보다 덜 흔들립니다. 그래서 구간 두 개가 겹치는지 눈으로 보는 것보다 차이의 구간을 직접 재는 편이 정확합니다. 부트스트랩 표본에서는 i가 j보다 위에 선 비율도 셀 수 있습니다.

def compare(i, j):
    d = R[i] - R[j]
    sd = np.sqrt(V[i, i] + V[j, j] - 2 * V[i, j])       # 차이의 표준오차
    p_boot = (boot[:, i] > boot[:, j]).mean()           # 부트스트랩에서 i가 위인 비율
    print(f"{names[i]}−{names[j]}  {d:5.1f} ± {1.96 * sd:4.1f}  "
          f"승률 {expected(d):.3f}  위에 선 비율 {p_boot:.3f}")

for k in range(7):                                      # 이웃한 순위끼리
    compare(board[k], board[k + 1])
compare(board[2], board[4])                             # 3위와 5위

for gap in [10, 30, 50]:                                # 1.96·SE가 차이와 같아지는 직접 대전 수
    q = expected(gap)
    print(f"{gap}점 차를 직접 대전만으로 가르려면 {(1.96 / (c * gap))**2 / (q * (1 - q)):6.0f}경기")
A−H   22.5 ± 29.4  승률 0.532  위에 선 비율 0.917
H−B   12.9 ± 29.5  승률 0.519  위에 선 비율 0.803
B−C    4.9 ±  9.7  승률 0.507  위에 선 비율 0.848
C−E    3.4 ±  9.6  승률 0.505  위에 선 비율 0.751
E−D    1.6 ± 10.0  승률 0.502  위에 선 비율 0.618
D−F   29.5 ± 11.0  승률 0.542  위에 선 비율 1.000
F−G   36.7 ± 11.4  승률 0.553  위에 선 비율 1.000
B−E    8.3 ±  9.4  승률 0.512  위에 선 비율 0.957

이웃한 순위 가운데 차이의 95% 구간이 0을 넘지 않는 것, 곧 「±」 앞의 수가 뒤의 수보다 큰 것은 D와 F, F와 G 사이뿐입니다. 1위와 2위, 2위와 3위, 3위부터 6위까지의 이웃 쌍은 모두 구간이 0을 포함합니다. 6위와 7위 사이에 29.5점의 틈이 있고, 그 틈을 경계로 순위표가 「갈리지 않는 위쪽 무리」와 「한 칸씩 갈리는 아래쪽」으로 나뉩니다. 앞 절의 순위 구간이 보여 준 그림과 같은 결론입니다.

3위와 5위

맨 앞의 질문은 마지막 줄입니다. B가 E보다 8.3점 높고, 차이의 95% 구간은 −1.1점부터 17.7점까지입니다. 0이 구간 안에 있으므로 「B가 E보다 낫다」는 이 데이터로 아직 말할 수 없습니다.

같은 줄의 「위에 선 비율 0.957」이 헷갈리게 만듭니다. 천 번 다시 뽑은 것 가운데 957번 B가 위였는데 왜 말할 수 없을까요. 95% 구간은 양쪽으로 2.5%씩 남기는 구간이라, 구간이 0을 넘지 않으려면 한쪽에 선 비율이 97.5%를 넘어야 합니다. 95.7%는 그 문턱 바로 아래입니다. 「B가 위일 가능성이 꽤 높다」까지는 말할 수 있지만, 「갈렸다」고 판정하는 기준에는 모자랍니다. 그리고 실제로도 진짜 강도는 B가 1280.2, E가 1264.2로 16점 차이였습니다. 데이터는 방향을 맞게 가리키고 있었지만, 그 방향을 확정할 만큼은 쌓이지 않았던 것입니다.

설령 갈렸다 해도 크기를 같이 읽어야 합니다. 8.3점 차이는 승률 0.512입니다. 직원들이 B와 E를 백 번 견주면 B를 51번쯤 고른다는 뜻입니다. 기본 모델을 바꾸는 비용을 이 차이와 견줄 일이고, 비용이나 응답 속도처럼 순위표에 안 적힌 것이 결정을 더 크게 좌우할 가능성이 큽니다.

필요한 대전 수

출력의 마지막 세 줄은 반대 방향의 질문에 답합니다. 두 모델을 직접 붙여서 차이를 95% 구간으로 가르려면 몇 경기가 필요할까요. 55번의 표준오차 식을 Elo 눈금으로 옮겨, 차이가 표준오차의 1.96배가 되는 nn 을 풀면

n=1p(1−p)(1.96c Δ)2n = \frac{1}{p(1-p)} \left(\frac{1.96}{c\,\Delta}\right)^2

입니다. Δ\Delta 가 Elo 점수차이고 pp 는 그 차이의 기대 승점입니다.

10점 차를 직접 대전만으로 가르려면   4641경기
30점 차를 직접 대전만으로 가르려면    519경기
50점 차를 직접 대전만으로 가르려면    189경기

Δ\Delta 가 분모에서 제곱으로 들어가므로 차이가 3분의 1이 되면 필요한 경기가 약 9배가 됩니다. 10점 차이는 같은 쌍을 4,641번 붙여야 가려집니다. 실제 아레나에서 B와 E가 직접 붙은 경기는 1,412번뿐이었고, 나머지 정보는 공통 상대들을 거쳐 들어왔습니다. 55번에서 본 것처럼 사슬을 건너는 정보는 직접 비교보다 약하므로, 순위표의 10점 차이는 대부분 「아직 모름」이라고 읽는 것이 맞습니다. 반대로 50점 차이는 189경기면 가려지니, 새 모델이 몇백 경기 안에 50점 넘게 앞서거나 뒤처지면 그것은 꽤 믿을 만한 신호입니다.

여러 쌍의 비교

한 가지를 더 조심해야 합니다. 모델이 열두 개면 쌍은 66개입니다. 쌍마다 95% 구간으로 판정하면, 진짜로는 차이가 없는 쌍이 여럿 있을 때 그중 일부가 우연히 「갈렸다」로 나옵니다. 66쌍이 전부 차이가 없다고 해도 평균 3.3쌍이 그렇게 걸립니다. 이것을 다중 비교 문제라 부릅니다. 순위표 전체를 훑으며 갈린 쌍을 찾는다면 문턱을 쌍 수만큼 엄격하게 올리거나, 위의 순위 구간처럼 순위 전체를 한꺼번에 다시 뽑아 읽는 편이 안전합니다. 「3위와 5위」처럼 미리 정해 둔 한 쌍을 묻는 것이라면 이 걱정은 필요 없습니다.

이 모의 아레나의 66쌍 가운데 95% 구간이 0을 포함하는 쌍은 11개였고, 전부 위쪽 여섯 모델 사이의 쌍이었습니다. A는 B·C·D·E와는 갈렸지만 H와는 갈리지 않았고, H는 위쪽 다섯 누구와도 갈리지 않았습니다. 600경기의 막대가 그만큼 넓기 때문입니다.

정리

처음 장면

「3위 B가 9점 높은데 바꿔야 하나요?」라는 질문으로 돌아갑니다. 답은 「아직 알 수 없다」입니다. B와 E의 차이는 8.3점에 95% 구간 −1.117.7점이고, 다시 뽑은 천 번 가운데 B가 위였던 것이 95.7%라 갈렸다고 판정하는 문턱에 조금 못 미칩니다. 갈렸다 해도 승률 51.2%의 차이입니다. 순위표에서 3위부터 6위까지는 순위 구간이 36위로 겹치는 한 무리이고, 그 안의 순서는 데이터가 아직 정하지 않았습니다.

「600경기 만에 2위인 H를 믿어도 되나요?」에도 답할 수 있습니다. H의 점수는 1291점이지만 95% 구간이 ±26.5점으로 이웃의 네 배쯤 넓고, 순위 구간은 1~6위입니다. 2위일 가능성이 가장 높지만 1위일 수도 6위일 수도 있습니다. 직접 대전 50점 차이는 189경기면 가려지니, H에 몇백 경기를 더 배정하면 이 넓은 막대가 빠르게 좁혀질 것입니다. 그리고 순위표를 시간순 Elo로 만들었다면, 사내 기본 모델 E는 순서의 운 하나로 1248점까지 내려가 7위에 서 있었을 것입니다.

핵심 정리

  • Elo의 기대 승점 EA=1/(1+10(RB−RA)/400)E_A = 1/(1+10^{(R_B-R_A)/400}) 은 Bradley-Terry 모델 σ(c (RA−RB))\sigma(c\,(R_A-R_B)) 이고 c=ln⁡10/400=0.005756c = \ln 10/400 = 0.005756 이다. Elo 점수는 강도에 173.7을 곱한 눈금이다. 10점은 승률 0.514, 50점은 0.572, 400점은 0.909다.
  • 한 경기의 로그가능도 Sln⁡EA+(1−S)ln⁡(1−EA)S\ln E_A + (1-S)\ln(1-E_A) 를 RAR_A 로 미분하면 c (S−EA)c\,(S - E_A) 다. Elo 갱신식 RA←RA+K(S−EA)R_A \leftarrow R_A + K(S-E_A) 는 이 로그가능도에 대한 확률적 경사상승 한 걸음이고 K=ηcK = \eta c 다.
  • 갱신에서 얻은 만큼 상대가 잃으므로 점수 합이 보존된다. 시작값이 평행이동 자유도를 묶고, 그래서 다른 순위표의 점수와 직접 견줄 수 없다.
  • K는 학습률이다. 진짜 50점 차이에서 K = 4는 140경기 만에 40점에 다가가고 SD 26.6으로 맴돌며, K = 32는 17경기 만에 다가가고 SD 78.3으로 맴돈다. 고정된 K는 최근 89경기 남짓만 기억해, 같은 3,000경기를 한꺼번에 쓴 추정(SD 6.4)보다 네 배 흔들린다.
  • 온라인 갱신은 경기 순서에 따라 결과가 다르다. 같은 4만 600경기를 섞기만 해도 모델마다 SD 12~18점이 움직였고, 진짜 1위가 1위에 선 것은 백 번 중 여든 번이었다. 일괄 최대가능도는 순서가 식에 없고, 뉴턴법으로 몇 걸음 만에 푼다.
  • 공분산은 피셔 정보 행렬 ∑tpt(1−pt)xtxt⊤\sum_t p_t(1-p_t)x_t x_t^{\top} 의 의사역행렬로 근사하고, 표준오차는 대략 경기 수의 제곱근에 반비례한다. 600경기 모델은 1만 경기 모델보다 3.9배 넓었다. 경기 단위 부트스트랩이 같은 값을 내고, 해석식이 없는 순위 구간까지 준다.
  • 두 모델이 갈리는지는 각자의 구간이 아니라 차이의 구간으로 판정하고, 그 분산은 Vii+Vjj−2VijV_{ii} + V_{jj} - 2V_{ij} 다. 직접 대전만으로 10점 차이를 가르려면 4,641경기, 50점이면 189경기가 든다. 쌍을 여럿 훑을 때는 다중 비교를 감안한다.

이 글에서는 모델이 내놓는 기대 승점을 그대로 믿었습니다. 「B가 E를 이길 확률 0.512」라는 숫자가 실제 빈도와 맞는지는 묻지 않았습니다. 다음 글 중급 79번 · 보정에서는 바로 그 질문, 모델이 말하는 확률을 믿어도 되는가를 다룹니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN