수학

MATH / 중급 79번

보정: 모델이 말하는 확률을 믿어도 되는가

신뢰도 0.9라고 한 답 중 실제로 90%가 맞는지를 묻는 보정을 신뢰도-정확도 도표, ECE, Brier 점수와 그 분해로 재고, 온도 스케일링으로 고칩니다. ECE가 빈 개수와 표본 수에 따라 흔들리는 폭까지 모의 분류기 5,000건으로 계산합니다.

PALDYN Team49 MIN READ

고객 문의를 결제·배송·계정·기술 네 부서로 나누는 분류기를 작은 LLM으로 만들었습니다. 문의 하나를 넣으면 모델이 네 부서 이름 각각에 로그확률을 내고, 그것을 확률로 바꾼 값 가운데 가장 큰 것을 그 답의 확신으로 씁니다. 규칙은 간단합니다. 확신이 0.9 이상이면 그 부서로 바로 보내고, 아래면 상담원이 직접 읽습니다. 「0.9 이상만 자동으로 보내니 잘못 보내는 것은 10%를 넘지 않을 것」이라는 계산이었습니다. 한 달 뒤 자동 처리된 문의를 상담원이 다시 매겨 보니 문의의 49.3%가 자동으로 나갔고, 그중 맞게 간 것은 84.1%였습니다. 잘못 보낸 비율이 15.9%로, 약속한 10%의 1.6배입니다.

모델의 분류 실력이 모자란 것은 문제가 아닙니다. 문제는 모델이 0.9라고 말한 숫자를 「열에 아홉은 맞는다」로 읽었다는 데 있습니다. 지난 글에서는 Bradley-Terry 모형이 내놓은 기대 승점을 그대로 승률로 읽었습니다. 이 글은 그 읽기가 언제 정당한지를 묻습니다. 모델이 말하는 확률이 실제 빈도와 맞는지를 재는 도구 셋(신뢰도-정확도 도표, ECE, Brier 점수)을 만들고, 맞지 않을 때 숫자 하나로 고치는 온도 스케일링을 유도한 뒤, 라우팅 규칙으로 돌아와 무엇이 고쳐지고 무엇이 그대로인지 확인합니다.

보정

신뢰도

분류 모델은 보기마다 점수 하나, 곧 로짓을 냅니다. LLM이라면 부서 이름의 첫 토큰에 붙은 로그확률이 그 자리에 섭니다. 로짓 벡터 zz 에 softmax를 씌우면 보기마다 확률이 나오고, 모델은 그중 가장 큰 것을 답으로 고릅니다. 그 답에 매긴 확률을 신뢰도라 부르겠습니다.

y^=arg⁡max⁡kzk,conf=max⁡kezk∑jezj\hat y = \arg\max_k z_k, \qquad \text{conf} = \max_k \frac{e^{z_k}}{\sum_j e^{z_j}}

softmax가 왜 이 모양인지는 softmax 유도에서 보았습니다. 여기서 중요한 것은 신뢰도가 답 하나에 붙는 숫자이고, 그 답이 맞았는지는 나중에 0 또는 1로 관측된다는 점입니다. 신뢰도는 예측이고 맞음은 결과입니다. 둘을 많이 모아 놓으면 예측이 결과와 맞았는지 셀 수 있습니다.

보정의 정의

모델이 신뢰도 0.8이라고 말한 답만 모았을 때 그중 80%가 맞으면, 그리고 이것이 어느 신뢰도 값에서나 성립하면 그 모델은 보정되어 있다고 합니다. 식으로 적으면 이렇습니다.

P(y^=y∣conf=p)=p(모든 p 에 대해)P(\hat y = y \mid \text{conf} = p) = p \quad \text{(모든 } p \text{ 에 대해)}

왼쪽은 신뢰도가 pp 인 답들 가운데 실제로 맞는 비율이고, 오른쪽은 모델이 말한 값입니다. 보정은 답 하나에 대한 성질이 아니라 같은 숫자를 말한 답들의 무리에 대한 성질입니다. 답 하나를 놓고 「0.8이 맞았다」고 할 길은 없습니다. 그 답은 맞거나 틀릴 뿐이고, 0.8은 그런 답을 많이 모았을 때의 빈도에 대한 약속입니다.

왼쪽이 오른쪽보다 작으면, 곧 말한 것보다 덜 맞으면 과신이고, 반대로 말한 것보다 더 맞으면 과소신입니다. 처음 장면의 분류기는 0.9 이상이라고 말한 답이 84.1%만 맞았으니 과신입니다. 최근 신경망 분류기는 정확도는 높아도 과신 쪽으로 기우는 일이 흔하다고 알려져 있고, 사전학습만 한 언어 모델의 로그확률이 비교적 잘 맞다가 지시 학습과 RLHF를 거친 뒤 과신으로 기운다는 보고도 있습니다. 어느 쪽이든 「이 모델의 숫자를 믿어도 되는가」는 데이터로 재야 하는 질문입니다.

모의 분류기

실험을 위해 정답을 아는 모의 분류기를 만듭니다. 문의마다 네 부서의 「진짜」 로짓 uu 를 정규분포에서 뽑고, 정답 부서를 softmax(uu)의 확률로 뽑습니다. 이렇게 하면 uu 로 낸 확률은 정의상 완벽히 보정되어 있습니다. 모델은 이 로짓을 2배로 부풀린 2u2u 를 냅니다. 순서는 그대로라 고르는 답은 같지만, 큰 것은 더 크게 말하는 과신 모델입니다. 상담원이 정답을 매긴 문의 5,000건은 나중에 보정에 쓸 검증 세트로, 다른 5,000건은 평가용 시험 세트로 둡니다.

import numpy as np

def softmax(z):
    z = z - z.max(axis=1, keepdims=True)
    e = np.exp(z)
    return e / e.sum(axis=1, keepdims=True)

def make_set(n, spread, t_model, rng):
    u = rng.normal(0, spread, (n, 4))                  # 문항마다 보기 넷의 '진짜' 로짓
    p = softmax(u)                                     # 정답이 각 보기일 진짜 확률
    y = (rng.random(n)[:, None] > p.cumsum(1)).sum(1)  # 정답을 그 확률로 뽑는다
    return t_model * u, y                              # 모델은 로짓을 t_model배로 부풀려 낸다

rng = np.random.default_rng(0)
z_val, y_val = make_set(5000, 2.0, 2.0, rng)           # 온도를 맞출 검증 세트
z_test, y_test = make_set(5000, 2.0, 2.0, rng)         # 평가용 시험 세트

def top(z, y, T=1.0):
    p = softmax(z / T)
    return p.max(1), p.argmax(1) == y                  # 신뢰도, 맞았나

conf, corr = top(z_test, y_test)
print(f"정확도 {corr.mean():.3f}  평균 신뢰도 {conf.mean():.3f}")
for th in [0.8, 0.9]:
    m = conf >= th
    print(f"신뢰도 ≥ {th}  통과 {m.mean():.1%}  그중 정확도 {corr[m].mean():.3f}"
          f"  그중 평균 신뢰도 {conf[m].mean():.3f}")
정확도 0.688  평균 신뢰도 0.827
신뢰도 ≥ 0.8  통과 63.5%  그중 정확도 0.795  그중 평균 신뢰도 0.945
신뢰도 ≥ 0.9  통과 49.3%  그중 정확도 0.841  그중 평균 신뢰도 0.972

정확도는 68.8%인데 평균 신뢰도는 82.7%입니다. 모델은 평균적으로 14%포인트쯤 더 자신 있게 말합니다. 신뢰도 0.9 이상인 답은 평균 신뢰도가 0.972인데 실제로는 84.1%가 맞았고, 이것이 처음 장면의 숫자입니다. 문턱을 0.8로 내리면 63.5%가 통과하고 그중 79.5%만 맞습니다.

신뢰도-정확도 도표

빈

보정의 정의는 「신뢰도가 정확히 pp 인 답들」을 요구하지만 신뢰도는 연속값이라 같은 값을 말한 답이 둘도 없습니다. 그래서 신뢰도를 구간으로 나눈 칸, 곧 빈에 답을 담고 빈마다 평균 신뢰도와 정확도를 견줍니다. 가장 흔한 방법은 0부터 1까지를 같은 폭의 빈 MM 개로 자르는 것입니다. 빈 BmB_m 에 든 답이 nmn_m 개라면

conf(Bm)=1nm∑i∈Bmconfi,acc(Bm)=1nm∑i∈Bm1[y^i=yi]\text{conf}(B_m) = \frac{1}{n_m} \sum_{i \in B_m} \text{conf}_i, \qquad \text{acc}(B_m) = \frac{1}{n_m} \sum_{i \in B_m} \mathbf{1}[\hat y_i = y_i]

입니다. 빈 하나가 신뢰도 「대략 이 정도」라고 말한 답들의 무리이고, 두 값이 같으면 그 빈은 보정되어 있습니다. 네 보기 중 가장 큰 확률이므로 신뢰도는 0.25 아래로 내려가지 않고, 아래쪽 빈 몇 개는 비어 있습니다.

def bin_stats(conf, corr, M=10):
    idx = np.minimum((conf * M).astype(int), M - 1)    # 폭이 1/M인 빈의 번호
    n = np.bincount(idx, minlength=M)
    c = np.bincount(idx, conf, M) / np.maximum(n, 1)   # 빈마다 평균 신뢰도
    a = np.bincount(idx, corr, M) / np.maximum(n, 1)   # 빈마다 정확도
    return n, c, a

def ece(conf, corr, M=10):
    n, c, a = bin_stats(conf, corr, M)
    return np.sum(n / n.sum() * np.abs(c - a))

n, c, a = bin_stats(conf, corr, 10)
for b in np.flatnonzero(n):
    print(f"[{b/10:.1f}, {(b+1)/10:.1f})  {n[b]:5d}문항  신뢰도 {c[b]:.3f}"
          f"  정확도 {a[b]:.3f}  차 {c[b]-a[b]:+.3f}")
print(f"ECE (빈 10개) = {ece(conf, corr, 10):.4f}")
[0.3, 0.4)     45문항  신뢰도 0.371  정확도 0.422  차 -0.051
[0.4, 0.5)    231문항  신뢰도 0.464  정확도 0.403  차 +0.061
[0.5, 0.6)    501문항  신뢰도 0.550  정확도 0.489  차 +0.061
[0.6, 0.7)    503문항  신뢰도 0.649  정확도 0.515  차 +0.134
[0.7, 0.8)    546문항  신뢰도 0.753  정확도 0.553  차 +0.200
[0.8, 0.9)    710문항  신뢰도 0.853  정확도 0.637  차 +0.216
[0.9, 1.0)   2464문항  신뢰도 0.972  정확도 0.841  차 +0.131
ECE (빈 10개) = 0.1399

도표 읽기

빈마다 평균 신뢰도를 가로에, 정확도를 세로에 놓고 막대로 그린 것을 신뢰도-정확도 도표라 합니다. 영어로는 reliability diagram이라 부릅니다. 보정된 모델이라면 막대 끝이 대각선 위에 놓입니다.

보정 전과 온도 보정 뒤의 신뢰도-정확도 도표, 빈 10개

왼쪽이 이 모델입니다. 0.4 위의 빈은 전부 막대가 대각선 아래에 있고, 빨간 칸이 말한 것과 실제의 차이입니다. 신뢰도 0.85 언저리라고 말한 710건은 63.7%만 맞았고, 0.75 언저리라고 말한 546건은 55.3%만 맞았습니다. 맨 아래 빈 하나만 초록 칸으로, 0.371이라고 말한 45건이 42.2% 맞아 살짝 과소신입니다. 오른쪽 그림은 5절에서 만들 보정 뒤의 모습이고, 막대가 거의 대각선에 붙어 있습니다.

도표를 읽을 때 놓치기 쉬운 것이 빈마다 든 답의 수입니다. 맨 위 빈 [0.9, 1.0)에 2,464건, 곧 전체의 49.3%가 몰려 있습니다. 막대의 높이는 빈마다 하나씩이지만 무게는 이렇게 다릅니다. 45건짜리 빈의 −0.051과 2,464건짜리 빈의 +0.131을 같은 무게로 읽으면 안 되고, 그래서 도표를 숫자 하나로 줄일 때는 빈마다 든 답의 비율로 가중합니다. 그 숫자가 다음 절의 ECE입니다.

ECE

정의와 계산

빈마다 신뢰도와 정확도의 차이를 절댓값으로 재고, 빈에 든 답의 비율로 가중 평균한 값을 ECE(expected calibration error)라 합니다.

ECE=∑m=1MnmN ∣acc(Bm)−conf(Bm)∣\text{ECE} = \sum_{m=1}^{M} \frac{n_m}{N} \,\big|\text{acc}(B_m) - \text{conf}(B_m)\big|

NN 은 전체 답의 수입니다. 위 표에 대입하면 일곱 빈이 각각 0.0005, 0.0028, 0.0061, 0.0135, 0.0218, 0.0307, 0.0646을 보태고, 합이 0.1399입니다. 맨 위 빈 하나가 거의 절반을 냅니다. 같은 자리에 절댓값 대신 최댓값을 쓰면 가장 나쁜 빈의 차이를 재는 MCE가 되고, 이 모델에서는 0.216입니다.

ECE 0.1399는 평균 신뢰도 0.827과 정확도 0.688의 차이 0.139와 거의 같습니다. 우연이 아닙니다. 모든 빈이 같은 쪽, 곧 과신 쪽으로 어긋나 있으면 절댓값을 벗겨도 부호가 같으니 가중 평균이 전체 평균의 차이가 됩니다. 남는 0.0009는 과소신인 맨 아래 빈 하나가 빼는 대신 더해진 몫입니다(2×45×0.051/50002 \times 45 \times 0.051 / 5000). 빈마다 부호가 다를 때 비로소 빈을 나누는 일이 의미를 갖습니다.

빈 속 상쇄

그 반대가 ECE의 첫 번째 약점입니다. 한 빈 안에 과신하는 답과 과소신하는 답이 섞여 있으면 빈의 평균에서 둘이 서로를 지웁니다. 답 열 개로 보겠습니다. 신뢰도 0.95, 0.92, 0.90, 0.88, 0.85인 다섯 개 가운데 셋이 맞았고, 0.58, 0.55, 0.50, 0.47, 0.40인 다섯 개 가운데 넷이 맞았습니다.

답 열 개를 빈 하나와 빈 둘로 나눴을 때 ECE가 0과 0.30으로 갈리는 예

빈을 하나만 두면 평균 신뢰도가 7.00/10=0.707.00/10 = 0.70, 정확도가 7/10=0.707/10 = 0.70 이라 ECE는 0입니다. 0.7에서 빈을 둘로 가르면 위쪽은 신뢰도 0.90에 정확도 0.60, 아래쪽은 신뢰도 0.50에 정확도 0.80입니다.

ECE=510 ∣0.60−0.90∣+510 ∣0.80−0.50∣=0.15+0.15=0.30\text{ECE} = \tfrac{5}{10}\,|0.60 - 0.90| + \tfrac{5}{10}\,|0.80 - 0.50| = 0.15 + 0.15 = 0.30

같은 답 열 개가 빈을 어떻게 자르느냐에 따라 「완벽」과 「30%포인트 어긋남」을 오갑니다. 빈을 늘리면 상쇄가 줄어드는 대신, 다음 소절에서 보듯 다른 문제가 커집니다. 같은 폭으로 자르지 않고 빈마다 답의 수가 같도록 자르는 같은 질량 빈도 흔히 씁니다. 답이 위쪽에 몰려 있을 때 빈 대부분이 텅 비는 일을 막아 줍니다.

빈 개수와 표본 수

두 번째 약점은 ECE가 보정의 성질만 재지 않고 표본의 잡음까지 함께 잰다는 것입니다. 빈 하나의 정확도는 그 빈에 든 답들로 낸 추정값이라 표준오차만큼 흔들립니다. 완벽히 보정된 모델이라도 빈마다 정확도가 진짜 값 위아래로 튀고, ECE는 그 차이에 절댓값을 씌우니 위로 튄 것과 아래로 튄 것이 둘 다 양수로 쌓입니다. 그래서 ECE는 0보다 큰 쪽으로 치우친 추정량입니다.

얼마나 치우치는지 잽니다. 이 모델과 같은 데이터에서 빈 개수만 바꿔 ECE를 다시 재고, 로짓을 부풀리지 않은 완벽히 보정된 모델을 문항 500개짜리와 5,000개짜리 세트로 200번씩 새로 뽑아 ECE의 평균을 냅니다.

def ece_mass(conf, corr, M=10):                        # 빈마다 문항 수가 같게 자른다
    order = np.argsort(conf)
    return sum(len(g) / len(conf) * abs(conf[g].mean() - corr[g].mean())
               for g in np.array_split(order, M))

Ms = [5, 10, 15, 20, 50, 100, 500]
print("빈 개수        " + "".join(f"{M:>7}" for M in Ms))
print("이 모델(폭)    " + "".join(f"{ece(conf, corr, M):7.4f}" for M in Ms))
print("이 모델(질량)  " + "".join(f"{ece_mass(conf, corr, M):7.4f}" for M in Ms))

rng2 = np.random.default_rng(1)
for n_q in [500, 5000]:                                # 완벽히 보정된 모델을 200번 새로 뽑는다
    vals = []
    for _ in range(200):
        z, y = make_set(n_q, 2.0, 1.0, rng2)           # 부풀리지 않은 로짓 = 진짜 확률
        cf, cr = top(z, y)
        vals.append([ece(cf, cr, M) for M in Ms])
    print(f"보정됨 n={n_q:<5}" + "".join(f"{v:7.4f}" for v in np.mean(vals, 0)))
빈 개수              5     10     15     20     50    100    500
이 모델(폭)     0.1399 0.1399 0.1399 0.1399 0.1404 0.1428 0.1600
이 모델(질량)   0.1390 0.1390 0.1390 0.1390 0.1390 0.1406 0.1592
보정됨 n=500   0.0269 0.0387 0.0474 0.0554 0.0859 0.1211 0.2418
보정됨 n=5000  0.0092 0.0124 0.0153 0.0172 0.0276 0.0385 0.0860

빈 개수 5~500에 따른 ECE, 보정 전 모델과 온도 보정 뒤와 완벽히 보정된 모델 두 표본 크기

보정 전 모델의 ECE는 빈 5개부터 20개까지 0.1399로 꿈쩍하지 않습니다. 앞 소절에서 본 대로 어긋남이 한 방향이라 빈을 어떻게 잘라도 같고, 어긋남이 이만큼 크면 빈 개수 탓에 결론이 바뀌지 않습니다. 같은 질량 빈으로 재면 0.1390으로, 평균 신뢰도와 정확도의 차이 그대로입니다.

완벽히 보정된 모델은 다릅니다. 진짜 ECE가 0인데, 문항 5,000개에서 빈 10개로 재면 평균 0.0124, 빈 100개면 0.0385가 나옵니다. 문항이 500개뿐이면 빈 10개에서 0.0387, 빈 100개에서 0.1211입니다. 빈 100개로 잰 완벽한 모델이 빈 10개로 잰 보정 전 모델과 비슷한 숫자를 받는 셈입니다. 이 바닥은 대략 M/N\sqrt{M/N} 에 비례합니다. 문항을 10배로 늘리면 빈 10개에서 0.0387/0.0124=3.10.0387/0.0124 = 3.1 배, 빈 100개에서 0.1211/0.0385=3.10.1211/0.0385 = 3.1 배 줄어드는데 10=3.16\sqrt{10} = 3.16 입니다. 빈 하나에 든 답이 N/MN/M 개 안팎이고 그 정확도의 표준오차가 1/N/M1/\sqrt{N/M} 에 비례하니 당연한 결과입니다.

그래서 ECE 숫자 하나는 빈 개수와 표본 크기를 함께 적지 않으면 읽을 수 없습니다. 두 모델의 ECE를 견줄 때는 같은 빈 개수, 같은 시험 세트로 재야 하고, 그 차이가 이 바닥보다 큰지부터 봐야 합니다. 논문에서 흔히 보는 빈 15개는 관습이지 근거가 있는 값이 아닙니다.

Brier 점수

정의

ECE는 빈이라는 손잡이에 기대는 것이 약점이었습니다. 빈 없이 답마다 바로 계산하는 점수가 있습니다. 신뢰도 qiq_i 와 맞음 여부 oi∈{0,1}o_i \in \{0, 1\} 의 차이를 제곱해 평균한 것을 Brier 점수라 합니다.

BS=1N∑i=1N(qi−oi)2\text{BS} = \frac{1}{N} \sum_{i=1}^{N} (q_i - o_i)^2

맞은 답에 1을, 틀린 답에 0을 말했으면 0점이고 낮을수록 좋습니다. 날씨 예보에서 「비 올 확률 70%」를 채점하려고 만든 점수라 확률 예보 일반에 씁니다.

이 점수가 쓸 만한 이유는 정직하게 말할 때 가장 유리하다는 데 있습니다. 어떤 답이 실제로 맞을 확률이 pp 인데 모델이 qq 라고 말한다면, 그 답 하나의 Brier 점수의 기댓값은

E[(q−O)2]=p (q−1)2+(1−p) q2=(q−p)2+p (1−p)\mathbb{E}\big[(q - O)^2\big] = p\,(q-1)^2 + (1-p)\,q^2 = (q - p)^2 + p\,(1-p)

입니다. 둘째 항은 qq 와 무관하고 첫째 항은 q=pq = p 일 때만 0이므로, 기대 점수를 가장 낮추는 길은 진짜 확률을 그대로 말하는 것뿐입니다. 이런 성질을 가진 점수를 적절한 점수 규칙이라 합니다. 교차엔트로피의 음의 로그가능도도 같은 성질을 가지며, 5절에서 온도를 맞출 때 그쪽을 씁니다.

세 항 분해

Brier 점수는 세 조각으로 나뉩니다. 답들을 신뢰도가 같은 무리 kk 로 묶고, 무리마다 말한 값 qkq_k, 그 무리의 정확도 oˉk\bar o_k, 전체 정확도 oˉ\bar o 를 두면

BS=∑knkN(qk−oˉk)2⏟신뢰성−∑knkN(oˉk−oˉ)2⏟분해능+oˉ (1−oˉ)⏟불확실성\text{BS} = \underbrace{\sum_k \frac{n_k}{N}(q_k - \bar o_k)^2}_{\text{신뢰성}} - \underbrace{\sum_k \frac{n_k}{N}(\bar o_k - \bar o)^2}_{\text{분해능}} + \underbrace{\bar o\,(1-\bar o)}_{\text{불확실성}}

입니다. 첫 항 신뢰성은 말한 값과 실제 빈도의 거리로, ECE에서 절댓값을 제곱으로 바꾼 것과 같고 보정된 모델이면 0입니다. 둘째 항 분해능은 무리들의 정확도가 전체 정확도에서 얼마나 벗어나 있는지입니다. 쉬운 문의와 어려운 문의를 서로 다른 신뢰도로 가려낼수록 커지고, 앞에 빼기가 붙어 점수를 낮춥니다. 셋째 항 불확실성은 모델과 무관하게 문제 자체가 얼마나 어려운지이고, 전체 정확도 oˉ\bar o 를 이 데이터의 기저율이라 부릅니다.

이 등식은 무리 안의 신뢰도가 모두 같을 때 정확히 성립합니다. 신뢰도가 연속값이면 빈으로 묶은 분해가 근사가 되고, 빈 안에서 신뢰도가 흩어진 몫만큼 어긋납니다. 둘 다 계산합니다.

def brier_parts(conf, corr, group):
    w = np.bincount(group) / len(group)                # 묶음마다 문항 비율
    keep = w > 0
    c = np.bincount(group, conf)[keep] / np.bincount(group)[keep]
    a = np.bincount(group, corr)[keep] / np.bincount(group)[keep]
    w, base = w[keep], corr.mean()
    rel = np.sum(w * (c - a) ** 2)                     # 신뢰성: 말한 확률과 실제 빈도의 거리
    res = np.sum(w * (a - base) ** 2)                  # 분해능: 묶음들이 기저율에서 벗어난 정도
    unc = base * (1 - base)                            # 불확실성: 문제 자체의 어려움
    return np.mean((conf - corr) ** 2), rel, res, unc

def show(name, conf, corr, group):
    bs, rel, res, unc = brier_parts(conf, corr, group)
    print(f"{name}  Brier {bs:.5f} = {rel:.5f} − {res:.5f} + {unc:.5f}"
          f"  (분해 합 {rel - res + unc:.5f})")

show("빈 10개 ", conf, corr, np.minimum((conf * 10).astype(int), 9))
r2 = np.round(conf, 2)                                 # 신뢰도를 0.01 단위로만 말하게 하면
show("값마다  ", r2, corr, np.unique(r2, return_inverse=True)[1])
flat = np.full_like(conf, corr.mean())                 # 늘 기저율만 말하는 예보
show("기저율  ", flat, corr, np.zeros(len(conf), int))
print(f"기저율 예보의 ECE {ece(flat, corr):.4f}")
빈 10개   Brier 0.20897 = 0.02182 − 0.02526 + 0.21451  (분해 합 0.21106)
값마다    Brier 0.20897 = 0.02667 − 0.03220 + 0.21451  (분해 합 0.20897)
기저율    Brier 0.21451 = 0.00000 − 0.00000 + 0.21451  (분해 합 0.21451)
기저율 예보의 ECE 0.0000

빈 10개로 묶은 분해는 합이 0.21106이라 실제 Brier 0.20897과 0.0021 어긋납니다. 신뢰도를 0.01 단위로 반올림해 말하게 하고 그 값마다 묶으면, 반올림한 예보의 Brier가 여전히 0.20897이고 세 항의 합이 그것과 다섯째 자리까지 같습니다. 반올림 탓에 점수가 달라지지 않을 만큼 0.01은 촘촘합니다.

보정과 변별

마지막 줄이 이 분해의 쓸모를 보여 줍니다. 문의를 보지도 않고 늘 기저율 0.688만 말하는 예보를 생각합니다. 무리가 하나뿐이고 그 무리의 정확도가 말한 값과 같으니 신뢰성이 0, ECE도 0입니다. 보정으로만 치면 완벽한 예보입니다. 하지만 어느 문의가 쉬운지 전혀 가려내지 못하므로 분해능도 0이고, Brier는 불확실성 0.21451 그대로입니다. 보정은 숫자가 정직한지를 재고, 쉬운 것과 어려운 것을 가려내는 변별은 따로 잽니다. 분해능이 그 변별의 몫입니다.

Brier 점수를 불확실성에서 시작해 신뢰성을 더하고 분해능을 빼는 세 걸음으로 나눈 그림

우리 모델은 분해능 0.0322를 벌어 놓고 신뢰성 0.0267로 거의 다 까먹어, 아무것도 안 보는 예보보다 겨우 0.0055 나은 0.2090에 섰습니다. 그림의 가운데 줄이 다음 절에서 만들 보정 뒤입니다. 분해능은 0.0328로 거의 그대로이고 신뢰성이 0.0023으로 줄어 Brier가 0.1840이 됩니다. 신뢰도를 정직하게 만드는 것만으로 변별력은 하나도 늘리지 않고 점수가 0.025 내려가는 것입니다.

온도 스케일링

온도

모의 분류기는 로짓을 2배로 부풀렸으니 2로 나누면 고쳐집니다. 실제 모델에서는 몇 배 부풀렸는지 모르지만, 같은 모양의 고침을 가정하고 그 배수를 데이터로 찾을 수는 있습니다. 로짓을 양수 TT 로 나눈 뒤 softmax를 씌우는 것이 온도 스케일링이고, TT 를 온도라 부릅니다.

pk(T)=ezk/T∑jezj/Tp_k(T) = \frac{e^{z_k / T}}{\sum_j e^{z_j / T}}

범주분포에서 뽑기에서 생성의 다양성을 조절하던 그 온도와 같은 식입니다. 거기서는 뽑을 분포를 바꾸려고 썼고, 여기서는 말하는 확률을 실제 빈도에 맞추려고 씁니다. T>1T > 1 이면 분포가 평평해져 신뢰도가 내려가고, T<1T < 1 이면 뾰족해집니다.

이 고침은 세 가지 이유로 안전합니다. 모든 로짓을 같은 수로 나누므로 가장 큰 로짓은 여전히 가장 큽니다. 고르는 답이 하나도 안 바뀌니 정확도도 그대로입니다. 그리고 맞출 숫자가 TT 하나뿐이라 검증 세트 몇천 건이면 넉넉하고 과적합할 틈이 거의 없습니다. 모델을 다시 학습시키지 않고 출력만 고치는 이런 방법을 사후 보정이라 부릅니다.

NLL 최소화

TT 를 무엇으로 고를까요. ECE를 가장 작게 하는 TT 를 찾는 것은 앞 절에서 본 빈의 손잡이를 그대로 끌고 오는 일입니다. 그래서 빈이 없는 적절한 점수 규칙, 검증 세트의 음의 로그가능도를 씁니다. 문의 ii 의 정답이 yiy_i 일 때

NLL(T)=1N∑i=1N[log⁡∑jezij/T−ziyiT]\text{NLL}(T) = \frac{1}{N} \sum_{i=1}^{N} \Big[\log \sum_j e^{z_{ij}/T} - \frac{z_{i y_i}}{T}\Big]

입니다. 이것을 TT 로 미분하면 softmax의 미분이 깔끔하게 정리되어

d NLLdT=1T2[1N∑iziyi−1N∑i∑kpik(T) zik]\frac{d\,\text{NLL}}{dT} = \frac{1}{T^2} \Big[\frac{1}{N}\sum_i z_{i y_i} - \frac{1}{N}\sum_i \sum_k p_{ik}(T)\, z_{ik}\Big]

가 됩니다. 대괄호 안의 앞쪽은 정답 보기의 로짓 평균이고, 뒤쪽은 모델이 온도 TT 로 낸 확률로 기대하는 로짓 평균입니다. 최적의 온도는 둘이 같아지는 자리, 곧 모델이 스스로 기대하는 만큼 정답이 높은 로짓을 받는 자리입니다. NLL은 TT 에 대해 골짜기가 하나뿐이라 구간을 좁혀 가는 황금분할 탐색으로 찾습니다.

def nll(z, y, T):                                      # 정답 보기의 음의 로그확률 평균
    s = z / T
    s = s - s.max(1, keepdims=True)
    return np.mean(np.log(np.exp(s).sum(1)) - s[np.arange(len(y)), y])

def fit_temperature(z, y, lo=0.25, hi=8.0, steps=60):
    g = (np.sqrt(5) - 1) / 2                           # 황금분할 탐색: NLL은 T에 대해 골짜기가 하나
    a, b = np.log(lo), np.log(hi)                      # 로그 눈금에서 찾는다
    for _ in range(steps):
        x1, x2 = b - g * (b - a), a + g * (b - a)
        if nll(z, y, np.exp(x1)) < nll(z, y, np.exp(x2)):
            b = x2
        else:
            a = x1
    return np.exp((a + b) / 2)

for T in [0.5, 1.0, 1.5, 2.0, 3.0]:
    print(f"T = {T:.1f}  검증 NLL {nll(z_val, y_val, T):.4f}")
T_hat = fit_temperature(z_val, y_val)
print(f"맞춘 온도 T̂ = {T_hat:.3f}  검증 NLL {nll(z_val, y_val, T_hat):.4f}")
for T in [1.0, T_hat]:
    p = softmax(z_val / T)
    zy = z_val[np.arange(len(y_val)), y_val].mean()     # 정답 보기 로짓의 평균
    ez = (p * z_val).sum(1).mean()                      # 모델이 기대하는 로짓의 평균
    print(f"T = {T:.3f}  정답 로짓 평균 {zy:.4f}  기대 로짓 평균 {ez:.4f}"
          f"  기울기 {(zy - ez) / T**2:+.4f}")
T = 0.5  검증 NLL 1.5099
T = 1.0  검증 NLL 0.9176
T = 1.5  검증 NLL 0.7873
T = 2.0  검증 NLL 0.7649
T = 3.0  검증 NLL 0.8061
맞춘 온도 T̂ = 1.975  검증 NLL 0.7649
T = 1.000  정답 로짓 평균 3.4195  기대 로짓 평균 3.9071  기울기 -0.4876
T = 1.975  정답 로짓 평균 3.4195  기대 로짓 평균 3.4195  기울기 +0.0000

검증 세트와 낯선 분야에서 온도에 따른 NLL, 최솟값이 각각 T = 1.975와 2.967에 있다

검증 NLL은 T=1T = 1 에서 0.9176이고 T=1.975T = 1.975 에서 0.7649로 가장 낮습니다. 모의 분류기가 실제로 부풀린 배수 2에 가깝게 찾아냈습니다. 그 자리에서 정답 로짓 평균과 기대 로짓 평균이 3.4195로 같고 기울기가 0입니다. T=1T = 1 에서는 모델이 기대하는 로짓 평균이 3.9071로 실제 정답의 3.4195보다 높고, 과신이 이 차이로 드러납니다. 그림의 보라 곡선은 아래 6절의 낯선 분야입니다.

보정 전후

검증 세트에서 맞춘 온도를 시험 세트에 그대로 씌웁니다.

conf_t, corr_t = top(z_test, y_test, T_hat)
print(f"보정 뒤  정확도 {corr_t.mean():.3f}  평균 신뢰도 {conf_t.mean():.3f}"
      f"  ECE(10) {ece(conf_t, corr_t):.4f}  Brier {np.mean((conf_t - corr_t)**2):.4f}"
      f"  시험 NLL {nll(z_test, y_test, 1.0):.4f} → {nll(z_test, y_test, T_hat):.4f}")
for th in [0.8, 0.9]:
    m = conf_t >= th
    print(f"신뢰도 ≥ {th}  통과 {m.mean():.1%}  그중 정확도 {corr_t[m].mean():.3f}"
          f"  그중 평균 신뢰도 {conf_t[m].mean():.3f}")
print("빈 개수   " + "".join(f"{M:>7}" for M in Ms))
print("보정 뒤   " + "".join(f"{ece(conf_t, corr_t, M):7.4f}" for M in Ms))

rng3 = np.random.default_rng(2)
boot = [ece(conf_t[i], corr_t[i], 15)                  # 문항을 복원 추출해 ECE를 다시 잰다
        for i in (rng3.integers(0, 5000, 5000) for _ in range(1000))]
print(f"보정 뒤 ECE(15) 부트스트랩 95% 구간 {np.percentile(boot, 2.5):.4f}"
      f" ~ {np.percentile(boot, 97.5):.4f}")
show("보정 뒤 빈 10개", conf_t, corr_t, np.minimum((conf_t * 10).astype(int), 9))
r2t = np.round(conf_t, 2)
show("보정 뒤 값마다 ", r2t, corr_t, np.unique(r2t, return_inverse=True)[1])
보정 뒤  정확도 0.688  평균 신뢰도 0.690  ECE(10) 0.0106  Brier 0.1840  시험 NLL 0.9424 → 0.7759
신뢰도 ≥ 0.8  통과 33.1%  그중 정확도 0.894  그중 평균 신뢰도 0.901
신뢰도 ≥ 0.9  통과 16.9%  그중 정확도 0.948  그중 평균 신뢰도 0.949
빈 개수         5     10     15     20     50    100    500
보정 뒤    0.0096 0.0106 0.0118 0.0123 0.0223 0.0377 0.0892
보정 뒤 ECE(15) 부트스트랩 95% 구간 0.0110 ~ 0.0275
보정 뒤 빈 10개  Brier 0.18402 = 0.00021 − 0.02946 + 0.21451  (분해 합 0.18526)
보정 뒤 값마다   Brier 0.18399 = 0.00230 − 0.03281 + 0.21451  (분해 합 0.18399)

정확도는 68.8%로 그대로이고, 평균 신뢰도가 0.827에서 0.690으로 내려와 정확도에 붙었습니다. ECE는 0.1399에서 0.0106으로, Brier는 0.2090에서 0.1840으로, 시험 세트의 NLL은 0.9424에서 0.7759로 내려갔습니다. 2절 그림의 오른쪽이 이 상태이고, 막대가 거의 대각선에 붙어 있습니다.

남은 ECE 0.0106이 진짜 어긋남인지는 3절의 바닥과 견줘야 압니다. 빈 15개로 재면 보정 뒤가 0.0118이고, 완벽히 보정된 모델의 같은 조건 평균이 0.0153입니다. 남은 숫자는 표본 잡음의 바닥보다도 낮습니다. 문항을 다시 뽑는 부트스트랩으로 낸 95% 구간 0.0110~0.0275도 같은 이야기를 합니다. 구간이 원래 값 0.0118 바로 아래에서 시작해 위로 길게 뻗는데, 잡음을 위로 쌓는 ECE의 성질이 다시 뽑은 표본마다 한 번 더 작동하기 때문입니다. 이 시험 세트로는 보정 뒤의 모델과 완벽한 모델을 가를 수 없습니다.

Brier 분해에서도 같은 일이 보입니다. 빈 10개로 묶으면 보정 뒤의 신뢰성이 0.00021인데, 0.01 단위 값마다 묶으면 0.00230으로 열 배쯤 큽니다. 무리가 수십 개로 잘게 나뉘면 무리마다 든 답이 적어 정확도가 더 흔들리고, 그 흔들림이 제곱되어 신뢰성에 쌓입니다. 이미 보정된 모델의 남은 어긋남을 이 숫자로 읽어서는 안 됩니다.

라우팅과 거절

문턱의 뜻

보정 뒤 신뢰도로 같은 규칙을 다시 돌리면, 위 출력처럼 0.9 이상이 16.9%만 통과하고 그중 94.8%가 맞습니다. 0.8 이상이면 33.1%가 통과하고 89.4%가 맞습니다. 여기서 문턱을 읽는 법을 바로잡아야 합니다. 「신뢰도 0.9 이상만 통과」는 통과한 답 하나하나가 0.9 이상이라는 뜻이고, 보정된 모델이라면 통과한 무리의 정확도는 그 신뢰도들의 평균 0.949에 가까워지고, 실제로 0.948입니다. 「자동 처리분의 오분류 10% 이하」라는 약속은 무리의 평균에 대한 것이므로, 문턱은 0.9가 아니라 그보다 낮은 자리에 놓아야 합니다.

def coverage_at(conf, corr, target=0.90):              # 통과분 정확도가 target 이상인 가장 넓은 통과율
    order = np.argsort(-conf)
    run = np.cumsum(corr[order]) / np.arange(1, len(conf) + 1)
    k = np.flatnonzero(run >= target).max() + 1
    return k / len(conf), conf[order][k - 1]

for name, cf, cr in [("보정 전", conf, corr), ("보정 뒤", conf_t, corr_t)]:
    cov, th = coverage_at(cf, cr)
    print(f"{name}  통과분 정확도 0.90을 지키는 통과율 {cov:.1%}  그때 문턱 {th:.3f}")
k = int((conf >= 0.9).sum())                           # 보정 전 문턱 0.9를 넘던 문항 수
same = len(set(np.argsort(-conf)[:k]) & set(np.argsort(-conf_t)[:k]))
print(f"보정 전후 신뢰도 상위 {k}문항 가운데 겹치는 것 {same}")
보정 전  통과분 정확도 0.90을 지키는 통과율 32.3%  그때 문턱 0.967
보정 뒤  통과분 정확도 0.90을 지키는 통과율 31.7%  그때 문턱 0.810
보정 전후 신뢰도 상위 2464문항 가운데 겹치는 것 2365

통과분 정확도 0.90을 지키면서 가장 많이 통과시키는 문턱이 보정 뒤에는 0.810이고 그때 31.7%가 자동으로 나갑니다. 신뢰도가 정직해졌으니 「0.81 넘는 것만 보내면 평균 90%」를 신뢰도 숫자에서 바로 읽을 수 있습니다. 보정 전 모델로 같은 약속을 지키려면 문턱이 0.967이어야 했고, 그 숫자는 어디에서도 짐작할 수 없었습니다. 시험 세트의 정답을 보고 사후에 찾아야만 나오는 값입니다.

순위 보존

같은 출력이 한 가지를 더 말합니다. 약속을 지키며 통과시킬 수 있는 비율은 보정 전 32.3%, 보정 뒤 31.7%로 거의 같습니다. 보정 전에 0.9를 넘던 2,464건과 보정 뒤 신뢰도 상위 2,464건을 견주면 2,365건, 곧 96.0%가 같은 문의입니다. 온도는 로짓 간격을 똑같은 비율로 줄일 뿐이라 신뢰도의 순서를 거의 건드리지 않습니다. 보기가 둘이라면 신뢰도가 로짓 차이 하나의 증가함수라 순서가 정확히 보존되고, 넷이면 나머지 보기들의 간격에 따라 조금씩 자리가 바뀝니다.

그래서 온도 스케일링은 라우터를 더 똑똑하게 만들지 않습니다. 몇 퍼센트를 자동으로 보낼 수 있느냐는 어느 문의가 쉬운지 가려내는 변별력, 곧 Brier 분해의 분해능이 정하고 그것은 온도로 늘지 않습니다. 온도가 고치는 것은 문턱에 적는 숫자의 뜻입니다. 거절, 곧 신뢰도가 낮은 답을 내놓지 않고 「모르겠다」로 돌리는 규칙도, 생성한 답을 검증 단계로 보낼지 정하는 규칙도 사정이 같습니다. 순위만 쓰는 규칙(상위 30%만 통과)은 보정이 필요 없고, 숫자에 약속을 거는 규칙(0.9 이상이면 90% 맞음)은 보정을 전제로 합니다.

분포 이동

마지막 전제가 남아 있습니다. 온도는 검증 세트에서 맞췄고, 그 세트를 닮은 데이터에서만 약속이 지켜집니다. 새 서비스를 출시해 처음 보는 종류의 문의가 들어온다고 합시다. 모의 실험에서는 문의가 더 어렵고(진짜 로짓의 퍼짐 1.3) 모델이 더 과신하는(3배로 부풀림) 세트로 만듭니다. 학습이나 보정에 쓴 데이터와 실제로 들어오는 데이터의 분포가 달라지는 것을 분포 이동이라 합니다.

z_ood, y_ood = make_set(5000, 1.3, 3.0, rng)            # 낯선 분야: 더 어렵고 더 과신한다
conf_o, corr_o = top(z_ood, y_ood, T_hat)               # 검증 세트에서 맞춘 온도를 그대로
print(f"낯선 분야  정확도 {corr_o.mean():.3f}  평균 신뢰도 {conf_o.mean():.3f}"
      f"  ECE(10) {ece(conf_o, corr_o):.4f}")
m = conf_o >= 0.8
print(f"신뢰도 ≥ 0.8  통과 {m.mean():.1%}  그중 정확도 {corr_o[m].mean():.3f}")
print(f"낯선 분야에서 다시 맞춘 온도 {fit_temperature(z_ood, y_ood):.3f}")
낯선 분야  정확도 0.571  평균 신뢰도 0.679  ECE(10) 0.1083
신뢰도 ≥ 0.8  통과 30.7%  그중 정확도 0.788
낯선 분야에서 다시 맞춘 온도 2.967

검증 세트에서 맞춘 T=1.975T = 1.975 를 그대로 쓰면 평균 신뢰도 0.679에 정확도 0.571로, ECE가 다시 0.1083까지 올라갑니다. 보정 뒤 문턱 0.8을 그대로 두면 30.7%가 통과하지만 그중 78.8%만 맞아, 오분류가 약속의 두 배를 넘습니다. 이 분야의 데이터로 다시 맞추면 온도가 2.967로, 실제로 부풀린 배수 3 근처에 섭니다. 앞 그림의 보라 곡선이 그 자리에서 가장 낮습니다.

보정은 모델 하나의 고정된 성질이 아니라 모델과 데이터 분포의 짝에 대한 성질입니다. 신뢰도로 라우팅하는 시스템은 들어오는 트래픽에서 주기적으로 표본을 뽑아 정답을 매기고, 신뢰도-정확도 도표를 다시 그려 봐야 합니다. 모델에게 「확신이 몇 퍼센트인지 말해 보라」고 시킨 자기 신뢰도도 마찬가지입니다. 그것도 확률 예보이므로 같은 도표와 같은 점수로 재고, 대개 0.8·0.9·0.95처럼 몇 가지 값만 나오므로 3절의 빈 대신 말한 값마다 묶어 Brier 분해를 정확히 계산할 수 있습니다.

정리

처음 장면

자동 처리분의 15.9%가 잘못 간 이유는 분류 실력이 아니라 숫자를 읽는 법에 있었습니다. 모델은 정확도 68.8%에 평균 신뢰도 82.7%로 과신했고, 0.9 이상이라고 말한 답은 평균 0.972를 말하며 84.1%만 맞았습니다. 검증 세트 5,000건에서 온도 1.975를 맞춰 로짓을 나누면 고르는 답은 하나도 안 바뀌고 ECE가 0.1399에서 0.0106으로 내려가, 표본 잡음의 바닥과 가릴 수 없는 수준이 됩니다. 그다음에는 「통과분 오분류 10% 이하」를 문턱 0.81로 바로 적을 수 있고, 그때 31.7%가 자동으로 나갑니다.

자동으로 보낼 수 있는 몫은 보정 전후가 31.7%와 32.3%로 거의 같습니다. 그 몫을 늘리려면 변별력을 키워야 하고, 그것은 더 나은 모델이나 더 나은 입력의 일입니다. 그리고 새 서비스의 문의가 들어오기 시작하면 온도는 다시 맞춰야 합니다. 이번 시험 세트에서는 같은 문턱이 78.8%의 정확도로 무너졌습니다.

핵심 정리

  • 신뢰도는 모델이 고른 답에 매긴 softmax 확률이다. 신뢰도가 pp 인 답들 가운데 pp 만큼이 맞으면 보정되어 있다고 한다. 보정은 답 하나가 아니라 같은 숫자를 말한 답들의 무리에 대한 성질이다.
  • 신뢰도-정확도 도표는 신뢰도 빈마다 평균 신뢰도와 정확도를 견준다. ECE는 그 차이를 빈의 답 비율로 가중 평균한 값이다. 모의 분류기는 ECE 0.1399였고, 어긋남이 한 방향이면 평균 신뢰도와 정확도의 차이(0.139)와 거의 같다.
  • ECE에는 약점이 둘 있다. 한 빈 안의 과신과 과소신이 상쇄되고(답 열 개가 빈 하나에서 0, 둘에서 0.30), 표본 잡음이 늘 위로 쌓인다. 완벽히 보정된 모델도 5,000문항·빈 10개에서 0.0124, 500문항·빈 100개에서 0.1211을 받고, 이 바닥은 M/N\sqrt{M/N} 에 비례한다.
  • Brier 점수 1N∑(qi−oi)2\frac{1}{N}\sum (q_i - o_i)^2 는 정직하게 말할 때 기대 점수가 가장 낮은 적절한 점수 규칙이다. 신뢰성 − 분해능 + 불확실성으로 나뉘고, 늘 기저율만 말하는 예보는 보정이 완벽해도 분해능이 0이다.
  • 온도 스케일링은 로짓을 TT 로 나눈다. 고르는 답과 정확도는 그대로이고, TT 는 검증 세트의 NLL을 최소화해 맞춘다. 최적점에서 정답 로짓 평균과 모델이 기대하는 로짓 평균이 같다. 모의 분류기에서 T=1.975T = 1.975, Brier 0.2090 → 0.1840.
  • 순위만 쓰는 규칙에는 보정이 필요 없고, 숫자에 약속을 거는 규칙에는 필요하다. 온도는 순서를 거의 안 바꾸므로 통과시킬 수 있는 몫은 그대로이고, 문턱 숫자의 뜻만 고친다. 분포가 바뀌면 다시 재고 다시 맞춘다.

이 글의 모의 분류기는 문항 수를 바꿔 가며 ECE의 바닥이 M/N\sqrt{M/N} 을 따른다는 것을 보였습니다. 두 양이 거듭제곱 관계에 있으면 로그를 씌운 눈금에서 직선이 되고, 그 기울기가 지수입니다. 다음 글 중급 80번 · 멱법칙과 로그-로그 직선에서는 이 관계를 모델 크기와 손실 사이에 놓고, 스케일링 곡선을 읽는 법을 다룹니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN