수학

MATH / 중급 40번

√d_k는 어디서 나왔나: 내적의 분산 계산

어텐션 식의 분모에 붙은 √d_k는 튜닝으로 고른 상수가 아니라 분산 계산 한 줄에서 나온 수입니다. q·k의 분산이 정확히 d_k가 되는 과정을 세고, 그 스케일이 커지면 softmax의 야코비안이 왜 함께 0으로 죽는지를 실험으로 재현합니다.

PALDYN Team50 MIN READ

헤드 하나의 폭이 128인 작은 트랜스포머를 처음부터 직접 짠다고 해 봅시다. 어텐션 점수를 q @ k.T로 구해 softmax에 넣었는데, 나눗셈 한 줄을 빠뜨렸습니다. 학습을 돌리면 손실이 처음 수십 걸음 크게 흔들리다가 어느 값에서 멈춘 채 다시는 움직이지 않습니다. 같은 코드를 float16으로 돌리면서 softmax까지 손으로 짰다면 그보다 먼저, 첫 걸음에서 NaN이 찍힙니다. 문법 오류도 shape 오류도 없으니 어디가 틀렸는지 코드만 봐서는 알 수 없습니다.

빠진 것은 어텐션 식에서 설명 없이 지나가는 기호 하나입니다.

Attention⁡(Q,K,V)=softmax⁡ ⁣(QKTdk)V\operatorname{Attention}(Q, K, V) = \operatorname{softmax}\!\left(\frac{QK^{\mathsf T}}{\sqrt{d_k}}\right)V

분모의 dk\sqrt{d_k} 입니다. dkd_k 는 질의 벡터와 키 벡터의 길이, 곧 헤드 차원이고 위 장면에서는 128입니다. 1단원의 지도 글에서 「점수가 너무 커지지 않게 나눈다」고만 적고 넘어갔던 자리인데, 그 문장은 두 가지를 설명하지 않습니다 — 왜 하필 제곱근인가, 그리고 나누지 않으면 정확히 무슨 일이 일어나는가.

이 글은 그 둘을 계산으로 닫습니다. 앞쪽은 분산 계산 세 줄이면 끝나고, 뒤쪽은 softmax의 야코비안이 스케일에 따라 어떻게 변하는지를 재 보면 나옵니다. 그리고 스케일링을 뺀 어텐션이 실제로 학습을 멈추는 것을 400걸음짜리 실험으로 재현합니다.

내적의 분산

평균과 분산

점수 하나는 질의 벡터와 키 벡터의 내적입니다.

s=q⋅k=∑i=1dkqikis = q \cdot k = \sum_{i=1}^{d_k} q_i k_i

qq 와 kk 의 성분이 평균 0, 분산 1로 서로 독립이라고 둡니다. 초기화 직후의 표현이 대체로 그렇고, LayerNorm을 지난 뒤라면 더 그렇습니다. 이 가정 아래 ss 의 평균과 분산을 계산합니다.

평균부터입니다. 기댓값의 선형성으로 합의 기댓값은 기댓값의 합이고, qiq_i 와 kik_i 가 독립이므로 곱의 기댓값은 기댓값의 곱입니다.

E[s]=∑iE[qiki]=∑iE[qi]E[ki]=∑i0⋅0=0E[s] = \sum_i E[q_i k_i] = \sum_i E[q_i]E[k_i] = \sum_i 0 \cdot 0 = 0

분산은 항 하나부터 봅니다. 평균이 0이므로 Var⁡(qiki)=E[(qiki)2]=E[qi2]E[ki2]\operatorname{Var}(q_ik_i) = E[(q_ik_i)^2] = E[q_i^2]E[k_i^2] 이고, E[qi2]=Var⁡(qi)+E[qi]2=1+0=1E[q_i^2] = \operatorname{Var}(q_i) + E[q_i]^2 = 1 + 0 = 1 입니다. 그러니

Var⁡(qiki)=1×1=1\operatorname{Var}(q_i k_i) = 1 \times 1 = 1

입니다. 이제 독립인 것들의 합에서 분산이 더해진다는 성질을 씁니다. 서로 다른 ii 의 항들은 독립이므로

Var⁡(s)=∑i=1dkVar⁡(qiki)=∑i=1dk1=dk\operatorname{Var}(s) = \sum_{i=1}^{d_k}\operatorname{Var}(q_ik_i) = \sum_{i=1}^{d_k} 1 = d_k

분산이 정확히 dkd_k 입니다. 표준편차는 그 제곱근인 dk\sqrt{d_k} 이고, 여기서 그 기호가 나옵니다. 튜닝으로 찾은 값이 아니라 세어서 나온 수입니다.

계산의 뼈대를 한 줄로 줄이면 「분산 1짜리 항이 dkd_k 개 더해졌다」입니다. 항 하나하나는 차원과 상관없이 늘 같은 크기인데 개수가 차원만큼 늘어나니, 합의 분산은 개수에 비례하고 표준편차는 개수의 제곱근에 비례합니다. 동전을 nn 번 던져 앞면에 +1, 뒷면에 −1을 더하면 합이 대략 n\sqrt{n} 만큼 흔들리는 것과 같은 구조입니다.

실측 표준편차

차원이 커질수록 내적의 분포가 √d_k에 비례해 넓어진다

실제로 난수를 뽑아 이만 번씩 재 보면 이렇습니다.

dkd_k 실측 표준편차 dk\sqrt{d_k}
8 2.829 2.828
64 7.964 8.000
128 11.397 11.314
512 22.669 22.627

넷 다 1% 안쪽에서 맞습니다. 차원이 8에서 512로 64배 커지는 동안 표준편차는 2.8에서 22.7로 8배 커졌고, 8은 64의 제곱근입니다. 표준편차 22.7이라는 것은 점수 둘을 아무렇게나 뽑았을 때 그 차이가 수십씩 나는 일이 흔하다는 뜻이고, 곧 보겠지만 softmax에게 그 정도 차이는 「한 자리만 남기라」는 명령과 같습니다.

그러니 dk\sqrt{d_k} 로 나누면 분산이 1로 돌아옵니다. 상수 cc 를 곱하면 분산은 c2c^2 배가 되므로

Var⁡ ⁣(sdk)=1dk⋅dk=1\operatorname{Var}\!\left(\frac{s}{\sqrt{d_k}}\right) = \frac{1}{d_k}\cdot d_k = 1

입니다. 차원이 몇이든 softmax에 들어가는 점수의 퍼짐이 같아진다 — 이것이 나누는 목적 전부입니다.

제곱근의 근거

여기서 자연스러운 물음이 하나 남습니다. 점수가 차원에 따라 커지는 것이 문제라면, 차원 자체인 dkd_k 로 나누면 더 확실하지 않을까요. 위 식의 cc 자리에 1/dk1/d_k 를 넣어 보면 답이 나옵니다.

Var⁡ ⁣(sdk)=1dk2⋅dk=1dk\operatorname{Var}\!\left(\frac{s}{d_k}\right) = \frac{1}{d_k^2}\cdot d_k = \frac{1}{d_k}

이번에는 분산이 차원에 반비례해 줄어듭니다. dk=64d_k = 64 면 표준편차가 1/81/8 이고, 차원이 클수록 점수가 0 근처로 더 바짝 모입니다. 크게 나눠서 생기는 문제가 작게 나눠서 생기는 문제의 거울상으로 돌아오는 것입니다.

아래 절의 여섯 점수로 미리 재 보면, dk\sqrt{d_k} 로 나눈 쪽의 엔트로피가 1.643인데 dkd_k 로 나눈 쪽은 1.789입니다. 여섯 자리가 완전히 균등할 때가 1.792이니 거의 다 붙었습니다. 가장 큰 확률도 0.183으로 균등값 0.167과 별 차이가 없습니다. 이렇게 되면 어텐션은 어느 키를 볼지 고르지 못하고 모든 값 벡터를 거의 같은 무게로 섞어 내놓는데, 그것은 값 벡터들의 단순 평균, 곧 평균 풀링과 다를 바 없습니다. 어텐션을 쓰는 이유가 「골라 보는 것」이었으니 평균 풀링으로 내려앉은 어텐션은 이름만 남은 셈입니다.

정리하면 dk\sqrt{d_k} 는 「너무 작게 나누면 뾰족하고 너무 크게 나누면 평평하다」의 한가운데, 분산을 정확히 1에 놓는 유일한 배율입니다. 분산을 1로 고정하는 데 필요한 배율은 표준편차의 역수이고, 표준편차가 dk\sqrt{d_k} 이니 답이 제곱근일 수밖에 없습니다.

가정의 범위

위 계산은 두 가정 위에 서 있습니다. 성분의 분산이 1이라는 것, 그리고 성분끼리 독립이라는 것입니다. 둘 다 학습 도중에는 정확히 지켜지지 않으므로 어긋나면 어느 쪽으로 어긋나는지를 알아 둘 만합니다.

먼저 성분의 분산이 1이 아니라 σ2\sigma^2 인 경우입니다. 항 하나의 분산이 E[qi2]E[ki2]=σ2⋅σ2E[q_i^2]E[k_i^2] = \sigma^2\cdot\sigma^2 이 되므로

Var⁡(s)=dk σ4\operatorname{Var}(s) = d_k\,\sigma^4

입니다. dk\sqrt{d_k} 로 나누면 차원은 지워지지만 σ4\sigma^4 가 남습니다. 성분의 분산이 2로 커지면 나눈 뒤의 분산은 4, 표준편차는 2입니다. 분산이 제곱으로 들어가는 것이 아니라 네제곱으로 들어간다는 점이 눈여겨볼 곳입니다 — 표현의 크기가 조금만 커져도 점수의 퍼짐은 그 제곱만큼 커집니다. 난수로 재 보면 dk=64d_k = 64, σ2=2\sigma^2 = 2 에서 분산이 255.1로 예측값 256과 맞고, 나눈 뒤에는 3.99입니다.

다음은 독립이 아닌 경우입니다. 한 벡터 안의 성분끼리 상관계수 rr 로 엮여 있다고 해 봅시다. 그러면 서로 다른 항 사이에 공분산이 생기고, qq 쪽 상관과 kk 쪽 상관이 곱해져 Cov⁡(qiki,qjkj)=r2\operatorname{Cov}(q_ik_i, q_jk_j) = r^2 이 됩니다. 제곱이라 rr 의 부호와 상관없이 언제나 양수이고, 분산은 그만큼 늘어납니다.

Var⁡(s)=dk+dk(dk−1) r2\operatorname{Var}(s) = d_k + d_k(d_k-1)\,r^2

dk=64d_k = 64 에서 r=0.1r = 0.1 만 되어도 64+64⋅63⋅0.01=104.364 + 64\cdot 63\cdot 0.01 = 104.3 이고, 표준편차는 8이 아니라 10.2입니다. 실측도 103.8로 맞습니다. 상관이 작아 보여도 항의 쌍이 dk2d_k^2 개 가까이 있어서 모이면 큽니다. 어느 쪽 어긋남이든 방향은 같습니다 — 실제 점수는 독립 가정이 말하는 것보다 더 넓게 퍼지는 쪽으로 기웁니다. 그래도 dk\sqrt{d_k} 를 그대로 쓰는 것은, 정확한 정규화가 목적이 아니라 차원에 따라 스케일이 통째로 어긋나는 것을 막는 것이 목적이기 때문입니다. 남는 어긋남은 뒤에서 볼 다른 장치들이 나눠 맡습니다.

스케일과 뾰족함

여섯 점수의 분포

점수가 커지면 softmax는 어떻게 될까요. dk=64d_k = 64 에서 실제로 뽑은 여섯 점수로 봅니다.

s=(1.585,  0.554,  4.287,  −0.693,  −8.705,  −9.108)s = (1.585,\; 0.554,\; 4.287,\; -0.693,\; -8.705,\; -9.108)

8로 나누면 (0.198,0.069,0.536,−0.087,−1.088,−1.138)(0.198, 0.069, 0.536, -0.087, -1.088, -1.138) 입니다. 두 벌을 각각 softmax에 넣습니다.

나눈 것과 나누지 않은 것의 softmax 분포를 막대로 비교한 그림

나눈 쪽은 가장 큰 확률이 0.307이고 여섯 자리가 고르게 나뉩니다. 나누지 않은 쪽은 세 번째 자리가 0.911을 가져가고 다섯 번째와 여섯 번째는 10−610^{-6} 아래로 내려앉습니다.

엔트로피로 재면 숫자 하나로 요약됩니다. 나눈 쪽이 1.643, 나누지 않은 쪽이 0.371입니다. 여섯 자리가 완전히 균등할 때가 log⁡6=1.792\log 6 = 1.792 이므로, 나눈 쪽은 거의 균등에 가깝고 나누지 않은 쪽은 사실상 자리 하나만 남은 것입니다.

이동과 배율

이유는 softmax가 차이의 지수를 보기 때문입니다. 이 말을 정확히 적으면 두 성질의 대비가 됩니다.

첫째, 모든 점수에 같은 상수 aa 를 더해도 softmax는 그대로입니다.

esi+a∑jesj+a=eaesiea∑jesj=esi∑jesj\frac{e^{s_i + a}}{\sum_j e^{s_j + a}} = \frac{e^{a}e^{s_i}}{e^{a}\sum_j e^{s_j}} = \frac{e^{s_i}}{\sum_j e^{s_j}}

분자와 분모에 똑같이 eae^a 가 붙어 약분되기 때문입니다. 이것을 softmax의 이동 불변성이라고 부릅니다. 확률은 점수의 절대 위치가 아니라 점수끼리의 차이로만 정해진다는 뜻입니다.

둘째, 모든 점수에 같은 상수 cc 를 곱하면 사정이 다릅니다. 자리 ii 와 jj 의 확률비는

pipj=ec (si−sj)\frac{p_i}{p_j} = e^{c\,(s_i - s_j)}

이고, 차이 si−sjs_i - s_j 가 cc 배로 늘어난 채 지수 위에 올라갑니다. 확률비는 cc 배가 아니라 지수적으로 벌어집니다. 위 예에서 1등과 5등의 차이가 나눈 쪽에서는 1.62, 안 나눈 쪽에서는 12.99이고, e1.62e^{1.62} 는 5 정도인데 e12.99e^{12.99} 는 44만입니다.

같은 점수에 상수를 더하면 분포가 그대로이고 곱하면 뾰족해진다

그림이 이 대비를 숫자로 보여 줍니다. dk\sqrt{d_k} 로 나눈 여섯 점수에 3을 더하면 확률이 소수점 셋째 자리까지 하나도 안 바뀝니다. 같은 점수에 2를 곱하면 가장 큰 확률이 0.307에서 0.442로 올라가고 끝의 두 자리는 0.06에서 0.017로 내려갑니다. 그러니 dk\sqrt{d_k} 가 하는 일은 「점수를 작게 만든다」라기보다 정확히 「배율을 맞춘다」입니다. 이동은 softmax가 알아서 지워 주지만 배율은 지워 주지 않으므로, 배율을 맞추는 일은 누군가 밖에서 해 줘야 합니다.

구현에서 softmax에 넣기 전에 최댓값을 빼는 관례도 이 두 성질에서 나옵니다. 최댓값을 빼는 것은 이동이므로 결과는 그대로이고, 그러면서 지수에 들어가는 수가 전부 0 이하가 되어 넘치지 않습니다. 반면 배율 문제는 이 요령으로 하나도 해결되지 않습니다 — 최댓값을 빼도 점수끼리의 차이는 그대로 12.99입니다.

온도

softmax에 들어가기 전 점수를 상수 TT 로 나누는 손잡이에는 이미 이름이 있습니다. softmax를 유도한 글에서 유도 끝에 남는 자유도로 나왔던 온도입니다.

softmax⁡ ⁣(sT)\operatorname{softmax}\!\left(\frac{s}{T}\right)

이 식과 어텐션 식을 나란히 놓으면 dk\sqrt{d_k} 는 정확히 온도 자리에 앉아 있습니다. 어텐션은 온도를 T=dkT = \sqrt{d_k} 로 고정한 softmax입니다. 온도가 높을수록 분포가 평평해지고 낮을수록 뾰족해진다는 성질이 그대로 옮겨 오므로, 나누지 않는 것은 온도를 dk\sqrt{d_k} 에서 1로 떨어뜨리는 것과 같고 dkd_k 로 나누는 것은 온도를 dkd_k 로 끌어올리는 것과 같습니다.

다만 쓰임새가 다릅니다. 언어 모델이 다음 토큰을 뽑을 때의 온도는 사용자가 그때그때 돌리는 손잡이이고, 어텐션의 dk\sqrt{d_k} 는 차원이 정해지는 순간 함께 정해지는 상수입니다. 하나는 「얼마나 모험적으로 뽑을까」를 고르는 값이고, 다른 하나는 「차원이 바뀌어도 같은 온도에서 출발하게」 맞추는 값입니다.

야코비안의 소멸

원-핫 근처

분포가 뾰족한 것 자체는 문제가 아닙니다. 잘 학습된 어텐션은 실제로 뾰족합니다. 문제는 학습이 시작되기도 전에 그렇게 된다는 것이고, 그때 어떤 일이 벌어지는지는 37번에서 유도한 야코비안이 그대로 말해 줍니다.

J=diag⁡(p)−p pT,Jij=pi(δij−pj)J = \operatorname{diag}(p) - p\,p^{\mathsf T}, \qquad J_{ij} = p_i(\delta_{ij} - p_j)

pp 가 한 자리만 1이고 나머지가 0인 벡터, 곧 원-핫에 가까워지면 어떻게 될까요. 어떤 pc≈1p_c \approx 1 이고 나머지가 ≈0\approx 0 이라면

  • i=j=ci = j = c 성분은 pc(1−pc)≈1×0=0p_c(1-p_c) \approx 1 \times 0 = 0
  • i=j≠ci = j \neq c 성분은 pi(1−pi)≈0×1=0p_i(1-p_i) \approx 0 \times 1 = 0
  • i≠ji \neq j 성분은 −pipj-p_ip_j 인데 둘 중 하나가 0에 가까우므로 ≈0\approx 0

모든 성분이 0으로 갑니다. 어텐션 가중치에서 점수로 돌아가는 길이 통째로 막히는 것이고, 그러면 QQ 와 KK 는 기울기를 받지 못합니다. 직관으로 옮기면 이렇습니다 — 이미 1에 붙은 확률은 점수를 조금 올려도 더 오를 데가 없고, 이미 0에 붙은 확률은 점수를 조금 올려도 여전히 0입니다. 점수를 어느 쪽으로 살짝 밀어도 출력이 안 변하니, 출력의 변화를 거슬러 올라가는 기울기도 0입니다.

약분 상대

여기가 마지막 층과 다른 자리입니다. 분류기의 마지막 층에서도 softmax 다음에 같은 야코비안이 붙지만, 거기서는 교차엔트로피의 1/pi1/p_i 가 야코비안의 pip_i 와 약분되어 p−yp - y 만 남았습니다. 확률이 아무리 뾰족해도 p−yp - y 는 틀린 자리에서 크기 1 가까이를 유지하므로 기울기가 죽지 않았습니다.

어텐션에는 그 약분을 해 줄 상대가 없습니다. 어텐션 가중치 위에 붙는 것은 손실이 아니라 VV 와의 곱이라서, 야코비안이 소거되지 않고 그대로 곱해집니다. 연쇄법칙으로 적으면 점수의 기울기는 JTuJ^{\mathsf T}u 꼴이고, uu 는 「출력이 어느 방향으로 움직여야 하는가」를 값 벡터 쪽으로 옮긴 것입니다. uu 가 아무리 커도 JJ 가 0이면 곱도 0입니다. 같은 softmax인데 어디에 붙느냐에 따라 뾰족함이 무해하기도 하고 치명적이기도 한 셈입니다.

배수 스윕

스케일을 키우면 야코비안 성분이 커졌다가 0으로 죽는다

같은 여섯 점수에 배수를 곱해 가며 세 값을 잽니다. 가로축의 1이 「dk\sqrt{d_k} 로 나눈 것」이고 8이 「나누지 않은 것」입니다.

배수 가장 큰 확률 엔트로피 야코비안 최대 성분
1 0.3066 1.643 0.2126
2 0.4417 1.397 0.2466
2.52 0.5063 1.280 0.2500
4 0.6670 0.981 0.2221
8 0.9109 0.371 0.0812
16 0.9949 0.034 0.0051
32 0.99998 0.0002 0.0000206

야코비안이 가장 큰 자리는 가장 큰 확률이 0.5 근처일 때이고 그 값이 0.25입니다 — p(1−p)p(1-p) 의 최댓값이므로 앞 글의 sigmoid와 같은 계산입니다. 그 오른쪽부터는 뾰족해질수록 급격히 떨어집니다. 배수 16이면 야코비안이 0.005, 32면 10−510^{-5} 입니다.

표의 왼쪽 끝도 읽어 둘 만합니다. 배수를 1보다 작게 하면 분포가 균등으로 다가가고, 야코비안은 0으로 죽지 않고 균등일 때의 값 16⋅56≈0.139\tfrac16\cdot\tfrac56 \approx 0.139 근처에 머뭅니다. 그쪽의 문제는 기울기가 사라지는 것이 아니라 앞 절에서 본 평균 풀링입니다. 배수 1/81/8, 곧 dkd_k 로 나눈 자리에서 야코비안은 0.150으로 멀쩡하지만, 점수 자체에 붙는 배율 1/dk1/d_k 가 qq 로 가는 기울기에도 그대로 곱해져 학습이 느려집니다. 오른쪽 끝은 멈추고 왼쪽 끝은 느려지는 것입니다.

dk=512d_k = 512 인 모델에서 나누지 않으면 배수가 22.6이므로 표의 오른쪽 끝보다 더 갑니다. 초기화 직후에 이미 죽어 있는 것입니다.

엔트로피 붕괴

dk\sqrt{d_k} 는 출발점을 맞출 뿐 학습 내내 점수를 묶어 두지는 않습니다. 학습이 진행되면서 WQW_Q 와 WKW_K 의 크기가 자라면 qq 와 kk 의 성분이 커지고, 앞 절의 dkσ4d_k\sigma^4 대로 점수의 퍼짐이 다시 늘어납니다. 그러면 처음에는 고르던 어텐션이 학습 도중에 스스로 뾰족해져 엔트로피가 0 가까이 떨어지고, 위 표의 오른쪽 구간으로 다시 걸어 들어갑니다. 이렇게 학습 도중 어텐션 분포의 엔트로피가 무너지는 현상을 엔트로피 붕괴라고 부르며, 큰 모델을 오래 학습할 때 손실이 갑자기 튀는 불안정의 원인으로 꼽힙니다.

이에 대한 처방 하나가 qq 와 kk 각각에 LayerNorm을 한 번 더 거는 것입니다. 내적하기 직전에 두 벡터의 크기를 매 순전파마다 다시 정리하므로, 가중치가 커지는 것만으로는 점수가 따라 커지지 못합니다. 이 방식을 QK-LayerNorm이라고 부릅니다. 한 번 맞추고 끝나는 dk\sqrt{d_k} 와 달리 학습 내내 같은 조건을 다시 세운다는 점에서, 이 글의 가정을 학습 끝까지 연장하는 장치로 읽을 수 있습니다.

스케일링을 뺀 실험

실험 설정

말로 끝내지 않고 재현해 봅니다. 아주 작은 문제 하나를 만듭니다.

  • dk=64d_k = 64, 키와 값이 여덟 쌍. 값의 차원은 8.
  • 질의 벡터 qq 하나만 학습한다. 목표는 네 번째 값을 그대로 내놓는 것이다.
  • 손실은 L=12∥o−v4∥2L = \tfrac12\lVert o - v_4 \rVert^2, 여기서 o=∑jpjvjo = \sum_j p_j v_j 이다.

이 손실은 교차엔트로피가 아니므로 야코비안이 소거되지 않습니다. 실제 어텐션이 놓인 자리와 같습니다. 키·값·초기 qq 를 모두 표준정규분포에서 뽑고, 학습률 0.5로 400걸음 경사하강법을 돌립니다. 같은 난수 시드에서 출발해 분모에 dk\sqrt{d_k} 가 있는가 없는가만 바꿉니다.

얼어붙은 손실

나눈 쪽은 수렴하고 나누지 않은 쪽은 손실이 얼어붙는다

걸음 나눈 것 — 손실 / p4p_4 / ∥∂L/∂q∥\lVert\partial L/\partial q\rVert 안 나눈 것 — 손실 / p4p_4 / ∥∂L/∂q∥\lVert\partial L/\partial q\rVert
0 1.670 / 0.087 / 7.8e−1 1.597 / 0.0006 / 2.5e+0
10 0.734 / 0.161 / 2.7e−1 5.906 / 0.000 / 6.4e+0
50 0.025 / 0.852 / 4.4e−2 1.893 / 0.000 / 4.2e−9
100 0.008 / 0.918 / 1.5e−2 1.893 / 0.000 / 4.2e−9
399 0.001 / 0.966 / 2.8e−3 1.893 / 0.000 / 4.2e−9

나눈 쪽은 400걸음에 손실 0.0014까지 내려가고 목표 자리의 확률이 0.966이 됩니다. 나누지 않은 쪽은 50걸음쯤에서 손실 1.893에 얼어붙고 그 뒤로 한 번도 움직이지 않습니다. 기울기의 크기가 4.2×10−94.2\times 10^{-9} 이니 float64에서도 갱신량이 사라진 것이고, 실제로 400걸음째까지 손실의 소수점 여섯 자리가 그대로입니다.

얼어붙기 전의 몇 걸음도 눈여겨볼 만합니다. 10걸음째 손실이 오히려 1.597에서 5.906으로 뛰었고 기울기도 6.4로 컸습니다. 큰 배율 아래에서는 점수가 조금만 움직여도 분포가 한 자리에서 다른 자리로 통째로 넘어가므로, 한 걸음이 손실을 크게 흔듭니다. 첫 장면에서 「처음 수십 걸음 크게 흔들리다가」라고 적은 것이 이 구간입니다.

멈춘 지점을 보면 원인이 분명합니다. 그때 가장 큰 확률이 1.0입니다 — 틀린 자리 하나에 완전히 몰려 있고, 야코비안이 0이라 「그 자리가 아니다」라는 신호가 점수까지 돌아가지 못합니다. 한 번 잘못 뾰족해지면 빠져나올 길이 없다는 것이 이 실험이 보여 주는 전부입니다.

시드 스무 개

위 표는 시드 하나의 결과입니다. 그런데 나누지 않은 쪽의 실패는 초기값에 크게 달려 있습니다. 처음부터 목표 자리가 1등이면 뾰족함이 오히려 지름길이 되고, 목표 자리가 한참 아래에 깔려 있으면 그 자리로 기울기가 거의 안 가기 때문입니다. 그래서 시드를 0부터 19까지 바꿔 가며 같은 실험을 스무 번 돌리고, 목표 자리의 확률이 처음으로 0.5를 넘은 걸음을 적었습니다. 비교를 위해 dkd_k 로 나눈 쪽도 함께 돌렸습니다.

세 가지 나눗셈을 시드 스무 개로 돌린 결과 — 나누지 않은 쪽은 절반이 멈춘다

나누는 수 400걸음 안에 도달 도달한 걸음 못 간 것
dk\sqrt{d_k} 20 / 20 0~71, 중앙값 5 없음
1 (나누지 않음) 10 / 20 여덟은 0~3, 둘은 162·186 열 개가 멈춤
dkd_k 16 / 20 88~311 넷이 아직 가는 중

나누지 않은 쪽의 성공 열 개를 들여다보면 그림이 선명해집니다. 셋은 처음부터 목표 자리가 1등이라 0걸음에 이미 넘어 있었고, 다섯은 목표 자리의 초기 확률이 0.0014~0.2로 바닥에 깔리지 않아 세 걸음 안에 넘어갔습니다. 실패한 열 개 중 여섯은 목표 자리의 초기 확률이 10−610^{-6} 아래였습니다. 초기 확률 하나로 깔끔하게 갈리지는 않아서 0.005에서 출발하고도 멈춘 시드가 하나 있는데, 첫 몇 걸음의 큰 흔들림이 분포를 어느 자리로 몰아가느냐도 운이기 때문입니다. 결국 스케일링이 없을 때 학습이 되느냐는 「초기 무작위 점수가 우연히 목표 근처를 가리켰느냐」라는 운으로 정해집니다. 성공한 시드 하나만 보고 「나누지 않아도 학습이 되네」라고 결론 내리기 쉬운 이유가 여기 있습니다.

dkd_k 로 나눈 쪽의 넷은 멈춘 것이 아니라 느린 것입니다. 걸음을 1,200으로 늘리면 넷 다 440~962걸음 사이에 0.5를 넘습니다. 평균 풀링 쪽 끝은 실패가 아니라 지연이라는 앞 절의 말이 숫자로 확인되는 자리입니다. 그래서 이런 실험의 결과는 시드 하나의 손실 곡선이 아니라 여러 시드에서 「멈춘 비율」과 「걸린 걸음의 분포」로 적어야 합니다. 시드 하나로는 운과 원리가 갈리지 않습니다.

세 장치의 역할 분담

세 장치

「스케일을 맞추는 장치」가 트랜스포머에 셋 있고 하는 일이 서로 다릅니다.

장치 무엇을 맞추나 언제
초기화 스케일 가중치 하나하나의 크기 학습 시작 전 한 번
LayerNorm 층에 들어가는 표현 벡터의 평균과 분산 매 순전파, 층 앞뒤
1/dk1/\sqrt{d_k} 두 벡터를 내적한 결과의 분산 매 순전파, softmax 직전

앞의 둘이 있어도 1/dk1/\sqrt{d_k} 는 없앨 수 없습니다. LayerNorm은 벡터 하나를 평균 0·분산 1로 만들 뿐이고, 그렇게 정리된 두 벡터를 내적하면 위 계산 그대로 분산이 dkd_k 가 되기 때문입니다. LayerNorm이 만들어 주는 조건이 오히려 이 계산의 가정을 성립시킵니다. 다시 말해 LayerNorm은 「재료」를 정리하고, 1/dk1/\sqrt{d_k} 는 그 재료로 내적이라는 「조리」를 한 결과를 정리합니다. 재료가 아무리 고르게 손질돼 있어도 조리가 양을 차원만큼 불리는 일은 막지 못합니다.

초기화의 한계

초기화로 대신할 수 있을까요. WQ,WKW_Q, W_K 의 분산을 각각 1/dk1/\sqrt{d_k} 배로 줄여 두면 qq 와 kk 성분의 분산이 1/dk1/\sqrt{d_k} 가 되고, 앞의 dkσ4d_k\sigma^4 에 넣으면 초기 점수의 분산이 dk⋅(1/dk)2=1d_k \cdot (1/\sqrt{d_k})^2 = 1 이 됩니다. 계산상으로는 같은 출발점입니다.

하지만 그 값은 학습이 진행되면 지켜지지 않습니다 — 가중치가 커지는 것을 막는 장치가 없기 때문입니다. 게다가 σ4\sigma^4 의 네제곱 때문에 가중치의 작은 변화가 점수에서는 크게 증폭됩니다. 1/dk1/\sqrt{d_k} 는 매 순전파에서 다시 적용되는 상수이므로 적어도 차원에서 오는 몫은 학습 내내 지워 줍니다. 가중치가 자라서 생기는 몫은 앞 절의 QK-LayerNorm 같은 장치가 따로 맡아야 합니다.

잔차 연결과 깊이

층을 여럿 쌓으면 한 가지가 더 얽힙니다. 트랜스포머는 각 층의 출력을 입력에 더해 다음 층으로 넘기는데, 이 덧셈 경로를 잔차 연결이라고 합니다. 층마다 무언가를 더하므로 이 경로를 타고 흐르는 표현의 노름은 깊어질수록 커지기 쉽습니다.

여기서 LayerNorm을 어디에 두느냐가 갈립니다. 잔차 덧셈 뒤에 정규화하는 배치를 Post-LN, 각 층에 들어가기 전에 정규화하고 덧셈 경로는 그대로 두는 배치를 Pre-LN이라고 부릅니다. 두 배치 모두 어텐션이 받는 입력은 정규화를 지나므로 이 글의 가정은 층마다 다시 세워지지만, 덧셈 경로의 노름이 어떻게 자라는지와 기울기가 깊이를 따라 어떻게 흐르는지는 둘이 서로 다릅니다. 그 차이는 이 글의 범위를 넘으므로 이름만 짚어 둡니다.

정리하면 셋의 관계는 이렇습니다 — 초기화가 출발점을 잡고, LayerNorm이 층 입력을 유지하고, 1/dk1/\sqrt{d_k} 가 내적이라는 연산 자체가 만드는 차원 의존을 지웁니다. 앞의 둘이 아무리 잘 되어 있어도 셋째 자리는 비어 있습니다.

코드로 확인하기

분산과 분포

①은 표준편차 표를, ②와 ③은 여섯 점수의 분포와 배수 스윕을 그대로 다시 냅니다.

import math, random

def softmax(z):
    m = max(z)
    e = [math.exp(v - m) for v in z]
    s = sum(e)
    return [v / s for v in e]

def entropy(p):    return -sum(x * math.log(x) for x in p if x > 0)
def jac_max(p):    return max(abs(p[i] * ((i == j) - p[j]))
                              for i in range(len(p)) for j in range(len(p)))

# ① Var(q·k) = d_k 인지 직접 센다
random.seed(7)
rnd = lambda d: [random.gauss(0, 1) for _ in range(d)]
for d in [8, 64, 128, 512]:
    vals = [sum(a * b for a, b in zip(rnd(d), rnd(d))) for _ in range(20000)]
    m = sum(vals) / len(vals)
    sd = math.sqrt(sum((x - m) ** 2 for x in vals) / len(vals))
    print(f"d_k={d:4d}  평균 {m:+.3f}  표준편차 {sd:7.3f}   √d_k = {math.sqrt(d):7.3f}")
# d_k=   8  평균 +0.012  표준편차   2.829   √d_k =   2.828
# d_k=  64  평균 -0.061  표준편차   7.964   √d_k =   8.000
# d_k= 128  평균 +0.029  표준편차  11.397   √d_k =  11.314
# d_k= 512  평균 +0.198  표준편차  22.669   √d_k =  22.627

①에서 표본을 이만 개로 잡은 데는 이유가 있습니다. 표준편차를 표본으로 추정하면 그 추정값도 흔들리는데, 그 흔들림의 크기인 표준오차가 정규분포에 가까운 경우 대략 참값의 1/2n1/\sqrt{2n} 배입니다. n=20000n = 20000 이면 0.5%라서 dk=64d_k = 64 의 8.000이 7.96~8.04 사이로 나오는 것이 정상이고, 실제로 7.964가 나왔습니다. 셋째 자리까지, 곧 0.1% 안쪽으로 맞추려면 1/2n≤0.0011/\sqrt{2n} \le 0.001 에서 nn 이 50만은 되어야 합니다. 표의 숫자가 둘째 자리에서 어긋나는 것은 이론이 틀려서가 아니라 표본 수가 그만큼이어서입니다.

# ② 같은 점수를 나눴을 때와 안 나눴을 때
raw = [1.585, 0.554, 4.287, -0.693, -8.705, -9.108]
for name, z in [("나눈 것", [v / 8 for v in raw]), ("안 나눈 것", raw)]:
    p = softmax(z)
    print(f"{name:8s} 최대 {max(p):.4f}  엔트로피 {entropy(p):.4f}  야코비안 {jac_max(p):.6f}")
# 나눈 것    최대 0.3066  엔트로피 1.6426  야코비안 0.212595
# 안 나눈 것  최대 0.9109  엔트로피 0.3710  야코비안 0.081198
print(f"균등일 때의 엔트로피 {math.log(6):.4f}")     # 1.7918

# ③ 배수를 키워 가면 야코비안이 커졌다가 죽는다
for c in [1, 2, 4, 8, 16, 32]:
    p = softmax([v * c / 8 for v in raw])
    print(f"×{c:<3d} 최대 {max(p):.6f}  엔트로피 {entropy(p):.4f}  야코비안 {jac_max(p):.3e}")
# ×1   최대 0.306596  엔트로피 1.6426  야코비안 2.126e-01
# ×2   최대 0.441677  엔트로피 1.3971  야코비안 2.466e-01
# ×4   최대 0.666979  엔트로피 0.9807  야코비안 2.221e-01
# ×8   최대 0.910855  엔트로피 0.3710  야코비안 8.120e-02
# ×16  최대 0.994908  엔트로피 0.0340  야코비안 5.066e-03
# ×32  최대 0.999979  엔트로피 0.0002  야코비안 2.057e-05

학습 재현

④는 실험 절의 표를, ⑤는 시드 스무 개의 결과를 냅니다. ⑤의 run은 ④의 train에서 출력을 빼고, 목표 자리의 확률이 처음 0.5를 넘은 걸음을 돌려주게 고친 것입니다.

# ④ 스케일링을 빼면 학습이 멈추는 것을 400걸음으로 재현한다
def train(scaled, steps=400, lr=0.5, d=64, dv=8, n=8, seed=11, tgt=3):
    random.seed(seed)
    K = [[random.gauss(0, 1) for _ in range(d)] for _ in range(n)]
    V = [[random.gauss(0, 1) for _ in range(dv)] for _ in range(n)]
    q = [random.gauss(0, 1) for _ in range(d)]
    c = 1 / math.sqrt(d) if scaled else 1.0
    for t in range(steps):
        s = [c * sum(q[i] * K[j][i] for i in range(d)) for j in range(n)]
        p = softmax(s)
        o = [sum(p[j] * V[j][a] for j in range(n)) for a in range(dv)]
        r = [o[a] - V[tgt][a] for a in range(dv)]
        u  = [sum(r[a] * V[j][a] for a in range(dv)) for j in range(n)]   # ∂L/∂p
        pu = sum(p[j] * u[j] for j in range(n))
        ds = [p[j] * (u[j] - pu) for j in range(n)]                       # Jᵀu — 소거가 없다
        gq = [c * sum(ds[j] * K[j][i] for j in range(n)) for i in range(d)]
        if t in (0, 10, 50, 100, 399):
            gn = math.sqrt(sum(v * v for v in gq))
            print(f"  t={t:<4d} 손실 {0.5*sum(x*x for x in r):.4f}  "
                  f"p[3] {p[tgt]:.4f}  최대 p {max(p):.4f}  |∂L/∂q| {gn:.2e}")
        q = [q[i] - lr * gq[i] for i in range(d)]

print("나눈 것");   train(True)
#   t=0    손실 1.6703  p[3] 0.0868  최대 p 0.2085  |∂L/∂q| 7.75e-01
#   t=10   손실 0.7344  p[3] 0.1607  최대 p 0.4585  |∂L/∂q| 2.67e-01
#   t=50   손실 0.0250  p[3] 0.8520  최대 p 0.8520  |∂L/∂q| 4.38e-02
#   t=100  손실 0.0080  p[3] 0.9180  최대 p 0.9180  |∂L/∂q| 1.51e-02
#   t=399  손실 0.0014  p[3] 0.9661  최대 p 0.9661  |∂L/∂q| 2.84e-03
print("안 나눈 것"); train(False)
#   t=0    손실 1.5965  p[3] 0.0006  최대 p 0.6939  |∂L/∂q| 2.49e+00
#   t=10   손실 5.9063  p[3] 0.0000  최대 p 0.9508  |∂L/∂q| 6.43e+00
#   t=50   손실 1.8931  p[3] 0.0000  최대 p 1.0000  |∂L/∂q| 4.17e-09
#   t=100  손실 1.8931  p[3] 0.0000  최대 p 1.0000  |∂L/∂q| 4.17e-09
#   t=399  손실 1.8931  p[3] 0.0000  최대 p 1.0000  |∂L/∂q| 4.17e-09
# ⑤ 시드 스무 개 — 목표 확률이 처음 0.5를 넘은 걸음(못 넘으면 None)
def run(c_of_d, seed, steps=400, lr=0.5, d=64, dv=8, n=8, tgt=3):
    random.seed(seed)
    K = [[random.gauss(0, 1) for _ in range(d)] for _ in range(n)]
    V = [[random.gauss(0, 1) for _ in range(dv)] for _ in range(n)]
    q = [random.gauss(0, 1) for _ in range(d)]
    c = c_of_d(d)
    for t in range(steps):
        s = [c * sum(q[i] * K[j][i] for i in range(d)) for j in range(n)]
        p = softmax(s)
        if p[tgt] > 0.5:
            return t
        o = [sum(p[j] * V[j][a] for j in range(n)) for a in range(dv)]
        r = [o[a] - V[tgt][a] for a in range(dv)]
        u = [sum(r[a] * V[j][a] for a in range(dv)) for j in range(n)]
        pu = sum(p[j] * u[j] for j in range(n))
        ds = [p[j] * (u[j] - pu) for j in range(n)]
        gq = [c * sum(ds[j] * K[j][i] for j in range(n)) for i in range(d)]
        q = [q[i] - lr * gq[i] for i in range(d)]
    return None

for name, f in [("÷√d_k", lambda d: 1 / math.sqrt(d)),
                ("÷1",    lambda d: 1.0),
                ("÷d_k",  lambda d: 1 / d)]:
    hits = [run(f, s) for s in range(20)]
    ok = sorted(h for h in hits if h is not None)
    print(f"{name:6s} 도달 {len(ok):2d}/20  걸음 {ok}")
# ÷√d_k  도달 20/20  걸음 [0, 1, 1, 2, 2, 2, 3, 3, 4, 5, 5, 6, 6, 6, 10, 17, 21, 21, 68, 71]
# ÷1     도달 10/20  걸음 [0, 0, 0, 1, 1, 1, 2, 3, 162, 186]
# ÷d_k   도달 16/20  걸음 [88, 108, 135, 141, 166, 180, 181, 184, 208, 222, 243, 247, 268, 277, 300, 311]

④의 마지막 세 줄이 이 글의 결론입니다. 손실도, 확률도, 기울기의 크기도 소수점 넷째 자리까지 완전히 같습니다. 계산은 400걸음 내내 돌았지만 갱신은 50걸음에서 끝났습니다.

앞 글의 기울기 검사로 ④의 ds 줄이 맞는지 확인해 두었습니다 — 손실을 점수에 대해 중심차분으로 재고 JTuJ^{\mathsf T}u 와 맞대면 최대 상대오차가 1.1×10−101.1\times10^{-10} 입니다.

float16 오버플로

첫 장면의 NaN도 재현해 둡니다. float16이 담을 수 있는 가장 큰 수는 65504이고, exe^x 가 그 수를 넘는 경계는 x=ln⁡65504≈11.09x = \ln 65504 \approx 11.09 입니다. 표현할 수 있는 범위를 넘은 수가 무한대로 바뀌는 것을 오버플로라고 부르는데, softmax에서 ese^{s} 하나가 무한대가 되면 분모도 무한대가 되고 무한대를 무한대로 나눈 자리는 NaN이 됩니다. NaN은 그 뒤의 모든 덧셈과 곱셈을 따라 번지므로 한 자리만 생겨도 그 줄 전체가 망가집니다.

# ⑥ float16에서 나누지 않은 점수가 exp에서 넘친다 (numpy 필요)
import numpy as np
np.seterr(over="ignore", invalid="ignore")
rng = np.random.default_rng(0)
d = 128
q = rng.standard_normal((1, d)).astype(np.float16)
K = rng.standard_normal((16, d)).astype(np.float16)

def naive_softmax(z):                     # max를 빼지 않은 구현
    e = np.exp(z)
    return e / e.sum()

for name, c in [("안 나눈 것", 1.0), ("나눈 것", 1 / np.sqrt(d))]:
    s = (q @ K.T * np.float16(c)).ravel()
    p = naive_softmax(s)
    print(f"{name:6s} 최대 점수 {s.max():6.2f}  11.09 초과 {(s > 11.09).sum():2d}개  "
          f"NaN {np.isnan(p).sum()}개")
# 안 나눈 것 최대 점수  28.64  11.09 초과  2개  NaN 2개
# 나눈 것   최대 점수   2.53  11.09 초과  0개  NaN 0개

경계 11.09는 dk=128d_k = 128 일 때의 표준편차 11.3보다 작습니다. 나누지 않은 점수는 한 표준편차만 벗어나도 넘친다는 뜻이고, 난수로 20만 번 재 보면 dkd_k 가 64, 128, 512일 때 점수의 8.1%, 16.2%, 31.2%가 이 경계를 넘습니다. 키가 열여섯만 되어도 한 줄에 하나쯤은 걸리는 비율입니다. 나눈 점수는 같은 20만 번에서 절댓값이 5를 넘은 적이 없습니다.

②의 softmax처럼 최댓값을 먼저 빼는 구현이면 이 NaN은 생기지 않습니다. 앞에서 본 이동 불변성 덕분입니다. 프레임워크의 softmax도 대부분 그렇게 짜여 있으니 실무에서 이 NaN을 만나는 것은 softmax를 손으로 짰을 때입니다. 하지만 최댓값 빼기가 막는 것은 넘침뿐이고, 야코비안이 죽는 문제는 그대로 남습니다. 스케일링은 둘을 한꺼번에 막습니다.

정리

분산과 스케일

  • 성분이 평균 0·분산 1로 독립이면 q⋅kq\cdot k 의 평균은 0, 분산은 정확히 dkd_k 다. 항 하나의 분산이 1이고 독립인 항이 dkd_k 개라 그냥 더해진 것이다.
  • 그래서 표준편차가 dk\sqrt{d_k} 이고, 그 수로 나누면 차원과 무관하게 분산이 1이 된다. dkd_k 로 나누면 분산이 1/dk1/d_k 로 줄어 어텐션이 평균 풀링으로 내려앉는다.
  • 성분의 분산이 σ2\sigma^2 이면 분산은 dkσ4d_k\sigma^4, 성분끼리 상관 rr 이 있으면 dk+dk(dk−1)r2d_k + d_k(d_k-1)r^2 이다. 어긋남은 언제나 더 넓게 퍼지는 쪽이다.
  • softmax는 상수를 더해도 그대로이고 상수를 곱하면 확률비가 ecΔe^{c\Delta} 로 벌어진다. dk\sqrt{d_k} 는 온도 자리에 앉아 배율을 맞춘다.

기울기와 학습

  • 분포가 뾰족해지면 야코비안 diag⁡(p)−ppT\operatorname{diag}(p) - pp^{\mathsf T} 의 모든 성분이 0으로 간다. 어텐션에는 교차엔트로피 같은 약분 상대가 없어서 그 0이 그대로 곱해진다.
  • 야코비안이 가장 큰 자리는 최대 확률이 0.5 근처일 때의 0.25이고, 배수 16이면 0.005, 32면 10−510^{-5} 다.
  • 실험에서 스케일링을 뺀 쪽은 50걸음 만에 손실 1.893에 얼어붙었다. 시드 스무 개 중 열 개가 멈췄고, 성공한 열 개도 대부분 초기 점수가 우연히 목표 근처를 가리킨 경우였다.
  • 초기화·LayerNorm은 1/dk1/\sqrt{d_k} 를 대신하지 못한다. 학습 도중 다시 뾰족해지는 엔트로피 붕괴는 QK-LayerNorm 같은 장치가 따로 맡는다.

빠뜨린 한 줄

처음의 구현으로 돌아가 봅니다. 헤드 차원 128에서 나눗셈을 빠뜨리면 점수의 표준편차가 11.3이고, 이것은 배수 스윕 표에서 8과 16 사이, 야코비안이 0.08에서 0.005로 꺼져 가는 구간입니다. 손실이 수십 걸음 흔들리다 멈춘 것은 그 구간에서 분포가 틀린 자리 하나에 몰린 채 기울기가 끊겼기 때문이고, 다른 시드로 돌렸다면 우연히 학습이 됐을 수도 있습니다. float16에서 첫 걸음에 찍힌 NaN은 점수의 16% 남짓이 넘침 경계 11.09를 넘었기 때문입니다. 두 증상이 같은 원인에서 나왔고, 고치는 것은 점수에 / math.sqrt(128) 한 번을 붙이는 일입니다.

dk\sqrt{d_k} 한 기호가 분산 계산 한 줄에서 나오고, 그것을 빼면 학습이 멈춘다는 것까지 왔습니다. 그런데 야코비안이 죽는 이야기를 여기서는 점수 쪽에서만 봤습니다. 다음 글에서 그 야코비안을 어텐션 전체에 통과시켜 ∂L/∂Q\partial L/\partial Q, ∂L/∂K\partial L/\partial K, ∂L/∂V\partial L/\partial V 를 shape까지 맞춰 끝까지 유도합니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN