수학

MATH / 고급 14번

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

PALDYN Team48 MIN READ

언어 모델 사전학습 로그를 열어 보면 비슷한 모양이 자주 보입니다. 워밍업이 끝나고 학습률을 일정하게 둔 긴 구간에서 손실은 내려가다가 어느 높이에서 잔물결을 치며 버팁니다. 학습이 끝나 갈 무렵 학습률을 몇 퍼센트의 스텝 동안 0 쪽으로 줄이면, 그 짧은 구간에서 손실이 눈에 띄게 한 번 더 떨어집니다. 같은 팀의 다른 사람은 전체 배치에 가까운 큰 배치로 작은 모델을 돌리며 헤세의 최대 고윳값을 재고 있는데, 그 값이 학습 초반에 꾸준히 오르다가 정확히 2/η2/\eta 근처에 붙어 더는 오르지 않습니다. 경사하강법의 학습률 상한을 배운 사람이라면 곡률이 2/η2/\eta 를 넘는 순간 발산해야 한다고 기억할 텐데, 손실은 발산하지 않고 들쭉날쭉하게나마 계속 내려갑니다. 그리고 논문의 정리는 「SGD는 O(1/T)O(1/\sqrt{T}) 로 수렴한다」고 말합니다. 무엇이 무엇으로 수렴한다는 말인지, 그 정리가 위의 세 장면 중 무엇을 설명하고 무엇을 설명하지 않는지가 이 글의 질문입니다.

지난 글의 수렴률은 전부 기울기를 정확히 안다고 두고 얻은 것이었습니다. 이 글은 기울기에 잡음이 섞일 때 수렴이라는 말을 다시 정의합니다. 도구는 세 가지입니다. 조건부 기댓값과 마팅게일에서 세운 마팅게일 수렴 정리, 볼록해석의 강볼록성과 매끄러움, 그리고 SDE와 이산화에서 본 오일러–마루야마 근사입니다. 그래디언트 잡음과 스케줄에서 경험칙으로 적었던 선형 스케일링과 잡음 바닥이 여기서 정리의 꼴을 갖춥니다.

확률적 근사

로빈스–먼로 반복

1951년의 문제는 학습이 아니라 근 찾기였습니다. 함수 g(x)g(x) 의 근을 찾고 싶은데 gg 를 직접 계산할 수는 없고, 잡음이 섞인 측정 g(x)+ξg(x) + \xi 만 얻을 수 있습니다. 로빈스와 먼로는

xt+1=xt−ηt(g(xt)+ξt+1)x_{t+1} = x_t - \eta_t\big(g(x_t) + \xi_{t+1}\big)

를 제안했고, 이렇게 잡음 섞인 측정으로 근이나 최소점을 찾아가는 반복 전체를 확률적 근사라 부릅니다. g=∇fg = \nabla f 로 두면 이것이 그대로 SGD입니다. 미니배치 ζ\zeta 로 잰 기울기 ∇f(x;ζ)\nabla f(x;\zeta) 를 참 기울기와 나머지로 쪼개면

∇f(xt;ζt+1)=∇f(xt)+(∇f(xt;ζt+1)−∇f(xt))⏟ξt+1\nabla f(x_t;\zeta_{t+1}) = \nabla f(x_t) + \underbrace{\big(\nabla f(x_t;\zeta_{t+1}) - \nabla f(x_t)\big)}_{\xi_{t+1}}

이고, 갱신식은 「참 기울기 방향 한 걸음 더하기 잡음 한 덩이」가 됩니다. 이 분해가 이 글 전체의 출발점입니다. 앞의 항은 결정적인 경사하강이 맡고, 뒤의 항은 확률론이 맡습니다.

마팅게일 잡음

Ft\mathcal{F}_t 를 tt 번째 걸음까지 일어난 모든 일이 만드는 여과, 곧 그때까지의 미니배치와 반복값을 다 아는 정보로 둡니다. 다음 미니배치를 새로 뽑으면 E[ξt+1∣Ft]=0\mathbb{E}[\xi_{t+1} \mid \mathcal{F}_t] = 0 입니다. 지금까지를 다 알아도 다음 잡음의 평균은 0이라는 뜻이고, 이런 성질을 갖는 수열을 마팅게일 차분이라 부릅니다. 그 가중합

MT=∑t=1Tηt ξt+1M_T = \sum_{t=1}^{T} \eta_t\,\xi_{t+1}

은 마팅게일입니다. ηt\eta_t 가 Ft\mathcal{F}_t 에서 정해지는 값이라 마팅게일 변환의 꼴 그대로이기 때문입니다.

이 합의 크기는 계산이 간단합니다. 마팅게일 차분은 서로 다른 시각끼리 상관이 없으므로 교차항이 사라지고, 잡음의 조건부 분산이 σ2\sigma^2 이하라면

E[MT2]=∑t=1Tηt2 E∥ξt+1∥2≤σ2∑t=1Tηt2\mathbb{E}\big[M_T^2\big] = \sum_{t=1}^{T} \eta_t^2\, \mathbb{E}\lVert \xi_{t+1} \rVert^2 \le \sigma^2 \sum_{t=1}^{T} \eta_t^2

입니다. 우변이 TT 에 대해 유계이면 MTM_T 는 L2L^2 유계 마팅게일이 되고, 마팅게일 수렴 정리가 MTM_T 가 거의 확실하게 어떤 유한한 값으로 수렴한다고 말해 줍니다. 거의 확실한 수렴은 확률 1인 사건 위에서 수열이 보통의 의미로 수렴한다는 뜻이고, 「평균적으로 가까워진다」보다 강한 말입니다. 잡음의 누적이 끝없이 흔들리지 않고 어딘가에 자리를 잡는다는 것, 이것이 확률적 근사 이론이 마팅게일을 쓰는 이유입니다.

스텝 조건

로빈스–먼로 조건은 두 줄입니다.

∑tηt=∞,∑tηt2<∞\sum_{t} \eta_t = \infty, \qquad \sum_{t} \eta_t^2 < \infty

첫 줄은 필요조건입니다. 기울기의 크기가 GG 이하라면 출발점에서 움직일 수 있는 총거리는 G∑tηtG\sum_t \eta_t 이하입니다. 이 합이 유한하면 해가 출발점에서 그보다 멀리 있을 때 영영 닿지 못합니다. 둘째 줄은 앞 소절의 마팅게일 합을 모이게 하는 조건입니다. 잡음이 일정한 세기로 들어오는 한 학습률이 0으로 가지 않으면 반복은 해 근처에서 흔들리기를 멈추지 않습니다. 그러니 ηt→0\eta_t \to 0 은 필요하고, ∑ηt2<∞\sum \eta_t^2 < \infty 는 그 줄어드는 속도를 마팅게일 수렴 정리를 바로 쓸 수 있을 만큼 빠르게 잡은 충분조건입니다. 이 조건보다 약한 조건으로도 수렴을 보이는 결과(쿠시너–클라크 조건)가 있지만, 대가로 수렴이 느려집니다.

ηt=c/ta\eta_t = c/t^a 꼴로 놓으면 두 조건이 함께 성립하는 지수는 1/2<a≤11/2 < a \le 1 입니다. a≤1a \le 1 이어야 합이 발산하고, 2a>12a > 1 이어야 제곱합이 모입니다.

지수 a에 따른 세 구간

이 글 끝의 실험이 네 지수를 돌립니다. a=1.5a = 1.5 는 합이 유한해서 출발점 10에서 5.4 근처에 멈추고, a=0.3a = 0.3 은 제곱합이 발산해서 십만 걸음 뒤에도 0.13만큼 흔들립니다. 그 사이의 0.750.75 와 11 이 0.01 아래로 내려옵니다. 구간 안에서 지수를 고르는 기준도 있습니다. aa 를 1보다 조금 작게 두고 반복값들의 평균을 출력으로 쓰는 폴랴크–루퍼트 평균은 학습률의 상수 cc 를 잘 고르지 않아도 최적의 점근 분산을 얻습니다. 가중치 EMA가 실무에서 듣는 이유 하나가 이것입니다.

ODE 방법

보간 궤적

로빈스–먼로 반복을 연속시간으로 읽는 관점이 ODE 방법입니다. 시계를 걸음 수가 아니라 학습률의 누적합 τt=∑s<tηs\tau_t = \sum_{s < t} \eta_s 로 바꿉니다. 그리고 점 (τt,xt)(\tau_t, x_t) 들을 선분으로 이은 곡선 xˉ(τ)\bar{x}(\tau) 를 만듭니다. 갱신식을 이 시계로 다시 쓰면

xt+1−xtτt+1−τt=−∇f(xt)−ξt+1\frac{x_{t+1} - x_t}{\tau_{t+1} - \tau_t} = -\nabla f(x_t) - \xi_{t+1}

이라, 왼쪽은 곡선의 기울기이고 오른쪽의 첫 항은 기울기 흐름 x˙=−∇f(x)\dot{x} = -\nabla f(x) 의 우변입니다. 남은 것은 잡음인데, 시각 τ\tau 부터 길이 Δ\Delta 인 창 안에 쌓이는 잡음은 앞 절의 MM 의 증분입니다. MM 이 수렴하므로 그 증분은 창이 뒤로 갈수록 0으로 갑니다. 그래서 창을 고정하고 시작 시각을 뒤로 밀면, 보간 곡선은 같은 시작점에서 출발한 흐름의 해에 균등하게 가까워집니다. 쿠시너와 클라크, 그리고 베나임이 정리한 결과의 뼈대가 이것입니다.

SGD 반복과 흐름의 해

극한 집합

ODE 방법의 결론은 「반복값의 극한 집합은 흐름의 불변 집합 안에 있다」는 꼴입니다. 기울기 흐름에서는 ff 자체가 흐름을 따라 줄어드는 랴푸노프 함수입니다. ddτf(x(τ))=−∥∇f∥2≤0\tfrac{d}{d\tau} f(x(\tau)) = -\lVert \nabla f \rVert^2 \le 0 이니까요. 랴푸노프 함수가 있는 흐름의 불변 집합은 그 함수가 줄지 않는 곳, 곧 ∇f=0\nabla f = 0 인 정상점들의 집합입니다. 그래서 로빈스–먼로 조건 아래의 SGD는 거의 확실하게 정상점 집합으로 갑니다.

여기서 정확히 읽어야 할 것이 있습니다. 정상점에는 최소점만이 아니라 안장점과 극대점도 들어 있습니다. 결정적인 흐름은 안장점의 안정 다양체 위에서 출발하면 안장점에 갇힙니다. SGD의 잡음은 그 얇은 다양체 위에 머물 확률을 0으로 만들기 때문에, 잡음이 모든 방향으로 조금씩이라도 있으면 불안정한 정상점으로는 수렴하지 않는다는 결과(페만틀의 정리)가 덧붙습니다. 잡음은 방해만 하는 것이 아니라 안장점을 빠져나오게도 합니다. 이 이야기의 지형 쪽은 고급 17번 · 「손실 지형의 이론: 대칭, 모드 연결, 날카로움, 그리고 안장점」이 맡습니다.

상수 학습률

학습률을 줄이지 않으면 무엇이 남는지는 이차함수에서 정확히 계산됩니다. 곡률이 λ\lambda 인 1차원 손실 λ2x2\tfrac{\lambda}{2}x^2 에 분산 σ2\sigma^2 인 잡음을 넣으면

xt+1=(1−ηλ) xt−η ξt+1x_{t+1} = (1 - \eta\lambda)\,x_t - \eta\,\xi_{t+1}

입니다. 정상 상태에서 분산 vv 가 변하지 않으려면 v=(1−ηλ)2v+η2σ2v = (1-\eta\lambda)^2 v + \eta^2\sigma^2 이어야 하고, 이를 풀면

v=η σ2λ (2−ηλ)≈η σ22λv = \frac{\eta\,\sigma^2}{\lambda\,(2 - \eta\lambda)} \approx \frac{\eta\,\sigma^2}{2\lambda}

입니다. 반복값은 한 점으로 가지 않고 폭이 η\sqrt{\eta} 에 비례하는 구름으로 남습니다. 그 구름의 평균 손실 초과량은 λ2v≈ησ24\tfrac{\lambda}{2}v \approx \tfrac{\eta\sigma^2}{4} 로 곡률과 무관합니다. 이것이 중급 49번에서 이름만 붙였던 잡음 바닥의 정확한 값이고, 첫머리의 첫 장면이 이것입니다. 일정한 학습률 구간의 손실은 수렴한 것이 아니라 바닥에서 출렁이는 것이고, 마지막에 학습률을 내리면 바닥 자체가 η\eta 에 비례해 내려가서 손실이 한 번 더 떨어집니다. 이 상태는 「거의 확실한 수렴」이 아니라 「정상분포로의 수렴」입니다. 정상분포는 갱신을 한 번 더 해도 모양이 바뀌지 않는 확률분포를 말합니다. 이 분포의 모양이 무엇을 고르는지가 뒤의 SDE 절의 주제입니다.

수렴률

볼록 함수

수렴률 정리들은 전부 한 줄의 전개에서 나옵니다. 해 x∗x^\ast 까지의 거리를 한 걸음 전후로 비교하면

∥xt+1−x∗∥2=∥xt−x∗∥2−2η ⟨gt, xt−x∗⟩+η2∥gt∥2\lVert x_{t+1} - x^\ast \rVert^2 = \lVert x_t - x^\ast \rVert^2 - 2\eta\,\langle g_t,\ x_t - x^\ast \rangle + \eta^2 \lVert g_t \rVert^2

입니다. 조건부 기댓값을 취하면 가운데 항의 gtg_t 가 참 기울기로 바뀌고, 볼록성 ⟨∇f(x), x−x∗⟩≥f(x)−f∗\langle \nabla f(x),\ x - x^\ast\rangle \ge f(x) - f^\ast 를 쓰면 손실 간극이 나타납니다. E∥gt∥2≤G2\mathbb{E}\lVert g_t\rVert^2 \le G^2 이고 출발 거리가 DD 이하라면, TT 걸음을 더해 망원급수로 접은 뒤 TT 로 나누어

E[f(xˉT)]−f∗≤D22ηT+η G22\mathbb{E}\big[f(\bar{x}_T)\big] - f^\ast \le \frac{D^2}{2\eta T} + \frac{\eta\,G^2}{2}

을 얻습니다. xˉT\bar{x}_T 는 반복값의 평균이고, 젠센 부등식이 평균의 손실을 손실의 평균 아래로 눌러 줍니다. 첫 항은 출발 거리를 지우는 몫이고 둘째 항은 잡음 바닥입니다. 둘을 같게 맞추는 η=D/(GT)\eta = D/(G\sqrt{T}) 를 넣으면

E[f(xˉT)]−f∗≤DGT\mathbb{E}\big[f(\bar{x}_T)\big] - f^\ast \le \frac{DG}{\sqrt{T}}

이 됩니다. O(1/T)O(1/\sqrt{T}) 의 정체가 이것입니다. 걸음 수 TT 를 미리 알고 학습률을 그에 맞춰 상수로 고른 결과이고, 정확도를 열 배 올리려면 걸음이 백 배 필요합니다.

강볼록 함수

ff 가 μ\mu-강볼록, 곧 f−μ2∥x∥2f - \tfrac{\mu}{2}\lVert x\rVert^2 이 여전히 볼록이면 가운데 항이 거리 자체를 줄입니다. 같은 전개에서 at=E∥xt−x∗∥2a_t = \mathbb{E}\lVert x_t - x^\ast\rVert^2 로 두면

at+1≤(1−2ηtμ) at+ηt2G2a_{t+1} \le (1 - 2\eta_t\mu)\,a_t + \eta_t^2 G^2

이고, ηt=1/(μt)\eta_t = 1/(\mu t) 로 줄이면 귀납법으로 t≥2t \ge 2 에서 at≤2G2/(μ2t)a_t \le 2G^2/(\mu^2 t) 가 됩니다. 확인은 한 줄입니다. at≤Q/ta_t \le Q/t 를 가정하면 다음 값은 (1−2/t) Q/t+Q/(2t2)≤Q(t−1)/t2≤Q/(t+1)(1 - 2/t)\,Q/t + Q/(2t^2) \le Q(t-1)/t^2 \le Q/(t+1) 이하입니다. 거리의 제곱이 O(1/t)O(1/t) 로 줄고, 손실 간극도 같은 속도입니다. 여기서 E∥g∥2≤G2\mathbb{E}\lVert g\rVert^2 \le G^2 를 강볼록 함수 전체에서 가정할 수는 없으므로, 정확히는 유계 볼록 집합 위로 사영하는 SGD에서 성립하는 결과입니다.

학습률의 상수는 중요합니다. ηt=c/t\eta_t = c/t 에서 cμ<1/2c\mu < 1/2 이면 같은 귀납이 깨지고 속도가 t−2cμt^{-2c\mu} 로 떨어집니다. 실험의 a=1a = 1 은 cμ=1c\mu = 1 이라 이 함정을 피했습니다. 곡률을 모르고 1/t1/t 스케줄을 쓰면 위험하다는 것, 그래서 평균을 내는 a<1a < 1 쪽이 실무에서 안전하다는 것이 앞 절의 폴랴크–루퍼트 평균과 같은 이야기입니다.

PL 조건

신경망의 손실은 볼록이 아닌데도 학습 후반에 선형으로 줄어드는 구간이 자주 보입니다. 이를 설명하는 데 쓰는 것이 폴랴크–로야시에비치 조건, 줄여서 PL 조건입니다.

f(x)−f∗≤12μ∥∇f(x)∥2f(x) - f^\ast \le \frac{1}{2\mu}\lVert \nabla f(x) \rVert^2

기울기가 작은 곳에서는 손실 간극도 작아야 한다는 조건이고, 볼록성을 요구하지 않습니다. 과매개변수화된 모델에서는 최소점이 고립된 점이 아니라 다양체를 이루는데, 그런 지형에서도 성립할 수 있습니다. LL-매끄러움의 하강 보조정리와 잡음의 분해 E∥g∥2≤∥∇f∥2+σ2\mathbb{E}\lVert g\rVert^2 \le \lVert\nabla f\rVert^2 + \sigma^2 를 쓰면, η≤1/L\eta \le 1/L 에서

E f(xt+1)−f∗≤(1−ημ)(f(xt)−f∗)+Lη2σ22\mathbb{E}\,f(x_{t+1}) - f^\ast \le (1 - \eta\mu)\big(f(x_t) - f^\ast\big) + \frac{L\eta^2\sigma^2}{2}

가 나옵니다. 간극은 기하급수로 줄다가 Lησ2/(2μ)L\eta\sigma^2/(2\mu) 에서 멈춥니다. 앞 절의 잡음 바닥이 같은 꼴로 다시 나타난 것이고, 바닥을 지우려면 학습률을 줄여야 합니다.

비볼록 함수

볼록성도 PL도 없으면 손실 간극으로는 아무것도 말할 수 없습니다. 남는 것은 기울기의 크기입니다. 하강 보조정리를 TT 걸음 더하면

min⁡t<T E∥∇f(xt)∥2≤2(f(x0)−finf⁡)ηT+Lησ2\min_{t < T}\ \mathbb{E}\lVert \nabla f(x_t)\rVert^2 \le \frac{2\big(f(x_0) - f_{\inf}\big)}{\eta T} + L\eta\sigma^2

이고, 학습률을 맞추면 우변이 O(1/T)O(1/\sqrt{T}) 입니다. 이 정리가 말하는 것은 「지나온 반복값 가운데 기울기가 작은 점이 있었다」뿐입니다. 그 점이 전역 최소인지, 안장점인지, 마지막 반복값인지는 말하지 않습니다. 비볼록 SGD의 수렴 정리를 읽을 때 가장 자주 생기는 오해가 이 자리입니다. 논문의 「수렴한다」가 이 꼴이라면, 그것은 학습이 잘된다는 보장이 아니라 학습이 정상점 근처를 지난다는 보장입니다.

가정 무엇이 줄어드나 속도
볼록, 기울기 유계 평균 반복값의 손실 간극 O(1/T)O(1/\sqrt{T})
강볼록 거리의 제곱, 손실 간극 O(1/T)O(1/T)
PL, 매끄러움 손실 간극 바닥까지 선형, 감쇠하면 O(1/T)O(1/T)
비볼록, 매끄러움 기울기 노름 제곱의 최솟값 O(1/T)O(1/\sqrt{T})

오라클 복잡도

1차 오라클

방법이 아니라 문제의 어려움을 재는 틀이 오라클 복잡도입니다. 알고리즘은 점 xx 를 묻고 오라클은 f(x)f(x) 와 ∇f(x)\nabla f(x) 를 답합니다. 확률적 오라클이면 잡음 섞인 기울기를 답합니다. 알고리즘이 이 답들 말고는 함수에 대해 아무것도 모를 때, 정확도 ε\varepsilon 에 닿으려면 질문을 몇 번 해야 하는가를 묻습니다. 상한은 알고리즘 하나를 분석하면 얻지만, 하한은 「어떤 알고리즘도 이보다 빠를 수 없다」를 보여야 하므로 나쁜 함수를 직접 지어야 합니다.

하한과 가속

네스테로프의 나쁜 함수는 삼중대각 행렬로 만든 이차함수입니다.

f(x)=L4(12x⊤Ax−x1),A=(2−1−12−1⋱⋱⋱−12)f(x) = \frac{L}{4}\Big(\tfrac{1}{2}x^\top A x - x_1\Big), \qquad A = \begin{pmatrix} 2 & -1 & & \\ -1 & 2 & -1 & \\ & \ddots & \ddots & \ddots \\ & & -1 & 2 \end{pmatrix}

원점에서 출발해 기울기만 쓰는 방법은 kk 번 물은 뒤에 첫 kk 좌표만 0이 아닌 점에 머뭅니다. 기울기 L4(Ax−e1)\tfrac{L}{4}(Ax - e_1) 이 삼중대각 구조 때문에 한 번에 한 좌표씩만 새로 건드리기 때문입니다. 이는 란초스 글의 크릴로프 부분공간 이야기와 같은 구조입니다. 그런데 이 함수의 최소점은 모든 좌표가 0이 아니므로, 남은 좌표의 몫을 계산하면

f(xk)−f∗≥3L ∥x0−x∗∥232 (k+1)2f(x_k) - f^\ast \ge \frac{3L\,\lVert x_0 - x^\ast\rVert^2}{32\,(k+1)^2}

가 차원이 2k+12k+1 이상인 동안 성립합니다. 경사하강은 O(1/k)O(1/k) 이고 모멘텀 글의 네스테로프 가속은 O(1/k2)O(1/k^2) 이므로, 가속은 상수배를 빼면 하한과 정확히 맞습니다. 강볼록에서도 같아서, 조건수 κ=L/μ\kappa = L/\mu 일 때 경사하강은 κlog⁡(1/ε)\kappa\log(1/\varepsilon) 번, 가속은 κlog⁡(1/ε)\sqrt{\kappa}\log(1/\varepsilon) 번이 들고 후자가 하한입니다. κ=104\kappa = 10^4 이면 같은 정확도에 만 번 대 백 번입니다.

잡음이 들어오면 이야기가 바뀝니다. 확률적 오라클의 하한은 볼록에서 Ω(σD/T)\Omega(\sigma D/\sqrt{T}), 강볼록에서 Ω(σ2/(μT))\Omega(\sigma^2/(\mu T)) 이고, 앞 절의 SGD가 이미 이 속도입니다. 오차를 결정적인 몫과 잡음의 몫으로 나누면, 가속이 줄여 주는 것은 앞의 몫뿐이고 잡음의 몫은 어떤 방법으로도 줄일 수 없습니다. 미니배치 학습에서 모멘텀의 이득이 이론이 약속하는 만큼 크지 않은 이유가 여기 있습니다.

분산 감소

손실이 유한한 합 f=1n∑ifif = \tfrac{1}{n}\sum_i f_i 이면 잡음의 하한을 피할 길이 하나 열립니다. 잡음의 근원이 「어느 ii 를 뽑았는가」뿐이니, 그 잡음을 기억해 두었다가 빼면 됩니다. SVRG는 가끔 기준점 x~\tilde{x} 에서 전체 기울기 ∇f(x~)\nabla f(\tilde{x}) 를 한 번 계산해 두고, 매 걸음

gt=∇fi(xt)−∇fi(x~)+∇f(x~)g_t = \nabla f_i(x_t) - \nabla f_i(\tilde{x}) + \nabla f(\tilde{x})

를 씁니다. 뒤의 두 항의 기댓값이 0이라 gtg_t 는 여전히 불편 추정량이고, 분산은 E∥∇fi(xt)−∇fi(x~)∥2≤L2∥xt−x~∥2\mathbb{E}\lVert \nabla f_i(x_t) - \nabla f_i(\tilde{x})\rVert^2 \le L^2\lVert x_t - \tilde{x}\rVert^2 이하입니다. 두 점이 모두 해에 가까워지면 분산이 0으로 가므로 상수 학습률로도 잡음 바닥이 없고, 강볼록에서 O((n+κ)log⁡(1/ε))O\big((n + \kappa)\log(1/\varepsilon)\big) 번의 기울기 계산으로 끝납니다. SAG와 SAGA는 기준점 하나 대신 nn 개의 기울기 표를 들고 같은 일을 합니다.

이 이득은 딥러닝에서 잘 나타나지 않습니다. 이유는 셋입니다. 첫째, 대규모 학습은 데이터를 몇 바퀴 돌지 않으므로 「전체 기울기를 한 번 계산한다」는 단위 비용 자체가 학습 전체에 맞먹습니다. 둘째, 한 바퀴 사이에 반복값이 멀리 움직이므로 ∥xt−x~∥\lVert x_t - \tilde{x}\rVert 가 작다는 전제가 깨져 보정항이 분산을 줄이지 못합니다. 측정해 보면 보정항의 분산이 원래 분산과 비슷하거나 더 큰 구간이 깁니다. 셋째, 데이터 증강과 드롭아웃은 같은 ii 라도 매번 다른 fif_i 를 만들어 유한합 구조 자체를 무너뜨립니다. 거기에 잡음이 일반화에 무언가를 해 준다는 다음 절의 관점까지 더하면, 잡음을 지우는 것이 목표가 아닐 수도 있습니다.

확률미분방정식 근사

확산항

ODE 방법은 잡음을 지워서 흐름을 얻었습니다. 학습률이 작지만 0이 아닌 구간을 보려면 잡음을 지우지 말고 크기를 맞춰 남겨야 합니다. 배치 크기 BB 의 미니배치 기울기 잡음은 공분산이 Σ(x)/B\Sigma(x)/B 입니다. 여기서 Σ\Sigma 는 표본 하나의 기울기 공분산입니다. 이제 확률미분방정식

dXτ=−∇f(Xτ) dτ+ηB Σ(Xτ) dWτdX_\tau = -\nabla f(X_\tau)\,d\tau + \sqrt{\frac{\eta}{B}\,\Sigma(X_\tau)}\ dW_\tau

를 시간 간격 η\eta 로 오일러–마루야마 이산화하면, 잡음 증분이 ηΣ/B⋅η z=ηΣ/B z\sqrt{\eta\Sigma/B}\cdot\sqrt{\eta}\,z = \eta\sqrt{\Sigma/B}\,z 가 되어 SGD 한 걸음의 잡음 η ξ\eta\,\xi 와 분산이 같습니다. 오른쪽의 dWdW 항을 확산항이라 부릅니다. 리, 타이, 이(E)가 이 근사가 약한 의미에서 1차, 곧 매끄러운 관측량의 기댓값 오차가 O(η)O(\eta) 라는 것을 보였습니다. 이 근사는 학습률이 작고 잡음이 가우스에 가까울 때의 이야기입니다. 기울기 잡음의 꼬리가 무겁다는 측정도 있어서, 그 경우는 브라운 운동 대신 레비 과정을 쓰는 갈래가 따로 있습니다.

온도

잡음이 등방적이라 Σ≈σ2I\Sigma \approx \sigma^2 I 라고 두면 방정식은 dX=−∇f dτ+2T dWdX = -\nabla f\,d\tau + \sqrt{2T}\,dW 꼴이고, 이 꼴의 정상분포는 깁스 분포

p(x)∝exp⁡ ⁣(−f(x)T),T=η σ22Bp(x) \propto \exp\!\Big(-\frac{f(x)}{T}\Big), \qquad T = \frac{\eta\,\sigma^2}{2B}

입니다. 깁스 분포는 에너지가 낮은 곳일수록 지수적으로 확률이 큰 분포이고, TT 가 그 쏠림의 정도를 정하는 온도입니다. 확인은 포커–플랑크 방정식의 정상 조건 ∇⋅(p∇f+T∇p)=0\nabla\cdot(p\nabla f + T\nabla p) = 0 에 넣어 보면 괄호 안이 통째로 0이 되는 것으로 끝납니다.

학습률과 배치 크기는 온도 안에서 η/B\eta/B 의 비로만 나타납니다. 배치를 두 배로 늘리고 학습률도 두 배로 올리면 온도가 그대로이고, 중급 49번의 선형 스케일링 규칙이 이것을 경험칙으로 적은 것이었습니다. 그 규칙이 큰 배치에서 무너지는 것도 같은 그림으로 읽힙니다. 배치를 키우다 보면 η\eta 가 곡률의 안정 한계 2/λ2/\lambda 에 먼저 닿는데, 그 영역은 SDE 근사가 전제한 「작은 학습률」 밖이기 때문입니다.

평평한 최소점

깊이가 같은 두 최소점이 있고 곡률만 다르다고 합시다. 온도가 낮으면 각 우물 안의 깁스 분포는 가우스로 근사되고(라플라스 근사), 우물 하나에 담기는 질량은

∫e−f(x)/T dx≈e−f∗/T (2πT)d/2det⁡H\int e^{-f(x)/T}\,dx \approx e^{-f^\ast/T}\,\frac{(2\pi T)^{d/2}}{\sqrt{\det H}}

입니다. 깊이가 같으면 질량의 비는 det⁡H1/det⁡H2\sqrt{\det H_1/\det H_2} 이고, 헤세의 행렬식이 작은 쪽, 곧 평평한 쪽이 질량을 더 가져갑니다. 1차원에서 곡률이 25와 1이면 비는 25=5\sqrt{25} = 5 라 날카로운 쪽 질량은 1/61/6 입니다. 차원마다 이런 비가 곱해지므로 고차원에서는 차이가 지수적으로 벌어집니다.

두 우물의 깁스 분포

실제 기울기 잡음은 등방적이지 않습니다. 최소점 근처에서 잘 맞는 모델이면 기울기 공분산이 헤세에 비례하는 경향이 있어서, 날카로운 방향일수록 잡음도 셉니다. 그러면 날카로운 우물은 온도가 실질적으로 더 높고 빠져나가는 속도가 더 빨라져서, 평평한 쪽 선호가 등방 잡음의 계산보다 강해집니다. 이것이 「SGD는 평평한 최소점을 고른다」는 주장의 이론적 줄기입니다. 이 주장이 일반화로 이어지는지는 별개의 문제이고, 날카로움의 정의가 재파라미터화에 불변이 아니라는 반론과 함께 고급 17번이 다룹니다.

수정 방정식

잡음이 전혀 없어도 이산 걸음은 흐름과 다릅니다. 수정 방정식은 이산 반복이 O(η2)O(\eta^2) 의 오차로 정확히 따라가는 다른 흐름을 찾는 기법이고, 수치해석에서 후방 오차 분석이라 부르던 것입니다. 경사하강 x↦x−η∇fx \mapsto x - \eta\nabla f 가 흐름 x˙=−∇f+η h(x)\dot{x} = -\nabla f + \eta\,h(x) 의 시간 η\eta 짜리 해와 같아지도록 hh 를 정합니다. 흐름의 해를 테일러 전개하면 x(η)=x+ηx˙+η22x¨+⋯x(\eta) = x + \eta\dot{x} + \tfrac{\eta^2}{2}\ddot{x} + \cdots 이고, x¨≈−Hx˙=H∇f\ddot{x} \approx -H\dot{x} = H\nabla f 입니다. 그래서

x(η)≈x−η∇f+η2h+η22H∇fx(\eta) \approx x - \eta\nabla f + \eta^2 h + \frac{\eta^2}{2}H\nabla f

이고, 이것이 x−η∇fx - \eta\nabla f 와 같으려면 h=−12H∇f=−14∇∥∇f∥2h = -\tfrac{1}{2}H\nabla f = -\tfrac{1}{4}\nabla\lVert\nabla f\rVert^2 입니다. 정리하면 경사하강은

f~(x)=f(x)+η4∥∇f(x)∥2\tilde{f}(x) = f(x) + \frac{\eta}{4}\lVert \nabla f(x)\rVert^2

의 기울기 흐름을 따라갑니다. 학습률이 손실에 기울기 노름 벌점을 몰래 더하는 셈이고, 이를 암묵적 그래디언트 정규화라 부릅니다. 기울기가 큰 곳, 곧 가파르게 휘는 곳을 피하는 쪽으로 궤적이 휩니다. 미니배치로 같은 계산을 하면 벌점이 미니배치 기울기 노름의 평균이 되고, 그 평균은 ∥∇f∥2+tr⁡Σ/B\lVert\nabla f\rVert^2 + \operatorname{tr}\Sigma/B 라서 η/B\eta/B 에 비례하는 잡음 항이 하나 더 붙습니다. SDE의 온도와 같은 비가 여기서도 나옵니다.

안정성의 가장자리

2/η 문턱

경사하강법 글의 결론은 이차함수에서 곡률 λ\lambda 방향의 성분이 매 걸음 1−ηλ1 - \eta\lambda 배가 되고, 그래서 λ>2/η\lambda > 2/\eta 이면 그 성분이 진동하며 커진다는 것이었습니다. 이 결론은 곡률이 걸음마다 그대로인 이차함수에서 정확합니다. 신경망 손실은 이차함수가 아니어서, 곡률 자체가 반복값을 따라 움직입니다. 코언과 공저자들이 2021년에 전체 배치 경사하강으로 여러 신경망을 학습시키며 헤세의 최대 고윳값, 곧 날카로움을 추적했고, 첫머리의 두 번째 장면이 그 결과입니다.

점진적 날카로워짐

관찰은 두 단계입니다. 먼저 학습 초반에 날카로움이 꾸준히 오르는 점진적 날카로워짐이 있습니다. 그러다 날카로움이 2/η2/\eta 에 닿으면, 이차 이론의 예언과 달리 발산하지 않고 그 근처에 머뭅니다. 손실은 짧게 보면 오르내리지만 길게 보면 계속 내려갑니다. 이 국면을 안정성의 가장자리라 부릅니다. 학습률을 바꾸면 머무는 높이가 정확히 새 2/η2/\eta 로 옮겨 가므로, 학습률이 곡률에 맞춰지는 것이 아니라 곡률이 학습률에 맞춰진다고 읽어야 합니다. 이 그림에서 학습률은 「안정하게 갈 수 있는 상한」이 아니라 「도달할 날카로움을 정하는 손잡이」입니다.

자기 안정화

왜 발산하지 않는지는 테일러 전개를 한 단계 더 하면 보입니다. 최대 고유벡터를 uu, 날카로움을 S(θ)=u⊤H(θ)uS(\theta) = u^\top H(\theta) u 로 두고, 반복값이 uu 방향으로 폭 ss 만큼 진동한다고 합시다. 손실을 그 방향으로 전개하면

f(θ+s u)≈f(θ)+s ∇f(θ)⊤u+s22 S(θ)f(\theta + s\,u) \approx f(\theta) + s\,\nabla f(\theta)^\top u + \frac{s^2}{2}\,S(\theta)

이고, 이 식을 θ\theta 로 미분하면 마지막 항에서 s22∇S(θ)\tfrac{s^2}{2}\nabla S(\theta) 가 나옵니다. 경사하강은 이 항까지 함께 내려가므로 매 걸음 −ηs22∇S-\eta\tfrac{s^2}{2}\nabla S 만큼 날카로움을 줄이는 쪽으로 움직입니다. 날카로움이 2/η2/\eta 를 넘으면 진동 폭 ss 가 자라고, ss 가 자랄수록 이 항이 커져 날카로움을 끌어내립니다. 날카로움이 문턱 아래로 내려가면 진동이 잦아들고, 그러면 다시 점진적 날카로워짐이 시작됩니다. 다미안, 니카니, 리가 정리한 이 음의 되먹임을 자기 안정화라 부릅니다.

가장 작은 예에서도 이 고리가 보입니다. f(a,b)=12(ab−1)2f(a, b) = \tfrac{1}{2}(ab - 1)^2 은 최소점이 곡선 ab=1ab = 1 전체이고, 그 위에서의 날카로움이 a2+b2a^2 + b^2 입니다. 곡선 위의 점마다 날카로움이 다르므로, 날카로움을 줄이는 쪽으로 움직일 자리가 있습니다. η=0.1\eta = 0.1 로 문턱이 20인데 날카로움 21.17인 점 근처에서 출발하면, 진동이 자라 손실이 0.05에서 0.47까지 오르다가 날카로움이 18.57로 내려앉으며 손실이 0으로 갑니다.

안정성의 가장자리에서 곡률이 내려오는 모습

같은 함수에서 날카로움 36짜리 점에서 출발하면 손실이 백 배 넘게 튀었다가 날카로움 13짜리 점에 떨어집니다. 이렇게 한 번 크게 튀어 평평한 곳에 내려앉는 모양을 따로 투석기 국면이라 부르기도 합니다. 둘 다 이차 근사로는 발산이라고 답할 자리에서, 손실의 3차 구조가 곡률을 바꾸어 학습을 살려 낸 것입니다. 앞 절의 수정 방정식과도 이어집니다. η4∥∇f∥2\tfrac{\eta}{4}\lVert\nabla f\rVert^2 벌점과 자기 안정화는 둘 다 「학습률이 크면 궤적이 휘는 곳을 피한다」를 다른 차수에서 본 것입니다.

다시 학습률 스케줄로

코드로 확인하기

본문의 숫자 넷을 차례로 재현합니다. 로빈스–먼로의 네 지수, 상수 학습률의 잡음 바닥, 두 우물에서 SGD가 머무는 비율, 그리고 안정성의 가장자리의 작은 예입니다.

import numpy as np

# 1) 로빈스–먼로: f(x) = x²/2, 잡음 표준편차 1, 출발 x = 10, 경로 400개
def robbins_monro(a, T=100_000, paths=400):
    rng = np.random.default_rng(1)
    x = np.full(paths, 10.0)
    for t in range(1, T + 1):
        eta = 1.0 / (t + 10) ** a
        x -= eta * (x + rng.standard_normal(paths))
    return np.sqrt(np.mean(x ** 2))

for a in [0.3, 0.75, 1.0, 1.5]:
    print(f"a = {a:4.2f}   RMS 오차 {robbins_monro(a):.4f}")

# 2) 상수 학습률의 잡음 바닥: 곡률 1, 잡음 분산 1
rng = np.random.default_rng(2)
for eta in [0.1, 0.01]:
    x = np.zeros(20_000)
    for _ in range(int(20 / eta)):
        x -= eta * (x + rng.standard_normal(x.size))
    print(f"eta = {eta:<5} 분산 {x.var():.5f}   이론 {eta / (2 - eta):.5f}")

# 3) 두 우물: 곡률 25 와 1, 깊이 같음, 온도 T = eta·sigma²/2 = 1
k1, k2, xb = 25.0, 1.0, -0.5
grad = lambda x: np.where(x < xb, k1 * (x + 1), k2 * (x - 2))
loss = lambda x: np.where(x < xb, 0.5 * k1 * (x + 1) ** 2, 0.5 * k2 * (x - 2) ** 2)
xs = np.linspace(-3, 6, 200_001)
p = np.exp(-loss(xs)); print(f"깁스 분포의 날카로운 우물 질량 {p[xs < xb].sum() / p.sum():.3f}")
for eta, steps in [(0.01, 120_000), (0.0025, 480_000)]:
    rng = np.random.default_rng(5)
    x = np.full(2000, -1.0)                    # 전부 날카로운 우물에서 출발
    frac = []
    for t in range(steps):
        x -= eta * (grad(x) + rng.standard_normal(x.size) * np.sqrt(2 / eta))
        if t > steps // 4 and t % 100 == 0:
            frac.append(np.mean(x < xb))
    print(f"eta = {eta:<6} SGD 의 날카로운 우물 비율 {np.mean(frac):.3f}")

# 4) 안정성의 가장자리: L(a, b) = ½(ab − 1)², 전체 배치 GD, eta = 0.1 (2/eta = 20)
for a, b in [(4.6, 0.15), (6.0, 0.1)]:
    peak = 0.0
    for t in range(400):
        r = a * b - 1
        peak = max(peak, 0.5 * r * r)
        H = np.array([[b * b, 2 * a * b - 1], [2 * a * b - 1, a * a]])
        if t == 0:
            s0 = np.linalg.eigvalsh(H)[-1]
        a, b = a - 0.1 * r * b, b - 0.1 * r * a
    s1 = np.linalg.eigvalsh(np.array([[b * b, 2 * a * b - 1], [2 * a * b - 1, a * a]]))[-1]
    print(f"곡률 {s0:5.2f} → {s1:5.2f}   손실 최고점 {peak:.3f}   끝 손실 {0.5 * (a * b - 1) ** 2:.1e}")
a = 0.30   RMS 오차 0.1279
a = 0.75   RMS 오차 0.0097
a = 1.00   RMS 오차 0.0033
a = 1.50   RMS 오차 5.4208
eta = 0.1   분산 0.05375   이론 0.05263
eta = 0.01  분산 0.00499   이론 0.00503
깁스 분포의 날카로운 우물 질량 0.167
eta = 0.01   SGD 의 날카로운 우물 비율 0.141
eta = 0.0025 SGD 의 날카로운 우물 비율 0.161
곡률 21.17 → 18.57   손실 최고점 0.473   끝 손실 9.9e-32
곡률 36.00 → 13.09   손실 최고점 103.966   끝 손실 0.0e+00

읽을 것은 넷입니다. 첫째, 로빈스–먼로 구간 밖의 두 지수가 서로 다른 이유로 실패합니다. a=1.5a = 1.5 는 움직일 거리가 모자라 5.4에서 멈췄고, a=0.3a = 0.3 은 줄기는 하지만 잡음이 모이지 않아 0.13에 머뭅니다. 둘째, 상수 학습률의 분산은 η/(2−η)\eta/(2-\eta) 와 소수 셋째 자리까지 맞고 η\eta 에 비례합니다. 셋째, 모든 경로를 날카로운 우물에서 출발시켰는데도 SGD는 깁스 분포가 말하는 1/61/6 근처로 갑니다. 학습률이 클 때 0.141로 깁스 값보다 더 평평한 쪽에 몰리는 것은 이산화 때문입니다. 날카로운 우물 안의 이산 분산이 1/(1−ηλ/2)1/(1 - \eta\lambda/2) 배로 부풀어 빠져나가기 쉬워진 것이고, 학습률을 넷으로 나누자 0.161로 SDE의 예측에 붙었습니다. 넷째, 두 출발점 모두 문턱 20을 넘는 곡률에서 시작했는데 발산하지 않고 문턱 아래의 최소점에 내려앉았습니다.

연습

  1. 학습률을 ηt=1/ta\eta_t = 1/t^a 로 둘 때 a=0.4, 0.6, 1, 1.2a = 0.4,\ 0.6,\ 1,\ 1.2 가운데 로빈스–먼로 조건을 만족하는 것을 모두 고르세요.
    0.60.6 과 11 입니다. 0.40.4 는 2a=0.8≤12a = 0.8 \le 1 이라 제곱합이 발산하고, 1.21.2 는 a>1a > 1 이라 합 자체가 유한합니다.
  2. 곡률 λ=2\lambda = 2, 잡음 분산 σ2=1\sigma^2 = 1 인 이차함수에서 상수 학습률 η=0.05\eta = 0.05 로 SGD를 돌릴 때 정상 분산과 평균 손실 초과량을 구하세요.
    v=ησ2/(λ(2−ηλ))=0.05/(2×1.9)=0.01316v = \eta\sigma^2/(\lambda(2 - \eta\lambda)) = 0.05/(2 \times 1.9) = 0.01316 이고, 손실 초과량은 λ2v=0.01316\tfrac{\lambda}{2}v = 0.01316 입니다. 근사식 ησ2/4=0.0125\eta\sigma^2/4 = 0.0125 와 가깝습니다.
  3. 볼록 함수에서 D=2D = 2, G=5G = 5, T=104T = 10^4 일 때 볼록 경계가 고르는 학습률과 그때의 상계를 구하고, 상계를 0.01로 낮추려면 걸음이 몇 번 필요한지 답하세요.
    η=D/(GT)=2/500=0.004\eta = D/(G\sqrt{T}) = 2/500 = 0.004 이고 상계는 DG/T=10/100=0.1DG/\sqrt{T} = 10/100 = 0.1 입니다. DG/T=0.01DG/\sqrt{T} = 0.01 이려면 T=1000\sqrt{T} = 1000, 곧 T=106T = 10^6 걸음입니다.
  4. 배치 32, 학습률 0.1로 학습하던 설정에서 배치를 128로 바꿀 때 SDE의 온도를 그대로 두려면 학습률을 얼마로 해야 하나요.
    온도가 η/B\eta/B 에 비례하므로 배치가 4배면 학습률도 4배인 0.4입니다. 다만 이 값이 곡률의 안정 한계 2/λmax⁡2/\lambda_{\max} 를 넘으면 SDE 근사의 전제 밖입니다.
  5. 2차원에서 깊이가 같은 두 최소점의 헤세가 diag⁡(100, 1)\operatorname{diag}(100,\ 1) 과 diag⁡(4, 4)\operatorname{diag}(4,\ 4) 입니다. 낮은 온도의 깁스 분포에서 어느 쪽이 질량을 몇 배 더 가져가는지 구하세요.
    질량은 1/det⁡H1/\sqrt{\det H} 에 비례합니다. 행렬식이 100과 16이라 1/101/10 대 1/41/4 이고, 둘째 최소점이 2.5배를 가져갑니다. 최대 고윳값만 보면 100 대 4라 훨씬 더 차이 나 보이지만, 질량은 모든 방향의 곡률을 곱한 값으로 정해집니다.
  6. 곡률 h=2h = 2 인 이차함수 h2x2\tfrac{h}{2}x^2 에 학습률 η=0.1\eta = 0.1 로 경사하강을 할 때, 수정 방정식이 말하는 수정 손실의 곡률은 얼마인가요. 경사하강 한 걸음의 배율과 수정 흐름의 시간 η\eta 동안의 배율을 비교하세요.
    f~=h2x2+η4h2x2=h2(1+ηh/2)x2\tilde{f} = \tfrac{h}{2}x^2 + \tfrac{\eta}{4}h^2x^2 = \tfrac{h}{2}(1 + \eta h/2)x^2 라 곡률은 2×1.1=2.22 \times 1.1 = 2.2 입니다. 경사하강은 xx 를 1−0.2=0.81 - 0.2 = 0.8 배로, 수정 흐름은 e−0.22=0.8025e^{-0.22} = 0.8025 배로 만들어 원래 흐름의 e−0.2=0.8187e^{-0.2} = 0.8187 보다 훨씬 가깝습니다.
  7. 학습률이 η=0.02\eta = 0.02 일 때 이차함수에서 진동이 커지기 시작하는 곡률은 얼마이고, 곡률이 110인 방향의 성분은 한 걸음에 몇 배가 되나요.
    문턱은 2/η=1002/\eta = 100 입니다. 곡률 110이면 배율이 1−0.02×110=−1.21 - 0.02 \times 110 = -1.2 라 부호를 바꾸며 1.2배씩 커집니다. 신경망에서는 이 성장이 자기 안정화로 곡률을 끌어내릴 수 있습니다.

첫머리의 세 장면으로 돌아갑니다. 일정한 학습률 구간의 잔물결은 수렴하지 못한 것이 아니라 폭이 η\sqrt{\eta} 인 정상분포에 도달한 것이고, 마지막 감쇠 구간에서 손실이 떨어지는 것은 그 분포의 폭이 줄기 때문입니다. 감쇠를 끝까지 하면 로빈스–먼로 조건이 말하는 진짜 수렴으로 넘어갑니다. 정리가 말하는 O(1/T)O(1/\sqrt{T}) 는 볼록이면 평균 반복값의 손실 간극이고, 비볼록이면 지나온 점 가운데 기울기가 작은 점이 있었다는 말일 뿐입니다. 그리고 날카로움이 2/η2/\eta 에 붙어 있는 것은 이차 이론의 발산 조건이 틀린 것이 아니라, 손실의 3차 구조가 진동을 곡률을 낮추는 힘으로 바꾸어 학습률이 곡률을 고르게 만든 결과입니다. 학습률 스케줄은 이 세 장면을 한꺼번에 움직이는 손잡이입니다. 큰 학습률로 온도를 높여 평평한 곳을 고르게 하고, 마지막에 학습률을 내려 그 자리의 바닥까지 내려앉게 합니다.

이 글의 갱신은 전부 기울기를 그대로 썼습니다. 다음 글은 기울기 앞에 행렬을 곱해 지형의 모양을 고치는 방법들, 곧 Adam에서 K-FAC·Shampoo·Muon까지가 각각 무엇을 근사하는지를 한 틀에 놓습니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.13

르장드르–펜첼 변환과 쌍대성: 문제를 뒤집어 푸는 법

켤레함수를 접선의 절편으로 세우고 펜첼–영 부등식·이중 켤레·쌍대 노름을 증명한 뒤, 음의 엔트로피의 켤레가 log-sum-exp이고 그 기울기가 softmax라는 계산으로 KL 정규화 정책의 닫힌 해를 다시 얻습니다. 라그랑주 쌍대, 약쌍대·강쌍대, 쌍대 간극까지 다룹니다.

고급48 MIN
수학2026.11.13

볼록해석: 하위기울기, 강볼록성, 매끄러움의 쌍대

미분이 없는 점에서 기울기를 대신하는 하위미분을 세우고 최적성 조건 0 ∈ ∂f를 증명합니다. L1과 ReLU가 0에서 갖는 것, 클라크 미분과 자동미분의 선택, 강볼록성과 L-매끄러움이 켤레에서 자리를 바꾼다는 쌍대까지 다룹니다.

고급50 MIN