수학

MATH / 중급 20번

확률변수와 기댓값: 베르누이·범주형·이항부터 LOTUS까지

논문의 E[·]와 코드의 .mean() 사이를 잇습니다. 확률변수와 pmf·pdf·cdf를 세우고, 베르누이·범주형·이항이 각각 드롭아웃·토큰 샘플링·정답 개수에 어떻게 대응하는지 본 뒤, 기댓값의 선형성과 LOTUS로 «손실은 데이터 분포 위의 기댓값»을 실제로 계산합니다.

PALDYN Team48 MIN READ

논문에 적힌 학습 목표는 거의 언제나 이 모양입니다.

L(θ)=Ex∼D[ℓ(fθ(x),y)]\mathcal{L}(\theta) = \mathbb{E}_{x \sim \mathcal{D}}\big[\ell(f_\theta(x), y)\big]

그런데 코드에서 같은 자리를 찾아가면 loss.mean() 한 줄입니다. 드롭아웃도 마찬가지입니다 — 구현은 마스크를 곱하고 1−p1-p 로 나누는 두 줄인데, 왜 하필 그 수로 나누는지는 코드에 안 적혀 있습니다.

E\mathbb{E} 라는 기호와 .mean() 사이에 무엇이 있는가 — 이 글이 그 사이를 채웁니다. 지난 글에서 사건에 확률을 붙이는 데까지 왔으니, 이제 결과에 수를 붙이고 그 수의 평균을 낼 차례입니다. 끝에 가서는 같은 .mean()이라도 배치 크기를 바꾸면 값이 통째로 달라지는 손실이 있다는 것까지 봅니다.

확률변수의 정의

결과에 수를 붙이는 함수

표본공간의 결과는 꼭 수가 아닙니다. 토큰 cat, 뉴런이 «살아남음», 동전의 앞면은 전부 수가 아닙니다. 평균을 내려면 먼저 수여야 합니다.

정의. 확률변수는 표본공간의 각 결과에 실수 하나를 붙이는 함수 X:Ω→RX : \Omega \to \mathbb{R} 이다.

이름이 «변수»지만 실제로는 함수입니다. 확률변수 자체에는 무작위성이 없고, 무작위한 것은 어떤 결과가 뽑히느냐입니다. 뽑힌 결과에 붙는 수는 그때 결정됩니다. 같은 표본공간 위에도 함수는 얼마든지 세울 수 있습니다 — 토큰을 뽑는 실험 하나에서 «뽑힌 토큰의 번호», «그 토큰이 정답이면 1», «그 토큰의 글자 수»가 전부 서로 다른 확률변수입니다.

X=1X = 1 같은 표기는 «XX 가 1이라는 값을 갖는 결과들의 집합», 즉 사건을 가리키는 줄임말입니다. 그래서 P(X=1)P(X=1) 이 말이 됩니다 — 지난 글에서 사건에 확률을 붙였고, 여기서는 그 사건을 XX 로 지목했을 뿐입니다.

표본공간의 결과에 실수를 붙이는 함수로서의 확률변수

지시확률변수

가장 작은 확률변수는 값이 0과 1 둘뿐인 것입니다. 사건 AA 하나를 정해 두고, 결과가 AA 에 들면 1, 아니면 0을 붙이는 함수를 AA 의 지시확률변수라 하고 1A\mathbf{1}_A 로 적습니다.

1A(ω)={1ω∈A0ω∉A\mathbf{1}_A(\omega) = \begin{cases} 1 & \omega \in A \\ 0 & \omega \notin A \end{cases}

«이 답이 정답인가», «이 뉴런이 살았는가», «이 토큰이 cat인가» 같은 예·아니오 질문이 전부 지시확률변수입니다. 그리고 이 함수가 1이 될 확률은 정의에 따라 P(A)P(A) 그대로입니다.

이것이 쓸모 있는 이유는 확률과 평균을 한 언어로 묶기 때문입니다. 지시확률변수의 평균을 내면 사건이 일어난 비율이 나오고, 그 비율이 곧 확률입니다. 아래 기댓값 절에서 이것을 E[1A]=P(A)\mathbb{E}[\mathbf{1}_A] = P(A) 한 줄로 적게 되는데, 그 한 줄 덕분에 «확률을 구하라»는 문제를 «평균을 구하라»는 문제로 바꿔 풀 수 있습니다. 정확도가 좋은 예입니다 — 문제마다 «맞혔으면 1»을 붙여 평균 낸 값이 정확도이고, 그것은 «맞힐 확률»의 추정입니다.

결합분포

확률변수 여럿은 따로 사는 것이 아니라 한 표본공간 위에 함께 서 있습니다. 결과 하나가 뽑히면 그 결과에 붙은 XX 의 값과 YY 의 값이 동시에 정해집니다. 그래서 «X=xX=x 이고 Y=yY=y» 라는 사건에 확률을 붙일 수 있고, 그 확률을 모든 짝에 대해 적은 것이 XX 와 YY 의 결합분포 p(x,y)=P(X=x,Y=y)p(x, y) = P(X=x, Y=y) 입니다.

주사위 하나로 확인합니다. XX 는 «짝수면 1», YY 는 «4 이상이면 1»입니다. 두 함수가 같은 여섯 결과 위에 서 있으니, 결과마다 값의 짝을 읽어 세면 됩니다.

Y=0Y=0 (1·2·3) Y=1Y=1 (4·5·6) 주변
X=0X=0 (1·3·5) 2/6 (1, 3) 1/6 (5) 3/6
X=1X=1 (2·4·6) 1/6 (2) 2/6 (4, 6) 3/6
주변 3/6 3/6 1

표의 가장자리가 지난 글의 주변화입니다 — 줄을 따라 더하면 XX 만의 분포, 칸을 따라 더하면 YY 만의 분포가 나옵니다. 거꾸로는 안 됩니다. 가장자리 두 줄만으로는 안쪽 네 칸을 되살릴 수 없습니다. P(X=1)P(Y=1)=1/4P(X=1)P(Y=1) = 1/4 인데 실제 p(1,1)p(1,1) 은 1/31/3 이라, 이 둘은 독립이 아닙니다. 이 표는 아래에서 덧셈과 곱셈의 기댓값을 가를 때 다시 씁니다.

pmf·pdf·cdf

pmf와 pdf

값이 셀 수 있게 떨어져 있으면 이산확률변수이고, 값마다 확률을 적은 함수를 확률질량함수(pmf)라고 합니다.

pX(k)=P(X=k),∑kpX(k)=1p_X(k) = P(X = k), \qquad \sum_k p_X(k) = 1

값이 연속이면 사정이 달라집니다. 실수 하나가 정확히 나올 확률은 0이므로 — 후보가 무한히 많아 각각에 양수를 주면 합이 발산합니다 — 점이 아니라 구간에 확률을 줍니다. 그 역할을 하는 것이 확률밀도함수(pdf)입니다.

P(a≤X≤b)=∫abfX(x) dx,∫−∞∞fX(x) dx=1P(a \le X \le b) = \int_a^b f_X(x)\,dx, \qquad \int_{-\infty}^{\infty} f_X(x)\,dx = 1

여기서 자주 걸리는 자리가 하나 있습니다. 밀도는 1을 넘어도 됩니다. 확률인 것은 높이가 아니라 넓이이기 때문입니다. [0,0.5][0, 0.5] 위에 고르게 퍼진 분포라면 밀도가 f(x)=2f(x) = 2 여야 넓이 2×0.5=12 \times 0.5 = 1 이 됩니다.

pmf pdf
값의 성질 떨어져 있음 이어져 있음
p(k)p(k) 또는 f(x)f(x) 그 값이 나올 확률 확률이 아니다. 넓이의 밀도
1을 넘을 수 있나 아니오 예
전체를 1로 만드는 것 합 적분

pmf 막대의 합과 pdf 곡선 아래 넓이가 각각 1이 되는 그림

누적분포함수

둘을 한 언어로 묶는 것이 누적분포함수(cdf)입니다.

FX(x)=P(X≤x)F_X(x) = P(X \le x)

이산이든 연속이든 정의가 같고, 0에서 1까지 결코 내려가지 않으며 올라갑니다. 이산이면 계단 모양이고 연속이면 매끄러운 곡선이지만, 「이 값 이하가 나올 확률」이라는 뜻은 하나입니다. 계단의 한 칸 높이가 그 자리의 pmf 막대이고, 곡선의 기울기가 그 자리의 pdf입니다. 「중급 25번 · 범주분포에서 뽑기」의 역변환 표집이 이 함수의 역함수를 쓰는 방법입니다.

연속에서 한 가지가 따라옵니다. P(X=a)=0P(X = a) = 0 이므로 부등호에 등호가 붙든 말든 값이 같습니다 — P(X≤a)=P(X<a)P(X \le a) = P(X < a) 입니다. 이산에서는 그 자리에 막대 하나만큼의 차이가 생기므로 같지 않습니다.

혼합 분포

pmf와 pdf로 세상의 확률변수가 다 갈리면 좋겠지만, 신경망 안에서 매일 만나는 값 하나가 어느 쪽에도 안 들어갑니다. ReLU의 출력입니다.

ReLU 앞의 값 XX 가 표준정규분포를 따른다고 합시다. 출력은 Y=max⁡(0,X)Y = \max(0, X) 입니다. XX 가 음수인 절반의 경우가 전부 정확히 0으로 접히므로 P(Y=0)=0.5P(Y = 0) = 0.5 입니다. 한 점에 양수 확률이 붙었으니 연속확률변수가 아닙니다. 그런데 양수 쪽은 XX 의 곡선을 그대로 물려받아 이어져 있으니 이산확률변수도 아닙니다. 이렇게 확률 덩어리가 놓인 점과 밀도로 퍼진 구간이 한 분포 안에 섞인 것을 혼합 분포라고 부릅니다.

pmf로도 pdf로도 이 분포를 한 함수로 적을 수 없습니다. cdf는 됩니다.

FY(y)={0y<0Φ(y)y≥0F_Y(y) = \begin{cases} 0 & y < 0 \\ \Phi(y) & y \ge 0 \end{cases}

여기서 Φ\Phi 는 표준정규분포의 cdf입니다. yy 가 0 바로 아래일 때는 0이다가 0에서 갑자기 Φ(0)=0.5\Phi(0) = 0.5 가 됩니다 — 0에 놓인 확률 덩어리 0.5가 cdf에서는 높이 0.5짜리 수직 점프 하나로 보입니다. 그 뒤로는 매끄럽게 올라가 FY(1)=0.841F_Y(1) = 0.841, FY(2)=0.977F_Y(2) = 0.977 입니다. 점프의 높이가 그 점의 확률이고 매끄러운 구간의 기울기가 밀도라는, 앞 소절의 두 읽기가 한 그래프에 함께 있습니다.

ReLU 출력의 cdf — 0에서 높이 0.5로 뛰고 그 뒤로 매끄럽게 1에 다가가는 곡선

이것은 신기한 예외가 아닙니다. ReLU를 쓰는 층의 활성값은 거의 언제나 0에 덩어리가 있고, 그래서 «활성값의 절반이 0»이라는 관찰이 «희소하다»는 말로 이어집니다. 양자화에서 0을 정확히 표현할 수 있게 격자를 잡는 이유도 같은 자리에 확률이 몰려 있기 때문입니다.

중앙값과 분위수

cdf를 세로축에서 거꾸로 읽으면 또 하나의 요약값이 나옵니다. F(x)=0.5F(x) = 0.5 가 되는 xx 가 중앙값이고, 일반적으로 F(x)=uF(x) = u 가 되는 xx 를 분위수라 하며 F−1(u)F^{-1}(u) 로 적습니다. 점프가 있으면 정확히 uu 가 되는 자리가 없을 수 있어서, 「F(x)≥uF(x) \ge u 가 처음 되는 xx」로 정의합니다.

ReLU 출력에서 읽어 봅니다. 0에서 cdf가 이미 0.5에 닿으므로 중앙값은 0입니다. 0.75 분위수는 Φ−1(0.75)=0.674\Phi^{-1}(0.75) = 0.674, 0.9 분위수는 Φ−1(0.9)=1.282\Phi^{-1}(0.9) = 1.282 입니다. 0.3 분위수는 어떨까요 — F(y)≥0.3F(y) \ge 0.3 이 처음 되는 곳이 역시 점프 자리라 0입니다. 확률 0과 0.5 사이의 분위수가 전부 한 점 0에 몰립니다. 덩어리가 있는 자리에서는 분위수 여럿이 한 값으로 겹친다는 것이 혼합 분포를 cdf로 읽을 때의 특징입니다.

그런데 이 분포의 «평균»은 0이 아닙니다. 아래 기댓값 절에서 계산하면 0.399가 나옵니다. 절반이 0이라 가운데 값은 0인데, 양수 쪽 꼬리가 무게를 오른쪽으로 끌어 평균은 0보다 큽니다. 기댓값과 중앙값이 갈라지는 것은 분포가 한쪽으로 쏠렸다는 신호이고, 지연 시간이나 토큰 길이처럼 꼬리가 긴 값을 보고할 때 평균과 p50을 함께 적는 이유가 이것입니다.

베르누이·범주형·이항

이 글에서 필요한 이산분포는 셋뿐이고, 셋 다 AI 코드에 이름 없이 들어 있습니다.

베르누이 분포

값이 0 또는 1 하나인 분포가 베르누이 분포입니다. P(X=1)=qP(X=1) = q, P(X=0)=1−qP(X=0) = 1-q 이고, 앞 절의 지시확률변수는 전부 이 분포를 따릅니다 — 사건 AA 의 지시확률변수는 q=P(A)q = P(A) 인 베르누이입니다.

드롭아웃 마스크가 정확히 이것입니다. 뉴런마다 베르누이 확률변수를 하나씩 뽑아 1이면 살리고 0이면 죽입니다. 드롭아웃 비율을 pp 라 하면 살아남을 확률은 q=1−pq = 1 - p 입니다.

범주형 분포

값이 KK 개 중 하나이고 각각에 확률 π1,…,πK\pi_1,\dots,\pi_K 가 붙는 분포가 범주형 분포입니다. 합이 1이어야 합니다.

softmax의 출력이 이 분포의 파라미터이고, 토큰을 뽑는다는 것은 어휘 크기 KK 짜리 범주형 분포에서 한 번 뽑는 것입니다. K=2K=2 이면 베르누이가 됩니다. 범주형의 값은 「몇 번째 범주인가」라는 이름표라서, 번호 자체의 평균은 대개 뜻이 없습니다 — 토큰 번호 512와 513을 평균 내도 아무것도 안 나옵니다. 뜻이 생기는 것은 범주마다 지시확률변수를 세워 «이 범주인가»를 0과 1로 바꿨을 때이고, 원-핫 벡터가 바로 그 지시확률변수 KK 개를 나란히 적은 것입니다.

이항 분포

같은 베르누이를 서로 독립으로 nn 번 반복해 1이 나온 횟수를 센 것이 이항 분포입니다.

P(X=k)=(nk)qk(1−q)n−kP(X = k) = \binom{n}{k} q^k (1-q)^{n-k}

(nk)\binom{n}{k} 는 nn 자리 중 1이 놓일 kk 자리를 고르는 경우의 수이고, 뒤의 곱은 그중 한 배치가 나올 확률입니다 — 독립이라 곱셈 규칙을 nn 번 쓸 수 있습니다.

벤치마크 문제 10개를 정답률 0.3인 모델에 냈을 때 맞힌 개수가 이 분포를 따릅니다. 값을 몇 개 계산해 보면

P(X=0)=0.710=0.028,P(X=3)=(103)(0.3)3(0.7)7=120×0.027×0.0824=0.267P(X=0) = 0.7^{10} = 0.028, \qquad P(X=3) = \binom{10}{3}(0.3)^3(0.7)^7 = 120 \times 0.027 \times 0.0824 = 0.267

입니다. 3개를 맞히는 것이 가장 흔하지만 그 확률조차 0.267뿐이고, 같은 모델로 같은 문제를 다시 풀려도 2개나 5개가 나오는 일이 흔합니다. 평가 점수가 실행마다 흔들리는 이유의 절반이 여기에 있습니다.

셋의 관계를 정리하면 뿌리가 하나입니다. 베르누이는 K=2K=2 인 범주형이고, 이항은 베르누이를 독립으로 nn 번 반복해 센 것입니다. 지시확률변수의 말로 바꾸면 이항은 «ii 번째 문제를 맞혔으면 1»인 지시확률변수 nn 개의 합입니다 — 이 한 줄이 다음 절에서 이항의 기댓값을 두 줄에 얻게 해 줍니다.

기댓값과 선형성

기댓값의 정의

정의. 이산확률변수의 기댓값은 E[X]=∑kk⋅pX(k)\displaystyle \mathbb{E}[X] = \sum_k k \cdot p_X(k) 이고, 연속이면 합이 적분이 된다: E[X]=∫xfX(x) dx\displaystyle \mathbb{E}[X] = \int x f_X(x)\,dx

«값 × 그 값이 나올 확률»을 전부 더한 것입니다. 앞의 이항분포에서 계산해 봅니다.

E[X]=0(0.0282)+1(0.1211)+2(0.2335)+3(0.2668)+⋯+10(0.0000059)=3.0\mathbb{E}[X] = 0(0.0282) + 1(0.1211) + 2(0.2335) + 3(0.2668) + \cdots + 10(0.0000059) = 3.0

기댓값은 실제로 나올 수 있는 값일 필요가 없습니다 — 문제 10개 중 3.5개를 맞힐 수는 없지만 q=0.35q=0.35 이면 기댓값은 3.5입니다. 물리적으로 보면 기댓값은 무게중심입니다. pmf의 막대를 무게로 보고 막대그래프를 자로 떠받칠 때 균형이 잡히는 자리입니다.

이항분포 pmf 막대와 무게중심에 놓인 받침점

지시확률변수에 정의를 쓰면 앞에서 미뤄 둔 한 줄이 나옵니다.

E[1A]=1⋅P(A)+0⋅(1−P(A))=P(A)\mathbb{E}[\mathbf{1}_A] = 1 \cdot P(A) + 0 \cdot \big(1 - P(A)\big) = P(A)

혼합 분포도 같은 정의로 계산합니다. 덩어리 쪽은 합으로, 퍼진 쪽은 적분으로 나눠 더하면 됩니다. ReLU 출력이라면 0에 놓인 덩어리는 값이 0이라 기여가 없고, 양수 쪽만 남습니다.

E[Y]=0⋅0.5+∫0∞y φ(y) dy=12π=0.399\mathbb{E}[Y] = 0 \cdot 0.5 + \int_0^\infty y\,\varphi(y)\,dy = \frac{1}{\sqrt{2\pi}} = 0.399

φ\varphi 는 표준정규분포의 pdf입니다. 중앙값 0과 기댓값 0.399가 갈리는 것을 이렇게 확인합니다. 반면 앞의 이항분포는 cdf가 F(2)=0.383F(2) = 0.383, F(3)=0.650F(3) = 0.650 이라 중앙값이 3이고 기댓값도 3이라 둘이 겹칩니다. 쏠림이 작은 분포에서는 둘이 붙어 있고 쏠린 분포에서는 떨어집니다.

선형성

E[aX+b]=a E[X]+b,E[X+Y]=E[X]+E[Y]\mathbb{E}[aX + b] = a\,\mathbb{E}[X] + b, \qquad \mathbb{E}[X + Y] = \mathbb{E}[X] + \mathbb{E}[Y]

이 두 성질을 묶어 기댓값의 선형성이라 부릅니다. 두 번째 식에 독립 조건이 없다는 점이 중요합니다. XX 와 YY 가 아무리 얽혀 있어도 기댓값은 그냥 더해집니다. 증명은 정의를 펴는 것이 전부입니다 — 결합분포 위에서 ∑x,y(x+y)p(x,y)\sum_{x,y}(x+y)p(x,y) 를 두 덩어리로 갈라 각각 주변화하면 ∑xx p(x)+∑yy p(y)\sum_x x\,p(x) + \sum_y y\,p(y) 가 됩니다.

이 성질로 이항의 기댓값을 다시 구합니다. X=11+⋯+1nX = \mathbf{1}_1 + \cdots + \mathbf{1}_n 이고 각 지시확률변수의 기댓값이 qq 이므로

E[X]=∑i=1nE[1i]=nq\mathbb{E}[X] = \sum_{i=1}^{n} \mathbb{E}[\mathbf{1}_i] = nq

두 줄입니다. 정공법으로 ∑kk(nk)qk(1−q)n−k\sum_k k\binom{n}{k}q^k(1-q)^{n-k} 를 직접 계산하려면 k(nk)=n(n−1k−1)k\binom{n}{k} = n\binom{n-1}{k-1} 이라는 항등식으로 nqnq 를 앞으로 빼낸 뒤, 남은 합이 n−1n-1 회짜리 이항분포의 확률 합이라 1이라는 것을 알아봐야 합니다. 같은 답이지만 지시확률변수로 쪼개면 그 계산이 통째로 사라집니다. 여기서는 10×0.3=310 \times 0.3 = 3 입니다.

드롭아웃의 1−p1-p 도 선형성이 설명합니다. 뉴런의 출력이 aa 이고 마스크 MM 이 확률 q=1−pq = 1-p 로 1이라면, 그냥 곱한 출력의 기댓값은 E[aM]=a E[M]=aq\mathbb{E}[aM] = a\,\mathbb{E}[M] = aq 라서 학습 때만 신호가 qq 배로 줄어듭니다. 추론에서는 마스크를 안 쓰니 스케일이 어긋나죠. 그래서 학습 때 qq 로 나눠 둡니다.

E ⁣[aMq]=a qq=a\mathbb{E}\!\left[\frac{aM}{q}\right] = \frac{a\,q}{q} = a

기댓값을 보존하려고 나누는 것이고, 이것이 인버티드 드롭아웃이라는 이름의 뜻입니다.

층 전체로 넓히면 «독립이 필요 없다»가 실제로 일을 합니다. 뉴런 1000개짜리 층에서 살아남는 개수는 지시확률변수 1000개의 합이고, q=0.9q=0.9 면 기댓값이 900입니다. 마스크를 뉴런마다 따로 뽑지 않고 «정확히 900개를 무작위로 골라 살린다»로 바꿔 봅시다. 이제 마스크끼리 독립이 아닙니다 — 한 뉴런이 살면 나머지 999개 중 살 수 있는 자리가 하나 줄어듭니다. 그래도 뉴런 하나가 살 확률은 900/1000=0.9900/1000 = 0.9 그대로이고, 선형성에는 그것만 필요하므로 기댓값은 여전히 nq=900nq = 900 입니다.

import numpy as np
rng = np.random.default_rng(0)
n, keep, trials = 1000, 900, 2000

indep = rng.random((trials, n)) < 0.9            # 뉴런마다 따로 뽑는 마스크
fixed = np.zeros((trials, n), dtype=bool)        # 정확히 900개만 살리는 마스크
for t in range(trials):
    fixed[t, rng.choice(n, keep, replace=False)] = True

for name, m in [("독립", indep), ("정확히 900", fixed)]:
    alive = m.sum(axis=1)
    print(name, round(float(m[:, 0].mean()), 3), round(float(alive.mean()), 1), alive.min(), alive.max())
# 독립 0.892 899.9 867 931
# 정확히 900 0.895 900.0 900 900

첫 열은 0번 뉴런이 살아남은 비율이고 둘 다 0.9 근처, 살아남은 개수의 평균도 둘 다 900입니다. 다른 것은 마지막 두 열, 곧 개수가 흩어진 폭입니다. 독립이면 867에서 931까지 흔들리고 고정이면 늘 900입니다. 평균은 독립과 무관하고 흩어짐은 독립에 기댄다는 것을 이 두 줄이 보여 주는데, 흩어짐을 재는 일은 다음 글의 것입니다.

곱의 기댓값

덧셈과 달리 곱은 그냥 갈라지지 않습니다. XX 와 YY 가 독립일 때만

E[XY]=E[X] E[Y]\mathbb{E}[XY] = \mathbb{E}[X]\,\mathbb{E}[Y]

가 성립합니다. 반례는 가장 극단적인 의존, 곧 Y=XY = X 에서 바로 나옵니다. XX 가 q=0.5q = 0.5 인 베르누이면 X2=XX^2 = X 라 E[X⋅X]=0.5\mathbb{E}[X \cdot X] = 0.5 인데 E[X]2=0.25\mathbb{E}[X]^2 = 0.25 입니다. 두 배나 차이가 납니다.

왜 덧셈에는 독립이 필요 없고 곱에는 필요한지는 결합분포를 펴 보면 갈립니다. 덧셈은 ∑x,y(x+y) p(x,y)\sum_{x,y}(x+y)\,p(x,y) 에서 xx 항과 yy 항이 따로 떨어지므로, 각 덩어리를 주변화하면 끝납니다. 결합분포의 안쪽 칸이 어떻게 생겼든 가장자리만 쓰입니다. 곱은 ∑x,yxy p(x,y)\sum_{x,y} xy\,p(x,y) 라서 xx 와 yy 가 한 항 안에 묶여 있고, 이것이 (∑xx p(x))(∑yy p(y))\big(\sum_x x\,p(x)\big)\big(\sum_y y\,p(y)\big) 로 갈라지려면 p(x,y)=p(x) p(y)p(x,y) = p(x)\,p(y) 여야 합니다. 그것이 독립의 정의입니다. 덧셈은 가장자리만 보고 곱은 안쪽 칸을 봅니다.

앞의 주사위 표로 확인합니다. XYXY 는 둘 다 1일 때만 1이므로 E[XY]=p(1,1)=1/3\mathbb{E}[XY] = p(1,1) = 1/3 입니다. E[X] E[Y]=1/2×1/2=1/4\mathbb{E}[X]\,\mathbb{E}[Y] = 1/2 \times 1/2 = 1/4 와 다릅니다. 같은 표에서 덧셈은 E[X+Y]=0⋅26+1⋅26+2⋅26=1\mathbb{E}[X+Y] = 0 \cdot \tfrac{2}{6} + 1 \cdot \tfrac{2}{6} + 2 \cdot \tfrac{2}{6} = 1 로 1/2+1/21/2 + 1/2 와 정확히 맞습니다.

전체기댓값 법칙

데이터가 여러 갈래로 나뉘어 있을 때가 많습니다. 갈래마다 따로 평균을 내고 그것을 다시 평균 내도 되는지가 이 소절의 질문입니다.

Y=yY = y 라는 조건 아래에서 XX 의 조건부 분포로 낸 평균을 조건부 기댓값 E[X∣Y=y]=∑xx p(x∣y)\mathbb{E}[X \mid Y=y] = \sum_x x\,p(x \mid y) 라 합니다. yy 마다 수가 하나씩 나오므로 E[X∣Y]\mathbb{E}[X \mid Y] 는 YY 의 함수, 곧 또 하나의 확률변수입니다. 그 확률변수의 기댓값이 원래 기댓값과 같다는 것이 전체기댓값 법칙입니다.

E[X]=E[E[X∣Y]]=∑yE[X∣Y=y] P(Y=y)\mathbb{E}[X] = \mathbb{E}\big[\mathbb{E}[X \mid Y]\big] = \sum_y \mathbb{E}[X \mid Y=y]\,P(Y=y)

증명은 조건부 확률의 정의 p(x∣y) p(y)=p(x,y)p(x \mid y)\,p(y) = p(x,y) 를 대입해 yy 로 주변화하는 것뿐입니다. 주사위로 보면 Y=1Y=1 일 때(4·5·6) 짝수는 둘이라 E[X∣Y=1]=2/3\mathbb{E}[X \mid Y=1] = 2/3, Y=0Y=0 일 때(1·2·3) 하나라 1/31/3 이고, 0.5×2/3+0.5×1/3=1/20.5 \times 2/3 + 0.5 \times 1/3 = 1/2 가 E[X]\mathbb{E}[X] 와 맞습니다.

학습에서 이 법칙이 쓰이는 자리는 배치를 갈래별로 묶을 때입니다. 학습 데이터가 코드 70%와 대화 30%로 되어 있고, 데이터 로더가 길이와 형식을 맞추려고 한 배치를 한 갈래로만 채운다고 합시다. 코드 배치의 평균 손실이 1.2, 대화 배치가 2.0이면 전체 손실은

E[L]=0.7×1.2+0.3×2.0=1.44\mathbb{E}[L] = 0.7 \times 1.2 + 0.3 \times 2.0 = 1.44

입니다. 배치를 비율대로 뽑아 배치 손실을 쭉 평균 내면 이 값에 다가가는데, 전체기댓값 법칙이 그것을 보장합니다. 대신 가중치가 반드시 그 갈래의 확률이어야 합니다. 두 갈래의 평균을 그냥 산술평균한 (1.2+2.0)/2=1.6(1.2 + 2.0)/2 = 1.6 은 다른 값입니다 — 갈래별로 따로 잰 평가 점수를 단순 평균한 것이 전체 점수가 아닌 이유가 이것입니다.

LOTUS

변환된 값의 기댓값

XX 의 기댓값이 아니라 g(X)g(X) 의 기댓값이 필요할 때가 훨씬 많습니다. 손실이 그렇습니다 — 뽑는 것은 데이터이고 평균 내는 것은 그 데이터의 손실값입니다.

Y=g(X)Y = g(X) 의 분포를 새로 구한 뒤 정의를 쓰는 것이 정공법인데, 그럴 필요가 없습니다.

E[g(X)]=∑kg(k) pX(k)\mathbb{E}[g(X)] = \sum_k g(k)\,p_X(k)

XX 의 분포를 그대로 두고 값만 gg 로 바꿔 넣으면 됩니다. 이 결과를 LOTUS(law of the unconscious statistician)라고 부릅니다 — «무의식적 통계학자의 법칙»이라는 이름은 이 계산이 너무 자연스러워서 정당화 없이 쓰게 된다는 뜻입니다. 앞에서 ReLU 출력의 기댓값을 구할 때도 사실 이것을 썼습니다. YY 의 혼합 분포를 거치지 않고 ∫max⁡(0,x) φ(x) dx\int \max(0,x)\,\varphi(x)\,dx 로 바로 적분해도 같은 0.399가 나옵니다.

작은 예로 확인합니다. XX 가 1, 2, 3을 각각 0.5, 0.3, 0.2로 가질 때

E[X]=1(0.5)+2(0.3)+3(0.2)=1.7\mathbb{E}[X] = 1(0.5) + 2(0.3) + 3(0.2) = 1.7

E[X2]=1(0.5)+4(0.3)+9(0.2)=3.5\mathbb{E}[X^2] = 1(0.5) + 4(0.3) + 9(0.2) = 3.5

X2X^2 의 분포를 따로 만들지 않았습니다. 그리고 3.5≠1.72=2.893.5 \ne 1.7^2 = 2.89 입니다 — 선형성은 gg 가 일차식일 때만 기댓값 밖으로 빠져나옵니다. 이 두 값의 차이가 다음 글의 주제인 분산입니다.

θ에 기대는 분포

학습은 기댓값을 파라미터로 미분합니다. 이때 θ\theta 가 어디에 들어 있느냐가 갈림길입니다.

지도학습의 손실 Ex∼D[ℓ(fθ(x),y)]\mathbb{E}_{x \sim \mathcal{D}}[\ell(f_\theta(x), y)] 에서 θ\theta 는 gg 쪽, 곧 손실 함수 안에만 있습니다. 데이터 분포 D\mathcal{D} 는 θ\theta 와 무관합니다. 그러면 LOTUS의 합에서 가중치 pD(x)p_{\mathcal{D}}(x) 는 상수이고, 미분이 합 안으로 들어가 Ex∼D[∇θℓ]\mathbb{E}_{x \sim \mathcal{D}}[\nabla_\theta \ell] 이 됩니다. 기댓값과 미분의 순서를 바꿔도 되는 것입니다.

강화학습은 다릅니다. 모델이 확률 θ\theta 로 정답 토큰을 뽑고 정답이면 보상 1을 받는다고 합시다. 뽑힌 값을 XX 라 하면 목표는 J(θ)=EX∼pθ[R(X)]J(\theta) = \mathbb{E}_{X \sim p_\theta}[R(X)] 이고, 이번에는 θ\theta 가 분포 쪽에 있습니다. 답은 쉽게 나옵니다 — J(θ)=θJ(\theta) = \theta 이니 기울기는 1입니다. 그런데 앞의 습관대로 미분을 안으로 넣으면 R(X)R(X) 에는 θ\theta 가 없으므로 E[∇θR(X)]=0\mathbb{E}[\nabla_\theta R(X)] = 0 이 됩니다. 틀린 답입니다.

LOTUS로 펴 보면 이유가 보입니다.

∇θJ=∇θ∑xR(x) pθ(x)=∑xR(x) ∇θpθ(x)=1⋅1+0⋅(−1)=1\nabla_\theta J = \nabla_\theta \sum_x R(x)\,p_\theta(x) = \sum_x R(x)\,\nabla_\theta p_\theta(x) = 1 \cdot 1 + 0 \cdot (-1) = 1

미분이 걸려야 하는 곳은 RR 이 아니라 가중치 pθ(x)p_\theta(x) 였습니다. 그런데 ∑xR(x) ∇θpθ(x)\sum_x R(x)\,\nabla_\theta p_\theta(x) 는 더 이상 «어떤 분포 위의 평균» 꼴이 아니라서 표본을 뽑아 평균 내는 방식으로 추정할 수가 없습니다. 어휘가 수만 개이고 문장이 길어지면 합을 직접 계산하는 것도 불가능합니다.

정책 그래디언트와 재매개변수화

이 막힘을 푸는 길이 둘이고, 둘 다 「미분을 기댓값 안으로 넣을 수 있는 꼴」을 되찾는 방법입니다.

  1. ∇pθ=pθ∇log⁡pθ\nabla p_\theta = p_\theta \nabla \log p_\theta 라는 항등식으로 가중치를 다시 세워 Epθ[R ∇θlog⁡pθ]\mathbb{E}_{p_\theta}[R\,\nabla_\theta \log p_\theta] 로 쓴다. 이제 다시 분포 위의 평균이라 표본으로 추정할 수 있다. 이 길이 정책 그래디언트이고, 위 예에서 x=1x=1 은 R=1R=1 에 ∇log⁡θ=1/θ\nabla \log \theta = 1/\theta 를 곱해 가중치 θ\theta 로 평균 내므로 정확히 1이 나온다. 자세한 것은 중급 53번 · 로그 미분 트릭이 다룬다.
  2. 무작위성을 θ\theta 와 무관한 잡음으로 옮긴다. X∼N(μ,1)X \sim \mathcal{N}(\mu, 1) 을 X=μ+εX = \mu + \varepsilon, ε∼N(0,1)\varepsilon \sim \mathcal{N}(0, 1) 로 다시 쓰면 기댓값은 ε\varepsilon 의 고정된 분포 위에서 잡히고 μ\mu 는 gg 쪽으로 들어간다. 이 길이 재매개변수화다. g(x)=x2g(x) = x^2 이면 E[g(X)]=μ2+1\mathbb{E}[g(X)] = \mu^2 + 1 이라 기울기는 2μ2\mu 이고, 안으로 넣은 Eε[2(μ+ε)]=2μ\mathbb{E}_\varepsilon[2(\mu + \varepsilon)] = 2\mu 가 그것과 맞는다. 중급 59번 · 재매개변수화 트릭과 폐형 forward 과정이 이어받는다.

LOTUS 자체는 두 경우 모두 맞습니다. 다른 것은 θ\theta 가 합의 가중치에 있는지 더해지는 값에 있는지 하나이고, 그 차이 하나가 RLHF와 확산 모델의 수학이 따로 서는 출발점입니다.

젠센 부등식

gg 가 일차식이 아니면 E[g(X)]\mathbb{E}[g(X)] 와 g(E[X])g(\mathbb{E}[X]) 가 다르다는 것을 봤습니다. 다르기만 한 것이 아니라 어느 쪽이 큰지가 gg 의 모양으로 정해지는 경우가 있습니다.

그래프 위 아무 두 점을 이어도 그 선분이 그래프보다 아래로 내려가지 않는 함수를 볼록함수라 합니다. x2x^2, exe^x, −log⁡x-\log x 가 그렇습니다. 볼록함수에 대해서는 언제나

E[g(X)]≥g(E[X])\mathbb{E}[g(X)] \ge g(\mathbb{E}[X])

이고 이것을 젠센 부등식이라 부릅니다. 앞의 예가 그대로 확인입니다 — E[X2]=3.5≥2.89=(E[X])2\mathbb{E}[X^2] = 3.5 \ge 2.89 = (\mathbb{E}[X])^2. 그림으로 보면 이유가 보입니다. g(X)g(X) 의 평균점은 그래프 위 세 점 (1,1),(2,4),(3,9)(1,1), (2,4), (3,9) 를 확률로 가중한 무게중심이라 세 점이 이루는 삼각형 안에 있고, 그 삼각형은 볼록한 곡선의 위쪽에 놓입니다. 같은 x=1.7x = 1.7 에서 곡선 위의 값 2.89보다 평균점 3.5가 높습니다.

포물선 위 세 점과 그 무게중심 — 같은 x=1.7에서 E[X²]=3.5가 곡선 위의 1.7²=2.89보다 높다

AI에서 이 부등식이 바로 걸리는 자리가 퍼플렉서티입니다. 문장 두 개의 평균 음의 로그우도가 각각 1과 3이라면, 말뭉치 전체의 퍼플렉서티는 평균 손실 2를 지수로 올린 e2=7.39e^2 = 7.39 입니다. 문장마다 퍼플렉서티를 구해 평균 내면 (e1+e3)/2=11.40(e^1 + e^3)/2 = 11.40 입니다. exe^x 가 볼록이라 뒤쪽이 늘 크고, 두 방식으로 잰 숫자를 한 표에 섞으면 비교가 무너집니다. 볼록함수의 반대인 오목함수 log⁡\log 에서는 방향이 뒤집혀 E[log⁡X]≤log⁡E[X]\mathbb{E}[\log X] \le \log \mathbb{E}[X] 이고, 이것이 ELBO가 하한이 되는 이유입니다. 부등식 자체는 중급 29번 · 젠센 부등식이 따로 세웁니다.

손실과 불편추정량

표본평균

이제 처음의 식을 읽을 수 있습니다.

L(θ)=Ex∼D[ℓ(fθ(x),y)]=∑xℓ(fθ(x),y) pD(x)\mathcal{L}(\theta) = \mathbb{E}_{x \sim \mathcal{D}}\big[\ell(f_\theta(x), y)\big] = \sum_{x} \ell(f_\theta(x), y)\,p_{\mathcal{D}}(x)

두 번째 등호가 LOTUS입니다. 뽑는 것은 데이터 분포 D\mathcal{D} 에서의 xx 이고, 평균 내는 값은 그 xx 의 손실 ℓ\ell 입니다.

문제는 pDp_{\mathcal{D}} 를 모른다는 것입니다. 우리에게 있는 것은 그 분포에서 뽑힌 표본 nn 개뿐이고, 그래서 합을 표본평균으로 대신합니다.

L^=1n∑i=1nℓ(fθ(xi),yi)\hat{\mathcal{L}} = \frac{1}{n}\sum_{i=1}^{n} \ell(f_\theta(x_i), y_i)

이것이 loss.mean()입니다. 미니배치 손실은 진짜 손실이 아니라 진짜 손실의 추정값이고, 배치를 다시 뽑으면 다른 값이 나옵니다.

import numpy as np
rng = np.random.default_rng(0)

# 진짜 손실이 1.8인 분포에서 배치 32개를 세 번 뽑아 본다
true_mean = 1.8
for _ in range(3):
    batch = rng.exponential(true_mean, size=32)
    print(round(float(batch.mean()), 3))
# 2.079
# 1.633
# 2.626

참값 1.8과 세 배치의 평균이 흩어져 있는 수직선

세 값이 모두 다르고 셋 다 1.8이 아닙니다.

불편추정량

그런데도 이 추정값을 써도 되는 근거가 선형성입니다. 표본 xix_i 를 각각 D\mathcal{D} 에서 뽑았다면 ℓi=ℓ(fθ(xi),yi)\ell_i = \ell(f_\theta(x_i), y_i) 하나하나의 기댓값이 전부 L\mathcal{L} 이므로

E[L^]=1n∑i=1nE[ℓi]=1n⋅n L=L\mathbb{E}[\hat{\mathcal{L}}] = \frac{1}{n}\sum_{i=1}^{n}\mathbb{E}[\ell_i] = \frac{1}{n}\cdot n\,\mathcal{L} = \mathcal{L}

입니다. 한 번 한 번은 빗나가도 평균적으로는 맞는 값을 내놓는다는 뜻이고, 이렇게 기댓값이 추정하려는 참값과 같은 추정량을 불편추정량이라고 합니다. 여기서도 ℓi\ell_i 끼리의 독립은 쓰지 않았습니다 — 선형성만으로 충분합니다. 그리고 배치 크기 nn 이 식에서 깨끗이 지워졌다는 것도 눈여겨볼 만합니다. 배치를 32로 뽑든 1024로 뽑든 기댓값은 같은 L\mathcal{L} 이고, 달라지는 것은 흔들림의 폭뿐입니다.

같은 계산이 그래디언트에도 그대로 적용됩니다. 앞 절에서 본 대로 D\mathcal{D} 가 θ\theta 와 무관하니 미분이 기댓값 안으로 들어가고, 배치 그래디언트의 기댓값이 진짜 그래디언트입니다. 확률적 경사하강법이 «틀린 방향으로 가는데도 도착하는» 이유가 이 한 줄입니다.

대조학습 손실

모든 미니배치 손실이 불편추정량인 것은 아닙니다. 위의 계산이 성립한 것은 ℓi\ell_i 가 표본 ii 하나만 보고 정해졌기 때문입니다. 손실 항 하나가 배치 안의 다른 표본까지 들여다보면 그 전제가 무너집니다.

대조학습은 짝지어진 두 표본(같은 이미지의 두 변형, 이미지와 그 캡션)의 임베딩은 가깝게, 짝이 아닌 것은 멀게 배우는 방법입니다. 그 대표 손실인 InfoNCE는 배치 안의 짝 ii 마다 이렇게 정의됩니다.

ℓi=−log⁡exp⁡(sii/τ)∑j=1Nexp⁡(sij/τ)\ell_i = -\log \frac{\exp(s_{ii}/\tau)}{\sum_{j=1}^{N} \exp(s_{ij}/\tau)}

sijs_{ij} 는 ii 번째 표본과 jj 번째 짝의 유사도이고 τ\tau 는 온도입니다. 분자는 제 짝 하나이고 분모는 배치 안의 짝 NN 개 전부라서, 나머지 N−1N-1 개는 «짝이 아닌 것», 곧 음성 표본 노릇을 합니다. 범주형 분포로 읽으면 «NN 개 후보 중 제 짝을 고를 확률»의 음의 로그입니다.

이 손실의 기댓값은 NN 에 기댑니다. 가장 쉬운 경우로, 학습 초기에 모든 유사도가 같다면 각 후보의 확률이 1/N1/N 이라 ℓi=log⁡N\ell_i = \log N 입니다. N=32N = 32 면 3.47, N=256N = 256 이면 5.55, N=1024N = 1024 면 6.93입니다. 모델이 아무것도 안 배운 상태인데 배치 크기만 바꿔도 손실이 두 배로 달라집니다. 같은 임베딩 품질로 배치 크기만 바꿔 직접 재 봅니다.

import numpy as np
rng = np.random.default_rng(0)

def info_nce(n, d=64, noise=1.5, tau=0.1):
    a = rng.normal(size=(n, d))
    b = a + noise * rng.normal(size=(n, d))   # 짝끼리는 비슷한 임베딩
    a /= np.linalg.norm(a, axis=1, keepdims=True)
    b /= np.linalg.norm(b, axis=1, keepdims=True)
    s = a @ b.T / tau                          # 배치 안 모든 쌍의 유사도
    log_p = np.diag(s) - np.log(np.exp(s).sum(axis=1))
    return -log_p.mean()

for n in [32, 256, 1024]:
    loss = np.mean([info_nce(n) for _ in range(20)])
    print(n, round(float(loss), 2), round(float(np.log(n)), 2))
# 32 0.31 3.47
# 256 1.24 5.55
# 1024 2.32 6.93

짝을 만드는 잡음의 크기, 곧 «모델이 얼마나 잘 배웠는가»는 세 줄 모두 같습니다. 그런데 손실의 평균은 0.31에서 2.32로 일곱 배 넘게 커집니다. 후보가 많아질수록 우연히 제 짝만큼 가까운 남이 섞일 기회가 늘기 때문입니다. 이 손실은 배치 크기와 무관한 어떤 참값의 불편추정량이 아니라, 배치 크기마다 다른 값을 겨누는 추정량입니다.

배치 크기와 손실

그래서 이런 손실은 배치 크기가 다른 실행끼리 숫자를 나란히 놓고 비교할 수 없습니다. 배치 32로 학습한 실행의 손실이 2.5이고 배치 256으로 학습한 실행이 3.0이라고 해서 앞쪽이 낫다고 말할 수 없습니다. 각자의 출발점 log⁡N\log N 에서 얼마나 내려왔는지를 보면 앞쪽은 3.47에서 0.97, 뒤쪽은 5.55에서 2.55를 내려왔습니다. 숫자가 큰 쪽이 더 많이 배웠을 수 있습니다.

실무에서는 두 가지로 이 어긋남을 피합니다.

  • 비교하는 실행끼리 평가할 때의 배치 크기(후보 수)를 똑같이 고정한다. 학습 배치가 달라도 평가는 같은 NN 으로 잰다.
  • 손실 대신 배치 크기에 덜 기대는 지표를 본다. 검색 정확도처럼 «정해진 후보 집합에서 제 짝을 1등으로 골랐는가»를 지시확률변수로 세워 평균 내면 다시 불편추정량이 된다.

평균을 냈다는 사실이 불편을 보장하지 않습니다. .mean() 앞의 항 하나하나가 표본 하나의 함수인지, 배치 전체의 함수인지를 보면 갈립니다.

정리

  • 확률변수는 결과에 수를 붙이는 함수다. 여럿이 한 표본공간 위에 함께 서고, 그 짝들의 확률이 결합분포다. 지시확률변수는 사건을 0과 1로 바꿔 E[1A]=P(A)\mathbb{E}[\mathbf{1}_A] = P(A) 로 확률과 기댓값을 잇는다.
  • pmf는 확률이고 pdf는 밀도다. cdf는 둘을 한 함수로 적고, ReLU 출력 같은 혼합 분포에서는 덩어리가 점프로, 퍼진 구간이 매끄러운 곡선으로 함께 보인다.
  • 중앙값과 분위수는 cdf를 거꾸로 읽은 값이다. 쏠린 분포에서는 기댓값과 갈린다 — ReLU 출력의 중앙값은 0, 기댓값은 0.399다.
  • 베르누이·범주형·이항이 각각 드롭아웃 마스크, 토큰 샘플링, 벤치마크 정답 개수에 대응한다. 이항은 지시확률변수 nn 개의 합이라 기댓값 nqnq 가 두 줄에 나온다.
  • 덧셈의 기댓값에는 독립이 필요 없고 곱에는 필요하다. 덧셈은 결합분포의 가장자리만, 곱은 안쪽 칸까지 본다. 갈래별 평균은 갈래의 확률로 가중해야 전체 평균이 된다.
  • LOTUS는 g(X)g(X) 의 분포를 구하지 않아도 된다는 허가증이다. 다만 θ\theta 가 분포 쪽에 있으면 미분을 안으로 못 넣고, 그 자리를 정책 그래디언트와 재매개변수화가 푼다. 볼록한 gg 에서는 젠센 부등식이 E[g(X)]≥g(E[X])\mathbb{E}[g(X)] \ge g(\mathbb{E}[X]) 로 방향을 정한다.
  • loss.mean()은 표본마다 따로 정해지는 손실에서는 불편추정량이다. 대조학습처럼 배치 안을 들여다보는 손실은 기댓값이 배치 크기에 기대어, 배치 크기가 다른 손실끼리는 나란히 비교할 수 없다.

논문의 E\mathbb{E} 와 코드의 .mean()이 이어졌습니다. 하나는 분포 위의 참값이고 다른 하나는 표본으로 만든 추정값이라는 것까지 알았으니, 남은 질문은 하나입니다 — 그 추정값은 얼마나 믿을 만한가. 마스크 실험에서 867에서 931까지 흔들리던 그 폭을 재는 일이고, 다음 글이 분산과 표준오차로 답합니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN