수학

MATH / 중급 34번

야코비안: 벡터함수의 미분은 행렬이다

nn.Linear(784, 128) 한 층의 «미분»은 무엇일까요. 수도 벡터도 아니고 128×784 짜리 표입니다. 야코비안의 정의와 배치를 세우고, 그것이 그 점에서 함수를 대신하는 선형사상이며, 합성하면 행렬곱이 되고, 행렬식이 부피 배율이라는 것까지 확인합니다.

PALDYN Team46 MIN READ

신경망에서 가장 흔한 한 줄은 nn.Linear(784, 128)입니다. 784개짜리 벡터를 받아 128개짜리 벡터를 내놓는 층이고, MNIST 분류기라면 첫 줄에 그대로 등장합니다. 이 층의 미분은 무엇일까요.

지난 글에서 계산 그래프를 손으로 따라갈 때, 각 자리의 「국소 비율」은 전부 수 하나였습니다. 입력도 수, 출력도 수였기 때문입니다. 그런데 이 층은 784개를 받아 128개를 내놓으므로, 물어야 할 것이 784 × 128 = 100,352가지입니다 — 「jj 번째 입력을 흔들면 ii 번째 출력이 얼마나 흔들리는가」를 모든 짝에 대해 물어야 합니다.

답을 담을 그릇은 수도 벡터도 아니고 표입니다. 그 표에 이름이 있고, 이 글은 그 이름과 그것이 하는 일을 세웁니다. 표의 정의와 배치에서 시작해, 그 표가 한 점에서 함수를 대신한다는 것, 층을 이으면 표가 곱해진다는 것, 표의 행렬식이 부피 배율이라는 것을 차례로 확인하고, 마지막에 그 표를 실제로 만들면 얼마가 드는지를 셉니다.

야코비안의 정의와 배치

행과 열

f:Rn→Rmf: \mathbb{R}^n \to \mathbb{R}^m 인 함수를 봅니다. 입력이 nn 개, 출력이 mm 개이므로 편도함수는 m×nm \times n 개입니다.

정의. ff 의 야코비안(Jacobian)은 (i,j)(i, j) 성분이 ∂fi∂xj\dfrac{\partial f_i}{\partial x_j} 인 m×nm \times n 행렬이다. Jf(x)=[∂f1∂x1⋯∂f1∂xn⋮⋱⋮∂fm∂x1⋯∂fm∂xn]J_f(x) = \begin{bmatrix} \dfrac{\partial f_1}{\partial x_1} & \cdots & \dfrac{\partial f_1}{\partial x_n} \\[6pt] \vdots & \ddots & \vdots \\[6pt] \dfrac{\partial f_m}{\partial x_1} & \cdots & \dfrac{\partial f_m}{\partial x_n} \end{bmatrix}

배치를 외우는 대신 한 문장으로 기억하면 됩니다 — 행은 출력, 열은 입력입니다. 그래서 모양이 (출력 개수) × (입력 개수)이고, nn.Linear(784, 128)의 야코비안은 128×784128 \times 784 입니다.

행은 출력, 열은 입력 — 야코비안의 배치

한 줄과 한 칸의 뜻이 서로 다릅니다.

  • ii 번째 행은 출력 하나에 대한 그래디언트입니다. 지난 글에서 본 ∇fi\nabla f_i 를 눕혀 놓은 것입니다.
  • jj 번째 열은 입력 하나를 흔들었을 때 출력 전체가 흔들리는 방향입니다.

작은 예로 손을 풀어 봅니다. f(x1,x2)=(x12x2,  x1+3x2)f(x_1, x_2) = (x_1^2 x_2,\; x_1 + 3x_2) 는 R2→R2\mathbb{R}^2 \to \mathbb{R}^2 이므로 야코비안이 2×22 \times 2 입니다. 네 칸을 하나씩 채웁니다.

Jf=[∂(x12x2)∂x1∂(x12x2)∂x2∂(x1+3x2)∂x1∂(x1+3x2)∂x2]=[2x1x2x1213]J_f = \begin{bmatrix} \dfrac{\partial (x_1^2x_2)}{\partial x_1} & \dfrac{\partial (x_1^2x_2)}{\partial x_2} \\[8pt] \dfrac{\partial (x_1 + 3x_2)}{\partial x_1} & \dfrac{\partial (x_1 + 3x_2)}{\partial x_2} \end{bmatrix} = \begin{bmatrix} 2x_1x_2 & x_1^2 \\ 1 & 3 \end{bmatrix}

점 (2,3)(2, 3) 에서는

Jf(2,3)=[12413]J_f(2,3) = \begin{bmatrix} 12 & 4 \\ 1 & 3 \end{bmatrix}

입니다. 야코비안은 상수가 아니라 점마다 다른 행렬이라는 점을 눈여겨봅니다. 아래 행은 마침 상수지만 위 행은 xx 에 따라 변합니다. 이 예는 글 끝까지 계속 씁니다.

분자 배치와 분모 배치

출력이 하나뿐인 경우, 곧 m=1m = 1 이면 야코비안은 행이 하나뿐인 1×n1 \times n 행렬입니다. 손실 함수가 정확히 이 경우입니다. 그 한 행을 세워 n×1n \times 1 열로 만든 것이 우리가 익숙하게 쓰던 그래디언트 ∇f\nabla f 입니다.

Jf=[∂f∂x1⋯∂f∂xn],∇f=JfTJ_f = \begin{bmatrix} \dfrac{\partial f}{\partial x_1} & \cdots & \dfrac{\partial f}{\partial x_n} \end{bmatrix}, \qquad \nabla f = J_f^{\mathsf T}

같은 편도함수를 어느 쪽으로 눕히느냐가 규약의 차이입니다. 출력(미분 기호의 분자)의 크기를 행에 두는 쪽을 분자 배치라 하고, 이 글의 m×nm \times n 이 그것입니다. 입력(분모)의 크기를 행에 두는 쪽은 분모 배치라 하며 모양이 n×mn \times m 입니다. 두 배치는 전치 하나로 갈립니다 — 담긴 수는 같고 눕힌 방향만 다릅니다.

PyTorch의 .grad가 언제나 파라미터와 같은 모양으로 채워지는 것은 분모 배치 쪽 관습입니다. 784차원 입력의 그래디언트는 784개짜리 열이지 1×7841 \times 784 행이 아닙니다. 논문마다 규약이 달라 같은 식이 전치된 채로 나타나는데, 이것을 공식 셋으로 정리하는 일은 행렬 미분의 규약 글이 맡습니다. 여기서는 「행은 출력」을 기준으로 삼고, 그래디언트는 그 한 행을 세운 것이라는 사실만 기억합니다.

헤세 행렬

그래디언트 자체도 벡터함수입니다. 스칼라 함수 ff 의 그래디언트 ∇f:Rn→Rn\nabla f: \mathbb{R}^n \to \mathbb{R}^n 는 점마다 벡터 하나를 내놓으므로, 이 함수에도 야코비안이 있습니다. 그 야코비안을 헤세 행렬(Hessian)이라 부르고, (i,j)(i, j) 성분은 2계 편도함수 ∂2f/∂xj∂xi\partial^2 f / \partial x_j \partial x_i 입니다.

앞의 예에서 첫 출력 f1=x12x2f_1 = x_1^2 x_2 만 떼어 봅니다. 그래디언트가 ∇f1=(2x1x2,  x12)\nabla f_1 = (2x_1x_2,\; x_1^2) 이고 — 이것이 JfJ_f 의 첫 행을 세운 것입니다 — 그 야코비안은

Hf1=[2x22x12x10],Hf1(2,3)=[6440]H_{f_1} = \begin{bmatrix} 2x_2 & 2x_1 \\ 2x_1 & 0 \end{bmatrix}, \qquad H_{f_1}(2,3) = \begin{bmatrix} 6 & 4 \\ 4 & 0 \end{bmatrix}

입니다. 왼쪽 아래와 오른쪽 위가 같습니다. 우연이 아니라 2계 편도함수가 연속이면 미분 순서를 바꿔도 값이 같다는 슈바르츠 정리 때문이고, 그래서 헤세 행렬은 언제나 대칭입니다. 일반 야코비안에는 이런 대칭이 없습니다 — Jf(2,3)J_f(2,3) 의 4와 1이 다른 것처럼. 헤세가 곡률을 어떻게 재는지는 테일러 전개와 헤세 글에서 다시 만납니다.

배치 차원

실제 층은 벡터 하나가 아니라 배치 하나를 받습니다. 32개짜리 미니배치를 넣으면 입력은 32×78432 \times 784, 출력은 32×12832 \times 128 입니다. 「모든 출력 성분을 모든 입력 성분으로」라는 정의를 그대로 따르면 야코비안의 모양은 (출력 모양) × (입력 모양), 곧 (32,128,32,784)(32, 128, 32, 784) 입니다. 축이 넷인 배열이라 4차 텐서라고 부릅니다. 성분이 102,760,448개입니다.

이것을 행렬로 되돌리는 방법은 축을 펴는 것입니다. 출력의 두 축을 한 줄로 이어 32⋅128=409632 \cdot 128 = 4096 개의 행, 입력의 두 축을 이어 32⋅784=25,08832 \cdot 784 = 25{,}088 개의 열을 만들면 4096×25,0884096 \times 25{,}088 행렬이 됩니다. 그러면 무엇이 보이는가. 표본끼리는 서로 영향을 주지 않으므로 bb 번째 출력은 bb 번째 입력에만 기댑니다. 대각선 위의 블록 32개만 WW 이고 나머지는 전부 0인 블록 대각 행렬입니다.

배치 축을 펴면 야코비안이 블록 대각 행렬이 된다

0이 아닌 칸은 전체의 32분의 1, 곧 128×784=100,352128 \times 784 = 100{,}352 개짜리 WW 를 32번 되풀이한 것뿐입니다. 4차 텐서를 그대로 들고 다닐 이유가 없다는 뜻이고, autograd가 배치를 표본마다 따로 처리하듯 다루는 근거입니다. 다만 배치 정규화처럼 배치 안의 평균을 쓰는 층에서는 이 블록 밖이 0이 아니게 됩니다 — 표본끼리 서로를 흔들기 때문입니다.

점에서의 선형사상

선형근사

도함수 글에서 도함수를 「가장 좋은 선형근사의 기울기」로 읽었습니다. 벡터함수에서도 문장이 그대로입니다. 달라진 것은 곱셈이 행렬곱이 된 것뿐입니다.

f(a+h)≈f(a)+Jf(a) hf(a + h) \approx f(a) + J_f(a)\, h

오른쪽 둘째 항은 hh 에 대한 선형사상입니다. hh 는 nn 차원, JfJ_f 는 m×nm \times n 이므로 JfhJ_f h 는 mm 차원 — 모양이 맞습니다. 행렬을 선형사상으로 읽는 글에서 「행렬은 벡터를 벡터로 보내는 규칙」이라고 했는데, 야코비안이 하는 일이 정확히 그것입니다. 휘어진 함수를 한 점 근처에서 곧게 편 것이 야코비안입니다.

수로 확인합니다. a=(2,3)a = (2,3), h=(0.01, −0.02)h = (0.01,\, -0.02) 로 잡습니다.

Jf(a) h=[12413][0.01−0.02]=[0.12−0.080.01−0.06]=[0.04−0.05]J_f(a)\,h = \begin{bmatrix} 12 & 4 \\ 1 & 3 \end{bmatrix}\begin{bmatrix} 0.01 \\ -0.02 \end{bmatrix} = \begin{bmatrix} 0.12 - 0.08 \\ 0.01 - 0.06 \end{bmatrix} = \begin{bmatrix} 0.04 \\ -0.05 \end{bmatrix}

실제 변화는 f(2.01, 2.98)−f(2,3)=(12.039498, 10.95)−(12, 11)=(0.039498, −0.05)f(2.01,\, 2.98) - f(2,3) = (12.039498,\ 10.95) - (12,\ 11) = (0.039498,\ -0.05) 입니다. 첫 성분의 오차가 0.000502, 둘째는 0입니다.

작은 사각형은 야코비안이 정하는 평행사변형으로 간다

그림으로 읽으면 이렇습니다. 점 aa 를 중심으로 아주 작은 사각형을 그리면, ff 는 그것을 평행사변형으로 보냅니다. 그 평행사변형의 두 변이 야코비안의 두 열이고, 사각형이 작을수록 근사가 정확해집니다.

오차의 차수

「작을수록 정확해진다」를 얼마나 빨리 정확해지는지로 바꿔 봅니다. 첫 성분의 오차 0.000502가 어디서 왔는지 전개하면 바로 보입니다.

(2+h1)2(3+h2)−12=(12h1+4h2)+(3h12+4h1h2+h12h2)\begin{aligned} (2 + h_1)^2(3 + h_2) - 12 &= (12h_1 + 4h_2) + (3h_1^2 + 4h_1h_2 + h_1^2h_2) \end{aligned}

앞 괄호가 야코비안의 첫 행 (12,4)(12, 4) 가 만든 선형 부분이고, 뒤 괄호가 근사가 버린 나머지입니다. h=(0.01,−0.02)h = (0.01, -0.02) 를 넣으면 나머지가 0.0003−0.0008−0.000002=−0.0005020.0003 - 0.0008 - 0.000002 = -0.000502 로, 위의 오차와 정확히 같습니다.

나머지의 항은 전부 hh 를 두 번 이상 곱한 것입니다. 그러면 hh 를 절반으로 줄일 때 오차는 넷으로 줄어야 합니다. 실제로 h=(0.005,−0.01)h = (0.005, -0.01) 이면 오차가 −0.00012525-0.00012525, h=(0.0025,−0.005)h = (0.0025, -0.005) 이면 −0.0000312813-0.0000312813 이고, 비가 4.008과 4.004입니다. 정확히 4가 아닌 것은 h12h2h_1^2h_2 처럼 세 번 곱한 항이 8분의 1로 줄며 조금 섞이기 때문입니다.

이처럼 오차가 ∥h∥2\|h\|^2 에 비례해 줄어드는 것을 2차 오차라고 부릅니다. 오차가 ∥h∥\|h\| 보다 빨리 사라지므로, hh 가 작아질수록 선형 부분이 변화의 거의 전부가 됩니다. 「가장 좋은 선형근사」라는 말의 정확한 뜻이 이것이고, 다른 어떤 행렬을 넣어도 오차가 ∥h∥\|h\| 에 비례하는 몫이 남습니다.

아핀 함수

둘째 성분의 오차가 0이었던 것도 우연이 아닙니다. x1+3x2x_1 + 3x_2 는 처음부터 직선이라 버릴 나머지가 없습니다.

f(x)=Wx+bf(x) = Wx + b 꼴, 곧 선형사상에 상수를 더한 함수를 아핀 함수라고 부릅니다. 아핀 함수는 야코비안이 어느 점에서나 WW 로 같고, 선형근사가 근사가 아니라 등식이 됩니다.

f(a+h)=W(a+h)+b=f(a)+Whf(a + h) = W(a + h) + b = f(a) + W h

nn.Linear가 정확히 이 꼴입니다. 그래서 선형층에서는 「그 점 근처에서」라는 단서가 필요 없고, 야코비안이 층 그 자체입니다. 휘어짐은 층과 층 사이의 활성함수와 정규화에서만 생기고, 그 자리의 야코비안만 점마다 달라집니다.

합성과 야코비안의 곱

행렬 연쇄법칙

지난 글의 연쇄법칙이 행렬 한 줄로 다시 적힙니다. f:Rn→Rmf: \mathbb{R}^n \to \mathbb{R}^m 과 g:Rm→Rpg: \mathbb{R}^m \to \mathbb{R}^p 를 이어 붙이면

연쇄법칙(행렬 형태). Jg∘f(x)=Jg(f(x))  Jf(x)J_{g \circ f}(x) = J_g\big(f(x)\big)\; J_f(x)

입니다. 오른쪽은 (p×m)(m×n)(p \times m)(m \times n) 이라 결과가 p×np \times n — 왼쪽과 모양이 맞습니다. 가운데 mm 이 사라지는 것이 요점입니다. 중간층의 폭은 최종 야코비안의 모양에 나타나지 않습니다.

여기서 지난 글의 「경로마다 곱하고 경로끼리 더한다」가 어디로 갔는지 확인해 둡니다. 행렬곱의 정의가

[JgJf]ij=∑k=1m∂gi∂uk∂uk∂xj[J_g J_f]_{ij} = \sum_{k=1}^{m} \frac{\partial g_i}{\partial u_k}\frac{\partial u_k}{\partial x_j}

이므로, 곱은 경로 하나이고 합 기호가 경로끼리 더하는 자리입니다. 지난 글의 문장이 행렬곱 안에 통째로 들어가 있는 셈입니다.

앞의 ff 에 g(u1,u2)=(u1+u2,  u1u2)g(u_1, u_2) = (u_1 + u_2,\; u_1 u_2) 를 이어 봅니다. Jg=[11u2u1]J_g = \begin{bmatrix} 1 & 1 \\ u_2 & u_1 \end{bmatrix} 이고 u=f(2,3)=(12,11)u = f(2,3) = (12, 11) 이므로

Jg(u) Jf(2,3)=[111112][12413]=[13714480]J_g(u)\,J_f(2,3) = \begin{bmatrix} 1 & 1 \\ 11 & 12 \end{bmatrix}\begin{bmatrix} 12 & 4 \\ 1 & 3 \end{bmatrix} = \begin{bmatrix} 13 & 7 \\ 144 & 80 \end{bmatrix}

입니다. 합성함수를 직접 써서 미분해도 같은지 봅니다. g∘f=(x12x2+x1+3x2,  x13x2+3x12x22)g \circ f = (x_1^2x_2 + x_1 + 3x_2,\; x_1^3x_2 + 3x_1^2x_2^2) 이고

∂∂x1(x12x2+x1+3x2)=2x1x2+1=13,∂∂x1(x13x2+3x12x22)=3x12x2+6x1x22=144\frac{\partial}{\partial x_1}(x_1^2x_2 + x_1 + 3x_2) = 2x_1x_2 + 1 = 13, \qquad \frac{\partial}{\partial x_1}(x_1^3x_2 + 3x_1^2x_2^2) = 3x_1^2x_2 + 6x_1x_2^2 = 144

로 첫 열이 맞습니다. 나머지 둘도 x12+3=7x_1^2 + 3 = 7, x13+6x12x2=80x_1^3 + 6x_1^2x_2 = 80 으로 맞습니다.

층이 LL 개인 신경망이면 이 곱이 그대로 늘어납니다.

J전체=JL JL−1⋯J2 J1J_{\text{전체}} = J_L \, J_{L-1} \cdots J_2 \, J_1

층의 야코비안이 곱해지며 가운데 차원이 사라진다

지난 글에서 「비율이 곱해지니 rLr^L 로 벌어진다」고 했던 것의 정확한 형태가 이것입니다. 곱해지는 것이 수가 아니라 행렬일 뿐이고, 크기가 벌어지는 이야기는 그대로입니다 — 다만 「크기」를 재려면 행렬의 크기를 재는 자가 필요하고, 그것이 행렬 노름 또는 특잇값입니다.

자주 쓰는 층

자주 쓰는 층들의 야코비안을 정리해 둡니다. 대부분 따로 계산할 것이 없습니다.

층 식 야코비안 모양
선형층 y=Wxy = Wx WW m×nm \times n
편향 덧셈 y=x+by = x + b II n×nn \times n
원소별 활성함수 yi=ϕ(xi)y_i = \phi(x_i) diag⁡(ϕ′(x))\operatorname{diag}(\phi'(x)) n×nn \times n
잔차 블록 y=x+F(x)y = x + F(x) I+JFI + J_F n×nn \times n

선형층의 야코비안이 WW 그 자체라는 첫 줄이 특히 중요합니다. yi=∑jWijxjy_i = \sum_j W_{ij}x_j 이므로 ∂yi/∂xj=Wij\partial y_i/\partial x_j = W_{ij} 이고, 그러니 야코비안을 「구할」 것이 없습니다 — 이미 메모리에 있습니다. 잔차 블록 줄의 II 도 지난 글에서 「곱해지는 값에 1을 심는다」고 했던 것의 행렬판입니다.

원소별 활성함수가 대각 행렬인 것은 yiy_i 가 xix_i 하나에만 기대기 때문입니다. 대각 행렬과의 곱은 원소별 곱셈이라, ReLU를 지나는 역전파는 기울기 벡터에 0과 1을 원소별로 곱하는 일로 끝납니다.

softmax와 LayerNorm

표에는 트랜스포머에서 가장 자주 지나는 두 층이 빠져 있습니다. 둘 다 출력 하나가 입력 전체에 기대므로 대각 행렬이 되지 않습니다.

softmax는 pi=ezi/∑kezkp_i = e^{z_i} / \sum_k e^{z_k} 입니다. 몫의 미분을 한 번 하면 ∂pi/∂zj=pi(δij−pj)\partial p_i / \partial z_j = p_i(\delta_{ij} - p_j) 가 나옵니다. 여기서 δij\delta_{ij} 는 i=ji = j 일 때 1, 아니면 0인 기호입니다. 행렬로 모으면

Jsoftmax=diag⁡(p)−p pTJ_{\text{softmax}} = \operatorname{diag}(p) - p\,p^{\mathsf T}

입니다. z=(1,2,3)z = (1, 2, 3) 이면 p=(0.0900,  0.2447,  0.6652)p = (0.0900,\; 0.2447,\; 0.6652) 이고

Jsoftmax=[0.0819−0.0220−0.0599−0.02200.1848−0.1628−0.0599−0.16280.2227]J_{\text{softmax}} = \begin{bmatrix} 0.0819 & -0.0220 & -0.0599 \\ -0.0220 & 0.1848 & -0.1628 \\ -0.0599 & -0.1628 & 0.2227 \end{bmatrix}

입니다. 행마다 더하면 0입니다. 모든 zjz_j 에 같은 수를 더해도 확률이 안 바뀐다는 사실이 이 행 합 0으로 적힌 것입니다. 이 행렬을 실제로 만들지 않고 어텐션에서 통과시키는 방법은 어텐션의 그래디언트 글이 다룹니다.

LayerNorm은 벡터 하나의 평균 μ\mu 를 빼고 표준편차 σ\sigma 로 나눠 z^=(x−μ)/σ\hat z = (x - \mu)/\sigma 를 내놓습니다(학습되는 배율과 이동은 뒤에 붙는 아핀 함수라 빼고 봅니다). 미분할 재료는 둘입니다. ∂μ/∂xj=1/n\partial \mu / \partial x_j = 1/n 이고, σ2=1n∑k(xk−μ)2\sigma^2 = \tfrac1n\sum_k (x_k - \mu)^2 을 미분하면 ∂σ/∂xj=z^j/n\partial \sigma / \partial x_j = \hat z_j / n 입니다. 몫의 미분에 넣고 정리하면

JLN=1σ(I−1n11T−1nz^ z^T)J_{\text{LN}} = \frac{1}{\sigma}\Big(I - \tfrac{1}{n}\mathbf{1}\mathbf{1}^{\mathsf T} - \tfrac{1}{n}\hat z\,\hat z^{\mathsf T}\Big)

이 됩니다. 1\mathbf 1 은 성분이 전부 1인 벡터입니다. 손으로 확인하기 좋은 입력은 x=(1,1,3,3)x = (1, 1, 3, 3) 입니다. 평균이 2, 표준편차가 1이라 z^=(−1,−1,1,1)\hat z = (-1, -1, 1, 1) 이고, 괄호 안을 칸마다 계산하면 대각이 1−14−14=121 - \tfrac14 - \tfrac14 = \tfrac12, 부호가 같은 짝이 −12-\tfrac12, 부호가 다른 짝이 0입니다.

JLN(1,1,3,3)=[0.5−0.500−0.50.500000.5−0.500−0.50.5]J_{\text{LN}}(1,1,3,3) = \begin{bmatrix} 0.5 & -0.5 & 0 & 0 \\ -0.5 & 0.5 & 0 & 0 \\ 0 & 0 & 0.5 & -0.5 \\ 0 & 0 & -0.5 & 0.5 \end{bmatrix}

평균과 방향의 사영

LayerNorm의 야코비안에 아무 벡터나 넣어 봅니다. v=(0.3,−1.2,2.0,0.5)v = (0.3, -1.2, 2.0, 0.5) 를 넣으면 JLNv=(0.75,−0.75,0.75,−0.75)J_{\text{LN}} v = (0.75, -0.75, 0.75, -0.75) 이고, 성분의 합이 0입니다. 다른 벡터를 넣어도 마찬가지입니다.

이유는 식에 그대로 있습니다. 1T\mathbf 1^{\mathsf T} 를 왼쪽에 곱하면 1T1=n\mathbf 1^{\mathsf T}\mathbf 1 = n 이라 앞 두 항이 지워지고, z^\hat z 의 성분 합이 0이라 셋째 항도 사라집니다. 같은 계산을 z^T\hat z^{\mathsf T} 로 하면 z^Tz^=n\hat z^{\mathsf T}\hat z = n 이라 역시 0이 됩니다. 위의 결과에서도 z^⋅(0.75,−0.75,0.75,−0.75)=0\hat z \cdot (0.75, -0.75, 0.75, -0.75) = 0 입니다.

괄호 안의 행렬은 입력에서 1\mathbf 1 방향 성분(평균)과 z^\hat z 방향 성분(크기)을 빼고 나머지만 남깁니다. 이처럼 몇 방향을 지우고 나머지를 그대로 두는 행렬을 사영이라고 부릅니다. LayerNorm을 흔들어도 출력의 평균은 늘 0, 크기는 늘 같게 유지되므로, 그 두 방향으로는 출력이 움직일 수 없다는 사실이 사영으로 적힌 것입니다. softmax의 행 합 0도 같은 종류의 이야기입니다 — 확률의 합이 1로 묶여 있어 그 방향으로는 움직이지 못합니다.

두 층은 표의 네 줄과 갈래가 다릅니다. 선형층은 꽉 찬 WW, 활성함수는 대각, 편향과 잔차는 항등을 품은 것이었는데, softmax와 LayerNorm은 「대각에서 낮은 계수 행렬을 뺀 것」입니다. 지워지는 방향이 있으므로 두 행렬 모두 정사각인데도 되돌릴 수 없고, 다음 절의 말로 하면 행렬식이 0입니다.

행렬식과 부피 배율

넓이 배율

야코비안이 정사각행렬(m=nm = n)이면 행렬식을 잴 수 있고, 그 값에 뜻이 있습니다.

초급의 행렬식 글에서 2×22 \times 2 행렬식이 두 열벡터가 만드는 평행사변형의 넓이라고 했습니다. 앞 절에서 작은 사각형이 야코비안의 두 열이 만드는 평행사변형으로 간다는 것을 봤으니, 둘을 붙이면 곧바로

∣det⁡Jf(a)∣|\det J_f(a)| 는 점 aa 근처에서 ff 가 넓이(부피)를 몇 배로 늘리는가다.

가 됩니다. 우리 예에서 det⁡Jf(2,3)=12×3−4×1=32\det J_f(2,3) = 12 \times 3 - 4 \times 1 = 32 이므로, (2,3)(2,3) 근처의 작은 사각형은 32배 넓은 평행사변형이 됩니다. 뒤의 코드에서 한 변이 0.001인 사각형을 실제로 보내 32.009배를 얻습니다.

야코비안 행렬식은 국소 넓이 배율이고, 밀도는 그 역수로 눌린다

부호도 뜻이 있습니다. 음수면 방향이 뒤집혔다는 뜻이고, 0이면 그 점에서 차원이 무너졌다는 뜻입니다 — 평행사변형이 선분으로 납작해진 것입니다. 우리 ff 에서는 det⁡Jf=6x1x2−x12=x1(6x2−x1)\det J_f = 6x_1x_2 - x_1^2 = x_1(6x_2 - x_1) 이라, x1=0x_1 = 0 인 직선과 x1=6x2x_1 = 6x_2 인 직선 위에서 0이 됩니다.

역함수 정리

행렬식이 0이 아닌 점에서는 무엇을 말할 수 있는가. 그 점에서 선형근사 Jf(a)J_f(a) 가 되돌릴 수 있는 행렬이고, 선형근사가 함수를 충분히 잘 대신하므로 함수도 그 근처에서 되돌릴 수 있습니다. 이것을 역함수 정리라고 부릅니다 — det⁡Jf(a)≠0\det J_f(a) \ne 0 이면 aa 근처에서 ff 의 역함수가 있고, 그 역함수의 야코비안은 Jf(a)−1J_f(a)^{-1} 입니다.

우리 예에 대 보면

Jf(2,3)−1=132[3−4−112]J_f(2,3)^{-1} = \frac{1}{32}\begin{bmatrix} 3 & -4 \\ -1 & 12 \end{bmatrix}

입니다. Jf(2,3)J_f(2,3) 과 곱하면 132[320032]=I\tfrac{1}{32}\begin{bmatrix} 32 & 0 \\ 0 & 32 \end{bmatrix} = I 로 맞습니다. 출력 (12,11)(12, 11) 근처에서 출력을 조금 움직였을 때 입력이 얼마나 움직여야 하는지를 이 행렬이 알려 줍니다. 넓이가 32배로 늘었으니 되돌아갈 때는 32분의 1로 줄고, 실제로 det⁡Jf−1=1/32\det J_f^{-1} = 1/32 입니다.

국소성

역함수 정리에는 「그 점 근처에서」라는 단서가 꼭 붙습니다. 행렬식이 어디서나 0이 아니어도 전체로는 되돌릴 수 없는 함수가 있기 때문입니다.

극좌표가 그 예입니다. x=rcos⁡θx = r\cos\theta, y=rsin⁡θy = r\sin\theta 의 야코비안은

J=[cos⁡θ−rsin⁡θsin⁡θrcos⁡θ],det⁡J=rcos⁡2θ+rsin⁡2θ=rJ = \begin{bmatrix} \cos\theta & -r\sin\theta \\ \sin\theta & r\cos\theta \end{bmatrix}, \qquad \det J = r\cos^2\theta + r\sin^2\theta = r

이라 r>0r > 0 이면 어디서나 0이 아닙니다. 그런데 (r,θ)=(1,0)(r, \theta) = (1, 0) 과 (1,2π)(1, 2\pi) 는 둘 다 점 (1,0)(1, 0) 으로 갑니다. 각도를 한 바퀴 돌리면 같은 자리로 돌아오므로, 한 점으로 가는 입력이 무한히 많습니다. 어느 한 점 근처만 보면 θ\theta 를 조금씩만 움직이니 겹치지 않지만, 멀리 떨어진 입력끼리는 겹칩니다. 야코비안은 한 점에서 잰 것이라 이런 멀리서 생기는 겹침을 볼 수 없습니다.

이 rr 은 적분에서 dx dydx\,dy 를 r dr dθr\,dr\,d\theta 로 바꿔 적는 바로 그 rr 입니다. 반지름이 큰 쪽의 칸이 더 넓기 때문입니다.

변수변환과 로그행렬식

넓이 배율이 확률에서 곧바로 쓰입니다. 확률변수 XX 를 Y=f(X)Y = f(X) 로 옮기면 밀도가 어떻게 되는가.

확률의 총량은 보존되므로 대응하는 영역의 확률이 같아야 합니다. 작은 영역 dVdV 가 ∣det⁡Jf∣ dV|\det J_f|\,dV 로 늘어났으니, 같은 확률을 더 넓은 자리에 펴 담느라 밀도는 그만큼 묽어집니다.

pY(y)  ∣det⁡Jf(x)∣ dV=pX(x) dV⟹pY(y)=pX(x)∣det⁡Jf(x)∣p_Y(y)\;\big|\det J_f(x)\big|\,dV = p_X(x)\,dV \quad \Longrightarrow \quad p_Y(y) = \frac{p_X(x)}{\big|\det J_f(x)\big|}

이것을 변수변환 공식(change of variables)이라고 합니다. 한 줄로 읽으면 넓힌 만큼 묽어지고 좁힌 만큼 진해진다입니다. 가장 간단한 확인은 X∼Uniform(0,1)X \sim \text{Uniform}(0,1) 에 Y=2XY = 2X 를 먹이는 것입니다. f′(x)=2f'(x) = 2 이므로 밀도가 절반이 되어야 하고, 실제로 YY 는 (0,2)(0,2) 위의 균등분포라 밀도가 1/21/2 입니다.

가역 변환을 여러 개 이어 붙여 단순한 분포를 복잡한 분포로 만드는 생성 모델이 이 공식 위에 서 있습니다. 양변에 로그를 씌우면 로그가능도가 log⁡pX(x)−∑klog⁡∣det⁡Jk∣\log p_X(x) - \sum_k \log|\det J_k| 로 적히고, 여기 나오는 log⁡∣det⁡J∣\log|\det J| 를 로그행렬식이라고 부릅니다. 곱이 합으로 바뀌어 층마다 따로 더하면 됩니다.

문제는 값입니다. 일반 n×nn \times n 행렬의 행렬식은 LU 분해로 n3n^3 규모의 곱셈이 들고, n=4096n = 4096 이면 40963≈6.9×10104096^3 \approx 6.9 \times 10^{10} 번입니다. 그래서 그런 모델의 설계는 대부분 로그행렬식이 싼 층을 고르는 일이고, 싼 층은 셋입니다.

  • 대각 행렬은 행렬식이 대각 성분의 곱이라 로그행렬식이 ∑ilog⁡∣di∣\sum_i \log|d_i| 이고, nn 번이면 끝납니다.
  • 삼각 행렬도 행렬식이 대각 성분의 곱입니다. 대각선 밖의 칸은 아무리 차 있어도 행렬식에 기여하지 않아, 표현력은 대각보다 크면서 비용은 같은 nn 번입니다.
  • 직교 행렬은 회전과 반사라 넓이를 바꾸지 않습니다. ∣det⁡Q∣=1|\det Q| = 1 이라 로그행렬식이 0이고, 계산할 것이 하나도 없습니다.

로그행렬식의 비용은 행렬 모양이 정한다

명시적으로 만들 때의 비용

합성의 비용

이제 처음의 물음으로 돌아갑니다. nn.Linear(784, 128)의 야코비안은 128×784128 \times 784 이고 성분이 100,352개인데, 앞 표에서 봤듯 그것은 WW 그 자체라 새로 만들 것이 없습니다.

문제는 합성입니다. 폭이 4096인 층이 100개인 모델을 생각해 봅니다. 층 하나의 야코비안은 4096×40964096 \times 4096 이고 float32로 67MB입니다. 곱을 앞에서부터 차례로 쌓아 나가면

J100 (J99 (⋯(J2 J1)))J_{100}\,(J_{99}\,(\cdots(J_2\,J_1)))

중간 결과가 매번 4096×40964096 \times 4096 이고, 곱 한 번이 40963≈6.9×10104096^3 \approx 6.9 \times 10^{10} 번의 곱셈입니다. 99번 하면 6.8×10126.8 \times 10^{12} 번 — 순전파 한 번의 비용과 비교하면 터무니없습니다. 순전파는 층마다 벡터 하나에 행렬을 곱하므로 40962≈1.7×1074096^2 \approx 1.7 \times 10^7 번씩, 100층이라도 1.7×1091.7 \times 10^9 번입니다. 야코비안을 쌓는 일이 4,000배쯤 비쌉니다.

야코비안 정칙화

야코비안 전체가 정말 필요한 자리도 있습니다. 입력을 조금 흔들어도 출력이 크게 안 흔들리는 모델을 원하면, 야코비안의 크기를 손실에 더해 벌을 줍니다. 이것을 야코비안 정칙화라고 부르고, 크기로는 보통 모든 성분의 제곱을 더한 프로베니우스 노름의 제곱 ∥J∥F2\|J\|_F^2 를 씁니다. 우리 예에서는 122+42+12+32=17012^2 + 4^2 + 1^2 + 3^2 = 170 입니다.

비싼 이유는 이 수 하나를 얻으려고 성분을 전부 알아야 한다는 데 있습니다. 야코비안 한 열을 얻으려면 입력 방향 하나로 미분을 한 번 흘려야 하므로, 784차원 입력이면 학습 한 걸음마다 미분을 784번 더 흘려야 합니다. 폭이 4096이면 4096번입니다.

빠져나갈 길은 야코비안을 만들지 않는 것입니다. 야코비안 자체 대신 벡터 하나와의 곱 JvJv 만 구하는 연산을 JVP(Jacobian-vector product)라고 부르며, 그 비용은 순전파 한 번 정도입니다. 그리고 표준정규분포에서 뽑은 무작위 벡터 vv 에 대해

E[∥Jv∥2]=E[vTJTJv]=tr⁡(JTJ)=∥J∥F2\mathbb E\big[\|Jv\|^2\big] = \mathbb E\big[v^{\mathsf T} J^{\mathsf T} J v\big] = \operatorname{tr}(J^{\mathsf T}J) = \|J\|_F^2

가 성립합니다. 가운데 등호는 E[vvT]=I\mathbb E[vv^{\mathsf T}] = I 이기 때문입니다. 그러니 무작위 벡터 하나의 JVP 길이를 제곱하면 그것이 ∥J∥F2\|J\|_F^2 의 치우침 없는 추정이 됩니다. 이런 추정 방법을 허친슨 추정량이라고 부릅니다. 뒤의 코드에서 우리 2×22 \times 2 예로 표본 하나는 43.2, 천 개를 평균 내면 168.14가 나와 170에 다가갑니다. 표본 하나로는 많이 흔들리지만, 학습은 어차피 걸음마다 새로 뽑아 평균을 내는 과정이라 한 걸음에 하나면 충분히 쓰입니다.

행 하나

정칙화가 아닌 보통의 학습으로 돌아오면 사정이 더 간단합니다. 손실은 수 하나이므로, 맨 앞 절의 말로 하면 전체 야코비안이 1×n1 \times n 짜리 행 하나입니다. 우리가 원하는 것은 처음부터 그 행 하나뿐이었습니다.

그런데 위의 곱셈은 그 행 하나를 얻으려고 4096×40964096 \times 4096 짜리 표를 100번 만들었다 버린 셈입니다. 실제 autograd는 이 행렬을 하나도 만들지 않습니다. 맨 왼쪽에 손실의 행 하나가 있다는 사실을 쓰면, 곱셈을 그 행부터 시작해 행 하나를 표에 곱하는 일로 바꿀 수 있습니다. 곱셈의 순서를 바꾸는 것만으로 비용이 사라지는 셈이고, 그 순서에 이름이 붙어 있습니다. 다음 글이 그것을 셉니다.

코드로 확인하기

기본 성질

from math import cos, sin, pi

f = lambda x1, x2: (x1 ** 2 * x2, x1 + 3 * x2)
g = lambda u1, u2: (u1 + u2, u1 * u2)
a = (2.0, 3.0)

Jf = [[2 * a[0] * a[1], a[0] ** 2], [1.0, 3.0]]      # [[12, 4], [1, 3]]
print(Jf)

# ① 선형근사 — J h 가 실제 변화를 대신한다
h = (0.01, -0.02)
approx = [Jf[i][0] * h[0] + Jf[i][1] * h[1] for i in range(2)]
fa, fb = f(*a), f(a[0] + h[0], a[1] + h[1])
print([round(v, 6) for v in approx])                  # [0.04, -0.05]
print([round(fb[i] - fa[i], 6) for i in range(2)])    # [0.039498, -0.05]

# ② 합성의 야코비안 = 야코비안의 곱
u = f(*a)
Jg = [[1.0, 1.0], [u[1], u[0]]]
prod = [[sum(Jg[i][k] * Jf[k][j] for k in range(2)) for j in range(2)] for i in range(2)]
print(prod)                                           # [[13, 7], [144, 80]]

eps = 1e-6
gf = lambda x1, x2: g(*f(x1, x2))
num = [[(gf(a[0] + eps * (j == 0), a[1] + eps * (j == 1))[i]
       - gf(a[0] - eps * (j == 0), a[1] - eps * (j == 1))[i]) / (2 * eps)
        for j in range(2)] for i in range(2)]
print([[round(v, 3) for v in row] for row in num])    # [[13.0, 7.0], [144.0, 80.0]]

# ③ 행렬식은 넓이 배율 — 작은 사각형을 실제로 보내 본다
s = 1e-3
o, p, q = f(*a), f(a[0] + s, a[1]), f(a[0], a[1] + s)
v1 = (p[0] - o[0], p[1] - o[1])
v2 = (q[0] - o[0], q[1] - o[1])
print(round(abs(v1[0] * v2[1] - v1[1] * v2[0]) / s ** 2, 3))   # 32.009
print(Jf[0][0] * Jf[1][1] - Jf[0][1] * Jf[1][0])               # 32.0

# ④ 극좌표의 행렬식은 r 이다
for r, th in [(1.0, 0.0), (2.0, pi / 3), (0.5, pi / 4)]:
    J = [[cos(th), -r * sin(th)], [sin(th), r * cos(th)]]
    print(r, round(J[0][0] * J[1][1] - J[0][1] * J[1][0], 12))
# 1.0 1.0 / 2.0 2.0 / 0.5 0.5

③이 이 묶음에서 가장 볼 만한 줄입니다. 함수를 직접 실행해 얻은 넓이 배율 32.009와, 편도함수 넷으로 계산한 행렬식 32가 같습니다. 사각형을 더 작게 잡으면 소수점 아래도 맞아 들어갑니다.

LayerNorm의 행 합

LayerNorm의 야코비안을 유한차분으로 만들어, 손으로 유도한 식과 같은지와 행 합이 0인지를 봅니다. 손 계산의 (1,1,3,3)(1, 1, 3, 3) 은 너무 고른 입력이라, 여기서는 아무렇게나 고른 x=(0.5,−1.0,2.0,4.5)x = (0.5, -1.0, 2.0, 4.5) 를 씁니다.

def layernorm(x):
    n = len(x)
    mu = sum(x) / n
    sd = (sum((v - mu) ** 2 for v in x) / n) ** 0.5
    return [(v - mu) / sd for v in x], sd

def num_jacobian(fn, x, eps=1e-6):
    n = len(x)
    cols = []
    for j in range(n):
        up = fn([v + eps * (k == j) for k, v in enumerate(x)])
        dn = fn([v - eps * (k == j) for k, v in enumerate(x)])
        cols.append([(u - d) / (2 * eps) for u, d in zip(up, dn)])
    return [[cols[j][i] for j in range(n)] for i in range(len(cols[0]))]

x = [0.5, -1.0, 2.0, 4.5]
z, sd = layernorm(x)
n = len(x)
JL = num_jacobian(lambda v: layernorm(v)[0], x)
formula = [[((i == j) - 1 / n - z[i] * z[j] / n) / sd for j in range(n)] for i in range(n)]

print(round(sd, 4), [round(v, 4) for v in z])           # 2.031 [-0.4924, -1.2309, 0.2462, 1.4771]
print(max(abs(JL[i][j] - formula[i][j]) for i in range(n) for j in range(n)) < 1e-8)  # True
print([abs(round(sum(row), 8)) for row in JL])          # [0.0, 0.0, 0.0, 0.0]

v = [0.3, -1.2, 2.0, 0.5]
Jv = [sum(formula[i][j] * v[j] for j in range(n)) for i in range(n)]
print(abs(round(sum(Jv), 12)), abs(round(sum(a * b for a, b in zip(z, Jv)), 12)))  # 0.0 0.0

유한차분으로 만든 행렬과 식으로 만든 행렬의 차이가 10−810^{-8} 아래이고, 네 행의 합이 전부 0입니다. 마지막 줄은 사영의 두 방향을 함께 봅니다 — JvJv 의 성분 합도, z^\hat z 와의 내적도 0입니다.

행렬식이 0에 가까울 때

같은 유한차분 넓이 배율을 행렬식이 0에 가까운 자리에서 잽니다. x1=6x2x_1 = 6x_2 직선 위의 (6,1)(6, 1) 과 그 근처를, 한 변이 0.01인 사각형으로 봅니다.

f = lambda x1, x2: (x1 ** 2 * x2, x1 + 3 * x2)

def area_ratio(a, s):
    o, p, q = f(*a), f(a[0] + s, a[1]), f(a[0], a[1] + s)
    v1 = (p[0] - o[0], p[1] - o[1])
    v2 = (q[0] - o[0], q[1] - o[1])
    return abs(v1[0] * v2[1] - v1[1] * v2[0]) / s ** 2

det = lambda x1, x2: 6 * x1 * x2 - x1 ** 2
for a in [(2.0, 3.0), (6.0, 1.01), (6.0, 1.001), (6.0, 1.0)]:
    s = 1e-2
    r = area_ratio(a, s)
    print(a, round(det(*a), 6), round(r, 6), round(r - det(*a), 6))
# (2.0, 3.0) 32.0 32.09 0.09
# (6.0, 1.01) 0.36 0.3903 0.0303
# (6.0, 1.001) 0.036 0.06603 0.03003
# (6.0, 1.0) 0.0 0.03 0.03

차이(넷째 열)는 어디서나 0.03에서 0.09 사이로 비슷합니다. 사각형의 크기가 정하는 2차 오차라 점에 따라 크게 안 달라지기 때문입니다. 그런데 나눌 값이 다릅니다. 행렬식이 32인 점에서는 0.09가 0.3%의 오차지만, 0.036인 점에서는 0.03이 83%이고, 행렬식이 0인 점에서는 0이어야 할 배율이 0.03으로 나옵니다. 행렬식이 0에 다가가면 선형 부분이 사라지고 버렸던 나머지가 변화의 전부가 되므로, 「작은 사각형의 넓이 배율 = 행렬식」이라는 읽기가 그 자리에서 무너집니다. 역함수 정리가 det⁡≠0\det \ne 0 을 조건으로 다는 이유가 수로 보입니다.

허친슨 추정

import random

J = [[12.0, 4.0], [1.0, 3.0]]
print(sum(x * x for row in J for x in row))           # 170.0

random.seed(0)
for N in (1, 10, 100, 1000):
    tot = 0.0
    for _ in range(N):
        v = [random.gauss(0, 1) for _ in range(2)]
        Jv = [J[i][0] * v[0] + J[i][1] * v[1] for i in range(2)]
        tot += Jv[0] ** 2 + Jv[1] ** 2
    print(N, round(tot / N, 2))
# 1 43.2 / 10 119.68 / 100 162.96 / 1000 168.14

야코비안의 성분을 한 번도 읽지 않고 JvJv 만으로 170에 다가갑니다. 실제 모델에서는 Jv 자리에 JVP 한 번이 들어가고, 입력이 784차원이든 4096차원이든 한 표본의 비용은 그대로입니다.

정리

  • 야코비안은 모든 입력·출력 짝의 편도함수를 담은 m×nm \times n 행렬이다. 행은 출력, 열은 입력이라 모양이 (출력, 입력)이다.
  • 한 행은 출력 하나의 그래디언트, 한 열은 입력 하나를 흔들었을 때의 출력 변화 방향이다. m=1m = 1 이면 행이 하나이고, 그것을 세운 것이 그래디언트다 — 분자 배치와 분모 배치는 전치 하나로 갈린다.
  • 그래디언트의 야코비안이 헤세 행렬이고, 미분 순서를 바꿔도 같아서 대칭이다.
  • 배치가 붙으면 야코비안은 4차 텐서가 되고, 축을 펴면 WW 가 대각선에 늘어선 블록 대각 행렬이다.
  • 야코비안은 그 점에서 함수를 대신하는 선형사상이다. f(a+h)≈f(a)+Jf(a)hf(a+h) \approx f(a) + J_f(a)h 의 오차는 hh 를 절반으로 줄이면 넷으로 준다. 아핀 함수에서는 근사가 등식이다.
  • 합성하면 야코비안이 곱해진다 — Jg∘f=JgJfJ_{g\circ f} = J_g J_f. 행렬곱의 합 기호가 지난 글의 「경로끼리 더한다」이고, 가운데 차원은 사라진다.
  • 선형층은 WW, 원소별 활성함수는 diag⁡(ϕ′)\operatorname{diag}(\phi'), 잔차 블록은 I+JFI + J_F 다. softmax는 diag⁡(p)−ppT\operatorname{diag}(p) - pp^{\mathsf T}, LayerNorm은 평균과 방향을 지우는 사영을 σ\sigma 로 나눈 것이라 행 합이 0이고 되돌릴 수 없다.
  • ∣det⁡J∣|\det J| 는 국소 부피 배율이다. 0이 아니면 그 점 근처에서 되돌릴 수 있지만(역함수 정리), 극좌표처럼 전체로는 겹칠 수 있다.
  • 부피가 늘어난 만큼 밀도는 묽어진다 — pY(y)=pX(x)/∣det⁡Jf(x)∣p_Y(y) = p_X(x)/|\det J_f(x)|. 로그행렬식은 대각·삼각이면 nn 번, 직교면 0번에 끝난다.
  • 야코비안을 명시적으로 만들면 폭 4096짜리 100층에서 곱셈이 101210^{12} 번대가 된다. 정칙화는 무작위 벡터의 JVP로 추정하고, 학습은 행 하나만 있으면 된다.

층 하나의 미분이 행렬이라는 사실이 이 글의 결론이고, 그 사실이 곧바로 비용 문제를 낳았습니다. 처음의 nn.Linear(784, 128)은 야코비안이 WW 그 자체라 아무것도 새로 만들 필요가 없었지만, 폭 4096짜리 층을 100개 쌓으면 그 표를 곱해 나가는 일만으로 감당이 되지 않습니다. 정작 우리가 원하는 것은 손실 하나에 대한 행 하나뿐입니다.

행렬곱은 결합법칙이 성립하므로 어느 쪽부터 곱해도 답은 같습니다. 그런데 비용은 같지 않습니다. 다음 글에서 그 차이를 곱셈 횟수로 세면, 딥러닝이 왜 반드시 뒤에서부터 미분하는지가 계산 한 번으로 나옵니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN