수학

MATH / 중급 23번

공분산 행렬과 다변량 정규분포: 상관 있는 표본 만들기

torch.randn이 주는 것은 좌표끼리 아무 관계가 없는 둥근 구름입니다. 실제 데이터는 기운 타원입니다. 그 기울기를 재는 도구가 공분산 행렬이고, 촐레스키 분해로 그 행렬을 되돌려 상관 있는 표본을 직접 만들어 봅니다.

PALDYN Team49 MIN READ

확산 모델의 학습 코드를 열면 noise = torch.randn_like(x) 한 줄이 나옵니다. 이미지에 얹을 노이즈를 뽑는 자리입니다. 이 함수가 주는 것은 모든 좌표가 서로 아무 관계도 없는 노이즈입니다 — 픽셀 하나가 크게 나왔다고 옆 픽셀이 덩달아 커지지 않습니다.

그런데 진짜 이미지의 픽셀은 그렇지 않습니다. 옆 픽셀은 거의 같은 값입니다. 임베딩도 마찬가지여서, 512차원 벡터를 몇만 개 모아 놓으면 512개 방향으로 고르게 퍼지지 않고 몇몇 방향으로만 길쭉하게 퍼져 있습니다.

지난 글에서 정규분포의 손잡이가 μ\mu 와 σ\sigma 둘뿐이라고 했습니다. 좌표가 dd 개로 늘어나면 «퍼진 정도»는 수 하나로는 부족합니다. 방향마다 다르게 퍼져 있으니까요. 이 글은 그 «방향마다 다른 퍼짐»을 담는 행렬을 세우고, 그 행렬이 정하는 분포를 여러 각도에서 읽은 뒤, 마지막에는 그 행렬을 거꾸로 써서 randn의 둥근 구름을 원하는 모양의 타원으로 바꾸는 법까지 갑니다.

축 방향 분산의 한계

좌표가 둘인 자료를 생각해 봅시다. xx 의 분산과 yy 의 분산을 각각 구하면 «각 축 방향으로 얼마나 퍼졌는가»는 알 수 있습니다. 하지만 그것만으로는 아래 세 그림을 구별하지 못합니다 — 셋 다 축 방향 퍼짐은 같을 수 있습니다.

공분산의 부호에 따라 달라지는 세 산점도

빠진 것은 «두 좌표가 같이 움직이는가»입니다. 그것을 재는 값이 공분산입니다.

정의. 두 확률변수 X,YX, Y 의 공분산은

Cov⁡(X,Y)=E[(X−μX)(Y−μY)]\operatorname{Cov}(X, Y) = \mathbb{E}\big[(X - \mu_X)(Y - \mu_Y)\big]

말로 풀면 이렇습니다. 각 표본에서 «xx 가 자기 평균보다 얼마나 큰가»와 «yy 가 자기 평균보다 얼마나 큰가»를 곱하고, 그 곱의 평균을 냅니다. 둘이 함께 평균 위에 있거나 함께 평균 아래에 있으면 곱이 양수, 엇갈리면 음수입니다. 그러니 양수면 같이 움직이고 음수면 반대로 움직입니다.

YY 자리에 XX 를 그대로 넣으면 Cov⁡(X,X)=E[(X−μX)2]\operatorname{Cov}(X, X) = \mathbb{E}[(X-\mu_X)^2], 즉 분산입니다. 공분산은 분산을 두 변수로 늘린 것이고, 분산은 자기 자신과의 공분산입니다.

다섯 점의 공분산

자료가 다섯 개 있다고 합시다: (5,3)(5,3), (5,11)(5,11), (10,10)(10,10), (15,9)(15,9), (15,17)(15,17). 이 다섯 점을 글 끝까지 씁니다.

평균은 xˉ=(5+5+10+15+15)/5=10\bar{x} = (5+5+10+15+15)/5 = 10, yˉ=(3+11+10+9+17)/5=10\bar{y} = (3+11+10+9+17)/5 = 10 으로 둘 다 10입니다.

다섯 점에서 공분산을 세는 과정

편차를 적고 곱합니다.

점 x−xˉx - \bar{x} y−yˉy - \bar{y} 곱
(5,3)(5,3) −5-5 −7-7 +35+35
(5,11)(5,11) −5-5 +1+1 −5-5
(10,10)(10,10) 00 00 00
(15,9)(15,9) +5+5 −1-1 −5-5
(15,17)(15,17) +5+5 +7+7 +35+35

곱의 합은 35−5+0−5+35=6035 - 5 + 0 - 5 + 35 = 60 입니다. 표본에서 잰 값이므로 지난 글에서 본 이유로 nn 이 아니라 n−1=4n-1 = 4 로 나눕니다.

sxy=604=15s_{xy} = \frac{60}{4} = 15

같은 방식으로 각 축의 분산도 나옵니다. xx 편차의 제곱합은 25+25+0+25+25=10025+25+0+25+25 = 100 이므로 sx2=100/4=25s_x^2 = 100/4 = 25 이고, yy 편차의 제곱합도 49+1+0+1+49=10049+1+0+1+49 = 100 이라 sy2=25s_y^2 = 25 입니다. 두 축의 분산이 똑같이 25인데 공분산은 15로 양수입니다 — 세 산점도 가운데 오른쪽으로 올라가는 모양이라는 뜻입니다.

계산용 꼴

정의대로 계산하려면 평균을 먼저 구하고 표본마다 편차를 내야 합니다. 곱을 풀어 기댓값을 나누면 편차 없이 쓰는 꼴이 나옵니다.

Cov⁡(X,Y)=E[XY−μYX−μXY+μXμY]=E[XY]−μYμX−μXμY+μXμY=E[XY]−E[X] E[Y]\begin{aligned} \operatorname{Cov}(X,Y) &= \mathbb{E}\big[XY - \mu_Y X - \mu_X Y + \mu_X\mu_Y\big] \\ &= \mathbb{E}[XY] - \mu_Y\mu_X - \mu_X\mu_Y + \mu_X\mu_Y \\ &= \mathbb{E}[XY] - \mathbb{E}[X]\,\mathbb{E}[Y] \end{aligned}

둘째 줄은 μX,μY\mu_X, \mu_Y 가 상수라 기댓값 밖으로 나온다는 것만 썼습니다. «곱의 평균에서 평균의 곱을 뺀다»가 공분산입니다.

다섯 점으로 확인합니다. xyxy 는 차례로 15,55,100,135,25515, 55, 100, 135, 255 이고 합이 560, 평균이 112입니다. 평균의 곱은 10×10=10010 \times 10 = 100 이므로 112−100=12112 - 100 = 12 가 나옵니다. 이것은 nn 으로 나눈 값이라, n−1n-1 로 나눈 표본 공분산으로 고치면 (560−5×100)/4=15(560 - 5 \times 100)/4 = 15 로 표와 같습니다.

이 꼴은 손으로는 편하지만 컴퓨터에서는 조심해서 씁니다. 평균이 퍼짐보다 훨씬 크면 거의 같은 큰 수 둘을 빼게 되어 유효 숫자가 날아갑니다. 라이브러리가 언제나 평균을 먼저 빼고 곱하는 이유입니다.

공분산과 독립

두 확률변수가 독립이라는 것은 한쪽 값을 알아도 다른 쪽의 분포가 조금도 바뀌지 않는다는 뜻입니다. 이때는 곱의 기댓값이 기댓값의 곱으로 갈라져 E[XY]=E[X]E[Y]\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y] 이고, 방금 얻은 꼴에 넣으면 공분산이 0입니다.

거꾸로는 성립하지 않습니다. XX 가 −1,0,1-1, 0, 1 을 각각 1/31/3 확률로 갖고 Y=X2Y = X^2 이라 합시다. E[X]=0\mathbb{E}[X] = 0 이고 E[XY]=E[X3]=(−1+0+1)/3=0\mathbb{E}[XY] = \mathbb{E}[X^3] = (-1 + 0 + 1)/3 = 0 이므로 공분산은 0−0⋅E[Y]=00 - 0 \cdot \mathbb{E}[Y] = 0 입니다. 그런데 YY 는 XX 가 정하면 그대로 정해지는 값입니다 — 독립과는 정반대입니다.

공분산이 이 관계를 못 보는 이유는 부호의 상쇄입니다. 포물선의 왼쪽 가지에서는 xx 가 커질수록 yy 가 작아지고 오른쪽 가지에서는 커지는데, 둘이 좌우 대칭이라 곱의 평균에서 정확히 지워집니다. 공분산이 재는 것은 «한쪽이 크면 다른 쪽도 크다»는 한 방향의 기울기뿐입니다.

그러니 일반적으로는 «공분산 0»과 «독립»을 바꿔 쓸 수 없습니다. 단 하나 예외가 이 글의 주인공인 다변량 정규분포이고, 그 이유는 주변분포를 다루는 절에서 밝힙니다.

공분산 행렬

값 세 개(sx2s_x^2, sy2s_y^2, sxys_{xy})가 나왔으니 표로 묶습니다.

정의. 벡터 확률변수 x∈Rd\mathbf{x} \in \mathbb{R}^d 의 공분산 행렬은

Σ=E[(x−μ)(x−μ)⊤],Σij=Cov⁡(xi,xj)\Sigma = \mathbb{E}\big[(\mathbf{x} - \boldsymbol{\mu})(\mathbf{x} - \boldsymbol{\mu})^\top\big], \qquad \Sigma_{ij} = \operatorname{Cov}(x_i, x_j)

(x−μ)(\mathbf{x}-\boldsymbol{\mu}) 는 d×1d \times 1, 그 전치는 1×d1 \times d 이므로 곱하면 d×dd \times d 행렬이 나옵니다. 그 (i,j)(i,j) 칸이 정확히 ii 번 좌표와 jj 번 좌표의 공분산입니다.

우리 자료라면 이렇습니다.

Σ=(25151525)\Sigma = \begin{pmatrix} 25 & 15 \\ 15 & 25 \end{pmatrix}

대각선에는 분산이, 나머지 자리에는 공분산이 앉습니다. 그리고 Cov⁡(xi,xj)=Cov⁡(xj,xi)\operatorname{Cov}(x_i, x_j) = \operatorname{Cov}(x_j, x_i) 이므로 Σ\Sigma 는 언제나 대칭 행렬입니다. 대칭 행렬을 다룬 글에서 「AI에서 만나는 행렬은 왜 대부분 대칭인가」를 물었는데, 그 답의 절반이 여기 있습니다.

데이터 행렬

실제로는 표본이 수만 개라 칸마다 표를 그릴 수 없습니다. 표본을 한 줄에 하나씩 쌓은 n×dn \times d 행렬, 곧 데이터 행렬 XX 를 두고 한 번에 계산합니다. 먼저 열마다 그 열의 평균을 빼는데, 이것을 중심화라 합니다. 중심화한 행렬을 XcX_c 라 하면

Σ^=1n−1Xc⊤Xc\hat{\Sigma} = \frac{1}{n-1} X_c^\top X_c

입니다. Xc⊤XcX_c^\top X_c 의 (i,j)(i,j) 칸은 ii 열과 jj 열을 칸끼리 곱해 더한 값, 곧 앞의 표에서 「곱」 열을 더한 바로 그 합입니다. 다섯 점이면 이렇습니다.

Xc=(−5−7−51005−157),Xc⊤Xc=(1006060100)X_c = \begin{pmatrix} -5 & -7 \\ -5 & 1 \\ 0 & 0 \\ 5 & -1 \\ 5 & 7 \end{pmatrix}, \qquad X_c^\top X_c = \begin{pmatrix} 100 & 60 \\ 60 & 100 \end{pmatrix}

4로 나누면 위의 Σ\Sigma 가 그대로 나옵니다. 행렬 곱 하나에 분산 둘과 공분산 하나가 같이 들어 있습니다.

이 꼴에서 한 가지가 더 보입니다. Xc⊤XcX_c^\top X_c 는 행 nn 개 각각의 바깥곱(행 하나를 세로로 세워 자기 자신과 곱한 d×dd \times d 행렬)을 더한 것이고, 중심화하면 행들의 합이 0이 되어 일차독립인 행은 많아야 n−1n-1 개입니다. 그래서 Σ^\hat{\Sigma} 의 계수, 곧 일차독립인 열의 최대 개수는 n−1n-1 을 넘지 못합니다. 512차원 임베딩을 100개만 모아 공분산 행렬을 만들면, 512 × 512 행렬인데 계수가 99 이하라는 뜻입니다. 이 사정은 아래 「특이 공분산」에서 다시 만납니다.

양반정치성

Σ\Sigma 에는 성질이 하나 더 붙습니다. 아무 방향 a\mathbf{a} 나 잡아 이차형식을 계산해 봅시다.

a⊤Σa=a⊤E[(x−μ)(x−μ)⊤]a=E[(a⊤(x−μ))2]=Var⁡(a⊤x)\mathbf{a}^\top \Sigma \mathbf{a} = \mathbf{a}^\top \mathbb{E}\big[(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}-\boldsymbol{\mu})^\top\big] \mathbf{a} = \mathbb{E}\big[(\mathbf{a}^\top(\mathbf{x}-\boldsymbol{\mu}))^2\big] = \operatorname{Var}(\mathbf{a}^\top \mathbf{x})

가운데 단계는 a⊤v⋅v⊤a=(a⊤v)2\mathbf{a}^\top \mathbf{v} \cdot \mathbf{v}^\top \mathbf{a} = (\mathbf{a}^\top \mathbf{v})^2 이라는 것뿐입니다. 그런데 오른쪽은 어떤 실수 확률변수의 분산이므로 절대 음수일 수 없습니다.

a⊤Σa=Var⁡(a⊤x)≥0모든 a 에 대해\mathbf{a}^\top \Sigma \mathbf{a} = \operatorname{Var}(\mathbf{a}^\top \mathbf{x}) \geq 0 \quad \text{모든 } \mathbf{a} \text{ 에 대해}

모든 방향에서 이차형식이 0 이상인 대칭 행렬을 양반정치(positive semi-definite)라고 합니다. 공분산 행렬은 대칭이면서 양반정치입니다. 스펙트럼 정리에 따라 대칭 행렬은 고유값이 전부 실수이고 서로 직교하는 고유벡터를 가지는데, 여기에 양반정치성이 붙으면 고유값이 전부 0 이상이라는 것까지 따라옵니다. 고유벡터 v\mathbf{v} 를 a\mathbf{a} 자리에 넣으면 v⊤Σv=λ\mathbf{v}^\top\Sigma\mathbf{v} = \lambda 가 되기 때문입니다.

공분산 행렬의 칸 구조와 방향 하나의 분산

특이 공분산

양반정치의 부등호에는 등호가 들어 있습니다. 어떤 방향 a≠0\mathbf{a} \neq \mathbf{0} 에서 a⊤Σa=0\mathbf{a}^\top\Sigma\mathbf{a} = 0 이면, 그 방향으로는 자료가 전혀 퍼지지 않았다는 뜻입니다.

다섯 점의 yy 를 xx 로 바꿔 (5,5),(5,5),(10,10),(15,15),(15,15)(5,5), (5,5), (10,10), (15,15), (15,15) 로 만들어 봅시다. 분산은 둘 다 25이고 공분산도 25가 되어 Σ=(25252525)\Sigma = \begin{pmatrix} 25 & 25 \\ 25 & 25 \end{pmatrix} 입니다. 대각합 50, 행렬식 0이라 고유값은 50과 0입니다. 고유값 0의 고유벡터 (1,−1)/2(1,-1)/\sqrt{2} 방향은 x−yx - y 이고, 이 값은 모든 점에서 0이니 분산이 0인 것이 당연합니다. 행렬식이 0이라 Σ−1\Sigma^{-1} 이 없습니다. 이런 행렬을 특이 행렬이라 합니다.

모든 a≠0\mathbf{a} \neq \mathbf{0} 에서 a⊤Σa>0\mathbf{a}^\top\Sigma\mathbf{a} > 0 으로 0조차 허락하지 않으면 양정치(positive definite)입니다. 고유값이 전부 양수라 역행렬이 있습니다. 양반정치의 「반」은 정확히 고유값 0을 허락하느냐의 경계이고, 그 경계에 선 행렬이 특이 행렬입니다.

실무에서 이 경계는 생각보다 자주 밟힙니다. 표본 수가 차원보다 적으면 앞 소절에서 본 대로 계수가 모자라 반드시 특이가 되고, 같은 양을 센티미터와 밀리미터로 두 번 담은 열처럼 한 열이 다른 열들의 일차결합이어도 그렇습니다.

흔한 처방은 대각선에 작은 수를 더하는 것입니다.

Σε=Σ+εI\Sigma_\varepsilon = \Sigma + \varepsilon I

(Σ+εI)v=(λ+ε)v(\Sigma + \varepsilon I)\mathbf{v} = (\lambda + \varepsilon)\mathbf{v} 이므로 고유벡터는 그대로이고 고유값만 전부 ε\varepsilon 만큼 올라갑니다. 위 예라면 50과 0이 50+ε50 + \varepsilon 과 ε\varepsilon 이 되어 양정치가 됩니다. 「퍼짐이 0인 방향에도 아주 조금은 퍼져 있다고 치자」는 타협입니다. scikit-learn의 GaussianMixture가 reg_covar=1e-6을 기본값으로 두는 것이 바로 이 ε\varepsilon 입니다.

상관계수

공분산에는 불편한 점이 하나 있습니다. 단위에 딸려 다닙니다. 길이를 센티미터로 재다가 밀리미터로 바꾸면 공분산이 100배가 됩니다. 관계의 세기는 그대로인데 숫자만 커진 것입니다.

그래서 각자의 표준편차로 나눠 단위를 지웁니다.

정의. 상관계수는 ρxy=Cov⁡(X,Y)σXσY\rho_{xy} = \dfrac{\operatorname{Cov}(X,Y)}{\sigma_X \sigma_Y} 이고 항상 −1≤ρ≤1-1 \le \rho \le 1 이다.

우리 자료라면 ρ=15/(5×5)=0.6\rho = 15 / (5 \times 5) = 0.6 입니다.

범위가 [−1,1][-1, 1] 인 것은 코시-슈바르츠 부등식에서 나옵니다. 앞에서 본 a⊤Σa≥0\mathbf{a}^\top\Sigma\mathbf{a} \ge 0 에 a=(t,1)\mathbf{a} = (t, 1) 을 넣으면 tt 에 대한 이차식 sx2t2+2sxyt+sy2≥0s_x^2 t^2 + 2 s_{xy} t + s_y^2 \ge 0 이 되고, 이차식이 항상 0 이상이려면 판별식이 0 이하여야 하므로 sxy2≤sx2sy2s_{xy}^2 \le s_x^2 s_y^2 입니다. 양변에 제곱근을 씌우면 그대로 ∣ρ∣≤1|\rho| \le 1 입니다.

ρ=±1\rho = \pm 1 은 판별식이 0인 경우, 즉 두 좌표가 완전히 직선 위에 놓인 경우입니다. 바로 앞 소절의 특이 행렬이 ρ=1\rho = 1 이었습니다. ρ\rho 가 재는 것도 공분산처럼 직선 관계뿐이라, 원 둘레를 따라 놓인 점들은 분명히 관계가 있는데도 ρ\rho 가 0에 가깝게 나옵니다 — 포물선 Y=X2Y = X^2 과 같은 이야기입니다.

가장 크게 퍼진 방향

a\mathbf{a} 를 단위벡터로 잡으면 a⊤Σa\mathbf{a}^\top \Sigma \mathbf{a} 는 «그 방향으로 자료를 사영했을 때의 분산»입니다. 그러면 자연스러운 질문이 나옵니다. 어느 방향으로 사영해야 분산이 가장 클까요?

주성분 방향

Σ\Sigma 의 고유벡터 v1,v2\mathbf{v}_1, \mathbf{v}_2 는 서로 직교하는 단위벡터이므로 아무 단위벡터나 a=c1v1+c2v2\mathbf{a} = c_1\mathbf{v}_1 + c_2\mathbf{v}_2, c12+c22=1c_1^2 + c_2^2 = 1 로 쓸 수 있습니다. 넣으면 교차항이 사라져

a⊤Σa=λ1c12+λ2c22≤λ1(c12+c22)=λ1\mathbf{a}^\top\Sigma\mathbf{a} = \lambda_1 c_1^2 + \lambda_2 c_2^2 \le \lambda_1 (c_1^2 + c_2^2) = \lambda_1

이 됩니다(λ1≥λ2\lambda_1 \ge \lambda_2). 등호는 a=v1\mathbf{a} = \mathbf{v}_1 일 때입니다. 가장 큰 고유값에 딸린 고유벡터가 자료가 가장 넓게 퍼진 방향이고, 그 방향의 분산이 곧 그 고유값입니다. 이 방향을 첫 번째 주성분이라 부르고, 그와 직교하는 방향 가운데 가장 넓게 퍼진 것이 두 번째 주성분입니다.

우리 Σ\Sigma 의 고유값은 대각합이 50이고 행렬식이 625−225=400625 - 225 = 400 이므로 λ2−50λ+400=0\lambda^2 - 50\lambda + 400 = 0 에서 λ=40,10\lambda = 40, 10 입니다. 고유벡터는 (1,1)/2(1,1)/\sqrt{2} 와 (1,−1)/2(1,-1)/\sqrt{2} 입니다.

다섯 점으로 직접 확인할 수 있습니다. 첫 번째 방향으로의 사영은 (x+y)/2(x + y)/\sqrt{2} 인데, 중심화한 점에서 x+yx + y 는 −12,−4,0,4,12-12, -4, 0, 4, 12 입니다. 제곱해 더하면 320, 2\sqrt{2} 의 제곱으로 나누면 160, 4로 나누면 40입니다. 두 번째 방향은 x−yx - y 가 2,−6,0,6,−22, -6, 0, 6, -2 라 제곱합 80, 같은 계산으로 10입니다. xx 축 방향의 분산 25는 그 사이에 있습니다.

설명된 분산

Σ\Sigma 의 대각합은 각 좌표의 분산을 더한 것, 곧 자료 전체의 퍼짐입니다. 그런데 대각합은 고유값의 합과 같습니다. 고유벡터를 열로 세운 직교행렬 QQ 와 고유값을 대각에 놓은 Λ\Lambda 로 Σ=QΛQ⊤\Sigma = Q\Lambda Q^\top 이라 쓰면 tr⁡(QΛQ⊤)=tr⁡(ΛQ⊤Q)=tr⁡(Λ)\operatorname{tr}(Q\Lambda Q^\top) = \operatorname{tr}(\Lambda Q^\top Q) = \operatorname{tr}(\Lambda) 이기 때문입니다. 우리 자료라면 25+25=40+10=5025 + 25 = 40 + 10 = 50 입니다.

축을 돌려도 전체 퍼짐은 그대로이고, 고유기저는 그 퍼짐을 방향마다 몰아 담을 뿐입니다. 그러니 앞 축 몇 개가 전체의 몇 %를 담는지를 셀 수 있습니다. 이 비율을 설명된 분산 비율이라 합니다.

λ1+⋯+λktr⁡Σ\frac{\lambda_1 + \cdots + \lambda_k}{\operatorname{tr}\Sigma}

다섯 점이라면 첫 축 하나가 40/50=80%40/50 = 80\% 를 담습니다. 임베딩을 모아 이 비율을 그려 보면 서두에 말한 «몇몇 방향으로만 길쭉하다»가 숫자로 나옵니다. 예를 들어 512차원에서 고유값이 한 칸마다 0.9배씩 줄어든다고 가정하면, 앞 10개 축이 전체 분산의 65%를 담습니다.

참여비

비율은 «몇 개까지 볼지» kk 를 정해야 나옵니다. 고유값 목록 하나를 수 하나로 줄이고 싶을 때는 참여비(participation ratio)를 씁니다.

PR=(∑iλi)2∑iλi2\mathrm{PR} = \frac{\left(\sum_i \lambda_i\right)^2}{\sum_i \lambda_i^2}

고유값 dd 개가 모두 같으면 d2λ2/dλ2=dd^2\lambda^2 / d\lambda^2 = d 이고, 하나만 남고 나머지가 0이면 1입니다. 그 사이에서 이 값은 «실제로 쓰이는 축이 몇 개쯤인가»를 말해 주므로 유효 차원이라고도 부릅니다.

다섯 점은 502/(402+102)=2500/1700≈1.4750^2 / (40^2 + 10^2) = 2500/1700 \approx 1.47 입니다. 2차원 자료인데 실제로는 한 축 반 정도만 쓰고 있다는 뜻입니다. 앞의 0.9배씩 줄어드는 512차원 예라면 참여비가 약 19입니다. 512개 좌표를 가진 벡터가 사실상 스무 개 안팎의 방향에서만 움직이는 셈입니다.

다변량 정규분포의 밀도

이제 분포로 갑니다. 좌표가 하나일 때 정규분포의 밀도는 exp⁡ ⁣(−(x−μ)2/2σ2)\exp\!\big(-(x-\mu)^2 / 2\sigma^2\big) 에 상수를 곱한 것이었습니다. 지수 안은 «중심에서 떨어진 거리를 표준편차로 잰 값의 제곱»입니다.

dd 차원으로 늘릴 때 바뀌는 것은 그 «거리를 재는 자» 하나뿐입니다.

정의. 평균 μ\boldsymbol{\mu}, 공분산 Σ\Sigma 인 다변량 정규분포의 밀도는

f(x)=1(2π)d/2∣Σ∣1/2exp⁡ ⁣(−12(x−μ)⊤Σ−1(x−μ))f(\mathbf{x}) = \frac{1}{(2\pi)^{d/2} |\Sigma|^{1/2}} \exp\!\left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^\top \Sigma^{-1} (\mathbf{x}-\boldsymbol{\mu})\right)

∣Σ∣|\Sigma| 는 행렬식이고, 앞의 분수는 전체 적분이 1이 되도록 높이를 맞추는 정규화 상수입니다. 볼 곳은 지수 안입니다.

(x−μ)2/σ2(x-\mu)^2/\sigma^2 자리에 (x−μ)⊤Σ−1(x−μ)(\mathbf{x}-\boldsymbol{\mu})^\top \Sigma^{-1} (\mathbf{x}-\boldsymbol{\mu}) 가 들어갔습니다. 나누기가 역행렬 곱하기로 바뀐 것입니다. 이 값의 제곱근을 마할라노비스 거리라고 하고, «Σ\Sigma 라는 자로 잰 중심까지의 거리»라는 뜻입니다. 식에 Σ−1\Sigma^{-1} 과 ∣Σ∣1/2|\Sigma|^{1/2} 이 들어 있으니 이 밀도는 Σ\Sigma 가 양정치일 때만 섭니다. 특이 Σ\Sigma 의 분포는 질량이 낮은 차원의 평면 위에 갇혀 있어 부피를 가진 밀도로 쓸 수 없습니다.

타원 등고선

밀도가 같은 점들을 모으면 지수 안이 같은 점들을 모으는 것과 같습니다. 즉 등고선은

(x−μ)⊤Σ−1(x−μ)=c(\mathbf{x}-\boldsymbol{\mu})^\top \Sigma^{-1} (\mathbf{x}-\boldsymbol{\mu}) = c

를 만족하는 점들입니다. 그런데 이 왼쪽은 대칭 행렬 Σ−1\Sigma^{-1} 의 이차형식이고, 스펙트럼 정리는 대칭 행렬의 이차형식이 고유기저에서 보면 교차항 없이 제곱의 합이 된다고 말합니다. 고유벡터 방향의 좌표를 u1,u2u_1, u_2 라 하면 Σ\Sigma 의 고유값이 λ1,λ2\lambda_1, \lambda_2 일 때 Σ−1\Sigma^{-1} 의 고유값은 1/λ1,1/λ21/\lambda_1, 1/\lambda_2 이므로

u12λ1+u22λ2=c\frac{u_1^2}{\lambda_1} + \frac{u_2^2}{\lambda_2} = c

가 됩니다. 이것이 타원의 방정식이고, 반지름은 λ1c\sqrt{\lambda_1 c} 와 λ2c\sqrt{\lambda_2 c} 입니다. 등고선이 타원인 이유는 그러니까 하나입니다 — Σ\Sigma 가 대칭이라서입니다.

공분산 행렬의 고유값이 정하는 등고선 타원

우리 Σ\Sigma 라면 c=1c=1 인 등고선의 반지름이 40≈6.32\sqrt{40} \approx 6.32 와 10≈3.16\sqrt{10} \approx 3.16 이고, 긴 축이 앞 절의 첫 번째 주성분 (1,1)/2(1,1)/\sqrt{2} 방향입니다. 두 좌표의 분산이 25로 같았기 때문에 타원의 축이 정확히 45도로 섰습니다 — 분산이 서로 다르면 축의 각도도 달라집니다.

cc 를 키우면 같은 모양이 그대로 커집니다. 그래서 다변량 정규분포의 등고선은 닮은 타원들이 겹겹이 놓인 모양입니다.

1σ 타원의 확률

한 차원에서는 평균에서 표준편차 하나 안쪽에 68.3%가 들어 있었습니다. 2차원에서 같은 자리, 곧 마할라노비스 거리 1인 타원 안에는 얼마가 들어 있을까요? 답은 68%가 아닙니다.

고유축 좌표를 다시 wi=ui/λiw_i = u_i / \sqrt{\lambda_i} 로 줄이면 지수 안이 w12+w22w_1^2 + w_2^2 이 되고 밀도가 e−w12/2e−w22/2e^{-w_1^2/2} e^{-w_2^2/2} 로 갈라집니다. w1,w2w_1, w_2 는 서로 독립인 표준 정규분포이고, 마할라노비스 거리는 ww 평면에서 원점까지의 보통 거리 rr 입니다. 그 원 안의 확률을 극좌표로 적분합니다. 넓이 요소가 r dr dθr\,dr\,d\theta 이므로

P(r≤1)=∫02π ⁣ ⁣∫0112πe−r2/2 r dr dθ=∫01r e−r2/2 dr=[−e−r2/2]01=1−e−1/2≈0.393\begin{aligned} P(r \le 1) &= \int_0^{2\pi}\!\!\int_0^1 \frac{1}{2\pi} e^{-r^2/2}\, r\,dr\,d\theta \\ &= \int_0^1 r\,e^{-r^2/2}\,dr = \Big[-e^{-r^2/2}\Big]_0^1 = 1 - e^{-1/2} \approx 0.393 \end{aligned}

입니다. 1σ 타원 안에는 39.3%만 들어 있습니다. 같은 계산으로 반지름을 cc 로 바꾸면 1−e−c2/21 - e^{-c^2/2} 이라, 2σ 타원이 86.5%를 담습니다(한 차원의 2σ는 95.4%). 다섯 점 가운데 1σ 타원 안에 든 것이 중심 하나뿐인 것도 이상한 일이 아닙니다 — 나머지 넷은 모두 마할라노비스 거리 2≈1.41\sqrt{2} \approx 1.41 자리에 있습니다.

이 차이는 원 둘레의 길이 2πr2\pi r 에서 옵니다. 한 차원에서는 중심에서 rr 만큼 떨어진 자리가 두 점뿐인데, 2차원에서는 그 자리가 둘레만큼 늘어나서 바깥쪽이 그만큼 무거워집니다. 일반적으로 r2r^2 은 dd 개의 독립인 표준 정규의 제곱합이고, 이 분포를 자유도 dd 인 카이제곱분포라 부릅니다.

고차원의 껍질

둘레 효과는 차원이 늘수록 거세집니다. dd 차원에서 반지름 rr 인 구면의 넓이는 rd−1r^{d-1} 에 비례하므로, 밀도 자체는 중심이 가장 높아도 «반지름이 rr 근처인 확률»은 rd−1e−r2/2r^{d-1}e^{-r^2/2} 꼴이 되어 중심에서 멀어진 곳에 봉우리가 섭니다. 미분해 0으로 두면 봉우리가 r=d−1r = \sqrt{d-1} 입니다.

평균으로 보면 더 간단합니다. r2=w12+⋯+wd2r^2 = w_1^2 + \cdots + w_d^2 이고 각 wi2w_i^2 의 평균이 1이므로 E[r2]=d\mathbb{E}[r^2] = d, 곧 rr 은 d\sqrt{d} 근처에 있습니다. wi2w_i^2 의 분산은 2이므로 r2r^2 의 표준편차는 2d\sqrt{2d} 이고, r=r2r = \sqrt{r^2} 로 옮기면 대략 2d/(2d)=1/2≈0.71\sqrt{2d}/(2\sqrt{d}) = 1/\sqrt{2} \approx 0.71 입니다. 봉우리는 d\sqrt{d} 로 밖으로 나가는데 폭은 차원과 상관없이 0.7 안팎에 머뭅니다.

차원 2, 10, 100에서 반지름 분포가 껍질로 옮겨 가는 모습

d=100d = 100 이면 표본의 90%가 반지름 8.83과 11.15 사이에 있습니다. 반지름 1 안쪽, 곧 1σ 구 안에 들 확률은 d=10d = 10 에서 0.017%이고 d=100d = 100 에서는 사실상 0입니다. 고차원 정규분포의 표본은 가장 진한 중심이 아니라 반지름 d\sqrt{d} 의 얇은 껍질 위에 거의 다 모여 있습니다.

주변분포와 조건부분포

좌표를 두 묶음으로 나눠 봅시다. 앞쪽 x1\mathbf{x}_1 과 뒤쪽 x2\mathbf{x}_2 로 가르면 평균과 공분산 행렬도 같은 자리에서 갈립니다.

x=(x1x2),μ=(μ1μ2),Σ=(Σ11Σ12Σ21Σ22)\mathbf{x} = \begin{pmatrix} \mathbf{x}_1 \\ \mathbf{x}_2 \end{pmatrix}, \qquad \boldsymbol{\mu} = \begin{pmatrix} \boldsymbol{\mu}_1 \\ \boldsymbol{\mu}_2 \end{pmatrix}, \qquad \Sigma = \begin{pmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix}

Σ11\Sigma_{11} 은 앞 묶음끼리의 공분산, Σ12\Sigma_{12} 는 앞 묶음과 뒤 묶음 사이의 공분산입니다. 다섯 점이라면 xx 를 앞, yy 를 뒤로 두어 네 칸이 각각 25,15,15,2525, 15, 15, 25 인 수 하나씩입니다.

주변분포

다른 좌표는 신경 쓰지 않고 일부 좌표만의 분포를 본 것을 주변분포라 합니다. 다변량 정규분포에서는 이것이 그냥 오려 내기입니다 — x1∼N(μ1,Σ11)\mathbf{x}_1 \sim \mathcal{N}(\boldsymbol{\mu}_1, \Sigma_{11}).

이유는 선형변환에 있습니다. 상수 행렬 AA 를 곱한 AxA\mathbf{x} 의 공분산은

Cov⁡(Ax)=E[A(x−μ)(x−μ)⊤A⊤]=AΣA⊤\operatorname{Cov}(A\mathbf{x}) = \mathbb{E}\big[A(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}-\boldsymbol{\mu})^\top A^\top\big] = A\Sigma A^\top

이고, 정규분포를 따르는 벡터에 행렬을 곱하면 여전히 정규분포라는 사실이 알려져 있습니다. x1\mathbf{x}_1 은 A=(I    0)A = (I \;\; 0) 을 곱한 것이라 AΣA⊤A\Sigma A^\top 이 정확히 왼쪽 위 칸 Σ11\Sigma_{11} 입니다. 다섯 점이라면 xx 하나만 보면 평균 10, 분산 25인 정규분포입니다.

이제 첫 절에서 미뤄 둔 이야기를 할 수 있습니다. Σ12=0\Sigma_{12} = 0 이면 Σ\Sigma 가 대각 칸 둘로만 이뤄지고 그 역행렬도 그렇습니다. 그러면 지수 안이 x1\mathbf{x}_1 만의 항과 x2\mathbf{x}_2 만의 항의 합으로 갈라지고, 지수의 합은 곱이 되어 밀도가 두 주변분포의 곱이 됩니다. 이것이 독립입니다. 다변량 정규분포에서는 공분산 0이 곧 독립입니다. Y=X2Y = X^2 은 두 좌표가 함께 정규분포를 이루지 않으므로 어긋남이 없습니다.

조건부 평균

x2\mathbf{x}_2 의 값을 관측해 고정했을 때 x1\mathbf{x}_1 이 따르는 분포를 조건부분포라 합니다. 이것도 정규분포이고, 평균과 공분산은 이렇습니다.

μ1∣2=μ1+Σ12Σ22−1(x2−μ2),Σ1∣2=Σ11−Σ12Σ22−1Σ21\boldsymbol{\mu}_{1|2} = \boldsymbol{\mu}_1 + \Sigma_{12}\Sigma_{22}^{-1}(\mathbf{x}_2 - \boldsymbol{\mu}_2), \qquad \Sigma_{1|2} = \Sigma_{11} - \Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}

외우지 않아도 바로 위 소절에서 나옵니다. B=Σ12Σ22−1B = \Sigma_{12}\Sigma_{22}^{-1} 로 두고 나머지 e=x1−Bx2\mathbf{e} = \mathbf{x}_1 - B\mathbf{x}_2 를 만들면 Cov⁡(e,x2)=Σ12−BΣ22=0\operatorname{Cov}(\mathbf{e}, \mathbf{x}_2) = \Sigma_{12} - B\Sigma_{22} = 0 입니다. e\mathbf{e} 와 x2\mathbf{x}_2 는 함께 정규분포이므로 공분산 0이 곧 독립입니다. 그러니 x1=Bx2+e\mathbf{x}_1 = B\mathbf{x}_2 + \mathbf{e} 에서 x2\mathbf{x}_2 를 고정해도 e\mathbf{e} 의 분포는 그대로이고, 평균은 Bx2B\mathbf{x}_2 만큼 옮겨 가며 공분산은 Cov⁡(e)\operatorname{Cov}(\mathbf{e}) 로 남습니다. Cov⁡(e)\operatorname{Cov}(\mathbf{e}) 를 풀어 쓴 것이 위의 Σ1∣2\Sigma_{1|2} 입니다.

조건부 평균은 관측값 x2\mathbf{x}_2 의 일차식입니다. 선형회귀의 꼴 그대로이고, 기울기가 Σ12Σ22−1\Sigma_{12}\Sigma_{22}^{-1} 입니다.

다섯 점의 Σ\Sigma 로 「x=15x = 15 일 때 yy 의 조건부 평균」을 손으로 구해 봅시다. 이번에는 yy 가 구할 쪽, xx 가 관측한 쪽입니다. 기울기가 15/25=0.615/25 = 0.6 이므로

E[y∣x=15]=10+0.6×(15−10)=13\mathbb{E}[y \mid x = 15] = 10 + 0.6 \times (15 - 10) = 13

입니다. 자료에서 x=15x = 15 인 점은 (15,9)(15,9) 와 (15,17)(15,17) 이고 그 평균이 정확히 13입니다. 이 다섯 점에 최소제곱 직선을 맞추면 기울기도 sxy/sx2=0.6s_{xy}/s_x^2 = 0.6 으로 같습니다.

x를 관측했을 때 y의 조건부분포

그림에서 눈여겨볼 것은 회귀선의 기울기 0.6이 타원의 긴 축 기울기 1보다 완만하다는 점입니다. xx 가 평균보다 5 크다고 yy 도 5 크다고 짐작하면 안 되고, 표준편차 단위로 재어 상관계수 0.6만큼만 따라갑니다.

조건부 분산

조건부 공분산 Σ11−Σ12Σ22−1Σ21\Sigma_{11} - \Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21} 은 슈어 보수라는 이름이 붙은 꼴입니다. 다섯 점에서는

Var⁡(y∣x)=25−15225=25−9=16\operatorname{Var}(y \mid x) = 25 - \frac{15^2}{25} = 25 - 9 = 16

이라 조건부 표준편차가 4입니다. xx 를 모를 때 yy 의 표준편차가 5였으니, xx 를 알면 퍼짐이 줄어듭니다. 분산으로는 9/25=36%9/25 = 36\% 가 줄었고, 이 비율은 정확히 ρ2=0.62\rho^2 = 0.6^2 입니다.

더 눈여겨볼 것은 이 식에 관측값 xx 가 아예 없다는 점입니다. x=5x = 5 일 때도 평균은 10+0.6×(−5)=710 + 0.6 \times (-5) = 7 로 옮겨 가지만 표준편차는 그대로 4입니다. 그림의 초록 막대가 두 자리에서 같은 길이인 이유입니다. 가우시안 과정 회귀가 예측의 불확실성을 «관측한 yy 값»이 아니라 «어디서 관측했는가»로만 정하는 것도 이 식을 그대로 쓰기 때문입니다.

촐레스키 분해

여기까지가 «주어진 자료의 퍼짐을 읽는» 방향이었습니다. 이제 반대로 갑니다. Σ\Sigma 를 정해 놓고 그 공분산을 가진 표본을 만들려면 어떻게 할까요?

한 차원일 때는 쉬웠습니다. z∼N(0,1)z \sim \mathcal{N}(0,1) 을 뽑아 σ\sigma 를 곱하면 분산이 σ2\sigma^2 입니다. 여러 차원에서도 같은 발상을 쓰려면 «Σ\Sigma 의 제곱근»에 해당하는 행렬 LL, 즉 LL⊤=ΣLL^\top = \Sigma 인 LL 이 필요합니다.

그런 LL 이 있으면 통한다는 것은 주변분포 절의 AΣA⊤A\Sigma A^\top 에서 바로 나옵니다. z\mathbf{z} 의 공분산이 단위행렬 II 이면 Cov⁡(Lz)=LIL⊤=LL⊤=Σ\operatorname{Cov}(L\mathbf{z}) = L I L^\top = LL^\top = \Sigma 이고, 정규분포에 행렬을 곱했으니 LzL\mathbf{z} 는 여전히 정규분포입니다. 필요한 것은 LL 을 구하는 방법 하나뿐입니다.

정의. 대칭 양정치 행렬 Σ\Sigma 를 Σ=LL⊤\Sigma = LL^\top 으로 쓰는 것을 촐레스키 분해라 하고, 이때 LL 은 대각 성분이 양수인 아래삼각행렬로 유일하게 정해진다.

아래삼각 풀이

아래삼각으로 잡는 것이 요령입니다. 미지수가 줄어 한 칸씩 차례로 풀리기 때문입니다. 2×22\times 2 로 직접 해 봅시다.

(ℓ110ℓ21ℓ22)(ℓ11ℓ210ℓ22)=(ℓ112ℓ11ℓ21ℓ11ℓ21ℓ212+ℓ222)=(25151525)\begin{pmatrix} \ell_{11} & 0 \\ \ell_{21} & \ell_{22} \end{pmatrix} \begin{pmatrix} \ell_{11} & \ell_{21} \\ 0 & \ell_{22} \end{pmatrix} = \begin{pmatrix} \ell_{11}^2 & \ell_{11}\ell_{21} \\ \ell_{11}\ell_{21} & \ell_{21}^2 + \ell_{22}^2 \end{pmatrix} = \begin{pmatrix} 25 & 15 \\ 15 & 25 \end{pmatrix}

왼쪽 위부터 읽습니다.

  1. ℓ112=25\ell_{11}^2 = 25 이므로 ℓ11=5\ell_{11} = 5.
  2. ℓ11ℓ21=15\ell_{11}\ell_{21} = 15 이므로 ℓ21=15/5=3\ell_{21} = 15/5 = 3.
  3. ℓ212+ℓ222=25\ell_{21}^2 + \ell_{22}^2 = 25 이므로 ℓ22=25−9=4\ell_{22} = \sqrt{25 - 9} = 4.

L=(5034)L = \begin{pmatrix} 5 & 0 \\ 3 & 4 \end{pmatrix}

세 걸음에서 전부 «앞에서 구한 값을 대입하고 제곱근을 하나 뽑는» 일만 했습니다. dd 차원에서도 똑같이 위에서 아래로, 왼쪽에서 오른쪽으로 한 칸씩 채워 나갑니다. 3단계에서 제곱근 안이 음수가 되지 않는 것이 바로 양정치성이 보장해 주는 것이고, 그래서 양정치인 공분산 행렬에는 촐레스키 분해가 언제나 존재합니다. 특이 행렬이면 어느 대각 칸이 0이 되어 그 아래 칸을 풀 때 0으로 나누게 되므로, 앞에서 본 Σ+εI\Sigma + \varepsilon I 를 먼저 씌웁니다.

이제 z=(z1,z2)\mathbf{z} = (z_1, z_2) 를 randn으로 뽑고 곱하면 됩니다.

x=Lz=(5z13z1+4z2)\mathbf{x} = L\mathbf{z} = \begin{pmatrix} 5z_1 \\ 3z_1 + 4z_2 \end{pmatrix}

둘째 좌표가 첫째 좌표와 z1z_1 을 나눠 쓰고 있습니다 — 상관이 생기는 자리가 눈에 보입니다. 숫자도 낯익습니다. z1=x1/5z_1 = x_1/5 이므로 둘째 좌표는 0.6 x1+4z20.6\,x_1 + 4z_2 이고, 0.6은 앞 절의 회귀 기울기, 4는 조건부 표준편차입니다. 촐레스키 분해는 첫 좌표를 뽑고, 둘째 좌표를 첫 좌표에 대한 조건부분포에서 뽑는 절차를 행렬 하나에 접어 둔 것입니다.

독립인 구름에 L을 곱해 상관 있는 타원으로 바꾸기

분해의 유일성

LL⊤=ΣLL^\top = \Sigma 를 만족하는 행렬은 하나가 아닙니다. 직교행렬 QQ (QQ⊤=IQQ^\top = I) 를 아무것이나 오른쪽에 곱해도

(LQ)(LQ)⊤=L QQ⊤L⊤=LL⊤=Σ(LQ)(LQ)^\top = L\,QQ^\top L^\top = LL^\top = \Sigma

입니다. 90도 회전 Q=(0−110)Q = \begin{pmatrix} 0 & -1 \\ 1 & 0 \end{pmatrix} 을 곱하면 LQ=(0−54−3)LQ = \begin{pmatrix} 0 & -5 \\ 4 & -3 \end{pmatrix} 이고, 행끼리 내적하면 25,15,2525, 15, 25 로 같은 Σ\Sigma 가 나옵니다. 둥근 구름 z\mathbf{z} 는 돌려도 같은 구름이므로, 늘리기 전에 한 번 돌리는 것은 결과에 아무 흔적을 남기지 않습니다.

이 자유를 없애는 것이 「대각이 양수인 아래삼각」이라는 조건입니다. 앞의 세 걸음에서 매 칸이 강제로 정해졌고, 제곱근의 부호만 양수로 고르면 고를 것이 남지 않았습니다. 그래서 정의에 「유일하게」가 붙습니다.

이 조건은 학습에서도 쓸모가 있습니다. 아래삼각의 칸 수는 d(d+1)/2d(d+1)/2 로 Σ\Sigma 의 독립인 칸 수와 같고, 신경망이 그 칸들을 내놓되 대각만 양수로 만들면 어떤 출력이든 올바른 공분산 행렬이 됩니다.

대칭 제곱근

다른 방법도 있습니다. 고유분해 Σ=QΛQ⊤\Sigma = Q\Lambda Q^\top 에서 고유값마다 제곱근을 씌운

S=QΛ1/2Q⊤S = Q\Lambda^{1/2}Q^\top

는 대칭이고 SS⊤=S2=QΛQ⊤=ΣS S^\top = S^2 = Q\Lambda Q^\top = \Sigma 입니다. 이 SS 를 Σ\Sigma 의 대칭 제곱근이라 합니다. 우리 Σ\Sigma 라면 고유값 40과 10, 고유벡터 (1,1)/2(1,1)/\sqrt{2} 와 (1,−1)/2(1,-1)/\sqrt{2} 를 넣어

S=102(3113)≈(4.741.581.584.74)S = \frac{\sqrt{10}}{2}\begin{pmatrix} 3 & 1 \\ 1 & 3 \end{pmatrix} \approx \begin{pmatrix} 4.74 & 1.58 \\ 1.58 & 4.74 \end{pmatrix}

입니다. 4.742+1.582≈254.74^2 + 1.58^2 \approx 25, 2×4.74×1.58≈152 \times 4.74 \times 1.58 \approx 15 로 맞습니다.

두 제곱근은 같은 분포를 만들지만 쓰임이 갈립니다. 촐레스키는 칸을 차례로 채우는 계산 한 번이라 빠르고, 고유분해는 반복 계산이라 같은 크기에서 몇 배 무겁습니다. 대신 고유분해 쪽은 고유값 0에 0=0\sqrt{0} = 0 을 씌우면 그만이라 특이 Σ\Sigma 도 받습니다. 촐레스키는 거기서 멈춥니다.

정리

  • 공분산은 두 좌표가 같이 움직이는 정도이고 E[XY]−E[X]E[Y]\mathbb{E}[XY] - \mathbb{E}[X]\mathbb{E}[Y] 로도 계산한다. 독립이면 0이지만 0이라고 독립은 아니다.
  • 공분산 행렬은 중심화한 데이터 행렬로 Xc⊤Xc/(n−1)X_c^\top X_c/(n-1) 이고, 언제나 대칭이며 양반정치다. 고유값 0이 있으면 특이 행렬이라 Σ+εI\Sigma + \varepsilon I 로 받친다.
  • 가장 큰 고유값의 방향이 자료가 가장 넓게 퍼진 방향이다. 대각합이 전체 분산이고, 고유값 목록은 설명된 분산 비율과 참여비로 요약한다.
  • 다변량 정규분포에서 바뀐 것은 거리를 재는 자 하나다. 등고선은 타원이고, 2차원의 1σ 타원은 39.3%만 담으며, 차원이 늘면 질량이 반지름 d\sqrt{d} 의 껍질로 간다.
  • 주변분포는 Σ\Sigma 의 칸을 오려 낸 것이고, 조건부 평균은 관측값의 일차식, 조건부 분산은 관측값과 무관하다. 공분산 0이 곧 독립이다.
  • 촐레스키 분해 Σ=LL⊤\Sigma = LL^\top 이 행렬의 제곱근 노릇을 한다. 아래삼각 조건이 유일성을 주고, 대칭 제곱근은 특이 Σ\Sigma 도 받는다.

numpy 검산

import numpy as np

Sigma = np.array([[25.0, 15.0],
                  [15.0, 25.0]])
mu = np.array([10.0, 10.0])

L = np.linalg.cholesky(Sigma)      # 아래삼각 L
print(L)
# [[5. 0.]
#  [3. 4.]]

rng = np.random.default_rng(0)
z = rng.standard_normal((200_000, 2))   # 독립인 둥근 구름
x = z @ L.T + mu                        # 행이 표본이라 L.T 를 오른쪽에 곱한다

print(np.cov(x.T).round(2))
# [[25.08 14.98]
#  [14.98 24.98]]

print(np.corrcoef(x.T)[0, 1].round(3))   # 0.598
print(np.linalg.eigvalsh(np.cov(x.T)).round(2))  # [10.05 40.01]

표본에서 되돌려 잰 공분산이 넣어 준 Σ\Sigma 와 맞고, 고유값도 손으로 구한 10과 40입니다. LL 을 그대로 찍어 보면 손계산과 같은 [[5,0],[3,4]][[5,0],[3,4]] 입니다.

반대 방향도 한 줄입니다. z=L−1(x−μ)\mathbf{z} = L^{-1}(\mathbf{x} - \boldsymbol{\mu}) 로 되돌리면 공분산이 II 인 표본이 나옵니다 — 기운 타원을 다시 둥근 구름으로 펴는 이 조작을 백색화(whitening)라고 합니다.

w = np.linalg.solve(L, (x - mu).T).T
print(np.cov(w.T).round(2))
# [[ 1. -0.]
#  [-0.  1.]]

rowvar 축

위 코드가 np.cov(x)가 아니라 np.cov(x.T)라고 쓴 데는 이유가 있습니다. np.cov는 기본값 rowvar=True로 «한 행이 한 변수»라고 읽습니다. 데이터 행렬은 한 행이 한 표본이라 정반대입니다.

print(np.cov(x[:5]).shape)                  # (5, 5) — 표본 다섯을 변수 다섯으로 읽었다
print(np.cov(x, rowvar=False).round(2))     # 원하던 2 × 2
# [[25.08 14.98]
#  [14.98 24.98]]

표본 다섯 개로는 이상한 모양의 행렬이 나올 뿐이지만, 20만 개를 그대로 넣으면 20만 × 20만 행렬을 만들려 들어 float64로 320GB가 필요해집니다. 오류 대신 메모리가 먼저 터집니다. 전치하거나 rowvar=False를 줍니다.

SVD 표본 추출

numpy에는 이 글의 과정을 한 번에 해 주는 함수가 있습니다. rng.multivariate_normal(mean, cov)입니다. 이 함수는 기본값으로 촐레스키가 아니라 SVD를 씁니다(method='svd', 옛 np.random.multivariate_normal도 SVD입니다). 대칭 양반정치 행렬의 SVD는 고유분해와 같아서, 앞 절의 대칭 제곱근 쪽 길을 가는 셈입니다. 그래서 특이 Σ\Sigma 도 받습니다.

S0 = np.array([[25.0, 25.0],
               [25.0, 25.0]])      # 고유값 50, 0 — 특이 행렬
s = rng.multivariate_normal(mu, S0, size=100_000)
print(np.abs(s[:, 0] - s[:, 1]).max())     # 1e-07 아래 — 모든 표본이 y = x 위

rng.multivariate_normal(mu, S0, size=3, method='cholesky')
# LinAlgError: Matrix is not positive definite

특이 Σ\Sigma 로 뽑은 표본은 고유값 0의 방향으로 전혀 퍼지지 않아 전부 직선 y=xy = x 위에 섭니다. 양정치라는 것을 알고 있으면 method='cholesky'가 더 빠르고, 양반정치조차 아닌 행렬(음의 고유값)을 넣으면 check_valid='warn' 기본값에 따라 경고가 뜹니다.

확산 모델의 노이즈

서두의 torch.randn_like로 돌아가 봅시다. 그 한 줄이 주는 것은 Σ=I\Sigma = I 인 표본입니다. 3 × 64 × 64 이미지라면 d=12288d = 12288 이고, 고차원의 껍질에서 본 대로 그 노이즈 벡터의 길이는 거의 언제나 12288≈110.9\sqrt{12288} \approx 110.9 근처입니다. 같은 randn이라도 공 전체가 아니라 얇은 구면 위에서 뽑히고 있는 셈입니다.

확산 모델이 그것으로 충분한 이유는 노이즈를 일부러 좌표마다 독립으로 넣기 때문입니다. 반대로 데이터의 실제 분포를 흉내 내야 하는 자리에서는 LL 을 곱하는 한 걸음이 반드시 끼어듭니다. VAE가 대각 성분만 학습하는 것도, 전체 Σ\Sigma 대신 «촐레스키의 아래삼각 LL 을 학습한다»는 설계가 종종 등장하는 것도 이 글의 식에서 곧장 읽힙니다 — 대각은 상관을 버리고 값싸게 가는 쪽이고, 아래삼각은 칸 수가 Σ\Sigma 와 같아 군더더기 없이 상관까지 담으면서도 어떤 출력이든 올바른 공분산이 되는 쪽입니다.

다음은 분포를 «읽는» 쪽에서 «만드는» 쪽으로 한 번 더 옮겨 갈 차례입니다. 모델이 내놓는 것은 점수 벡터일 뿐인데 그것을 확률로 바꿔 주는 함수가 하나 있고, 그 함수의 모양이 왜 하필 그것인지를 유도합니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN