대칭 행렬: 직교 대각화와 이차형식의 부호

학습을 오래 돌리면 기울기가 거의 0인 지점에 도달합니다. 그런데 그 자리가 무엇인지는 기울기만 봐서는 알 수 없습니다. 진짜 골짜기 바닥일 수도 있고, 어떤 방향으로는 내려가는데 다른 방향으로는 올라가는 안장일 수도 있습니다. 후자라면 옵티마이저는 아직 갈 길이 남았는데도 멈춘 것처럼 보입니다.

이 둘을 가르려면 기울기가 아니라 그 지점에서 곡면이 어떻게 휘어 있는지를 봐야 합니다. 그 정보를 담은 것이 손실의 이계 편도함수를 한 행렬에 모아 놓은 헤세 행렬입니다. 그리고 헤세 행렬에는 특별한 성질이 하나 있습니다 — 대칭입니다.

지난 글 끝에서 예고한 대로, 대칭이라는 조건 하나가 붙으면 고윳값이 갑자기 얌전해집니다. 이 글은 그 얌전함이 정확히 무엇이고, 그것으로 무엇을 판정할 수 있는지를 봅니다.

대칭 행렬

$A^\top = A$ 인 행렬을 대칭 행렬이라고 합니다. 대각선을 접었을 때 위아래가 포개진다는 뜻입니다. 특별해 보이지만, AI에서 실제로 고윳값을 들여다보는 행렬은 거의 전부 여기 해당합니다. 세 갈래로 나옵니다.

그람 행렬과 공분산

어떤 행렬 $X$ 에 대해 $X^\top X$ 를 그람 행렬이라 하는데, 이것은 무조건 대칭입니다. 전치를 취해 보면 바로 나옵니다.

$(X^\top X)^\top = X^\top (X^\top)^\top = X^\top X$

$(i,j)$ 성분이 $X$ 의 $i$ 번 열과 $j$ 번 열의 내적이라 자리를 바꿔도 같은 값이라는 것이 그 내용입니다.

공분산 행렬도 같은 뿌리입니다. 데이터 $n$ 개를 행으로 쌓은 $X$ 를 평균 0으로 맞춰 놓으면 공분산은 $\frac{1}{n}X^\top X$ 라 그람 행렬의 상수배입니다. $i$ 번 특성과 $j$ 번 특성의 공분산은 순서를 바꿔도 같으니 성분 수준에서도 당연합니다. 임베딩의 쏠림을 재거나 PCA로 주축을 찾을 때 고윳값을 구하는 행렬이 바로 이것입니다.

헤세 행렬

헤세 행렬의 $(i,j)$ 성분은 $\partial^2 L / \partial w_i \partial w_j$ 입니다. 이계 편도함수가 연속이면 미분 순서를 바꿔도 값이 같다는 정리가 있고, 신경망의 손실은 거의 모든 점에서 그 조건을 만족하므로 헤세는 대칭입니다.

$\frac{\partial^2 L}{\partial w_i \partial w_j} = \frac{\partial^2 L}{\partial w_j \partial w_i}$

「거의 모든 점」이라는 단서는 ReLU처럼 꺾이는 점이 있는 함수 때문입니다. 꺾인 자리에서는 이계도함수가 정의되지 않지만, 무작위로 잡은 가중치가 정확히 그 자리에 떨어질 일은 사실상 없어서 실무에서는 신경 쓰지 않습니다.

세 자리 모두 우연이 아닙니다. 둘 사이의 관계를 재는 양은 순서를 바꿔도 같다는 성질이 대칭성의 정체입니다.

대칭 부분

반대로 AI에서 대칭이 아닌 행렬도 흔합니다. 층의 가중치 $W$ 는 입력 차원과 출력 차원이 달라 정사각형조차 아닌 경우가 대부분이고, 층 하나의 야코비안도 대칭일 이유가 없습니다. 이런 행렬에는 이 글의 도구가 곧바로 들지 않으며, 다음 글의 특잇값 분해가 그 자리를 맡습니다.

다만 이차형식만 놓고 보면 비대칭은 문제가 되지 않습니다. 정사각 행렬 $M$ 은 언제나 둘로 가를 수 있습니다.

$M = \underbrace{\tfrac{1}{2}(M + M^\top)}_{S} + \underbrace{\tfrac{1}{2}(M - M^\top)}_{K}$

앞쪽 $S$ 는 전치해도 그대로라 대칭이고, 이것을 $M$ 의 대칭 부분이라 부릅니다. 뒤쪽 $K$ 는 전치하면 부호가 뒤집히는 반대칭 부분입니다. 그런데 $\mathbf{x}^\top K\mathbf{x}$ 는 스칼라라 전치해도 같은 값이면서, 동시에 $\mathbf{x}^\top K^\top\mathbf{x} = -\mathbf{x}^\top K\mathbf{x}$ 이기도 합니다. 자기 자신과 부호만 다른 수는 0뿐이므로 반대칭 부분은 이차형식에서 통째로 사라지고 $S$ 만 남습니다.

$M = \begin{pmatrix} 1 & 4 \\ 0 & 1\end{pmatrix}$ 로 해 보면 대칭 부분은 $S = \begin{pmatrix} 1 & 2 \\ 2 & 1\end{pmatrix}$ 입니다. $M$ 은 삼각행렬이라 고윳값이 대각의 $1, 1$ 로 둘 다 양수인데, $\mathbf{x} = (1,-1)$ 을 넣으면 $1 - 4 + 1 = -2$ 로 음수가 나옵니다. 비대칭 행렬에서는 고윳값의 부호가 이차형식의 부호를 알려 주지 않는다는 뜻입니다. 이 글에서 대칭을 고집하는 이유가 여기 있습니다.

스펙트럼 정리

지난 두 글에서 대각화가 안 되는 경우를 봤습니다. 전단은 고유 방향이 하나뿐이었고 회전은 실수 고유 방향이 아예 없었습니다. 대칭 행렬에서는 그런 일이 일어나지 않습니다.

직교 대각화

스펙트럼 정리. $A^\top = A$ 이면 $A$ 의 고윳값은 모두 실수이고, 고유벡터를 서로 직교하는 것으로 $n$ 개 고를 수 있다. 그것을 길이 1로 맞춰 열로 세운 행렬을 $Q$, 고윳값을 대각에 놓은 것을 $\Lambda$ 라 하면

$A = Q\Lambda Q^\top, \qquad Q^\top Q = I$

일반 대각화 $A = P\Lambda P^{-1}$ 과 비교하면 달라진 것은 두 가지입니다. 첫째, 조건이 없습니다 — 대칭이기만 하면 됩니다. 둘째, $P^{-1}$ 자리가 $Q^\top$ 입니다. 열이 서로 직교하고 길이가 1인 정사각 행렬을 직교행렬이라 하고, 직교행렬은 역행렬이 곧 전치입니다. 역행렬을 구하는 계산이 통째로 사라지는 셈입니다.

$A = \begin{pmatrix} 2 & 1 \\ 1 & 2\end{pmatrix}$ 로 확인합니다. 지난 두 글에서 고윳값 $3, 1$ 과 고유벡터 $(1,1), (1,-1)$ 을 구해 두었는데, 이 둘의 내적은 $1\cdot1 + 1\cdot(-1) = 0$ 입니다. 정말 직교합니다. 길이를 1로 맞추면

$Q = \frac{1}{\sqrt{2}}\begin{pmatrix} 1 & 1 \\ 1 & -1\end{pmatrix}, \qquad \Lambda = \begin{pmatrix} 3 & 0 \\ 0 & 1\end{pmatrix}$

이고 $Q^\top Q = I$ 임은 열끼리의 내적을 네 번 계산해 보면 확인됩니다. 역행렬을 구하지 않고 전치만으로 $A = Q\Lambda Q^\top$ 을 쓸 수 있습니다. 정리의 세 주장 — 고윳값이 실수, 고유벡터가 직교, 그런 고유벡터가 $n$ 개 — 중 앞의 둘을 아래에서 증명합니다.

실수 고윳값

회전 행렬에서 고윳값이 복소수로 나왔던 것을 떠올리면, 대칭 행렬에서도 일단 고윳값 $\lambda$ 와 고유벡터 $\mathbf{v}$ 가 복소수일 수 있다고 열어 두고 시작해야 합니다. 복소수 $a + bi$ 에서 허수부의 부호만 뒤집은 $a - bi$ 를 켤레복소수라 하고 윗줄을 그어 $\bar{\lambda}$ 로 적습니다. 어떤 수가 자기 켤레와 같으면 허수부가 0, 곧 실수입니다. 그래서 보일 것은 $\lambda = \bar{\lambda}$ 하나입니다.

$A\mathbf{v} = \lambda\mathbf{v}$ 의 양변에 켤레를 취하면, $A$ 는 실수 행렬이라 그대로이므로 $A\bar{\mathbf{v}} = \bar{\lambda}\bar{\mathbf{v}}$ 입니다. 이제 $\bar{\mathbf{v}}^\top A\mathbf{v}$ 라는 수 하나를 두 방향으로 계산합니다.

$$\begin{aligned} \bar{\mathbf{v}}^\top (A\mathbf{v}) &= \lambda\,\bar{\mathbf{v}}^\top\mathbf{v} \\ (A^\top\bar{\mathbf{v}})^\top \mathbf{v} = (A\bar{\mathbf{v}})^\top\mathbf{v} &= \bar{\lambda}\,\bar{\mathbf{v}}^\top\mathbf{v} \end{aligned}$$

두 줄의 왼쪽은 같은 수이고, 둘째 줄에서 $A^\top$ 를 $A$ 로 바꾼 자리가 대칭성이 쓰인 곳입니다. 공통 인수 $\bar{\mathbf{v}}^\top\mathbf{v} = \sum |v_i|^2$ 는 성분의 크기 제곱을 더한 것이라 0 벡터가 아닌 한 양수입니다. 그러니 양변을 나눌 수 있고 $\lambda = \bar{\lambda}$ 가 남습니다. 대칭이 아니면 둘째 줄이 $A^\top$ 에서 멈춰 버려 이 비교가 성립하지 않고, 회전 행렬이 바로 그 예입니다.

고유벡터의 직교

직교성도 같은 요령으로 증명됩니다. $\lambda_1 \ne \lambda_2$ 인 두 고윳값의 고유벡터를 $\mathbf{v}_1, \mathbf{v}_2$ 라 하고, $\mathbf{v}_1^\top A\mathbf{v}_2$ 를 두 방향으로 계산합니다.

$\mathbf{v}_1^\top(A\mathbf{v}_2) = \mathbf{v}_1^\top(\lambda_2\mathbf{v}_2) = \lambda_2\,(\mathbf{v}_1 \cdot \mathbf{v}_2)$

$(A\mathbf{v}_1)^\top\mathbf{v}_2 = (\lambda_1\mathbf{v}_1)^\top\mathbf{v}_2 = \lambda_1\,(\mathbf{v}_1 \cdot \mathbf{v}_2)$

두 줄의 좌변은 같습니다 — $\mathbf{v}_1^\top A\mathbf{v}_2 = (A^\top\mathbf{v}_1)^\top\mathbf{v}_2$ 인데 $A^\top = A$ 이기 때문입니다. 대칭성이 정확히 이 한 자리에서 쓰입니다. 그러므로

$(\lambda_1 - \lambda_2)(\mathbf{v}_1 \cdot \mathbf{v}_2) = 0$

$\lambda_1 \ne \lambda_2$ 라고 했으니 $\mathbf{v}_1 \cdot \mathbf{v}_2 = 0$ 입니다. 내적이 0이면 직교라는 것은 직교와 사영에서 정의한 그대로입니다.

이 증명은 고윳값이 서로 다를 때만 말합니다. 같은 고윳값이 두 번 나오는 중근이면 그 고윳값에 속하는 고유벡터 전체, 곧 고유공간이 직선이 아니라 평면 이상이 되고, 그 안의 벡터는 아무거나 다 고유벡터라 저절로 직교하지 않습니다. $\begin{pmatrix} 3&1&1\\1&3&1\\1&1&3\end{pmatrix}$ 이 그런 예입니다. 고윳값이 $5, 2, 2$ 이고, 고윳값 2의 고유공간은 $x_1 + x_2 + x_3 = 0$ 인 평면 전체입니다. 그 평면에서 $(1,-1,0)$ 과 $(1,0,-1)$ 을 집으면 내적이 1이라 직교하지 않습니다. 이럴 때는 그람-슈미트로 둘째 벡터에서 첫째 방향의 사영을 빼 $(1,1,-2)$ 로 바꿔 잡습니다. 대칭 행렬에서는 고유공간의 차원이 언제나 중근의 개수와 같다는 것이 정리의 셋째 주장이고, 그래서 이렇게 골라 잡으면 늘 $n$ 개가 채워집니다. 그 부분의 증명은 한 차원씩 떼어 내는 귀납법이라 여기서는 넘어갑니다. 대신 한 가지는 기억해 둡니다 — 중근이 있으면 $Q$ 는 하나로 정해지지 않습니다.

행렬의 제곱근

$Q\Lambda Q^\top$ 꼴의 쓸모는 판정에서 끝나지 않습니다. 가운데 대각행렬만 손보면 행렬에 함수를 씌울 수 있습니다. 고윳값이 전부 0 이상일 때 $A^{1/2} = Q\Lambda^{1/2}Q^\top$ 로 두면, $Q^\top Q = I$ 가 가운데서 지워져 $A^{1/2}A^{1/2} = Q\Lambda Q^\top = A$ 입니다. 제곱해서 $A$ 가 되는 이 행렬을 행렬의 제곱근이라 합니다.

$A = \begin{pmatrix} 2 & 1 \\ 1 & 2\end{pmatrix}$ 이면 고윳값 $3, 1$ 의 제곱근 $\sqrt3, 1$ 을 대각에 놓고 되돌려

$A^{1/2} = \frac{1}{2}\begin{pmatrix} \sqrt3+1 & \sqrt3-1 \\ \sqrt3-1 & \sqrt3+1\end{pmatrix} \approx \begin{pmatrix} 1.366 & 0.366 \\ 0.366 & 1.366\end{pmatrix}$

입니다. 제곱해 보면 대각이 $1.366^2 + 0.366^2 \approx 1.866 + 0.134 = 2$, 비대각이 $2 \times 1.366 \times 0.366 \approx 1$ 로 $A$ 가 돌아옵니다. 성분마다 제곱근을 씌운 $\begin{pmatrix}\sqrt2 & 1\\1&\sqrt2\end{pmatrix}$ 과는 전혀 다른 행렬이라는 점이 핵심입니다.

같은 방법으로 $\Lambda^{-1/2}$ 를 끼우면 $A^{-1/2} \approx \begin{pmatrix} 0.789 & -0.211 \\ -0.211 & 0.789\end{pmatrix}$ 가 나옵니다. 공분산 $\Sigma$ 에 이것을 쓴 $\Sigma^{-1/2}$ 를 데이터에 곱하면 공분산이 $\Sigma^{-1/2}\Sigma\,\Sigma^{-1/2} = I$ 가 되어 모든 방향의 분산이 1로 고르게 펴지는데, 이 조작이 화이트닝입니다. 임베딩의 쏠림을 펴는 쓰임은 이방성과 화이트닝에서 실제 데이터로 다룹니다.

이차형식

이제 대칭 행렬로 무엇을 하는지로 갑니다. 벡터 하나를 넣으면 수 하나가 나오는 함수 가운데 곡률을 재는 데 딱 맞는 꼴이 있습니다.

전개와 교차항

벡터 $\mathbf{x}$ 를 넣으면 수 하나가 나오는 다음 함수를 $A$ 의 이차형식이라고 합니다.

$q(\mathbf{x}) = \mathbf{x}^\top A \mathbf{x}$

모양을 보면 $(1\times n)(n \times n)(n \times 1)$ 이라 결과가 $1\times1$, 즉 스칼라입니다. $2\times2$ 에서 실제로 전개해 봅니다.

$q(\mathbf{x}) = \begin{pmatrix} x_1 & x_2 \end{pmatrix}\begin{pmatrix} a & b \\ b & c\end{pmatrix}\begin{pmatrix} x_1 \\ x_2 \end{pmatrix} = a x_1^2 + 2b\,x_1x_2 + c x_2^2$

모든 항이 2차입니다. 이름에 '이차'가 붙은 이유이고, 비대각 성분 $b$ 가 두 번 등장해 $2b$ 가 되는 것은 위아래 두 자리가 같은 값이기 때문입니다. $x_1x_2$ 처럼 서로 다른 좌표가 곱해진 항을 교차항이라 부르는데, 이 항이 있으면 $x_1$ 과 $x_2$ 를 따로 떼어 볼 수가 없습니다.

헤세 행렬과 이차형식이 만나는 자리는 테일러 전개입니다. 기울기가 0인 점 $\mathbf{w}$ 에서 작은 걸음 $\mathbf{d}$ 를 내디디면 손실은 대략 $L(\mathbf{w}) + \frac12\mathbf{d}^\top H\mathbf{d}$ 가 됩니다. 일차항이 기울기 0 때문에 사라졌으니, 올라가는지 내려가는지는 헤세의 이차형식이 전부 정합니다.

부호가 갈리는 예

$A = \begin{pmatrix} 2 & 1 \\ 1 & 2\end{pmatrix}$ 이면 $q(\mathbf{x}) = 2x_1^2 + 2x_1x_2 + 2x_2^2$ 입니다. 몇 군데 넣어 봅니다.

$q(1,0) = 2, \qquad q(1,1) = 2+2+2 = 6, \qquad q(1,-1) = 2-2+2 = 2$

전부 양수입니다. 반면 $C = \begin{pmatrix} 1 & 2 \\ 2 & 1\end{pmatrix}$ 이면 $q(\mathbf{x}) = x_1^2 + 4x_1x_2 + x_2^2$ 이고

$q(1,1) = 1+4+1 = 6, \qquad q(1,-1) = 1-4+1 = -2$

방향에 따라 부호가 갈립니다. 이 차이가 곧 골짜기와 안장의 차이인데, 방향을 몇 개 찍어 보는 것으로는 확인이 끝나지 않습니다. $A$ 에서 세 방향이 전부 양수였다고 네 번째 방향도 양수라는 보장은 없습니다. 무한히 많은 방향을 어떻게 한꺼번에 볼 것인가 — 여기서 스펙트럼 정리가 일합니다.

등고선과 조건수

한꺼번에 보는 가장 쉬운 방법은 그림입니다. $q(\mathbf{x}) = 1$ 을 만족하는 점을 모두 이으면 그 이차형식의 등고선 하나가 그려지는데, $A$ 와 $C$ 는 전혀 다른 곡선을 냅니다.

$A$ 의 등고선은 타원이고, 그 축이 고유벡터 $(1,1)$ 과 $(1,-1)$ 방향으로 섭니다. 축 길이도 고윳값에서 바로 나옵니다. 고유벡터 방향의 단위벡터에 $t$ 를 곱해 넣으면 $q = \lambda t^2$ 이라 $q = 1$ 이 되는 $t$ 는 $1/\sqrt{\lambda}$ 입니다. 고윳값 3인 $(1,1)$ 쪽 반지름이 $1/\sqrt3 \approx 0.577$, 고윳값 1인 $(1,-1)$ 쪽이 $1$ 입니다. 고윳값이 클수록 조금만 가도 값이 1에 닿으므로 그 방향이 짧아집니다.

$C$ 는 고윳값 $3, -1$ 이라 $(1,-1)$ 방향으로는 아무리 가도 값이 음수여서 1에 닿지 않습니다. 등고선이 닫히지 못하고 두 갈래로 벌어진 쌍곡선이 됩니다. 닫힌 타원이면 한가운데가 바닥이고, 벌어진 쌍곡선이면 안장입니다.

타원의 두 축 비는 $\sqrt{3}/1 \approx 1.73$ 입니다. 고윳값의 비 $\lambda_{\max}/\lambda_{\min} = 3$ 의 제곱근입니다. 이 비가 100이면 등고선은 가로세로가 10배 차이 나는 가느다란 골짜기가 되고, 경사하강법은 좁은 쪽 벽을 오가며 지그재그로 느리게 내려갑니다. 대칭 양정치 행렬에서 이 고윳값의 비를 조건수라 부르며, 행렬 노름을 다루는 뒤의 글에서 일반 행렬로 넓힙니다.

고유기저 대각화

등고선이 고유벡터 방향으로 섰다는 것은 우연이 아닙니다. 좌표축을 고유벡터에 맞춰 돌리면 식에서도 그 사실이 그대로 보입니다.

교차항의 소거

$A = Q\Lambda Q^\top$ 을 이차형식에 넣습니다.

$q(\mathbf{x}) = \mathbf{x}^\top Q \Lambda Q^\top \mathbf{x} = (Q^\top\mathbf{x})^\top \Lambda (Q^\top\mathbf{x})$

$\mathbf{y} = Q^\top\mathbf{x}$ 로 두면 — 이것이 $\mathbf{x}$ 를 고유축 좌표로 다시 읽은 것입니다 — 남는 것은 대각행렬을 낀 이차형식뿐입니다.

$q(\mathbf{x}) = \mathbf{y}^\top \Lambda \mathbf{y} = \lambda_1 y_1^2 + \lambda_2 y_2^2 + \cdots + \lambda_n y_n^2$

교차항이 전부 사라졌습니다. 제곱항만 남았고 제곱은 언제나 0 이상이므로, 각 항의 부호는 오직 $\lambda_i$ 가 정합니다.

길이 보존

$\mathbf{y} = Q^\top\mathbf{x}$ 라는 좌표 바꾸기가 길이를 바꾸지 않는다는 점도 짚어 둡니다. $Q$ 가 직교행렬이므로 $\|\mathbf{y}\|^2 = \mathbf{y}^\top\mathbf{y} = \mathbf{x}^\top QQ^\top\mathbf{x} = \|\mathbf{x}\|^2$ 입니다. 축을 돌려 봤을 뿐 아무것도 늘이거나 줄이지 않았으므로 새 좌표에서 읽은 부호가 원래 좌표에서도 그대로 참입니다.

$C = \begin{pmatrix} 1 & 2 \\ 2 & 1\end{pmatrix}$ 로 확인합니다. $\operatorname{tr}C = 2$, $\det C = 1 - 4 = -3$ 이므로 $\lambda^2 - 2\lambda - 3 = (\lambda-3)(\lambda+1) = 0$, 즉 $\lambda = 3, -1$ 입니다. 고유기저에서 $q = 3y_1^2 - y_2^2$ 이고, 첫 축 방향으로는 값이 커지고 둘째 축 방향으로는 작아집니다. 앞에서 $q(1,1) = 6 > 0$ 과 $q(1,-1) = -2 < 0$ 이 나온 것이 바로 그 두 축입니다 — $C$ 의 고유벡터가 $(1,1)$ 과 $(1,-1)$ 이기 때문입니다.

레일리 몫

길이 보존에서 한 걸음 더 갑니다. 이차형식을 길이의 제곱으로 나눈 값

$R(\mathbf{x}) = \frac{\mathbf{x}^\top A\mathbf{x}}{\mathbf{x}^\top\mathbf{x}}$

을 레일리 몫이라 합니다. 크기를 나눠 버렸으니 방향만의 함수입니다. 고유기저로 옮기면 분자는 $\sum\lambda_i y_i^2$, 분모는 $\sum y_i^2$ 이라, 가중치 $y_i^2/\sum y_j^2$ 가 전부 0 이상이고 합이 1입니다. 레일리 몫은 고윳값들의 가중평균이고, 그래서 늘 가장 작은 고윳값과 가장 큰 고윳값 사이에 있습니다.

$\lambda_{\min} \le R(\mathbf{x}) \le \lambda_{\max}$

양 끝은 가중치가 한 고윳값에 몰릴 때, 곧 $\mathbf{x}$ 가 그 고유벡터일 때 도달합니다. $A = \begin{pmatrix} 2 & 1 \\ 1 & 2\end{pmatrix}$ 에서 단위원 위의 점 $(\cos\theta, \sin\theta)$ 를 넣으면 $R = 2 + 2\sin\theta\cos\theta = 2 + \sin 2\theta$ 입니다. $\theta = 45^\circ$, 곧 $(1,1)$ 방향에서 최댓값 3이고 $\theta = 135^\circ$, 곧 $(-1,1)$ 방향에서 최솟값 1입니다. 아무 방향이나 하나 잡아 $\mathbf{x} = (2,5)$ 를 넣어도 분자 $8 + 20 + 50 = 78$, 분모 $29$ 로 $R \approx 2.69$ 라 1과 3 사이에 들어갑니다.

이것을 제약이 있는 최적화 문제로 읽을 수도 있습니다. 길이 1인 $\mathbf{x}$ 가운데 $\mathbf{x}^\top A\mathbf{x}$ 를 가장 크게 하는 것을 찾으라는 문제에 라그랑주 승수 $\mu$ 를 붙여 미분하면 $2A\mathbf{x} - 2\mu\mathbf{x} = \mathbf{0}$, 곧 $A\mathbf{x} = \mu\mathbf{x}$ 가 나옵니다. 정지점은 고유벡터이고 승수는 고윳값이며, 그 점에서의 값도 $\mathbf{x}^\top A\mathbf{x} = \mu\,\mathbf{x}^\top\mathbf{x} = \mu$ 입니다. 이차형식의 최댓값을 구하는 일과 최대 고윳값을 구하는 일은 같은 문제이고, 지난 글의 거듭제곱법이 헤세의 가장 가파른 곡률을 재는 데 쓰이는 이유가 여기 있습니다.

부호 판정

고윳값의 부호가 이차형식의 부호를 정하므로, 갈래에 이름을 붙이면 그대로 판정법이 됩니다.

다섯 갈래

0이 아닌 모든 $\mathbf{x}$ 에서 $q > 0$ 인 행렬을 양정치라 하고, 0까지 허용해 $q \ge 0$ 이면 양반정치라 합니다. 양수와 음수가 둘 다 나오면 부정부호입니다. 부호를 뒤집은 음정치와 음반정치까지 합쳐 다섯 갈래이고, 고유기저의 식 $\sum\lambda_i y_i^2$ 에서 곧바로 고윳값 조건으로 옮겨집니다.

이름	조건	고윳값	임계점에서 뜻하는 것
양정치	모든 $\mathbf{x} \ne \mathbf{0}$ 에 $q > 0$	전부 양수	모든 방향으로 올라간다 — 국소 최소
양반정치	모든 $\mathbf{x}$ 에 $q \ge 0$	전부 0 이상, 0이 있음	평평한 방향이 있다 — 판정 보류
부정부호	부호가 갈린다	양수와 음수가 섞임	안장
음반정치	모든 $\mathbf{x}$ 에 $q \le 0$	전부 0 이하, 0이 있음	판정 보류
음정치	모든 $\mathbf{x} \ne \mathbf{0}$ 에 $q < 0$	전부 음수	국소 최대

정치와 반정치를 가르는 것은 고윳값 0의 유무입니다. $\lambda_i = 0$ 인 방향은 그 축을 따라 움직여도 이차형식의 값이 변하지 않는 평평한 골입니다. 그 방향으로 더 가면 올라갈지 내려갈지는 삼차 이상의 항이 정하므로, 이계도함수만으로는 판정이 보류됩니다.

교과서에서는 판정 보류가 드문 예외처럼 보이지만 딥러닝에서는 기본값입니다. ReLU 신경망에서 한 층의 가중치와 편향에 2를 곱하고 다음 층의 가중치에 1/2을 곱하면 출력이 그대로라, 손실이 조금도 변하지 않는 방향이 파라미터 공간에 줄지어 있습니다. 최소점에서 그 방향을 따라 잰 곡률은 0이고, 헤세는 그만큼 고윳값 0을 품습니다. 실제로 학습된 큰 모델의 헤세 고윳값을 재 보면 대부분이 0 근처에 몰려 있고, 크게 튀어나온 것은 몇 개뿐이라는 관찰이 여러 번 보고되었습니다. 이 평평한 방향들의 이야기는 손실 지형과 볼록성에서 이어집니다.

2×2 판정

$2\times2$ 에서는 고윳값을 풀 것도 없습니다. 지난 두 글의 «합은 대각합, 곱은 행렬식»을 그대로 씁니다.

$\lambda_1 + \lambda_2 = \operatorname{tr}A, \qquad \lambda_1\lambda_2 = \det A$

• $\det A < 0$ — 곱이 음수라 부호가 갈립니다. 안장입니다.
• $\det A > 0$ — 곱이 양수라 같은 부호이고, 그 부호는 합이 알려 줍니다. $\operatorname{tr}A > 0$ 이면 양정치, $< 0$ 이면 음정치입니다.
• $\det A = 0$ — 고윳값 하나가 0입니다. 반정치이고 판정 보류입니다.

세 예를 표로 굴려 봅니다.

행렬	$\operatorname{tr}$	$\det$	읽는 순서	판정
열 $(2,1),(1,2)$	4	3	곱 양수 → 합 양수	양정치 — 최소
열 $(1,2),(2,1)$	2	$-3$	곱 음수	부정부호 — 안장
열 $(1,1),(1,1)$	2	0	곱 0	양반정치 — 보류

세 번째는 $q(\mathbf{x}) = (x_1+x_2)^2$ 라 직접 봐도 0 이상이고, $(1,-1)$ 방향에서 정확히 0입니다. 고윳값을 구하면 $2$ 와 $0$ 으로 표의 판정과 맞습니다.

실베스터 판정법

$3\times3$ 이상에서는 대각합·행렬식 두 수로는 부족합니다. 대각행렬 $\operatorname{diag}(1,1,1)$ 과 $\operatorname{diag}(-0.5,-0.5,4)$ 는 둘 다 대각합이 3, 행렬식이 1인데 앞은 양정치이고 뒤는 음수 고윳값이 둘인 부정부호입니다. 곱이 양수라는 것은 음수 고윳값이 짝수 개라는 말일 뿐, 0개인지 2개인지는 알려 주지 않습니다.

고윳값을 구하지 않고 양정치를 가리는 고전적인 방법이 실베스터 판정법입니다. 행렬의 왼쪽 위 모서리에서 $1\times1$, $2\times2$, …, $n\times n$ 을 차례로 잘라 낸 정사각 부분의 행렬식을 선행 주소행렬식이라 하는데, 이것이 전부 양수이면 양정치이고 그 역도 성립합니다. 이웃한 성분끼리만 엮인 삼중대각 꼴로 해 봅니다.

$T = \begin{pmatrix} 2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -1 & 2\end{pmatrix}$

첫째가 $2$, 둘째가 $2\cdot2 - (-1)(-1) = 3$, 셋째가 $\det T = 4$ 로 전부 양수라 양정치입니다. 고윳값을 실제로 구하면 $2-\sqrt2 \approx 0.586$, $2$, $2+\sqrt2 \approx 3.414$ 로 맞습니다.

주의할 자리가 하나 있습니다. 이 판정은 양정치 전용이고, 부등호를 $\ge 0$ 으로 느슨하게 해서 양반정치를 판정하면 틀립니다. $\begin{pmatrix} 0 & 0 \\ 0 & -1\end{pmatrix}$ 은 선행 주소행렬식이 $0, 0$ 이라 전부 0 이상인데 고윳값 $-1$ 을 가진 음반정치입니다.

촐레스키 분해

실무에서는 행렬식을 $n$ 번 따로 구하지 않고 촐레스키 분해가 끝까지 도는지를 봅니다. 촐레스키 분해는 대칭 행렬을 대각이 양수인 하삼각행렬 $L$ 로 $A = LL^\top$ 꼴로 쪼개는 것인데, 이런 $L$ 은 $A$ 가 양정치일 때만 존재합니다. $2\times2$ 에서 $\begin{pmatrix} a & b \\ b & c\end{pmatrix}$ 을 쪼개는 절차는 세 걸음입니다.

$\ell_{11} = \sqrt{a}, \qquad \ell_{21} = b/\ell_{11}, \qquad \ell_{22} = \sqrt{c - \ell_{21}^2}$

$A$ 는 $\sqrt2 \approx 1.414$, $1/\sqrt2 \approx 0.707$, $\sqrt{2 - 0.5} \approx 1.225$ 로 끝까지 갑니다. $C$ 는 $\ell_{11} = 1$, $\ell_{21} = 2$ 까지 가고 마지막에 $\sqrt{1 - 4} = \sqrt{-3}$ 에서 멈춥니다. 근호 안의 $c - b^2/a$ 는 $\det A / a$, 곧 둘째 선행 주소행렬식을 첫째로 나눈 값이라, 촐레스키가 멈추는 자리가 실베스터 판정이 음수를 내는 자리와 같습니다.

비용 차이가 이 방법을 고르는 이유입니다. 부동소수점 연산 횟수로 세면 촐레스키는 대략 $n^3/3$ 번이고, 대칭 행렬의 고윳값은 삼중대각 꼴로 줄이는 첫 단계만 대략 $4n^3/3$ 번이라 네 배가 넘습니다. 가우스 과정이나 2차 최적화 코드가 행렬이 양정치인지 확인할 때 촐레스키를 먼저 걸어 보고, 실패하면 대각에 작은 수를 더해 다시 거는 것도 그래서입니다.

코드로 확인하기

넘파이에는 대칭 행렬 전용 함수 eigh가 따로 있습니다. 대칭임을 전제하고 계산해서 빠르고, 실수 고윳값을 오름차순으로 돌려주며, 반올림 탓에 허수부가 붙는 일이 없습니다.

eig와 eigh

import numpy as np

A = np.array([[2., 1], [1, 2]])
w, Q = np.linalg.eigh(A)

print(w)                                    # [1. 3.]  오름차순 실수
print(np.allclose(Q.T @ Q, np.eye(2)))      # True  — Q는 직교행렬
print(np.allclose(Q @ np.diag(w) @ Q.T, A)) # True  — A = QΛQᵀ

일반용 eig를 대칭 행렬에 걸면 무엇이 다른지도 봅니다. 랭크가 3인 $6\times6$ 그람 행렬 $G = HH^\top$ 은 이론상 고윳값 셋이 정확히 0입니다.

H = np.random.default_rng(0).standard_normal((6, 3))
G = H @ H.T                         # 대칭, 랭크 3
print(np.linalg.eig(G)[0][-2:])     # [-1.8e-17+2.6e-17j -1.8e-17-2.6e-17j]
print(np.linalg.eigvalsh(G)[:3])    # [-3.5e-16  9.9e-17  5.5e-16]

eig는 대칭이라는 사실을 모르므로, 0이어야 할 고윳값 둘을 반올림 오차 크기의 켤레복소수 쌍으로 돌려주고 순서도 섞어 놓습니다. 스펙트럼 정리가 보장하는 실수성을 계산이 지키게 하려면 대칭 전용 함수를 써야 합니다. eigvalsh도 0 자리에 $10^{-16}$ 수준의 부호가 제각각인 값을 내는 것은 같으므로, 다음 절의 문턱이 필요합니다.

부호 판정 함수

이차형식과 부호 판정도 그대로 옮겨집니다.

def classify(M):
    w = np.linalg.eigvalsh(M)               # 대칭 전용, 실수만 나온다
    if (w > 1e-12).all():  return "양정치 — 최소"
    if (w < -1e-12).all(): return "음정치 — 최대"
    if (w > 1e-12).any() and (w < -1e-12).any(): return "부정부호 — 안장"
    return "반정치 — 판정 보류"

for M in [np.array([[2., 1], [1, 2]]),
          np.array([[1., 2], [2, 1]]),
          np.array([[1., 1], [1, 1]])]:
    print(np.linalg.eigvalsh(M).round(6), classify(M))
# [1. 3.]   양정치 — 최소
# [-1. 3.]  부정부호 — 안장
# [0. 2.]   반정치 — 판정 보류

문턱을 0이 아니라 1e-12로 둔 것이 실무의 요령입니다. 이론상 정확히 0인 고윳값도 부동소수점 계산에서는 위의 $-3.5\times10^{-16}$ 같은 값으로 나오므로, 그대로 비교하면 양반정치가 부정부호로 잘못 읽힙니다.

다만 문턱을 두면 촐레스키와 판정이 어긋나는 구간이 생깁니다. $\begin{pmatrix} 1 & 1 \\ 1 & 1+10^{-14}\end{pmatrix}$ 는 작은 고윳값이 약 $5\times10^{-15}$ 로 엄연히 양수라 촐레스키는 $\ell_{22} \approx 10^{-7}$ 로 성공하지만, classify는 문턱 아래라서 판정 보류라고 답합니다. 어느 쪽이 맞는지는 수학이 아니라 쓰임이 정합니다. 그 행렬로 연립방정식을 풀 생각이라면 $10^{-7}$ 로 나누는 순간 오차가 폭발하므로, 보류라고 답하는 쪽이 오히려 안전합니다.

교차항 검산

교차항이 사라지는 것도 눈으로 확인할 수 있습니다.

C = np.array([[1., 2], [2, 1]])
w, Q = np.linalg.eigh(C)
x = np.array([2., 5])
y = Q.T @ x

print(x @ C @ x)                    # 69.0
print(w[0]*y[0]**2 + w[1]*y[1]**2)  # 69.0  — 제곱항만으로 같은 값
print(np.linalg.norm(x), np.linalg.norm(y))   # 5.385... 5.385...  길이는 그대로

손으로도 맞춰 볼 수 있습니다. 원래 좌표에서는 $4 + 4\cdot10 + 25 = 69$ 입니다. 고유축 좌표는 $y_1 = 7/\sqrt2$, $y_2 = -3/\sqrt2$ 라 $3\cdot\frac{49}{2} - \frac{9}{2} = \frac{138}{2} = 69$ 로 같습니다. eigh는 고윳값을 오름차순으로 주므로 코드의 w[0]은 $-1$, w[1]은 $3$ 이고, 제곱항의 순서가 손계산과 뒤바뀌어 있을 뿐 합은 같습니다.

정리

• AI에서 고윳값을 보는 행렬은 거의 대칭입니다. 그람 $X^\top X$, 공분산, 헤세 — 전부 «둘 사이의 관계»를 재는 양이라 순서를 바꿔도 같습니다.
• 비대칭 행렬도 이차형식에는 대칭 부분 $\frac12(M+M^\top)$ 만 남깁니다. 이때 부호를 정하는 것은 $M$ 이 아니라 대칭 부분의 고윳값입니다.
• 스펙트럼 정리: 대칭이면 고윳값이 전부 실수이고 고유벡터를 직교하게 잡을 수 있어 언제나 $A = Q\Lambda Q^\top$ 입니다. 조건이 없고, $P^{-1}$ 자리가 전치라 역행렬 계산이 사라집니다.
• 실수성과 직교성은 같은 요령으로 증명됩니다. 수 하나를 두 방향으로 계산하고 $A^\top = A$ 를 쓰면 $\lambda = \bar\lambda$ 와 $(\lambda_1-\lambda_2)(\mathbf{v}_1\cdot\mathbf{v}_2) = 0$ 이 나옵니다. 중근이면 고유공간 안에서 직교하는 벡터를 골라 잡습니다.
• 대각만 손본 $Q\Lambda^{1/2}Q^\top$ 이 행렬의 제곱근이고, 공분산에 $-1/2$ 제곱을 쓰면 화이트닝입니다.
• 이차형식 $\mathbf{x}^\top A\mathbf{x}$ 를 고유기저에서 쓰면 $\sum\lambda_i y_i^2$ 이라 교차항이 사라지고, 부호는 고윳값만으로 정해집니다. 등고선은 양정치면 축 길이 $1/\sqrt{\lambda_i}$ 인 타원, 부정부호면 쌍곡선입니다.
• 레일리 몫은 고윳값의 가중평균이라 $\lambda_{\min}$ 과 $\lambda_{\max}$ 사이에 있고, 이차형식의 최댓값 문제는 최대 고윳값 문제와 같습니다.
• 양정치·반정치·부정부호는 고윳값 부호의 이름이고, 각각 국소 최소·판정 보류·안장에 대응합니다. $2\times2$ 는 행렬식과 대각합으로 끝나고, 그보다 크면 실베스터 판정법이나 더 싼 촐레스키 분해를 씁니다.
• 코드에서는 eigh와 작은 문턱을 씁니다. 정확히 0이어야 할 고윳값이 $10^{-16}$ 수준으로 나오기 때문입니다.

기울기가 0인 지점에서 헤세의 고윳값 부호를 읽으면 골짜기인지 안장인지 갈린다 — 첫머리의 질문에 대한 답입니다. 실제 신경망의 헤세는 파라미터 수만큼의 크기라 통째로 구하지 않고, 레일리 몫과 거듭제곱법으로 곡률이 필요한 방향만 재지만 재고 나서 읽는 방법은 여기서 세운 그대로입니다. 다음 글은 대칭이라는 조건마저 떼어 냅니다. 정사각형도 아니고 대칭도 아닌 아무 행렬에 대해서도 고윳값과 비슷한 것을 얻는 방법 — 특잇값 분해입니다.

---

읽어주셔서 감사합니다. 😊