수학

MATH / 고급 2번

힐베르트 공간과 무한차원 스펙트럼 정리: 사영·리스 표현·고유함수 전개

내적공간과 완비성 위에서 사영 정리와 리스 표현 정리를 끝까지 증명하고, 파르스발 항등식·가분성·수반과 컴팩트 작용소를 거쳐 스펙트럼 정리와 무한차원 SVD를 브라운 운동 공분산 하나로 계산합니다.

PALDYN Team73 MIN READ

시계열 생성 모델의 잡음 사전분포를 브라운 운동으로 두는 팀이 있습니다. 구간 [0,1][0, 1] 위의 경로를 하나 뽑으려면 공분산 k(s,t)=min⁡(s,t)k(s, t) = \min(s, t) 를 격자 위에서 행렬로 만들어 그 행렬로 정규분포를 뽑아야 하는데, 격자가 1,000점이면 행렬이 1,000×1,000이라 매번 분해하기에는 무겁습니다. 그래서 고유분해를 한 번 해 두고 고윳값이 큰 쪽 열 개 성분만 남겨 X(t)≈∑k=110λk ξk ϕk(t)X(t) \approx \sum_{k=1}^{10} \sqrt{\lambda_k}\, \xi_k\, \phi_k(t) 로 뽑습니다. 여기서 ξk\xi_k 는 서로 독립인 표준정규 난수입니다. 행렬 원소마다 격자 간격 1/n1/n 을 곱해 두면 위쪽 고윳값이 0.4053, 0.0450, 0.0162, 0.0083으로 나오고, 격자를 100점, 1,000점, 4,000점으로 바꿔도 이 네 수는 넷째 자리까지 그대로입니다. 반대로 가장 작은 고윳값은 2.5×10−52.5 \times 10^{-5}, 2.5×10−72.5 \times 10^{-7}, 1.6×10−81.6 \times 10^{-8} 으로 격자와 함께 끝없이 작아집니다. 이 방식을 정당화하는 논문 각주는 이렇게 적습니다.

The covariance operator Kf(s)=∫01min⁡(s,t)f(t) dt\mathcal{K}f(s) = \int_0^1 \min(s, t) f(t)\, dt is compact and self-adjoint on L2[0,1]L^2[0,1]. By the spectral theorem it admits an orthonormal eigenbasis {ϕk}\{\phi_k\} with λk↓0\lambda_k \downarrow 0, and the rank-rr truncation is the best rank-rr approximation.

리뷰에서 질문이 셋 나옵니다. 첫째, 행렬 크기와 무관하게 고정된 고윳값 목록이 있다는 것은 행렬 뒤에 무한차원의 대상이 하나 서 있다는 뜻인데, 그 대상의 고유분해는 무엇이 보장하고 고윳값은 왜 0으로 가야 하나요. 둘째, 위쪽 열 개로 자르는 것이 최적이라는 말은 중급 16번의 에카르트–영 정리인데 그것은 행렬의 정리입니다. 무한차원에서도 서고, 열 개만 남기면 버리는 몫은 얼마인가요. 셋째, 「orthonormal eigenbasis」는 L2[0,1]L^2[0,1] 의 어떤 함수든 그 고유함수들로 빠짐없이 펼칠 수 있다는 말인데, 방향이 무한히 많은 공간에서 빠진 방향이 없다는 것은 어떻게 아나요.

지난 글은 바나흐 공간에서 멈추며 두 가지를 예고했습니다. ℓ2\ell^2 의 쌍대가 왜 자기 자신인지, 닫힌 부분공간 위의 최적 근사가 왜 언제나 존재하는지입니다. 이 둘이 세 질문의 밑돌입니다. 노름에 내적을 하나 더 얹으면 각도와 직교가 생기고, 직교가 있으면 사영 정리가 서고, 사영 정리에서 리스 표현 정리가 나오고, 리스 표현 정리가 수반작용소를 만들어 스펙트럼 정리까지 이어집니다. 이 글은 그 사슬을 차례로 세우면서 중급 7번의 사영과 중급 14번·15번의 스펙트럼 정리·SVD가 무한차원으로 올라갈 때 무엇이 그대로이고 무엇이 깨지는지를 하나씩 대조합니다.

내적공간

내적의 공리

실수 벡터공간 HH 위의 함수 ⟨⋅,⋅⟩:H×H→R\langle \cdot, \cdot \rangle : H \times H \to \mathbb{R} 가 모든 x,y,z∈Hx, y, z \in H 와 실수 a,ba, b 에서 다음 셋을 만족하면 내적이라 하고, 내적을 하나 얹은 벡터공간을 내적공간이라 부릅니다.

⟨ax+by,z⟩=a⟨x,z⟩+b⟨y,z⟩\langle ax + by, z \rangle = a \langle x, z \rangle + b \langle y, z \rangle

⟨x,y⟩=⟨y,x⟩\langle x, y \rangle = \langle y, x \rangle

⟨x,x⟩≥0,⟨x,x⟩=0  ⟺  x=0\langle x, x \rangle \ge 0, \qquad \langle x, x \rangle = 0 \iff x = 0

첫 줄은 첫째 자리의 선형성, 둘째 줄은 대칭, 셋째 줄은 양의 정부호입니다. 대칭 덕분에 둘째 자리도 선형입니다. 스칼라가 복소수이면 둘째 줄이 ⟨x,y⟩=⟨y,x⟩‾\langle x, y \rangle = \overline{\langle y, x \rangle} 로 바뀌고 아래의 증명은 켤레만 붙이면 그대로 갑니다. 이 글은 실수로 씁니다.

내적은 노름을 하나 낳습니다. ∥x∥=⟨x,x⟩\lVert x \rVert = \sqrt{\langle x, x \rangle} 로 두면 지난 글의 노름 세 공리 중 둘은 바로 서고, 일이 있는 것은 삼각부등식입니다. 지난 글에서는 횔더 부등식의 p=2p = 2 로 보였지만 내적만으로도 두 줄이면 됩니다. y≠0y \ne 0 이고 c=⟨x,y⟩/∥y∥2c = \langle x, y \rangle / \lVert y \rVert^2 이라 두면

0≤∥x−cy∥2=∥x∥2−2c⟨x,y⟩+c2∥y∥2=∥x∥2−⟨x,y⟩2∥y∥20 \le \lVert x - c y \rVert^2 = \lVert x \rVert^2 - 2c \langle x, y \rangle + c^2 \lVert y \rVert^2 = \lVert x \rVert^2 - \frac{\langle x, y \rangle^2}{\lVert y \rVert^2}

이므로 ∣⟨x,y⟩∣≤∥x∥∥y∥\lvert \langle x, y \rangle \rvert \le \lVert x \rVert \lVert y \rVert 입니다. 이것이 코시–슈바르츠 부등식이고, 등호는 x=cyx = cy 일 때만 섭니다. 이것을 ∥x+y∥2=∥x∥2+2⟨x,y⟩+∥y∥2\lVert x + y \rVert^2 = \lVert x \rVert^2 + 2\langle x, y \rangle + \lVert y \rVert^2 의 가운데 항에 쓰면 ∥x+y∥≤∥x∥+∥y∥\lVert x + y \rVert \le \lVert x \rVert + \lVert y \rVert 가 나옵니다. 코시–슈바르츠는 내적 자체가 연속이라는 것도 알려 줍니다. ∣⟨xn,y⟩−⟨x,y⟩∣≤∥xn−x∥∥y∥\lvert \langle x_n, y \rangle - \langle x, y \rangle \rvert \le \lVert x_n - x \rVert \lVert y \rVert 이니, 노름으로 수렴하면 내적값도 수렴합니다.

예는 셋입니다. Rn\mathbb{R}^n 의 점곱, 수열 공간 ℓ2\ell^2 의 ⟨x,y⟩=∑kxkyk\langle x, y \rangle = \sum_k x_k y_k, 함수 공간 L2[0,1]L^2[0,1] 의 ⟨f,g⟩=∫01fg dt\langle f, g \rangle = \int_0^1 f g \, dt 입니다. ℓ2\ell^2 의 합이 수렴한다는 것은 ∣xkyk∣≤(xk2+yk2)/2\lvert x_k y_k \rvert \le (x_k^2 + y_k^2)/2 에서 나옵니다. 확률변수에서는 ⟨X,Y⟩=E[XY]\langle X, Y \rangle = \mathbb{E}[XY] 가 내적이고, 평균을 뺀 두 변수의 내적이 공분산, 그 둘의 각도 코사인 ⟨X,Y⟩/(∥X∥∥Y∥)\langle X, Y \rangle / (\lVert X \rVert \lVert Y \rVert) 가 상관계수입니다. 코시–슈바르츠가 상관계수를 [−1,1][-1, 1] 에 가두는 부등식인 셈입니다. ⟨x,y⟩=0\langle x, y \rangle = 0 이면 두 원소가 직교한다고 합니다.

평행사변형 법칙

내적이 낳은 노름은 언제나

∥x+y∥2+∥x−y∥2=2∥x∥2+2∥y∥2\lVert x + y \rVert^2 + \lVert x - y \rVert^2 = 2 \lVert x \rVert^2 + 2 \lVert y \rVert^2

를 만족합니다. 두 변의 제곱합의 두 배가 두 대각선의 제곱합과 같다는 이 등식을 평행사변형 법칙이라 부릅니다. 왼쪽 두 항을 펼치면 교차항 ±2⟨x,y⟩\pm 2\langle x, y \rangle 가 서로 지워져 증명이 끝납니다. 거꾸로도 성립해서, 어떤 노름이 이 등식을 만족하면 ⟨x,y⟩=(∥x+y∥2−∥x−y∥2)/4\langle x, y \rangle = (\lVert x + y \rVert^2 - \lVert x - y \rVert^2)/4 로 내적을 되살릴 수 있다는 것이 알려져 있습니다(요르단–폰 노이만 정리). 곧 이 등식이 「이 노름은 내적에서 왔다」의 판정법입니다.

판정해 봅니다. R2\mathbb{R}^2 에서 x=(1,0)x = (1, 0), y=(0,1)y = (0, 1) 로 두면 ℓ1\ell^1 노름으로는 ∥x+y∥1=∥x−y∥1=2\lVert x + y \rVert_1 = \lVert x - y \rVert_1 = 2 라 왼쪽이 8, 오른쪽이 4입니다. ℓ∞\ell^\infty 노름으로는 왼쪽이 2, 오른쪽이 4입니다. 둘 다 깨지고, 같은 계산이 p≠2p \ne 2 인 모든 ℓp\ell^p 에서 깨집니다. 지난 글에서 세운 LpL^p 공간 가운데 내적을 가진 것은 p=2p = 2 하나뿐이고, 이 글이 ℓ2\ell^2 와 L2L^2 만 다루는 이유가 이것입니다.

등식이 말하는 기하를 한 줄로 적으면 「공이 둥글다」입니다. xx 와 yy 가 단위구 위에 있고 서로 떨어져 있으면, 그 중점 (x+y)/2(x + y)/2 는 ∥(x+y)/2∥2=1−∥x−y∥2/4\lVert (x+y)/2 \rVert^2 = 1 - \lVert x - y \rVert^2 / 4 로 구면 안쪽으로 확실히 들어옵니다. 떨어진 만큼 정확히 그 제곱에 비례해 안으로 들어온다는 것이고, ℓ∞\ell^\infty 의 정사각형 공은 한 변 위의 두 점의 중점이 그 변에 그대로 남아 이 일이 일어나지 않습니다. 다음 절의 사영 정리는 바로 이 성질을 지렛대로 씁니다.

힐베르트 공간

내적이 낳은 노름에 대해 완비인 내적공간을 힐베르트 공간이라 부릅니다. 지난 글의 말로는 노름이 내적에서 온 바나흐 공간입니다. Rn\mathbb{R}^n 은 유한차원이라 완비이고, ℓ2\ell^2 와 L2[0,1]L^2[0,1] 은 지난 글의 리스–피셔 정리로 완비입니다. L2L^2 의 원소가 함수 하나가 아니라 거의 모든 곳에서 같은 함수들의 묶음이라는 단서도 그대로 따라옵니다.

완비가 아닌 내적공간도 가까이 있습니다. 하나는 연속함수 C[0,1]C[0,1] 에 L2L^2 내적을 준 것입니다. 지난 글에서 넓이 거리로 코시였던 계단 근사 수열 fnf_n 은 값이 0과 1 사이라 ∣fn−fm∣2≤∣fn−fm∣\lvert f_n - f_m \rvert^2 \le \lvert f_n - f_m \rvert 이고, 그래서 L2L^2 거리로도 코시입니다. 모이는 자리는 여전히 끊어진 계단 함수라 공간 안에 없습니다. 다른 하나는 유한 개의 자리만 0이 아닌 수열을 모은 공간 c00c_{00} 에 ℓ2\ell^2 내적을 준 것입니다. 앞 NN 자리를 1,1/2,…,1/N1, 1/2, \dots, 1/N 으로 채우고 나머지를 0으로 둔 수열은 NN 을 늘리면 코시이지만, 그 극한 (1,1/2,1/3,… )(1, 1/2, 1/3, \dots) 은 0이 아닌 자리가 무한히 많아 c00c_{00} 에 없습니다. 이 c00c_{00} 는 뒤에서 사영 정리와 리스 표현 정리가 왜 완비성을 요구하는지 보여 주는 반례로 두 번 더 나옵니다.

최소제곱 회귀, 평균제곱오차, 공분산, 주성분이 전부 이 공간의 기하 위에 서 있습니다. 손실을 L2L^2 노름의 제곱으로 재는 순간 각도와 직교와 사영을 공짜로 얻는 것이고, L1L^1 손실이 해를 닫힌 꼴로 주지 않는 이유도 그 노름에 내적이 없기 때문입니다.

사영 정리

최적 근사

사영 정리는 다음과 같습니다. HH 가 힐베르트 공간이고 C⊂HC \subset H 가 비어 있지 않은 닫힌 볼록 집합이면, 어떤 x∈Hx \in H 에 대해서도 ∥x−y∥\lVert x - y \rVert 를 가장 작게 만드는 y∈Cy \in C 가 정확히 하나 있습니다. 볼록이라는 것은 CC 의 두 점을 잇는 선분이 CC 안에 있다는 것이고, 부분공간은 언제나 볼록입니다.

증명합니다. δ=inf⁡y∈C∥x−y∥\delta = \inf_{y \in C} \lVert x - y \rVert 로 두고, ∥x−yn∥→δ\lVert x - y_n \rVert \to \delta 인 yn∈Cy_n \in C 를 고릅니다. 하한의 정의로 그런 수열은 늘 있습니다. 평행사변형 법칙을 x−ymx - y_m 과 x−ynx - y_n 에 쓰면 두 벡터의 차가 yn−ymy_n - y_m, 합이 2(x−(ym+yn)/2)2(x - (y_m + y_n)/2) 이므로

∥ym−yn∥2=2∥x−ym∥2+2∥x−yn∥2−4∥x−ym+yn2∥2\lVert y_m - y_n \rVert^2 = 2 \lVert x - y_m \rVert^2 + 2 \lVert x - y_n \rVert^2 - 4 \Big\lVert x - \frac{y_m + y_n}{2} \Big\rVert^2

입니다. CC 가 볼록이라 중점 (ym+yn)/2(y_m + y_n)/2 도 CC 안에 있고, 그러면 마지막 항의 노름은 δ\delta 이상입니다. 따라서

∥ym−yn∥2≤2∥x−ym∥2+2∥x−yn∥2−4δ2⟶2δ2+2δ2−4δ2=0\lVert y_m - y_n \rVert^2 \le 2 \lVert x - y_m \rVert^2 + 2 \lVert x - y_n \rVert^2 - 4\delta^2 \longrightarrow 2\delta^2 + 2\delta^2 - 4\delta^2 = 0

이라 (yn)(y_n) 은 코시 수열입니다. HH 가 완비이므로 어떤 yy 로 수렴하고, CC 가 닫혀 있으므로 y∈Cy \in C 입니다. 노름이 연속이니 ∥x−y∥=lim⁡∥x−yn∥=δ\lVert x - y \rVert = \lim \lVert x - y_n \rVert = \delta 이고, 최솟값이 실제로 닿습니다. 유일성은 같은 등식에 최소점 둘 y,y′y, y' 을 넣으면 됩니다. ∥y−y′∥2≤2δ2+2δ2−4δ2=0\lVert y - y' \rVert^2 \le 2\delta^2 + 2\delta^2 - 4\delta^2 = 0 입니다.

닫힌 볼록 집합 C 바깥의 점 x 와 C 안의 두 점 yₘ, yₙ, 그리고 그 중점. 평행사변형 법칙으로 ‖yₘ − yₙ‖² 이 2‖x − yₘ‖² + 2‖x − yₙ‖² − 4‖x − 중점‖² 으로 적히고, 중점이 C 안에 있어 마지막 항이 4δ² 이상이라 두 점이 서로 가까워진다

지난 글의 고정점 정리처럼 가정이 하나씩 한 번 쓰였습니다. 평행사변형 법칙은 최소화 수열을 코시로 만드는 데, 볼록성은 중점을 CC 안에 두는 데, 완비성은 극한을 잡는 데, 닫혀 있음은 그 극한을 CC 안에 두는 데 쓰였습니다. 내적이 없으면 유일성부터 깨집니다. ℓ∞\ell^\infty 노름을 준 R2\mathbb{R}^2 에서 x=(0,1)x = (0, 1) 과 가로축 C={(a,0)}C = \{(a, 0)\} 사이의 거리는 max⁡(∣a∣,1)\max(\lvert a \rvert, 1) 이라, ∣a∣≤1\lvert a \rvert \le 1 인 모든 점이 똑같이 1만큼 떨어진 최소점입니다. 무한차원 바나흐 공간에서는 존재까지 깨지는 닫힌 부분공간이 있다는 것이 알려져 있습니다.

직교 분해

CC 가 닫힌 부분공간 MM 이면 최소점에 깔끔한 판정이 붙습니다. y∈My \in M 이 xx 의 최소점일 필요충분조건은 잔차 x−yx - y 가 MM 의 모든 원소와 직교하는 것입니다. 한쪽 방향은 이렇습니다. yy 가 최소점이면 임의의 m∈Mm \in M 과 실수 ss 에서 y+sm∈My + sm \in M 이니

∥x−y−sm∥2−∥x−y∥2=−2s⟨x−y,m⟩+s2∥m∥2≥0\lVert x - y - sm \rVert^2 - \lVert x - y \rVert^2 = -2s \langle x - y, m \rangle + s^2 \lVert m \rVert^2 \ge 0

이 모든 ss 에서 섭니다. ss 에 관한 이차식이 0에서 최솟값 0을 가지려면 일차 계수가 0이어야 하므로 ⟨x−y,m⟩=0\langle x - y, m \rangle = 0 입니다. 반대로 x−y⊥Mx - y \perp M 이면 m∈Mm \in M 마다 y−m∈My - m \in M 이라 ∥x−m∥2=∥x−y∥2+∥y−m∥2≥∥x−y∥2\lVert x - m \rVert^2 = \lVert x - y \rVert^2 + \lVert y - m \rVert^2 \ge \lVert x - y \rVert^2 입니다. 피타고라스 정리입니다.

MM 의 모든 원소와 직교하는 원소를 모은 M⊥={z:⟨z,m⟩=0 ∀m∈M}M^\perp = \{z : \langle z, m \rangle = 0 \ \forall m \in M\} 을 직교 여공간이라 부릅니다. 내적이 연속이라 M⊥M^\perp 는 MM 이 닫혀 있든 아니든 언제나 닫힌 부분공간입니다. 최소점을 PxPx 로 적으면 모든 xx 가 x=Px+(x−Px)x = Px + (x - Px) 로 MM 의 원소와 M⊥M^\perp 의 원소의 합으로 유일하게 쪼개지고, 이것을 H=M⊕M⊥H = M \oplus M^\perp 로 적습니다. 이 PP 를 MM 위로의 직교 사영이라 부릅니다. 판정 조건에서 곧바로 PP 가 선형이고 P2=PP^2 = P 이며 ⟨Px,y⟩=⟨x,Py⟩\langle Px, y \rangle = \langle x, Py \rangle 이고, 피타고라스로 ∥x∥2=∥Px∥2+∥x−Px∥2\lVert x \rVert^2 = \lVert Px \rVert^2 + \lVert x - Px \rVert^2 라 ∥Px∥≤∥x∥\lVert Px \rVert \le \lVert x \rVert 입니다. 중급 7번이 열공간 위로의 사영 A(A⊤A)−1A⊤A(A^\top A)^{-1} A^\top 에서 확인한 성질 넷이 무한차원에서도 그대로입니다.

손으로 계산해 봅니다. L2[0,1]L^2[0,1] 에서 x=t2x = t^2 을 M=span{1,t}M = \mathrm{span}\{1, t\} 위로 사영합니다. Px=a+btPx = a + bt 로 두고 잔차가 11 과 tt 둘 다에 직교하라고 쓰면 정규방정식이 나옵니다.

⟨t2−a−bt,1⟩=13−a−b2=0⟨t2−a−bt,t⟩=14−a2−b3=0\begin{aligned} \langle t^2 - a - bt, 1 \rangle &= \tfrac{1}{3} - a - \tfrac{b}{2} = 0 \\ \langle t^2 - a - bt, t \rangle &= \tfrac{1}{4} - \tfrac{a}{2} - \tfrac{b}{3} = 0 \end{aligned}

첫 식에서 a=1/3−b/2a = 1/3 - b/2 를 둘째 식에 넣으면 1/12−b/12=01/12 - b/12 = 0 이라 b=1b = 1, a=−1/6a = -1/6 입니다. 가장 가까운 일차함수는 t−1/6t - 1/6 이고 잔차는 t2−t+1/6t^2 - t + 1/6 입니다. 피타고라스를 확인하면 ∥t2∥2=1/5\lVert t^2 \rVert^2 = 1/5, ∥t−1/6∥2=7/36\lVert t - 1/6 \rVert^2 = 7/36, ∥t2−t+1/6∥2=1/180\lVert t^2 - t + 1/6 \rVert^2 = 1/180 이고 7/36+1/180=36/180=1/57/36 + 1/180 = 36/180 = 1/5 로 맞습니다.

0부터 1까지 t² 곡선과 그 사영 t − 1/6 직선, 둘 사이의 잔차가 칠해져 있다. 잔차 t² − t + 1/6 은 1 과 t 둘 다와 직교하고 노름 제곱이 1/180 이다

이 사영은 이름을 바꿔 여러 번 다시 나옵니다. 최소제곱 회귀는 관측 벡터를 특징이 펼친 부분공간 위로 사영하는 일이고, 확률변수의 공간 L2L^2 에서 「주어진 정보만으로 만들 수 있는 변수들」의 닫힌 부분공간 위로 사영한 것이 조건부 기댓값입니다. 「고급 5번 · 조건부 기댓값은 사영이다, 그리고 마팅게일」이 바로 이 사영으로 조건부 기댓값을 정의하고, 그때 존재와 유일성을 주는 것이 이 정리입니다.

닫힘의 조건

부분공간이 닫혀 있지 않으면 최소점이 없을 수 있습니다. ℓ2\ell^2 안의 c00c_{00} 와 x=(1,1/2,1/3,… )x = (1, 1/2, 1/3, \dots) 를 보겠습니다. 앞 NN 자리만 남긴 x(N)∈c00x^{(N)} \in c_{00} 은 ∥x−x(N)∥2=∑k>N1/k2→0\lVert x - x^{(N)} \rVert^2 = \sum_{k > N} 1/k^2 \to 0 이라 하한 δ\delta 는 0인데, 거리가 0인 점은 xx 자신뿐이고 xx 는 c00c_{00} 에 없습니다. 하한에 다가가는 수열은 있지만 닿는 점이 없는 것입니다. c00c_{00} 의 닫힘, 곧 c00c_{00} 의 수열들이 다가갈 수 있는 점을 모두 더한 집합은 ℓ2\ell^2 전체이고, 이렇게 닫힘이 전체 공간인 부분집합을 조밀하다고 합니다.

함수 공간에서도 같습니다. 다항식 전체는 L2[0,1]L^2[0,1] 에서 조밀한 부분공간이라, ete^t 처럼 다항식이 아닌 함수와의 거리 하한이 0이지만 그 하한에 닿는 다항식은 없습니다. 차수를 dd 이하로 묶은 다항식 공간은 유한차원이고 유한차원 부분공간은 언제나 완비라 닫혀 있으므로, 그 안에서는 최소점이 반드시 있습니다. 앞의 t2t^2 계산이 그 경우입니다.

첫머리의 셋째 질문이 여기서 반쯤 풀립니다. 위쪽 고유함수 열 개가 펼치는 부분공간은 유한차원이라 닫혀 있고, 그래서 어떤 경로든 그 안에서 가장 가까운 원소가 하나 있으며 그것이 ∑k≤10⟨X,ϕk⟩ϕk\sum_{k \le 10} \langle X, \phi_k \rangle \phi_k 입니다. 남은 반쪽은 열 개를 무한히 늘렸을 때 그 닫힌 선형 결합이 공간 전체가 되는가인데, 그것을 다음 절의 말로 적습니다.

정규직교계와 리스 표현

베셀 부등식

서로 직교하고 노름이 1인 원소들의 모임 {ek}\{e_k\}, 곧 ⟨ej,ek⟩\langle e_j, e_k \rangle 가 j=kj = k 일 때 1이고 아니면 0인 모임을 정규직교계라 부릅니다. 처음 NN 개가 펼치는 부분공간 위로의 사영은 PNx=∑k=1N⟨x,ek⟩ekP_N x = \sum_{k=1}^N \langle x, e_k \rangle e_k 입니다. 잔차 x−PNxx - P_N x 와 eje_j 의 내적이 ⟨x,ej⟩−⟨x,ej⟩=0\langle x, e_j \rangle - \langle x, e_j \rangle = 0 이라 앞 절의 판정을 통과하기 때문입니다. 피타고라스로 ∥PNx∥2=∑k≤N⟨x,ek⟩2≤∥x∥2\lVert P_N x \rVert^2 = \sum_{k \le N} \langle x, e_k \rangle^2 \le \lVert x \rVert^2 이고, 오른쪽이 NN 과 무관하므로 N→∞N \to \infty 로 보내면

∑k=1∞⟨x,ek⟩2≤∥x∥2\sum_{k=1}^{\infty} \langle x, e_k \rangle^2 \le \lVert x \rVert^2

입니다. 이것이 베셀 부등식입니다. 계수 ⟨x,ek⟩\langle x, e_k \rangle 를 xx 의 푸리에 계수라 부르고, 부등식은 그 제곱합이 유한하다는 것, 따라서 계수가 0으로 간다는 것을 말합니다.

지난 글에서 ℓp\ell^p 의 쌍대를 빌려 보였던 en⇀0e_n \rightharpoonup 0 이 이 한 줄로 모든 힐베르트 공간에서 섭니다. 어떤 yy 에서든 ⟨y,en⟩→0\langle y, e_n \rangle \to 0 이기 때문입니다. 정규직교계는 노름이 늘 1이면서 약하게는 0으로 사라집니다.

거꾸로 계수에서 원소를 만드는 방향도 있습니다. 실수열 (ck)(c_k) 에 대해 급수 ∑ckek\sum c_k e_k 는 ∑ck2<∞\sum c_k^2 < \infty 일 때 수렴합니다. 부분합의 차가 ∥∑n<k≤mckek∥2=∑n<k≤mck2\lVert \sum_{n < k \le m} c_k e_k \rVert^2 = \sum_{n < k \le m} c_k^2 이라 코시이고, 완비성이 극한을 잡아 주기 때문입니다. 그러니 ∑k⟨x,ek⟩ek\sum_k \langle x, e_k \rangle e_k 는 언제나 수렴하고, 그 합은 {ek}\{e_k\} 의 닫힌 선형 결합 위로의 사영입니다. 문제는 그것이 xx 자신인가입니다.

파르스발 항등식

정규직교계 {ek}\{e_k\} 에 대해 다음 넷은 서로 같습니다. 넷 중 하나가 서면 {ek}\{e_k\} 를 정규직교 기저라 부릅니다.

  1. 유한 선형 결합의 닫힘이 HH 전체다.
  2. 모든 kk 에서 ⟨x,ek⟩=0\langle x, e_k \rangle = 0 이면 x=0x = 0 이다.
  3. 모든 xx 에서 x=∑k⟨x,ek⟩ekx = \sum_k \langle x, e_k \rangle e_k 다.
  4. 모든 xx 에서 ∥x∥2=∑k⟨x,ek⟩2\lVert x \rVert^2 = \sum_k \langle x, e_k \rangle^2 다.

넷째 줄의 등식을 파르스발 항등식이라 부릅니다. 차례로 돌아 증명합니다. 1에서 2로: 모든 eke_k 와 직교하는 xx 는 내적의 연속성으로 그 닫힘 전체와 직교하고, 닫힘이 HH 이니 xx 자신과도 직교해 ∥x∥2=0\lVert x \rVert^2 = 0 입니다. 2에서 3으로: z=x−∑k⟨x,ek⟩ekz = x - \sum_k \langle x, e_k \rangle e_k 는 앞 소절에서 수렴이 보장된 원소이고, ⟨z,ej⟩=0\langle z, e_j \rangle = 0 이 모든 jj 에서 서므로 z=0z = 0 입니다. 3에서 4로: 부분합의 노름 ∥PNx∥2=∑k≤N⟨x,ek⟩2\lVert P_N x \rVert^2 = \sum_{k \le N} \langle x, e_k \rangle^2 에서 N→∞N \to \infty 로 보내면 노름의 연속성으로 왼쪽이 ∥x∥2\lVert x \rVert^2 이 됩니다. 4에서 1로: ∥x−PNx∥2=∥x∥2−∑k≤N⟨x,ek⟩2→0\lVert x - P_N x \rVert^2 = \lVert x \rVert^2 - \sum_{k \le N} \langle x, e_k \rangle^2 \to 0 이니 xx 는 유한 결합의 극한입니다.

실제로 계산해 봅니다. L2[0,1]L^2[0,1] 에서 ek(t)=2sin⁡(kπt)e_k(t) = \sqrt{2}\sin(k\pi t), k=1,2,…k = 1, 2, \dots 는 정규직교 기저라는 것이 알려져 있습니다. f(t)=tf(t) = t 의 계수는 부분적분으로 ∫01tsin⁡(kπt) dt=(−1)k+1/(kπ)\int_0^1 t \sin(k\pi t)\, dt = (-1)^{k+1}/(k\pi) 이라 ⟨f,ek⟩=2(−1)k+1/(kπ)\langle f, e_k \rangle = \sqrt{2}(-1)^{k+1}/(k\pi) 입니다. 제곱합은

∑k=1∞2k2π2=2π2⋅π26=13=∫01t2 dt=∥f∥2\sum_{k=1}^{\infty} \frac{2}{k^2 \pi^2} = \frac{2}{\pi^2} \cdot \frac{\pi^2}{6} = \frac{1}{3} = \int_0^1 t^2 \, dt = \lVert f \rVert^2

로 파르스발이 섭니다. 부분합은 N=1N = 1 에서 0.2026, N=5N = 5 에서 0.2966, N=20N = 20 에서 0.3235, N=200N = 200 에서 0.3323으로 1/31/3 에 다가갑니다. 거꾸로 읽으면 ∥t∥2=1/3\lVert t \rVert^2 = 1/3 이 이미 알려져 있으니 ∑1/k2=π2/6\sum 1/k^2 = \pi^2/6 이 나오는 증명이기도 합니다.

f(t) = t 의 사인 계수 제곱 2/(k²π²) 를 k = 1~10 막대로 세우고, 누적합 선이 0.2026, 0.2966 을 지나 ‖f‖² = 1/3 점선에 다가간다

하나 짚어 둡니다. 모든 eke_k 가 t=1t = 1 에서 0이라 사인 급수는 그 점에서 1이 아니라 0을 내지만, 급수는 L2L^2 에서 tt 로 수렴합니다. 한 점의 값은 L2L^2 노름에 아무 몫도 없기 때문입니다. 정규직교 기저의 「펼친다」는 점마다 같다는 말이 아니라 노름으로 다가간다는 말이고, 점마다의 수렴은 따로 따져야 하는 다른 문제입니다.

가분성

셀 수 있는 조밀한 부분집합을 가진 공간을 가분이라 부릅니다. ℓ2\ell^2 에서는 유리수 성분을 유한 개 가진 수열들이, L2[0,1]L^2[0,1] 에서는 유리수 계수 다항식들이 그런 집합입니다. 힐베르트 공간이 가분이면 셀 수 있는 정규직교 기저가 있습니다. 조밀한 수열 d1,d2,…d_1, d_2, \dots 에서 앞의 것들의 선형 결합인 항을 버리고, 남은 것에 중급 7번의 그람–슈미트 과정을 차례로 걸면 정규직교계가 나오고, 그 유한 결합이 모든 djd_j 를 담으니 닫힘이 HH 전체입니다.

그러면 가분인 무한차원 힐베르트 공간은 전부 ℓ2\ell^2 와 같은 모양입니다. 정규직교 기저 {ek}\{e_k\} 를 하나 고르고 xx 를 계수열 (⟨x,ek⟩)k(\langle x, e_k \rangle)_k 로 보내면, 파르스발이 노름을 지키고 베셀 소절의 급수 수렴이 모든 ℓ2\ell^2 수열을 되돌려 주므로 이 사상은 내적까지 보존하는 일대일 대응입니다. L2[0,1]L^2[0,1] 의 함수를 사인 계수열로 바꿔 적는 것이 그 예입니다. 기계학습에서 만나는 L2(Rd,μ)L^2(\mathbb{R}^d, \mu) 와 그 부분공간들은 전부 가분이라, 이 글의 무한차원은 사실상 언제나 ℓ2\ell^2 입니다.

여기서의 기저는 선형대수의 기저와 뜻이 다릅니다. 선형대수의 기저는 모든 원소를 유한 결합으로 적게 해 주는데, ℓ2\ell^2 에서 그런 기저를 잡으면 셀 수 없이 많은 원소가 필요하다는 것이 알려져 있습니다. 정규직교 기저는 무한 급수의 수렴을 허용하는 대신 셀 수 있게 줄어든 것이고, 그 수렴을 보장하는 것이 완비성입니다.

리스 표현 정리

이제 지난 글의 첫째 예고입니다. 리스 표현 정리는 다음과 같습니다. HH 가 힐베르트 공간이고 φ\varphi 가 그 위의 유계 선형범함수이면, φ(x)=⟨x,y⟩\varphi(x) = \langle x, y \rangle 가 모든 xx 에서 서는 y∈Hy \in H 가 정확히 하나 있고 ∥φ∥∗=∥y∥\lVert \varphi \rVert_* = \lVert y \rVert 입니다. 유계 선형범함수와 쌍대 노름 ∥⋅∥∗\lVert \cdot \rVert_* 는 지난 글의 정의 그대로입니다.

증명합니다. φ=0\varphi = 0 이면 y=0y = 0 입니다. 아니면 N={x:φ(x)=0}N = \{x : \varphi(x) = 0\} 을 봅니다. φ\varphi 가 선형이니 부분공간이고, 유계라 연속이니 닫혀 있고, φ≠0\varphi \ne 0 이니 HH 전체가 아닙니다. 사영 정리로 NN 밖의 원소 ww 를 하나 잡아 z=w−PNwz = w - P_N w 로 두면 z≠0z \ne 0 이고 z∈N⊥z \in N^\perp 입니다. 이제 임의의 xx 에서 u=φ(x)z−φ(z)xu = \varphi(x) z - \varphi(z) x 를 만들면 φ(u)=φ(x)φ(z)−φ(z)φ(x)=0\varphi(u) = \varphi(x)\varphi(z) - \varphi(z)\varphi(x) = 0 이라 u∈Nu \in N 이고, 따라서 ⟨u,z⟩=0\langle u, z \rangle = 0 입니다. 펼치면

φ(x)∥z∥2−φ(z)⟨x,z⟩=0,φ(x)=⟨x,φ(z)∥z∥2z⟩\varphi(x) \lVert z \rVert^2 - \varphi(z) \langle x, z \rangle = 0, \qquad \varphi(x) = \Big\langle x, \frac{\varphi(z)}{\lVert z \rVert^2} z \Big\rangle

이고 y=φ(z)z/∥z∥2y = \varphi(z) z / \lVert z \rVert^2 가 찾던 원소입니다. 유일성은 ⟨x,y−y′⟩=0\langle x, y - y' \rangle = 0 이 모든 xx 에서 설 때 x=y−y′x = y - y' 을 넣으면 됩니다. 노름은 코시–슈바르츠로 ∣φ(x)∣≤∥x∥∥y∥\lvert \varphi(x) \rvert \le \lVert x \rVert \lVert y \rVert 라 ∥φ∥∗≤∥y∥\lVert \varphi \rVert_* \le \lVert y \rVert 이고, x=yx = y 를 넣으면 φ(y)=∥y∥2\varphi(y) = \lVert y \rVert^2 이라 그 상한에 닿습니다.

증명의 무게는 「N⊥N^\perp 에 0이 아닌 원소가 있다」 한 줄에 실려 있고, 그 줄이 사영 정리, 곧 완비성입니다. 완비가 아닌 c00c_{00} 에서 φ(x)=∑kxk/k\varphi(x) = \sum_k x_k / k 를 보면 코시–슈바르츠로 ∣φ(x)∣≤∥x∥⋅(∑1/k2)1/2=1.283∥x∥\lvert \varphi(x) \rvert \le \lVert x \rVert \cdot (\sum 1/k^2)^{1/2} = 1.283 \lVert x \rVert 라 유계입니다. 그런데 φ(x)=⟨x,y⟩\varphi(x) = \langle x, y \rangle 인 yy 가 있다면 eke_k 를 넣어 yk=φ(ek)=1/ky_k = \varphi(e_k) = 1/k 가 모든 kk 에서 서야 하고, 그 수열은 c00c_{00} 에 없습니다. 표현할 원소가 공간 밖에 있는 것입니다.

H=ℓ2H = \ell^2 에 이 정리를 쓰면 y↦⟨⋅,y⟩y \mapsto \langle \cdot, y \rangle 가 ℓ2\ell^2 에서 그 쌍대공간으로 가는 노름 보존 일대일 대응이 됩니다. 이것이 (ℓ2)∗=ℓ2(\ell^2)^* = \ell^2 의 뜻이고, 쌍대가 ℓ∞\ell^\infty 로 달라지던 ℓ1\ell^1 과의 차이가 여기서 갈립니다. 쓸모는 그래디언트에서 바로 보입니다. 함수 FF 의 미분은 방향을 받아 변화율을 내는 유계 선형범함수 DF(x)DF(x) 이고, 그것을 원소 하나로 바꿔 「가장 가파른 방향」으로 읽게 해 주는 것이 리스 표현입니다. 그래서 그래디언트는 내적을 바꾸면 바뀝니다. 「고급 26번 · 피셔 정보와 자연 그래디언트」가 그 선택을 다룹니다. 한 점의 함숫값 f↦f(x)f \mapsto f(x) 가 유계인 힐베르트 공간에서 이 정리가 주는 원소 kxk_x 가 f(x)=⟨f,kx⟩f(x) = \langle f, k_x \rangle 를 만족하는 재생 커널이고, 「고급 18번 · RKHS와 표현자 정리」가 거기서 시작합니다.

유계 선형작용소

작용소 노름

힐베르트 공간 사이의 선형 사상 TT 가 어떤 상수 CC 에 대해 ∥Tx∥≤C∥x∥\lVert Tx \rVert \le C \lVert x \rVert 를 만족하면 유계 선형작용소라 부르고, 그런 CC 중 가장 작은 것

∥T∥=sup⁡∥x∥≤1∥Tx∥\lVert T \rVert = \sup_{\lVert x \rVert \le 1} \lVert Tx \rVert

를 작용소 노름이라 부릅니다. 지난 글의 범함수와 같은 논리로 유계는 연속과 같습니다. 행렬이면 이것이 중급 17번의 스펙트럼 노름입니다. 무한차원에서 새로 보이는 예가 넷 있습니다.

  • 오른쪽 자리옮김 S(x1,x2,… )=(0,x1,x2,… )S(x_1, x_2, \dots) = (0, x_1, x_2, \dots) 는 ℓ2\ell^2 위에서 노름을 그대로 지켜 ∥S∥=1\lVert S \rVert = 1 입니다. 단사인데 e1e_1 이 상에 없어 전사가 아닙니다. 유한차원에서는 계수–퇴화차수 정리로 정사각 행렬의 단사와 전사가 같았는데, 그 등가가 여기서 깨집니다.
  • 곱셈작용소 (Mf)(t)=tf(t)(Mf)(t) = t f(t) 는 L2[0,1]L^2[0,1] 위에서 ∥Mf∥2=∫t2f2≤∥f∥2\lVert Mf \rVert^2 = \int t^2 f^2 \le \lVert f \rVert^2 이라 노름이 1 이하입니다. 1 근처의 좁은 구간에만 몰린 ff 를 넣으면 비율이 1에 얼마든지 가까워지므로 노름은 정확히 1이지만, 비율이 1에 닿는 ff 는 없습니다. 상한이 닿지 않는 작용소입니다.
  • 적분작용소 (Kf)(s)=∫01k(s,t)f(t) dt(Kf)(s) = \int_0^1 k(s, t) f(t)\, dt 는 커널 kk 의 제곱 적분이 유한하면 유계입니다. 코시–슈바르츠로 ∣Kf(s)∣2≤∫k(s,t)2dt⋅∥f∥2\lvert Kf(s) \rvert^2 \le \int k(s, t)^2 dt \cdot \lVert f \rVert^2 이고, 이것을 ss 로 적분하면 ∥K∥≤(∬k2)1/2\lVert K \rVert \le (\iint k^2)^{1/2} 입니다. 첫머리의 min⁡(s,t)\min(s, t) 는 ∬min⁡(s,t)2=1/6\iint \min(s,t)^2 = 1/6 이라 ∥K∥≤0.408\lVert K \rVert \le 0.408 이고, 실제 노름은 뒤에서 보듯 0.4053입니다.
  • 미분은 유계가 아닙니다. 2sin⁡(nπt)\sqrt{2}\sin(n\pi t) 는 노름이 1인데 미분하면 노름이 nπn\pi 라 어떤 상수로도 묶이지 않습니다. 확산의 생성원 같은 미분작용소가 이 글의 정리를 그대로 못 쓰고 따로 다뤄지는 이유이고, 그 이야기는 고급 A7 단원에서 이어집니다.

수반작용소

유한차원에서 A⊤A^\top 는 행렬을 뒤집어 얻었지만, 무한차원에는 뒤집을 행렬이 없습니다. 대신 리스 표현이 그 자리를 맡습니다. 유계 작용소 T:H→HT : H \to H 와 yy 하나를 고정하면 x↦⟨Tx,y⟩x \mapsto \langle Tx, y \rangle 는 ∣⟨Tx,y⟩∣≤∥T∥∥y∥∥x∥\lvert \langle Tx, y \rangle \rvert \le \lVert T \rVert \lVert y \rVert \lVert x \rVert 라 유계 선형범함수이고, 리스 정리가 ⟨Tx,y⟩=⟨x,T∗y⟩\langle Tx, y \rangle = \langle x, T^* y \rangle 를 만족하는 원소 T∗yT^* y 를 하나로 정해 줍니다. 이렇게 정해진 T∗T^* 를 수반작용소라 부릅니다. 유일성 때문에 T∗T^* 는 선형이고, ∥T∗y∥2=⟨TT∗y,y⟩≤∥T∥∥T∗y∥∥y∥\lVert T^* y \rVert^2 = \langle T T^* y, y \rangle \le \lVert T \rVert \lVert T^* y \rVert \lVert y \rVert 에서 ∥T∗∥≤∥T∥\lVert T^* \rVert \le \lVert T \rVert 이며, T∗∗=TT^{**} = T 라 등호가 섭니다.

T=T∗T = T^* 인 작용소를 자기수반이라 부릅니다. 대칭 행렬의 무한차원판입니다. 적분작용소는 푸비니 정리로 적분 순서를 바꾸면

⟨Kf,g⟩=∫01 ⁣ ⁣∫01k(s,t)f(t)g(s) dt ds=⟨f,∫01k(s,⋅)g(s) ds⟩\langle Kf, g \rangle = \int_0^1\!\! \int_0^1 k(s, t) f(t) g(s)\, dt\, ds = \Big\langle f, \int_0^1 k(s, \cdot) g(s)\, ds \Big\rangle

이라 수반의 커널이 k(t,s)k(t, s) 입니다. 커널이 대칭이면 자기수반이고, min⁡(s,t)\min(s, t) 가 그 경우입니다. 곱셈작용소와 직교 사영도 자기수반입니다. 적분 순서를 바꿔도 되는 조건은 「고급 3번 · 측도와 르베그 적분」이 정확히 적습니다.

자리옮김의 수반은 왼쪽 자리옮김 L(x1,x2,… )=(x2,x3,… )L(x_1, x_2, \dots) = (x_2, x_3, \dots) 입니다. ⟨Sx,y⟩=∑kxkyk+1=⟨x,Ly⟩\langle Sx, y \rangle = \sum_k x_k y_{k+1} = \langle x, Ly \rangle 이기 때문입니다. 그런데 LS=ILS = I 이지만 SL(x1,x2,… )=(0,x2,x3,… )SL(x_1, x_2, \dots) = (0, x_2, x_3, \dots) 라 SL≠ISL \ne I 입니다. 유한차원에서는 AB=IAB = I 이면 BA=IBA = I 였는데 이것도 깨집니다. 대칭 행렬에서 쓰던 계산은 자기수반이면 그대로 갑니다. Tx=λxTx = \lambda x 이면 λ∥x∥2=⟨Tx,x⟩=⟨x,Tx⟩\lambda \lVert x \rVert^2 = \langle Tx, x \rangle = \langle x, Tx \rangle 라 고윳값이 실수이고, 서로 다른 고윳값 λ≠μ\lambda \ne \mu 의 고유벡터는 λ⟨x,y⟩=⟨Tx,y⟩=⟨x,Ty⟩=μ⟨x,y⟩\lambda \langle x, y \rangle = \langle Tx, y \rangle = \langle x, Ty \rangle = \mu \langle x, y \rangle 에서 직교합니다. 함수 공간의 고유벡터는 흔히 고유함수라 부릅니다. 모든 xx 에서 ⟨Tx,x⟩≥0\langle Tx, x \rangle \ge 0 인 자기수반 작용소는 양의 작용소라 부르고, 공분산 작용소는 ⟨Kf,f⟩\langle Kf, f \rangle 가 ∫fX\int f X 의 분산이라 언제나 양입니다.

컴팩트 작용소

유계인 수열 (xn)(x_n) 을 어떻게 골라도 (Txn)(Tx_n) 이 수렴하는 부분수열을 가지면 TT 를 컴팩트 작용소라 부릅니다. 유계 집합을 거의 유한차원인 집합으로 눌러 보낸다는 뜻입니다. 항등작용소는 컴팩트가 아닙니다. 지난 글에서 본 대로 ene_n 끼리의 거리가 늘 2\sqrt{2} 라 수렴하는 부분수열이 없기 때문입니다. 상이 유한차원인 유한 계수 작용소는 컴팩트입니다. 상의 유계 수열이 유한차원 공간 안에 있으니 하이네–보렐로 수렴하는 부분수열을 갖습니다.

대각 작용소 Dek=dkekD e_k = d_k e_k 로 경계를 봅니다. dk→0d_k \to 0 이 아니면 ∣dkj∣≥ε\lvert d_{k_j} \rvert \ge \varepsilon 인 부분열이 있고, DekjD e_{k_j} 끼리의 거리가 dki2+dkj2≥2ε\sqrt{d_{k_i}^2 + d_{k_j}^2} \ge \sqrt{2}\varepsilon 이라 컴팩트가 아닙니다. dk→0d_k \to 0 이면 앞 NN 개만 남긴 유한 계수 DND_N 이 ∥D−DN∥=sup⁡k>N∣dk∣→0\lVert D - D_N \rVert = \sup_{k > N} \lvert d_k \rvert \to 0 으로 DD 에 다가가고, 컴팩트 작용소의 노름 극한은 컴팩트라는 것이 알려져 있어 DD 는 컴팩트입니다. 힐베르트 공간에서는 거꾸로도 서서, 컴팩트 작용소는 정확히 유한 계수 작용소들의 노름 극한입니다. 결과만 가져옵니다.

컴팩트가 약수렴과 맺는 관계가 뒤의 증명에 쓰입니다. 컴팩트 작용소는 약수렴하는 수열을 노름으로 수렴하는 수열로 바꿉니다. 그래서 en⇀0e_n \rightharpoonup 0 이면 Ten→0Te_n \to 0 이고, 이것으로 곱셈작용소가 컴팩트가 아님을 바로 봅니다. fn=2sin⁡(nπt)f_n = \sqrt{2}\sin(n\pi t) 는 베셀 소절대로 0으로 약수렴하는데 ∥Mfn∥2=∫2t2sin⁡2(nπt) dt→1/3\lVert M f_n \rVert^2 = \int 2t^2 \sin^2(n\pi t)\, dt \to 1/3 이라 0으로 가지 않습니다. 제곱 적분이 유한한 커널의 적분작용소는 컴팩트이고, 그 증명은 아래 특잇값 분해 절의 힐베르트–슈미트 노름이 맡습니다.

스펙트럼 정리

정리

스펙트럼 정리의 이 글 판본은 다음과 같습니다. TT 가 힐베르트 공간 HH 위의 컴팩트 자기수반 작용소이면, 유한하거나 셀 수 있는 정규직교계 {ek}\{e_k\} 와 0이 아닌 실수 λk\lambda_k 가 있어서 Tek=λkekTe_k = \lambda_k e_k 이고 ∣λ1∣≥∣λ2∣≥⋯\lvert \lambda_1 \rvert \ge \lvert \lambda_2 \rvert \ge \cdots 이며, 무한히 많으면 λk→0\lambda_k \to 0 이고, 모든 xx 에서

Tx=∑kλk⟨x,ek⟩ekTx = \sum_k \lambda_k \langle x, e_k \rangle e_k

입니다. 0이 아닌 고윳값 하나하나의 고유공간은 유한차원이고, HH 는 ker⁡T\ker T 와 {ek}\{e_k\} 의 닫힌 선형 결합의 직교합입니다. 중급 14번의 A=QΛQ⊤A = Q \Lambda Q^\top 를 벡터에 작용시킨 식 Ax=∑kλk⟨x,qk⟩qkAx = \sum_k \lambda_k \langle x, q_k \rangle q_k 와 모양이 같고, 다른 것은 합이 무한할 수 있다는 것과 핵이 따로 남는다는 것입니다.

무엇이 그대로이고 무엇이 깨지는지를 세 열로 맞대면 이렇습니다.

대칭 행렬 컴팩트 자기수반 유계 자기수반
고윳값 실수 n개 실수, 셀 수 있게 많고 0으로 간다 하나도 없을 수 있다
고유벡터 기저 언제나 있다 핵을 더하면 있다 없을 수 있다
크기가 가장 큰 고윳값 노름과 같다 노름과 같다 노름에 닿지 않을 수 있다
0 아닌 고윳값의 고유공간 유한차원 유한차원 무한차원일 수 있다
예 중급 14번 적분작용소 min(s, t) 곱셈작용소 t f(t)

오른쪽 열의 곱셈작용소는 tf(t)=λf(t)tf(t) = \lambda f(t) 가 t≠λt \ne \lambda 인 거의 모든 점에서 f(t)=0f(t) = 0 을 요구하므로 고윳값이 하나도 없습니다. 그래도 자기수반이고 노름이 1입니다. 이런 작용소의 스펙트럼 정리는 합 대신 사영값 측도에 대한 적분으로 적어야 하고 이 글의 범위를 넘습니다. 가운데 열을 오른쪽 열과 가르는 것이 컴팩트성 하나라는 것을 아래 증명이 보여 줍니다.

증명 개요

보조정리 하나. 자기수반 TT 에서 ∥T∥=sup⁡∥x∥=1∣⟨Tx,x⟩∣\lVert T \rVert = \sup_{\lVert x \rVert = 1} \lvert \langle Tx, x \rangle \rvert 입니다. 오른쪽을 mm 이라 하면 코시–슈바르츠로 m≤∥T∥m \le \lVert T \rVert 입니다. 반대쪽은 노름이 1인 x,yx, y 에서 자기수반 덕분에 교차항이 ⟨Tx,y⟩+⟨Ty,x⟩=2⟨Tx,y⟩\langle Tx, y \rangle + \langle Ty, x \rangle = 2\langle Tx, y \rangle 로 합쳐져

4⟨Tx,y⟩=⟨T(x+y),x+y⟩−⟨T(x−y),x−y⟩≤m(∥x+y∥2+∥x−y∥2)=4m4 \langle Tx, y \rangle = \langle T(x + y), x + y \rangle - \langle T(x - y), x - y \rangle \le m \big( \lVert x + y \rVert^2 + \lVert x - y \rVert^2 \big) = 4m

이고, 마지막 등호가 평행사변형 법칙입니다. Tx≠0Tx \ne 0 일 때 y=Tx/∥Tx∥y = Tx / \lVert Tx \rVert 를 넣으면 ∥Tx∥≤m\lVert Tx \rVert \le m 입니다. 중급 14번의 레일리 몫 최댓값이 무한차원에서도 노름을 준다는 것입니다.

보조정리 둘. 컴팩트 자기수반 T≠0T \ne 0 은 λ=∥T∥\lambda = \lVert T \rVert 나 λ=−∥T∥\lambda = -\lVert T \rVert 를 고윳값으로 갖습니다. 보조정리 하나로 ⟨Txn,xn⟩→λ\langle Tx_n, x_n \rangle \to \lambda 인 단위벡터 xnx_n 이 있고, ∥Txn∥≤∣λ∣\lVert Tx_n \rVert \le \lvert \lambda \rvert 라

∥Txn−λxn∥2=∥Txn∥2−2λ⟨Txn,xn⟩+λ2≤2λ2−2λ⟨Txn,xn⟩→0\lVert Tx_n - \lambda x_n \rVert^2 = \lVert Tx_n \rVert^2 - 2\lambda \langle Tx_n, x_n \rangle + \lambda^2 \le 2\lambda^2 - 2\lambda \langle Tx_n, x_n \rangle \to 0

입니다. 컴팩트성으로 부분수열을 골라 Txn→wTx_n \to w 로 두면 λxn=Txn−(Txn−λxn)→w\lambda x_n = Tx_n - (Tx_n - \lambda x_n) \to w 이니 xn→w/λx_n \to w/\lambda 이고, 연속성으로 T(w/λ)=wT(w/\lambda) = w, 곧 Tw=λwTw = \lambda w 입니다. ∥w∥=∣λ∣≠0\lVert w \rVert = \lvert \lambda \rvert \ne 0 이라 진짜 고유벡터입니다. 곱셈작용소에서 깨지는 곳이 정확히 「부분수열을 골라」입니다.

쌓아 올리기. 보조정리 둘로 e1e_1 과 λ1\lambda_1 을 얻고 H1={e1}⊥H_1 = \{e_1\}^\perp 로 갑니다. x⊥e1x \perp e_1 이면 ⟨Tx,e1⟩=⟨x,Te1⟩=λ1⟨x,e1⟩=0\langle Tx, e_1 \rangle = \langle x, Te_1 \rangle = \lambda_1 \langle x, e_1 \rangle = 0 이라 TT 는 H1H_1 을 H1H_1 으로 보내고, 거기 제한한 것도 컴팩트 자기수반이며 노름이 ∣λ1∣\lvert \lambda_1 \rvert 이하입니다. 같은 일을 되풀이해 ∣λ1∣≥∣λ2∣≥⋯\lvert \lambda_1 \rvert \ge \lvert \lambda_2 \rvert \ge \cdots 를 얻고, 어느 단계에서 제한이 0이 되면 멈춥니다.

보조정리 셋. 무한히 이어지면 λk→0\lambda_k \to 0 입니다. 아니라면 ∣λk∣≥ε\lvert \lambda_k \rvert \ge \varepsilon 이 모든 kk 에서 서고, 유계 수열 eke_k 의 상 Tek=λkekTe_k = \lambda_k e_k 끼리의 거리가 λj2+λk2≥2ε\sqrt{\lambda_j^2 + \lambda_k^2} \ge \sqrt{2}\varepsilon 이라 수렴하는 부분수열이 없어 컴팩트에 어긋납니다. 같은 논증이 0 아닌 고윳값의 고유공간이 유한차원임도 줍니다. 마지막으로 모든 eke_k 와 직교하는 부분공간에서 TT 의 노름은 모든 kk 에서 ∣λk∣\lvert \lambda_k \rvert 이하이니 0이고, 그 부분공간은 ker⁡T\ker T 안에 있습니다. 그러면 x=∑k⟨x,ek⟩ek+x0x = \sum_k \langle x, e_k \rangle e_k + x_0, x0∈ker⁡Tx_0 \in \ker T 로 쪼개지고, TT 가 연속이라 급수 안으로 들어가 전개식이 섭니다.

가정마다 쓰인 자리를 모으면 이렇습니다. 자기수반은 보조정리 하나의 교차항과 직교 여공간이 보존되는 데, 컴팩트성은 보조정리 둘의 부분수열과 보조정리 셋에, 완비성은 급수의 수렴과 사영에 쓰였습니다.

고유함수 전개

첫머리의 적분작용소를 손으로 풉니다. ⟨Kf,f⟩≥0\langle Kf, f \rangle \ge 0 이라 고윳값은 0 이상이고, 0이 아닌 λ\lambda 에서 Kf=λfKf = \lambda f 를 적분 구간을 둘로 쪼개 적으면

λf(s)=∫0stf(t) dt+s∫s1f(t) dt\lambda f(s) = \int_0^s t f(t)\, dt + s \int_s^1 f(t)\, dt

입니다. s=0s = 0 을 넣으면 f(0)=0f(0) = 0 입니다. 미분하면 sf(s)s f(s) 두 항이 지워져 λf′(s)=∫s1f(t) dt\lambda f'(s) = \int_s^1 f(t)\, dt 가 남고, s=1s = 1 에서 f′(1)=0f'(1) = 0 입니다. 한 번 더 미분하면 λf′′=−f\lambda f'' = -f 입니다. f(0)=0f(0) = 0 을 만족하는 해는 sin⁡(s/λ)\sin(s/\sqrt{\lambda}) 의 상수배이고, f′(1)=0f'(1) = 0 이 cos⁡(1/λ)=0\cos(1/\sqrt{\lambda}) = 0 을 요구하므로 1/λ=(k−12)π1/\sqrt{\lambda} = (k - \tfrac{1}{2})\pi 입니다.

λk=1(k−12)2π2,ϕk(s)=2sin⁡((k−12)πs),k=1,2,…\lambda_k = \frac{1}{(k - \frac{1}{2})^2 \pi^2}, \qquad \phi_k(s) = \sqrt{2} \sin\big((k - \tfrac{1}{2})\pi s\big), \qquad k = 1, 2, \dots

∫01sin⁡2((k−12)πs) ds=1/2\int_0^1 \sin^2((k - \tfrac12)\pi s)\, ds = 1/2 이라 2\sqrt{2} 가 노름을 1로 맞춥니다. 값은 λ1=0.4053\lambda_1 = 0.4053, λ2=0.0450\lambda_2 = 0.0450, λ3=0.0162\lambda_3 = 0.0162, λ4=0.0083\lambda_4 = 0.0083 으로 첫머리 행렬의 고윳값과 같습니다. 행렬 원소 min⁡(ti,tj)/n\min(t_i, t_j)/n 은 이 적분을 격자 위의 합으로 바꾼 것이라, 위쪽 고윳값은 격자를 늘려도 그대로이고 바닥 쪽 고윳값은 0으로 몰리는 λk\lambda_k 를 따라 끝없이 작아집니다.

구간 01 위의 고유함수 φ₁φ₄ = √2 sin((k − 1/2)πs) 네 곡선. 모두 0 에서 시작해 s = 1 에서 기울기가 0 이고, 각 곡선 옆에 λ₁ = 0.4053, λ₂ = 0.0450, λ₃ = 0.0162, λ₄ = 0.0083 이 적혀 있다

핵도 계산합니다. Kf=0Kf = 0 이면 위의 미분을 그대로 따라가 0=(Kf)′′=−f0 = (Kf)'' = -f 이니 f=0f = 0 입니다. 핵이 0뿐이므로 스펙트럼 정리의 직교합에서 핵 쪽이 비고, {ϕk}\{\phi_k\} 가 L2[0,1]L^2[0,1] 의 정규직교 기저입니다. 셋째 질문의 남은 반쪽이 이것입니다. 그런데 KK 의 역은 고윳값이 1/λk→∞1/\lambda_k \to \infty 라 유계가 아니고, 실제로 그 역은 앞에서 본 유계가 아닌 미분작용소 −d2/ds2-d^2/ds^2 입니다. 고윳값이 0으로 가는 만큼 역이 터진다는 것이 컴팩트 작용소의 값입니다.

고윳값이 k−2k^{-2} 로 줄어드는 속도는 커널의 매끄러움이 정합니다. min⁡(s,t)\min(s, t) 는 대각선에서 꺾여 있고 그 꺾임이 k−2k^{-2} 를 만듭니다. 가우시안 커널처럼 매끄러운 커널은 고윳값이 지수적으로 줄어듭니다. 작용소의 전개 Kf=∑λk⟨f,ϕk⟩ϕkKf = \sum \lambda_k \langle f, \phi_k \rangle \phi_k 에서 한 걸음 더 나아가 커널 자체를 점마다 min⁡(s,t)=∑kλkϕk(s)ϕk(t)\min(s, t) = \sum_k \lambda_k \phi_k(s)\phi_k(t) 로 펼치는 것이 머서 정리이고, 「고급 19번 · Mercer 정리와 랜덤 특징」이 맡습니다.

특잇값 분해

무한차원 SVD

컴팩트 작용소 T:H1→H2T : H_1 \to H_2 가 자기수반이 아니어도 중급 15번과 같은 길로 분해합니다. T∗TT^* T 는 컴팩트 자기수반이고 ⟨T∗Tx,x⟩=∥Tx∥2≥0\langle T^* T x, x \rangle = \lVert Tx \rVert^2 \ge 0 이라 양이므로, 스펙트럼 정리로 정규직교 고유벡터 vkv_k 와 양의 고윳값 σk2\sigma_k^2 을 얻습니다. uk=Tvk/σku_k = Tv_k / \sigma_k 로 두면 ⟨uj,uk⟩=⟨T∗Tvj,vk⟩/(σjσk)\langle u_j, u_k \rangle = \langle T^* T v_j, v_k \rangle / (\sigma_j \sigma_k) 라 이것도 정규직교이고,

Tx=∑kσk⟨x,vk⟩uk,σ1≥σ2≥⋯→0Tx = \sum_k \sigma_k \langle x, v_k \rangle u_k, \qquad \sigma_1 \ge \sigma_2 \ge \cdots \to 0

입니다. σk\sigma_k 를 특잇값이라 부릅니다. 행렬과 달라지는 것은 특잇값이 무한히 많아 0으로 몰린다는 것 하나인데, 그 하나가 큰 차이를 만듭니다. Tx=yTx = y 를 풀면 x=∑k⟨y,uk⟩vk/σkx = \sum_k \langle y, u_k \rangle v_k / \sigma_k 이고, yy 의 높은 번호 성분에 섞인 아주 작은 잡음이 1/σk1/\sigma_k 배로 부풀어 해가 관측에 연속으로 의존하지 않습니다. 이것이 역문제의 불량 조건이고, 정칙화는 1/σk1/\sigma_k 를 σk/(σk2+α)\sigma_k / (\sigma_k^2 + \alpha) 처럼 묶어 그 폭발을 막는 일입니다.

첫머리의 공분산과 이어지는 예가 있습니다. 적분작용소 (Vf)(s)=∫0sf(t) dt(Vf)(s) = \int_0^s f(t)\, dt 의 수반은 (V∗g)(t)=∫t1g(u) du(V^* g)(t) = \int_t^1 g(u)\, du 이고, 둘을 이으면

(VV∗g)(s)=∫0s∫t1g(u) du dt=∫01min⁡(s,u) g(u) du(V V^* g)(s) = \int_0^s \int_t^1 g(u)\, du\, dt = \int_0^1 \min(s, u)\, g(u)\, du

라 VV∗=KVV^* = K 입니다. 백색잡음을 적분하면 브라운 운동이 된다는 사실의 작용소판이고, 「고급 29번 · 브라운 운동과 이토 미적분」에서 다시 만납니다. 그래서 VV 의 특잇값은 σk=λk=1/((k−12)π)\sigma_k = \sqrt{\lambda_k} = 1/((k - \tfrac12)\pi), 곧 0.6366, 0.2122, 0.1273이고, 왼쪽 특이함수가 ϕk\phi_k, 오른쪽 특이함수가 V∗ϕk/σk=2cos⁡((k−12)πt)V^* \phi_k / \sigma_k = \sqrt{2}\cos((k - \tfrac12)\pi t) 입니다.

에카르트–영

계수가 rr 이하인 작용소 중 TT 에 작용소 노름으로 가장 가까운 것은 잘라 낸 Tr=∑k≤rσk⟨⋅,vk⟩ukT_r = \sum_{k \le r} \sigma_k \langle \cdot, v_k \rangle u_k 이고, 그 오차는 ∥T−Tr∥=σr+1\lVert T - T_r \rVert = \sigma_{r+1} 입니다. 오차 쪽은 T−TrT - T_r 의 특잇값이 σr+1,σr+2,…\sigma_{r+1}, \sigma_{r+2}, \dots 라 바로 나옵니다. 최적이라는 쪽을 증명합니다. 계수가 rr 이하인 BB 를 아무것이나 잡고 W=span{v1,…,vr+1}W = \mathrm{span}\{v_1, \dots, v_{r+1}\} 을 보면, WW 는 r+1r + 1 차원인데 BB 의 상은 rr 차원 이하이므로 Bx=0Bx = 0 인 단위벡터 x∈Wx \in W 가 있습니다. 그 xx 에서

∥(T−B)x∥2=∥Tx∥2=∑k=1r+1σk2⟨x,vk⟩2≥σr+12∑k=1r+1⟨x,vk⟩2=σr+12\lVert (T - B)x \rVert^2 = \lVert Tx \rVert^2 = \sum_{k=1}^{r+1} \sigma_k^2 \langle x, v_k \rangle^2 \ge \sigma_{r+1}^2 \sum_{k=1}^{r+1} \langle x, v_k \rangle^2 = \sigma_{r+1}^2

이니 ∥T−B∥≥σr+1\lVert T - B \rVert \ge \sigma_{r+1} 입니다. 중급 16번의 행렬 증명과 같은 줄입니다. 그 증명이 쓰는 것은 유한차원 부분공간 WW 하나의 차원 세기뿐이라 공간 전체가 무한차원이어도 그대로 섭니다. 다음 소절의 힐베르트–슈미트 노름으로 재도 잘라 낸 것이 최적이고 오차의 제곱은 ∑k>rσk2\sum_{k > r} \sigma_k^2 입니다. 그 증명은 결과만 가져옵니다.

첫머리의 KK 에 대 보면 고윳값이 곧 특잇값이라, 열 개를 남긴 근사의 작용소 노름 오차가 λ11=0.000919\lambda_{11} = 0.000919 이고 힐베르트–슈미트 오차가 (∑k>10λk2)1/2=0.00185(\sum_{k > 10} \lambda_k^2)^{1/2} = 0.00185 입니다.

로그 눈금 위에 λₖ = 1/((k − 1/2)π)² 를 k = 1~20 점으로 찍었다. r = 10 에서 세로 점선이 서고, 그 오른쪽 점들이 버린 몫으로 칠해지며 λ₁₁ = 0.000919 가 작용소 노름 오차로, 꼬리합 0.0101 이 버린 분산으로 적혀 있다

힐베르트–슈미트와 트레이스 클래스

정규직교 기저 {ek}\{e_k\} 를 하나 골라 ∥T∥HS2=∑k∥Tek∥2\lVert T \rVert_{HS}^2 = \sum_k \lVert Te_k \rVert^2 로 둡니다. 파르스발을 두 번 쓰면 ∑k∥Tek∥2=∑k∑j⟨Tek,fj⟩2=∑j∥T∗fj∥2\sum_k \lVert Te_k \rVert^2 = \sum_k \sum_j \langle Te_k, f_j \rangle^2 = \sum_j \lVert T^* f_j \rVert^2 라 어느 기저를 골라도 값이 같고, ek=vke_k = v_k 로 고르면 ∑kσk2\sum_k \sigma_k^2 입니다. 이 값이 유한한 작용소를 힐베르트–슈미트 작용소라 부릅니다. 행렬에서는 중급 17번의 프로베니우스 노름입니다. 적분작용소에서는 ∥K∥HS2=∬k(s,t)2 ds dt\lVert K \rVert_{HS}^2 = \iint k(s, t)^2\, ds\, dt 라는 것이 알려져 있고, 첫머리의 커널에서 ∑kλk2=16/π4⋅∑홀수 mm−4=1/6\sum_k \lambda_k^2 = 16/\pi^4 \cdot \sum_{\text{홀수 } m} m^{-4} = 1/6 으로 실제로 맞습니다. 힐베르트–슈미트 작용소는 컴팩트입니다. 잘라 낸 TrT_r 이 유한 계수이고 ∥T−Tr∥≤∥T−Tr∥HS→0\lVert T - T_r \rVert \le \lVert T - T_r \rVert_{HS} \to 0 이니 앞 절의 노름 극한 결과가 섭니다. 미뤄 둔 「제곱 적분이 유한한 커널의 적분작용소는 컴팩트」가 이것으로 닫힙니다.

특잇값의 합 ∑kσk\sum_k \sigma_k 가 유한하면 트레이스 클래스라 부르고, 그때 tr T=∑k⟨Tek,ek⟩\mathrm{tr}\, T = \sum_k \langle Te_k, e_k \rangle 가 기저와 무관하게 정해집니다. 양의 자기수반이면 트레이스는 고윳값의 합입니다. 첫머리의 커널에서 ∑kλk=(4/π2)∑홀수 mm−2=(4/π2)(π2/8)=1/2\sum_k \lambda_k = (4/\pi^2) \sum_{\text{홀수 } m} m^{-2} = (4/\pi^2)(\pi^2/8) = 1/2 이고, 이것이 대각선 위의 적분 ∫01min⁡(t,t) dt=∫01t dt\int_0^1 \min(t, t)\, dt = \int_0^1 t\, dt 와 같다는 것은 연속인 양의 커널에서 성립하는 결과로, 역시 고급 19번이 보입니다.

네 작용소 모임은 특잇값 수열이 어느 수열 공간에 드는지로 갈립니다. 트레이스 클래스는 ℓ1\ell^1, 힐베르트–슈미트는 ℓ2\ell^2, 컴팩트는 0으로 가는 수열, 유계는 유계 수열이고, 지난 글의 ℓ1⊂ℓ2⊂ℓ∞\ell^1 \subset \ell^2 \subset \ell^\infty 가 그대로 작용소의 층이 됩니다. 대각 작용소로 각 층의 경계를 세울 수 있습니다. diag(1/k)\mathrm{diag}(1/\sqrt{k}) 는 컴팩트이지만 ∑1/k\sum 1/k 가 발산해 힐베르트–슈미트가 아니고, diag(1/k)\mathrm{diag}(1/k) 는 힐베르트–슈미트이지만 트레이스 클래스가 아니며, 특잇값이 k−2k^{-2} 로 줄어드는 첫머리의 KK 는 트레이스 클래스입니다.

네 겹 상자. 바깥부터 유계(특잇값 ∈ ℓ∞, 예: 곱셈작용소 t f(t)), 컴팩트(σₖ → 0, 예: diag(1/√k)), 힐베르트–슈미트(σ ∈ ℓ², 예: diag(1/k)), 트레이스 클래스(σ ∈ ℓ¹, 예: min(s,t) 적분작용소)

다시 브라운 운동 공분산으로

세 질문

첫째 질문의 답입니다. 행렬 뒤의 대상은 L2[0,1]L^2[0,1] 위의 적분작용소 KK 입니다. 커널의 제곱 적분이 1/61/6 로 유한하니 힐베르트–슈미트이고 따라서 컴팩트이며, 커널이 대칭이라 자기수반입니다. 스펙트럼 정리가 고유분해를 보장하고, 고윳값이 0으로 가는 것은 선택이 아니라 보조정리 셋이 강제하는 결과입니다. 격자를 늘릴수록 바닥 고윳값이 작아지던 것은 그 0이 고윳값들이 몰리는 자리이기 때문입니다. 고윳값과 고유함수는 미분방정식으로 정확히 풀려 λk=1/((k−12)π)2\lambda_k = 1/((k - \tfrac12)\pi)^2, ϕk=2sin⁡((k−12)πs)\phi_k = \sqrt{2}\sin((k - \tfrac12)\pi s) 입니다.

둘째 질문의 답입니다. 에카르트–영의 증명은 유한차원 부분공간 하나만 쓰므로 무한차원에서도 섭니다. 열 개를 남기면 작용소 노름으로 λ11=0.000919\lambda_{11} = 0.000919, 힐베르트–슈미트 노름으로 0.00185만큼 어긋납니다. 경로를 뽑는 쪽에서 버리는 몫은 분산으로 적는 편이 읽기 쉽습니다. 경로 전체의 에너지 기댓값이 E∥X∥2=∫01E[X(t)2] dt=∫01t dt=1/2\mathbb{E}\lVert X \rVert^2 = \int_0^1 \mathbb{E}[X(t)^2]\, dt = \int_0^1 t\, dt = 1/2 로 트레이스와 같고, 열 개만 남긴 경로와의 차이는 E∥X−X10∥2=∑k>10λk=0.0101\mathbb{E}\lVert X - X_{10} \rVert^2 = \sum_{k > 10} \lambda_k = 0.0101 입니다. 분산의 98.0%를 남기는 셈이고, 하나만 남겨도 81.1%, 셋이면 93.3%입니다.

셋째 질문의 답입니다. KK 의 핵이 0뿐이라 고유함수들의 닫힌 선형 결합이 L2[0,1]L^2[0,1] 전체이고, 그래서 파르스발 항등식이 모든 함수에서 섭니다. 빠진 방향이 없다는 것은 정규직교 기저의 넷째 조건이고, 그 조건을 주는 것은 핵 계산 한 줄과 스펙트럼 정리의 직교합입니다. 각주의 한 문장은 사영 정리, 파르스발, 리스 표현으로 만든 수반, 컴팩트성, 에카르트–영 다섯을 한꺼번에 부르고 있었던 것입니다.

코드로 확인하기

격자 1,000점에서 행렬을 만들어 고윳값과 고유함수를 정확한 식과 맞대고, 트레이스·힐베르트–슈미트 노름·에카르트–영 오차, VV∗=KVV^* = K, 파르스발 부분합, 앞의 사영 계산을 차례로 찍습니다.

import numpy as np

n = 1000
t = (np.arange(n) + 0.5) / n                 # [0, 1] 의 중점 격자
h = 1 / n

K = np.minimum.outer(t, t) * h               # 적분작용소 K 의 이산판
lam, U = np.linalg.eigh(K)
lam, U = lam[::-1], U[:, ::-1]               # 큰 고윳값부터
k = np.arange(1, 6)
print(lam[:5])           # [0.40528482 0.04503172 0.01621147 0.0082712  0.0050036 ]
print(1 / ((k - 0.5) * np.pi) ** 2)
                         # [0.40528473 0.04503164 0.01621139 0.00827112 0.00500352]

phi = U[:, :3] / np.sqrt(h)                  # 벡터를 함수값으로 (L² 노름 1)
phi *= np.sign(phi[0])
exact = np.sqrt(2) * np.sin(np.outer(t, k[:3] - 0.5) * np.pi)
print(f'{np.abs(phi - exact).max():.1e}')   # 5.4e-14

print(lam.sum(), (lam ** 2).sum())           # 0.5000000000000001 0.16666675000000009

r = 10
Kr = (U[:, :r] * lam[:r]) @ U[:, :r].T       # 위쪽 r 개만 남긴 근사
print(np.linalg.norm(K - Kr, 2), lam[r])     # 0.000919096341425998 0.0009190963414259815
print(np.linalg.norm(K - Kr, 'fro'))         # 0.0018457298819790538
print(lam[r:].sum(), lam[:r].sum() / lam.sum())   # 0.010122870906842983 0.9797542581863141

V = np.tril(np.ones((n, n))) * h             # 적분 (Vf)(s) = ∫₀ˢ f
V -= np.eye(n) * h / 2                       # 중점 규칙으로 대각을 반만
sv = np.linalg.svd(V, compute_uv=False)
print(sv[:3])                                # [0.63661964 0.2122062  0.1273233 ]
print(f'{np.abs(V @ V.T - K).max():.1e}')  # 2.5e-07   ← V V* = K

N = np.arange(1, 201)
c2 = 2 / (N * np.pi) ** 2                    # f(t) = t 의 사인 계수의 제곱
print(np.cumsum(c2)[[0, 4, 19, 199]])        # [0.20264237 0.29658962 0.3234503  0.33232265]

A = np.stack([np.ones(n), t], axis=1)
coef = np.linalg.solve(A.T @ A * h, A.T @ t ** 2 * h)   # 정규방정식
res = t ** 2 - A @ coef
print(coef, np.mean(res ** 2))               # [-0.16666675  1.        ] 0.0055555277778
print(f'{np.mean(res):.1e} {np.mean(res * t):.1e}')   # 1.4e-16 -6.0e-17   ← 잔차는 1, t 와 직교

행렬의 고윳값과 정확한 λk\lambda_k 는 소수 일곱째 자리에서야 갈리고, 고유벡터는 부호를 맞추면 2sin⁡((k−12)πt)\sqrt{2}\sin((k - \tfrac12)\pi t) 와 반올림 오차 수준으로 겹칩니다. 작용소 노름 오차가 λ11\lambda_{11} 과 열다섯 자리까지 같은 것이 에카르트–영의 등호이고, 프로베니우스 노름은 힐베르트–슈미트 노름의 이산판입니다. 잔차 노름의 제곱 0.0055560.005556 은 1/1801/180 이고, 두 내적이 0이라는 것이 사영의 판정 조건입니다.

연습

  1. L2[0,1]L^2[0,1] 에서 t3t^3 을 span{1,t}\mathrm{span}\{1, t\} 위로 사영한 함수와 잔차 노름의 제곱을 구하세요.
    정규방정식은 1/4−a−b/2=01/4 - a - b/2 = 0, 1/5−a/2−b/3=01/5 - a/2 - b/3 = 0 이고, 풀면 b=9/10b = 9/10, a=−1/5a = -1/5 라 사영은 0.9t−0.20.9t - 0.2 입니다. 피타고라스로 잔차 노름의 제곱은 ∥t3∥2−∥0.9t−0.2∥2=1/7−13/100=9/700≈0.01286\lVert t^3 \rVert^2 - \lVert 0.9t - 0.2 \rVert^2 = 1/7 - 13/100 = 9/700 \approx 0.01286 입니다.
  2. 상수함수 f(t)=1f(t) = 1 을 기저 2sin⁡(kπt)\sqrt{2}\sin(k\pi t) 로 펼쳐 계수를 구하고, 파르스발 항등식에서 홀수 제곱의 역수합 ∑m 홀수1/m2\sum_{m \text{ 홀수}} 1/m^2 의 값을 이끌어 내세요.
    ⟨1,2sin⁡(kπt)⟩=2(1−(−1)k)/(kπ)\langle 1, \sqrt{2}\sin(k\pi t) \rangle = \sqrt{2}(1 - (-1)^k)/(k\pi) 라 짝수 kk 에서 0, 홀수 kk 에서 22/(kπ)2\sqrt{2}/(k\pi) 입니다. 파르스발로 1=∥1∥2=∑k 홀수8/(k2π2)1 = \lVert 1 \rVert^2 = \sum_{k \text{ 홀수}} 8/(k^2\pi^2) 이니 ∑m 홀수1/m2=π2/8\sum_{m \text{ 홀수}} 1/m^2 = \pi^2/8 입니다. 본문에서 트레이스를 셀 때 쓴 값입니다.
  3. L2[0,1]L^2[0,1] 위의 범함수 φ(f)=∫01/2f(t) dt\varphi(f) = \int_0^{1/2} f(t)\, dt 를 리스 표현하는 원소와 ∥φ∥∗\lVert \varphi \rVert_* 를 구하세요.
    [0,1/2][0, 1/2] 에서 1이고 나머지에서 0인 함수 yy 로 φ(f)=⟨f,y⟩\varphi(f) = \langle f, y \rangle 입니다. 쌍대 노름은 ∥y∥=(1/2)1/2=1/2≈0.707\lVert y \rVert = (1/2)^{1/2} = 1/\sqrt{2} \approx 0.707 이고, f=yf = y 에서 닿습니다.
  4. ℓ2\ell^2 위의 대각 작용소 Dek=ek/kD e_k = e_k / k 가 컴팩트·힐베르트–슈미트·트레이스 클래스 가운데 어디까지 드는지 판정하고 ∥D∥HS\lVert D \rVert_{HS} 를 구하세요.
    대각 성분이 0으로 가니 컴팩트이고, ∑1/k2=π2/6\sum 1/k^2 = \pi^2/6 이 유한하니 힐베르트–슈미트이며 ∥D∥HS=π/6≈1.2825\lVert D \rVert_{HS} = \pi/\sqrt{6} \approx 1.2825 입니다. ∑1/k\sum 1/k 가 발산하므로 트레이스 클래스는 아닙니다.
  5. 적분작용소 (Vf)(s)=∫0sf(t) dt(Vf)(s) = \int_0^s f(t)\, dt 를 계수 2 이하의 작용소로 근사할 때 작용소 노름 오차의 최솟값과, 같은 근사의 힐베르트–슈미트 오차의 제곱을 구하세요. ∥V∥HS2=∬t<s1 dt ds\lVert V \rVert_{HS}^2 = \iint_{t < s} 1\, dt\, ds 를 써도 됩니다.
    특잇값이 1/((k−12)π)1/((k - \tfrac12)\pi) 이니 작용소 노름 오차는 σ3=2/(5π)≈0.1273\sigma_3 = 2/(5\pi) \approx 0.1273 입니다. ∥V∥HS2=1/2\lVert V \rVert_{HS}^2 = 1/2 이고 남긴 두 특잇값의 제곱이 (4/π2)(1+1/9)=0.4503(4/\pi^2)(1 + 1/9) = 0.4503 이므로 힐베르트–슈미트 오차의 제곱은 0.5−0.4503=0.04970.5 - 0.4503 = 0.0497 입니다.
  6. ℓ2\ell^2 위의 왼쪽 자리옮김 LL 의 고윳값을 모두 구하세요. 오른쪽 자리옮김 SS 는 고윳값을 갖나요.
    Lx=λxLx = \lambda x 는 xk+1=λxkx_{k+1} = \lambda x_k 라 x=x1(1,λ,λ2,… )x = x_1(1, \lambda, \lambda^2, \dots) 이고, 이것이 ℓ2\ell^2 에 들려면 ∣λ∣<1\lvert \lambda \rvert < 1 이어야 합니다. 그러니 −1<λ<1-1 < \lambda < 1 인 모든 실수가 고윳값입니다. SS 는 Sx=λxSx = \lambda x 의 첫 자리에서 λx1=0\lambda x_1 = 0, 다음 자리마다 xk=λxk+1x_k = \lambda x_{k+1} 이라, λ≠0\lambda \ne 0 이면 x1=0x_1 = 0 에서 차례로 모든 자리가 0이고 λ=0\lambda = 0 이면 Sx=0Sx = 0 이 곧 x=0x = 0 입니다. 고윳값이 없습니다. 둘 다 컴팩트가 아니라 스펙트럼 정리 밖에 있습니다.

첫머리의 팀이 열 개 성분으로 경로를 뽑아도 되는 이유를 이제 한 문단으로 적을 수 있습니다. 공분산 작용소가 컴팩트 자기수반이라 고유함수 기저가 있고, 고윳값이 k−2k^{-2} 로 줄어 꼬리합이 작으며, 잘라 낸 근사는 어떤 열 개짜리 근사보다도 가깝고, 버린 몫은 트레이스의 꼬리로 정확히 셀 수 있습니다. 이 사슬의 고리마다 무한차원 고유의 함정이 하나씩 있었습니다. 닫혀 있지 않은 부분공간에는 최적 근사가 없고, 완비가 아니면 리스 표현이 공간 밖으로 새며, 컴팩트가 아니면 고윳값이 아예 없을 수 있습니다. 다음 글 「고급 3번 · 측도와 르베그 적분」은 이 글이 결과만 빌려 쓴 두 가지를 정면으로 다룹니다. L2L^2 의 원소가 「거의 모든 곳에서 같은 함수들의 묶음」이라는 단서와, 수반작용소를 계산할 때 적분 순서를 바꿔도 되는 조건입니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN