내적공간과 완비성 위에서 사영 정리와 리스 표현 정리를 끝까지 증명하고, 파르스발 항등식·가분성·수반과 컴팩트 작용소를 거쳐 스펙트럼 정리와 무한차원 SVD를 브라운 운동 공분산 하나로 계산합니다.
PALDYN Team//73 MIN READ
02MATH
고급
힐베르트 공간 · 사영 정리
시계열 생성 모델의 잡음 사전분포를 브라운 운동으로 두는 팀이 있습니다. 구간 [0,1] 위의 경로를 하나 뽑으려면 공분산 k(s,t)=min(s,t) 를 격자 위에서 행렬로 만들어 그 행렬로 정규분포를 뽑아야 하는데, 격자가 1,000점이면 행렬이 1,000×1,000이라 매번 분해하기에는 무겁습니다. 그래서 고유분해를 한 번 해 두고 고윳값이 큰 쪽 열 개 성분만 남겨 X(t)≈∑k=110λkξkϕk(t) 로 뽑습니다. 여기서 ξk 는 서로 독립인 표준정규 난수입니다. 행렬 원소마다 격자 간격 1/n 을 곱해 두면 위쪽 고윳값이 0.4053, 0.0450, 0.0162, 0.0083으로 나오고, 격자를 100점, 1,000점, 4,000점으로 바꿔도 이 네 수는 넷째 자리까지 그대로입니다. 반대로 가장 작은 고윳값은 2.5×10−5, 2.5×10−7, 1.6×10−8 으로 격자와 함께 끝없이 작아집니다. 이 방식을 정당화하는 논문 각주는 이렇게 적습니다.
The covariance operator Kf(s)=∫01min(s,t)f(t)dt is compact and self-adjoint on L2[0,1]. By the spectral theorem it admits an orthonormal eigenbasis {ϕk} with λk↓0, and the rank-r truncation is the best rank-r approximation.
리뷰에서 질문이 셋 나옵니다. 첫째, 행렬 크기와 무관하게 고정된 고윳값 목록이 있다는 것은 행렬 뒤에 무한차원의 대상이 하나 서 있다는 뜻인데, 그 대상의 고유분해는 무엇이 보장하고 고윳값은 왜 0으로 가야 하나요. 둘째, 위쪽 열 개로 자르는 것이 최적이라는 말은 중급 16번의 에카르트–영 정리인데 그것은 행렬의 정리입니다. 무한차원에서도 서고, 열 개만 남기면 버리는 몫은 얼마인가요. 셋째, 「orthonormal eigenbasis」는 L2[0,1] 의 어떤 함수든 그 고유함수들로 빠짐없이 펼칠 수 있다는 말인데, 방향이 무한히 많은 공간에서 빠진 방향이 없다는 것은 어떻게 아나요.
지난 글은 바나흐 공간에서 멈추며 두 가지를 예고했습니다. ℓ2 의 쌍대가 왜 자기 자신인지, 닫힌 부분공간 위의 최적 근사가 왜 언제나 존재하는지입니다. 이 둘이 세 질문의 밑돌입니다. 노름에 내적을 하나 더 얹으면 각도와 직교가 생기고, 직교가 있으면 사영 정리가 서고, 사영 정리에서 리스 표현 정리가 나오고, 리스 표현 정리가 수반작용소를 만들어 스펙트럼 정리까지 이어집니다. 이 글은 그 사슬을 차례로 세우면서 중급 7번의 사영과 중급 14번·15번의 스펙트럼 정리·SVD가 무한차원으로 올라갈 때 무엇이 그대로이고 무엇이 깨지는지를 하나씩 대조합니다.
내적공간
내적의 공리
실수 벡터공간 H 위의 함수 ⟨⋅,⋅⟩:H×H→R 가 모든 x,y,z∈H 와 실수 a,b 에서 다음 셋을 만족하면 내적이라 하고, 내적을 하나 얹은 벡터공간을 내적공간이라 부릅니다.
⟨ax+by,z⟩=a⟨x,z⟩+b⟨y,z⟩
⟨x,y⟩=⟨y,x⟩
⟨x,x⟩≥0,⟨x,x⟩=0⟺x=0
첫 줄은 첫째 자리의 선형성, 둘째 줄은 대칭, 셋째 줄은 양의 정부호입니다. 대칭 덕분에 둘째 자리도 선형입니다. 스칼라가 복소수이면 둘째 줄이 ⟨x,y⟩=⟨y,x⟩ 로 바뀌고 아래의 증명은 켤레만 붙이면 그대로 갑니다. 이 글은 실수로 씁니다.
내적은 노름을 하나 낳습니다. ∥x∥=⟨x,x⟩ 로 두면 지난 글의 노름 세 공리 중 둘은 바로 서고, 일이 있는 것은 삼각부등식입니다. 지난 글에서는 횔더 부등식의 p=2 로 보였지만 내적만으로도 두 줄이면 됩니다. y=0 이고 c=⟨x,y⟩/∥y∥2 이라 두면
0≤∥x−cy∥2=∥x∥2−2c⟨x,y⟩+c2∥y∥2=∥x∥2−∥y∥2⟨x,y⟩2
이므로 ∣⟨x,y⟩∣≤∥x∥∥y∥ 입니다. 이것이 코시–슈바르츠 부등식이고, 등호는 x=cy 일 때만 섭니다. 이것을 ∥x+y∥2=∥x∥2+2⟨x,y⟩+∥y∥2 의 가운데 항에 쓰면 ∥x+y∥≤∥x∥+∥y∥ 가 나옵니다. 코시–슈바르츠는 내적 자체가 연속이라는 것도 알려 줍니다. ∣⟨xn,y⟩−⟨x,y⟩∣≤∥xn−x∥∥y∥ 이니, 노름으로 수렴하면 내적값도 수렴합니다.
예는 셋입니다. Rn 의 점곱, 수열 공간 ℓ2 의 ⟨x,y⟩=∑kxkyk, 함수 공간 L2[0,1] 의 ⟨f,g⟩=∫01fgdt 입니다. ℓ2 의 합이 수렴한다는 것은 ∣xkyk∣≤(xk2+yk2)/2 에서 나옵니다. 확률변수에서는 ⟨X,Y⟩=E[XY] 가 내적이고, 평균을 뺀 두 변수의 내적이 공분산, 그 둘의 각도 코사인 ⟨X,Y⟩/(∥X∥∥Y∥) 가 상관계수입니다. 코시–슈바르츠가 상관계수를 [−1,1] 에 가두는 부등식인 셈입니다. ⟨x,y⟩=0 이면 두 원소가 직교한다고 합니다.
평행사변형 법칙
내적이 낳은 노름은 언제나
∥x+y∥2+∥x−y∥2=2∥x∥2+2∥y∥2
를 만족합니다. 두 변의 제곱합의 두 배가 두 대각선의 제곱합과 같다는 이 등식을 평행사변형 법칙이라 부릅니다. 왼쪽 두 항을 펼치면 교차항 ±2⟨x,y⟩ 가 서로 지워져 증명이 끝납니다. 거꾸로도 성립해서, 어떤 노름이 이 등식을 만족하면 ⟨x,y⟩=(∥x+y∥2−∥x−y∥2)/4 로 내적을 되살릴 수 있다는 것이 알려져 있습니다(요르단–폰 노이만 정리). 곧 이 등식이 「이 노름은 내적에서 왔다」의 판정법입니다.
판정해 봅니다. R2 에서 x=(1,0), y=(0,1) 로 두면 ℓ1 노름으로는 ∥x+y∥1=∥x−y∥1=2 라 왼쪽이 8, 오른쪽이 4입니다. ℓ∞ 노름으로는 왼쪽이 2, 오른쪽이 4입니다. 둘 다 깨지고, 같은 계산이 p=2 인 모든 ℓp 에서 깨집니다. 지난 글에서 세운 Lp 공간 가운데 내적을 가진 것은 p=2 하나뿐이고, 이 글이 ℓ2 와 L2 만 다루는 이유가 이것입니다.
등식이 말하는 기하를 한 줄로 적으면 「공이 둥글다」입니다. x 와 y 가 단위구 위에 있고 서로 떨어져 있으면, 그 중점 (x+y)/2 는 ∥(x+y)/2∥2=1−∥x−y∥2/4 로 구면 안쪽으로 확실히 들어옵니다. 떨어진 만큼 정확히 그 제곱에 비례해 안으로 들어온다는 것이고, ℓ∞ 의 정사각형 공은 한 변 위의 두 점의 중점이 그 변에 그대로 남아 이 일이 일어나지 않습니다. 다음 절의 사영 정리는 바로 이 성질을 지렛대로 씁니다.
힐베르트 공간
내적이 낳은 노름에 대해 완비인 내적공간을 힐베르트 공간이라 부릅니다. 지난 글의 말로는 노름이 내적에서 온 바나흐 공간입니다. Rn 은 유한차원이라 완비이고, ℓ2 와 L2[0,1] 은 지난 글의 리스–피셔 정리로 완비입니다. L2 의 원소가 함수 하나가 아니라 거의 모든 곳에서 같은 함수들의 묶음이라는 단서도 그대로 따라옵니다.
완비가 아닌 내적공간도 가까이 있습니다. 하나는 연속함수 C[0,1] 에 L2 내적을 준 것입니다. 지난 글에서 넓이 거리로 코시였던 계단 근사 수열 fn 은 값이 0과 1 사이라 ∣fn−fm∣2≤∣fn−fm∣ 이고, 그래서 L2 거리로도 코시입니다. 모이는 자리는 여전히 끊어진 계단 함수라 공간 안에 없습니다. 다른 하나는 유한 개의 자리만 0이 아닌 수열을 모은 공간 c00 에 ℓ2 내적을 준 것입니다. 앞 N 자리를 1,1/2,…,1/N 으로 채우고 나머지를 0으로 둔 수열은 N 을 늘리면 코시이지만, 그 극한 (1,1/2,1/3,…) 은 0이 아닌 자리가 무한히 많아 c00 에 없습니다. 이 c00 는 뒤에서 사영 정리와 리스 표현 정리가 왜 완비성을 요구하는지 보여 주는 반례로 두 번 더 나옵니다.
최소제곱 회귀, 평균제곱오차, 공분산, 주성분이 전부 이 공간의 기하 위에 서 있습니다. 손실을 L2 노름의 제곱으로 재는 순간 각도와 직교와 사영을 공짜로 얻는 것이고, L1 손실이 해를 닫힌 꼴로 주지 않는 이유도 그 노름에 내적이 없기 때문입니다.
사영 정리
최적 근사
사영 정리는 다음과 같습니다. H 가 힐베르트 공간이고 C⊂H 가 비어 있지 않은 닫힌 볼록 집합이면, 어떤 x∈H 에 대해서도 ∥x−y∥ 를 가장 작게 만드는 y∈C 가 정확히 하나 있습니다. 볼록이라는 것은 C 의 두 점을 잇는 선분이 C 안에 있다는 것이고, 부분공간은 언제나 볼록입니다.
증명합니다. δ=infy∈C∥x−y∥ 로 두고, ∥x−yn∥→δ 인 yn∈C 를 고릅니다. 하한의 정의로 그런 수열은 늘 있습니다. 평행사변형 법칙을 x−ym 과 x−yn 에 쓰면 두 벡터의 차가 yn−ym, 합이 2(x−(ym+yn)/2) 이므로
∥ym−yn∥2=2∥x−ym∥2+2∥x−yn∥2−4x−2ym+yn2
입니다. C 가 볼록이라 중점 (ym+yn)/2 도 C 안에 있고, 그러면 마지막 항의 노름은 δ 이상입니다. 따라서
∥ym−yn∥2≤2∥x−ym∥2+2∥x−yn∥2−4δ2⟶2δ2+2δ2−4δ2=0
이라 (yn) 은 코시 수열입니다. H 가 완비이므로 어떤 y 로 수렴하고, C 가 닫혀 있으므로 y∈C 입니다. 노름이 연속이니 ∥x−y∥=lim∥x−yn∥=δ 이고, 최솟값이 실제로 닿습니다. 유일성은 같은 등식에 최소점 둘 y,y′ 을 넣으면 됩니다. ∥y−y′∥2≤2δ2+2δ2−4δ2=0 입니다.
지난 글의 고정점 정리처럼 가정이 하나씩 한 번 쓰였습니다. 평행사변형 법칙은 최소화 수열을 코시로 만드는 데, 볼록성은 중점을 C 안에 두는 데, 완비성은 극한을 잡는 데, 닫혀 있음은 그 극한을 C 안에 두는 데 쓰였습니다. 내적이 없으면 유일성부터 깨집니다. ℓ∞ 노름을 준 R2 에서 x=(0,1) 과 가로축 C={(a,0)} 사이의 거리는 max(∣a∣,1) 이라, ∣a∣≤1 인 모든 점이 똑같이 1만큼 떨어진 최소점입니다. 무한차원 바나흐 공간에서는 존재까지 깨지는 닫힌 부분공간이 있다는 것이 알려져 있습니다.
직교 분해
C 가 닫힌 부분공간 M 이면 최소점에 깔끔한 판정이 붙습니다. y∈M 이 x 의 최소점일 필요충분조건은 잔차 x−y 가 M 의 모든 원소와 직교하는 것입니다. 한쪽 방향은 이렇습니다. y 가 최소점이면 임의의 m∈M 과 실수 s 에서 y+sm∈M 이니
∥x−y−sm∥2−∥x−y∥2=−2s⟨x−y,m⟩+s2∥m∥2≥0
이 모든 s 에서 섭니다. s 에 관한 이차식이 0에서 최솟값 0을 가지려면 일차 계수가 0이어야 하므로 ⟨x−y,m⟩=0 입니다. 반대로 x−y⊥M 이면 m∈M 마다 y−m∈M 이라 ∥x−m∥2=∥x−y∥2+∥y−m∥2≥∥x−y∥2 입니다. 피타고라스 정리입니다.
M 의 모든 원소와 직교하는 원소를 모은 M⊥={z:⟨z,m⟩=0∀m∈M} 을 직교 여공간이라 부릅니다. 내적이 연속이라 M⊥ 는 M 이 닫혀 있든 아니든 언제나 닫힌 부분공간입니다. 최소점을 Px 로 적으면 모든 x 가 x=Px+(x−Px) 로 M 의 원소와 M⊥ 의 원소의 합으로 유일하게 쪼개지고, 이것을 H=M⊕M⊥ 로 적습니다. 이 P 를 M 위로의 직교 사영이라 부릅니다. 판정 조건에서 곧바로 P 가 선형이고 P2=P 이며 ⟨Px,y⟩=⟨x,Py⟩ 이고, 피타고라스로 ∥x∥2=∥Px∥2+∥x−Px∥2 라 ∥Px∥≤∥x∥ 입니다. 중급 7번이 열공간 위로의 사영 A(A⊤A)−1A⊤ 에서 확인한 성질 넷이 무한차원에서도 그대로입니다.
손으로 계산해 봅니다. L2[0,1] 에서 x=t2 을 M=span{1,t} 위로 사영합니다. Px=a+bt 로 두고 잔차가 1 과 t 둘 다에 직교하라고 쓰면 정규방정식이 나옵니다.
첫 식에서 a=1/3−b/2 를 둘째 식에 넣으면 1/12−b/12=0 이라 b=1, a=−1/6 입니다. 가장 가까운 일차함수는 t−1/6 이고 잔차는 t2−t+1/6 입니다. 피타고라스를 확인하면 ∥t2∥2=1/5, ∥t−1/6∥2=7/36, ∥t2−t+1/6∥2=1/180 이고 7/36+1/180=36/180=1/5 로 맞습니다.
이 사영은 이름을 바꿔 여러 번 다시 나옵니다. 최소제곱 회귀는 관측 벡터를 특징이 펼친 부분공간 위로 사영하는 일이고, 확률변수의 공간 L2 에서 「주어진 정보만으로 만들 수 있는 변수들」의 닫힌 부분공간 위로 사영한 것이 조건부 기댓값입니다. 「고급 5번 · 조건부 기댓값은 사영이다, 그리고 마팅게일」이 바로 이 사영으로 조건부 기댓값을 정의하고, 그때 존재와 유일성을 주는 것이 이 정리입니다.
닫힘의 조건
부분공간이 닫혀 있지 않으면 최소점이 없을 수 있습니다. ℓ2 안의 c00 와 x=(1,1/2,1/3,…) 를 보겠습니다. 앞 N 자리만 남긴 x(N)∈c00 은 ∥x−x(N)∥2=∑k>N1/k2→0 이라 하한 δ 는 0인데, 거리가 0인 점은 x 자신뿐이고 x 는 c00 에 없습니다. 하한에 다가가는 수열은 있지만 닿는 점이 없는 것입니다. c00 의 닫힘, 곧 c00 의 수열들이 다가갈 수 있는 점을 모두 더한 집합은 ℓ2 전체이고, 이렇게 닫힘이 전체 공간인 부분집합을 조밀하다고 합니다.
함수 공간에서도 같습니다. 다항식 전체는 L2[0,1] 에서 조밀한 부분공간이라, et 처럼 다항식이 아닌 함수와의 거리 하한이 0이지만 그 하한에 닿는 다항식은 없습니다. 차수를 d 이하로 묶은 다항식 공간은 유한차원이고 유한차원 부분공간은 언제나 완비라 닫혀 있으므로, 그 안에서는 최소점이 반드시 있습니다. 앞의 t2 계산이 그 경우입니다.
첫머리의 셋째 질문이 여기서 반쯤 풀립니다. 위쪽 고유함수 열 개가 펼치는 부분공간은 유한차원이라 닫혀 있고, 그래서 어떤 경로든 그 안에서 가장 가까운 원소가 하나 있으며 그것이 ∑k≤10⟨X,ϕk⟩ϕk 입니다. 남은 반쪽은 열 개를 무한히 늘렸을 때 그 닫힌 선형 결합이 공간 전체가 되는가인데, 그것을 다음 절의 말로 적습니다.
정규직교계와 리스 표현
베셀 부등식
서로 직교하고 노름이 1인 원소들의 모임 {ek}, 곧 ⟨ej,ek⟩ 가 j=k 일 때 1이고 아니면 0인 모임을 정규직교계라 부릅니다. 처음 N 개가 펼치는 부분공간 위로의 사영은 PNx=∑k=1N⟨x,ek⟩ek 입니다. 잔차 x−PNx 와 ej 의 내적이 ⟨x,ej⟩−⟨x,ej⟩=0 이라 앞 절의 판정을 통과하기 때문입니다. 피타고라스로 ∥PNx∥2=∑k≤N⟨x,ek⟩2≤∥x∥2 이고, 오른쪽이 N 과 무관하므로 N→∞ 로 보내면
∑k=1∞⟨x,ek⟩2≤∥x∥2
입니다. 이것이 베셀 부등식입니다. 계수 ⟨x,ek⟩ 를 x 의 푸리에 계수라 부르고, 부등식은 그 제곱합이 유한하다는 것, 따라서 계수가 0으로 간다는 것을 말합니다.
지난 글에서 ℓp 의 쌍대를 빌려 보였던 en⇀0 이 이 한 줄로 모든 힐베르트 공간에서 섭니다. 어떤 y 에서든 ⟨y,en⟩→0 이기 때문입니다. 정규직교계는 노름이 늘 1이면서 약하게는 0으로 사라집니다.
거꾸로 계수에서 원소를 만드는 방향도 있습니다. 실수열 (ck) 에 대해 급수 ∑ckek 는 ∑ck2<∞ 일 때 수렴합니다. 부분합의 차가 ∥∑n<k≤mckek∥2=∑n<k≤mck2 이라 코시이고, 완비성이 극한을 잡아 주기 때문입니다. 그러니 ∑k⟨x,ek⟩ek 는 언제나 수렴하고, 그 합은 {ek} 의 닫힌 선형 결합 위로의 사영입니다. 문제는 그것이 x 자신인가입니다.
파르스발 항등식
정규직교계 {ek} 에 대해 다음 넷은 서로 같습니다. 넷 중 하나가 서면 {ek} 를 정규직교 기저라 부릅니다.
유한 선형 결합의 닫힘이 H 전체다.
모든 k 에서 ⟨x,ek⟩=0 이면 x=0 이다.
모든 x 에서 x=∑k⟨x,ek⟩ek 다.
모든 x 에서 ∥x∥2=∑k⟨x,ek⟩2 다.
넷째 줄의 등식을 파르스발 항등식이라 부릅니다. 차례로 돌아 증명합니다. 1에서 2로: 모든 ek 와 직교하는 x 는 내적의 연속성으로 그 닫힘 전체와 직교하고, 닫힘이 H 이니 x 자신과도 직교해 ∥x∥2=0 입니다. 2에서 3으로: z=x−∑k⟨x,ek⟩ek 는 앞 소절에서 수렴이 보장된 원소이고, ⟨z,ej⟩=0 이 모든 j 에서 서므로 z=0 입니다. 3에서 4로: 부분합의 노름 ∥PNx∥2=∑k≤N⟨x,ek⟩2 에서 N→∞ 로 보내면 노름의 연속성으로 왼쪽이 ∥x∥2 이 됩니다. 4에서 1로: ∥x−PNx∥2=∥x∥2−∑k≤N⟨x,ek⟩2→0 이니 x 는 유한 결합의 극한입니다.
실제로 계산해 봅니다. L2[0,1] 에서 ek(t)=2sin(kπt), k=1,2,… 는 정규직교 기저라는 것이 알려져 있습니다. f(t)=t 의 계수는 부분적분으로 ∫01tsin(kπt)dt=(−1)k+1/(kπ) 이라 ⟨f,ek⟩=2(−1)k+1/(kπ) 입니다. 제곱합은
∑k=1∞k2π22=π22⋅6π2=31=∫01t2dt=∥f∥2
로 파르스발이 섭니다. 부분합은 N=1 에서 0.2026, N=5 에서 0.2966, N=20 에서 0.3235, N=200 에서 0.3323으로 1/3 에 다가갑니다. 거꾸로 읽으면 ∥t∥2=1/3 이 이미 알려져 있으니 ∑1/k2=π2/6 이 나오는 증명이기도 합니다.
하나 짚어 둡니다. 모든 ek 가 t=1 에서 0이라 사인 급수는 그 점에서 1이 아니라 0을 내지만, 급수는 L2 에서 t 로 수렴합니다. 한 점의 값은 L2 노름에 아무 몫도 없기 때문입니다. 정규직교 기저의 「펼친다」는 점마다 같다는 말이 아니라 노름으로 다가간다는 말이고, 점마다의 수렴은 따로 따져야 하는 다른 문제입니다.
가분성
셀 수 있는 조밀한 부분집합을 가진 공간을 가분이라 부릅니다. ℓ2 에서는 유리수 성분을 유한 개 가진 수열들이, L2[0,1] 에서는 유리수 계수 다항식들이 그런 집합입니다. 힐베르트 공간이 가분이면 셀 수 있는 정규직교 기저가 있습니다. 조밀한 수열 d1,d2,… 에서 앞의 것들의 선형 결합인 항을 버리고, 남은 것에 중급 7번의 그람–슈미트 과정을 차례로 걸면 정규직교계가 나오고, 그 유한 결합이 모든 dj 를 담으니 닫힘이 H 전체입니다.
그러면 가분인 무한차원 힐베르트 공간은 전부 ℓ2 와 같은 모양입니다. 정규직교 기저 {ek} 를 하나 고르고 x 를 계수열 (⟨x,ek⟩)k 로 보내면, 파르스발이 노름을 지키고 베셀 소절의 급수 수렴이 모든 ℓ2 수열을 되돌려 주므로 이 사상은 내적까지 보존하는 일대일 대응입니다. L2[0,1] 의 함수를 사인 계수열로 바꿔 적는 것이 그 예입니다. 기계학습에서 만나는 L2(Rd,μ) 와 그 부분공간들은 전부 가분이라, 이 글의 무한차원은 사실상 언제나 ℓ2 입니다.
여기서의 기저는 선형대수의 기저와 뜻이 다릅니다. 선형대수의 기저는 모든 원소를 유한 결합으로 적게 해 주는데, ℓ2 에서 그런 기저를 잡으면 셀 수 없이 많은 원소가 필요하다는 것이 알려져 있습니다. 정규직교 기저는 무한 급수의 수렴을 허용하는 대신 셀 수 있게 줄어든 것이고, 그 수렴을 보장하는 것이 완비성입니다.
리스 표현 정리
이제 지난 글의 첫째 예고입니다. 리스 표현 정리는 다음과 같습니다. H 가 힐베르트 공간이고 φ 가 그 위의 유계 선형범함수이면, φ(x)=⟨x,y⟩ 가 모든 x 에서 서는 y∈H 가 정확히 하나 있고 ∥φ∥∗=∥y∥ 입니다. 유계 선형범함수와 쌍대 노름 ∥⋅∥∗ 는 지난 글의 정의 그대로입니다.
증명합니다. φ=0 이면 y=0 입니다. 아니면 N={x:φ(x)=0} 을 봅니다. φ 가 선형이니 부분공간이고, 유계라 연속이니 닫혀 있고, φ=0 이니 H 전체가 아닙니다. 사영 정리로 N 밖의 원소 w 를 하나 잡아 z=w−PNw 로 두면 z=0 이고 z∈N⊥ 입니다. 이제 임의의 x 에서 u=φ(x)z−φ(z)x 를 만들면 φ(u)=φ(x)φ(z)−φ(z)φ(x)=0 이라 u∈N 이고, 따라서 ⟨u,z⟩=0 입니다. 펼치면
φ(x)∥z∥2−φ(z)⟨x,z⟩=0,φ(x)=⟨x,∥z∥2φ(z)z⟩
이고 y=φ(z)z/∥z∥2 가 찾던 원소입니다. 유일성은 ⟨x,y−y′⟩=0 이 모든 x 에서 설 때 x=y−y′ 을 넣으면 됩니다. 노름은 코시–슈바르츠로 ∣φ(x)∣≤∥x∥∥y∥ 라 ∥φ∥∗≤∥y∥ 이고, x=y 를 넣으면 φ(y)=∥y∥2 이라 그 상한에 닿습니다.
증명의 무게는 「N⊥ 에 0이 아닌 원소가 있다」 한 줄에 실려 있고, 그 줄이 사영 정리, 곧 완비성입니다. 완비가 아닌 c00 에서 φ(x)=∑kxk/k 를 보면 코시–슈바르츠로 ∣φ(x)∣≤∥x∥⋅(∑1/k2)1/2=1.283∥x∥ 라 유계입니다. 그런데 φ(x)=⟨x,y⟩ 인 y 가 있다면 ek 를 넣어 yk=φ(ek)=1/k 가 모든 k 에서 서야 하고, 그 수열은 c00 에 없습니다. 표현할 원소가 공간 밖에 있는 것입니다.
H=ℓ2 에 이 정리를 쓰면 y↦⟨⋅,y⟩ 가 ℓ2 에서 그 쌍대공간으로 가는 노름 보존 일대일 대응이 됩니다. 이것이 (ℓ2)∗=ℓ2 의 뜻이고, 쌍대가 ℓ∞ 로 달라지던 ℓ1 과의 차이가 여기서 갈립니다. 쓸모는 그래디언트에서 바로 보입니다. 함수 F 의 미분은 방향을 받아 변화율을 내는 유계 선형범함수 DF(x) 이고, 그것을 원소 하나로 바꿔 「가장 가파른 방향」으로 읽게 해 주는 것이 리스 표현입니다. 그래서 그래디언트는 내적을 바꾸면 바뀝니다. 「고급 26번 · 피셔 정보와 자연 그래디언트」가 그 선택을 다룹니다. 한 점의 함숫값 f↦f(x) 가 유계인 힐베르트 공간에서 이 정리가 주는 원소 kx 가 f(x)=⟨f,kx⟩ 를 만족하는 재생 커널이고, 「고급 18번 · RKHS와 표현자 정리」가 거기서 시작합니다.
유계 선형작용소
작용소 노름
힐베르트 공간 사이의 선형 사상 T 가 어떤 상수 C 에 대해 ∥Tx∥≤C∥x∥ 를 만족하면 유계 선형작용소라 부르고, 그런 C 중 가장 작은 것
∥T∥=sup∥x∥≤1∥Tx∥
를 작용소 노름이라 부릅니다. 지난 글의 범함수와 같은 논리로 유계는 연속과 같습니다. 행렬이면 이것이 중급 17번의 스펙트럼 노름입니다. 무한차원에서 새로 보이는 예가 넷 있습니다.
오른쪽 자리옮김 S(x1,x2,…)=(0,x1,x2,…) 는 ℓ2 위에서 노름을 그대로 지켜 ∥S∥=1 입니다. 단사인데 e1 이 상에 없어 전사가 아닙니다. 유한차원에서는 계수–퇴화차수 정리로 정사각 행렬의 단사와 전사가 같았는데, 그 등가가 여기서 깨집니다.
곱셈작용소 (Mf)(t)=tf(t) 는 L2[0,1] 위에서 ∥Mf∥2=∫t2f2≤∥f∥2 이라 노름이 1 이하입니다. 1 근처의 좁은 구간에만 몰린 f 를 넣으면 비율이 1에 얼마든지 가까워지므로 노름은 정확히 1이지만, 비율이 1에 닿는 f 는 없습니다. 상한이 닿지 않는 작용소입니다.
적분작용소 (Kf)(s)=∫01k(s,t)f(t)dt 는 커널 k 의 제곱 적분이 유한하면 유계입니다. 코시–슈바르츠로 ∣Kf(s)∣2≤∫k(s,t)2dt⋅∥f∥2 이고, 이것을 s 로 적분하면 ∥K∥≤(∬k2)1/2 입니다. 첫머리의 min(s,t) 는 ∬min(s,t)2=1/6 이라 ∥K∥≤0.408 이고, 실제 노름은 뒤에서 보듯 0.4053입니다.
미분은 유계가 아닙니다. 2sin(nπt) 는 노름이 1인데 미분하면 노름이 nπ 라 어떤 상수로도 묶이지 않습니다. 확산의 생성원 같은 미분작용소가 이 글의 정리를 그대로 못 쓰고 따로 다뤄지는 이유이고, 그 이야기는 고급 A7 단원에서 이어집니다.
수반작용소
유한차원에서 A⊤ 는 행렬을 뒤집어 얻었지만, 무한차원에는 뒤집을 행렬이 없습니다. 대신 리스 표현이 그 자리를 맡습니다. 유계 작용소 T:H→H 와 y 하나를 고정하면 x↦⟨Tx,y⟩ 는 ∣⟨Tx,y⟩∣≤∥T∥∥y∥∥x∥ 라 유계 선형범함수이고, 리스 정리가 ⟨Tx,y⟩=⟨x,T∗y⟩ 를 만족하는 원소 T∗y 를 하나로 정해 줍니다. 이렇게 정해진 T∗ 를 수반작용소라 부릅니다. 유일성 때문에 T∗ 는 선형이고, ∥T∗y∥2=⟨TT∗y,y⟩≤∥T∥∥T∗y∥∥y∥ 에서 ∥T∗∥≤∥T∥ 이며, T∗∗=T 라 등호가 섭니다.
T=T∗ 인 작용소를 자기수반이라 부릅니다. 대칭 행렬의 무한차원판입니다. 적분작용소는 푸비니 정리로 적분 순서를 바꾸면
이라 수반의 커널이 k(t,s) 입니다. 커널이 대칭이면 자기수반이고, min(s,t) 가 그 경우입니다. 곱셈작용소와 직교 사영도 자기수반입니다. 적분 순서를 바꿔도 되는 조건은 「고급 3번 · 측도와 르베그 적분」이 정확히 적습니다.
자리옮김의 수반은 왼쪽 자리옮김 L(x1,x2,…)=(x2,x3,…) 입니다. ⟨Sx,y⟩=∑kxkyk+1=⟨x,Ly⟩ 이기 때문입니다. 그런데 LS=I 이지만 SL(x1,x2,…)=(0,x2,x3,…) 라 SL=I 입니다. 유한차원에서는 AB=I 이면 BA=I 였는데 이것도 깨집니다. 대칭 행렬에서 쓰던 계산은 자기수반이면 그대로 갑니다. Tx=λx 이면 λ∥x∥2=⟨Tx,x⟩=⟨x,Tx⟩ 라 고윳값이 실수이고, 서로 다른 고윳값 λ=μ 의 고유벡터는 λ⟨x,y⟩=⟨Tx,y⟩=⟨x,Ty⟩=μ⟨x,y⟩ 에서 직교합니다. 함수 공간의 고유벡터는 흔히 고유함수라 부릅니다. 모든 x 에서 ⟨Tx,x⟩≥0 인 자기수반 작용소는 양의 작용소라 부르고, 공분산 작용소는 ⟨Kf,f⟩ 가 ∫fX 의 분산이라 언제나 양입니다.
컴팩트 작용소
유계인 수열 (xn) 을 어떻게 골라도 (Txn) 이 수렴하는 부분수열을 가지면 T 를 컴팩트 작용소라 부릅니다. 유계 집합을 거의 유한차원인 집합으로 눌러 보낸다는 뜻입니다. 항등작용소는 컴팩트가 아닙니다. 지난 글에서 본 대로 en 끼리의 거리가 늘 2 라 수렴하는 부분수열이 없기 때문입니다. 상이 유한차원인 유한 계수 작용소는 컴팩트입니다. 상의 유계 수열이 유한차원 공간 안에 있으니 하이네–보렐로 수렴하는 부분수열을 갖습니다.
대각 작용소 Dek=dkek 로 경계를 봅니다. dk→0 이 아니면 ∣dkj∣≥ε 인 부분열이 있고, Dekj 끼리의 거리가 dki2+dkj2≥2ε 이라 컴팩트가 아닙니다. dk→0 이면 앞 N 개만 남긴 유한 계수 DN 이 ∥D−DN∥=supk>N∣dk∣→0 으로 D 에 다가가고, 컴팩트 작용소의 노름 극한은 컴팩트라는 것이 알려져 있어 D 는 컴팩트입니다. 힐베르트 공간에서는 거꾸로도 서서, 컴팩트 작용소는 정확히 유한 계수 작용소들의 노름 극한입니다. 결과만 가져옵니다.
컴팩트가 약수렴과 맺는 관계가 뒤의 증명에 쓰입니다. 컴팩트 작용소는 약수렴하는 수열을 노름으로 수렴하는 수열로 바꿉니다. 그래서 en⇀0 이면 Ten→0 이고, 이것으로 곱셈작용소가 컴팩트가 아님을 바로 봅니다. fn=2sin(nπt) 는 베셀 소절대로 0으로 약수렴하는데 ∥Mfn∥2=∫2t2sin2(nπt)dt→1/3 이라 0으로 가지 않습니다. 제곱 적분이 유한한 커널의 적분작용소는 컴팩트이고, 그 증명은 아래 특잇값 분해 절의 힐베르트–슈미트 노름이 맡습니다.
스펙트럼 정리
정리
스펙트럼 정리의 이 글 판본은 다음과 같습니다. T 가 힐베르트 공간 H 위의 컴팩트 자기수반 작용소이면, 유한하거나 셀 수 있는 정규직교계 {ek} 와 0이 아닌 실수 λk 가 있어서 Tek=λkek 이고 ∣λ1∣≥∣λ2∣≥⋯ 이며, 무한히 많으면 λk→0 이고, 모든 x 에서
Tx=∑kλk⟨x,ek⟩ek
입니다. 0이 아닌 고윳값 하나하나의 고유공간은 유한차원이고, H 는 kerT 와 {ek} 의 닫힌 선형 결합의 직교합입니다. 중급 14번의 A=QΛQ⊤ 를 벡터에 작용시킨 식 Ax=∑kλk⟨x,qk⟩qk 와 모양이 같고, 다른 것은 합이 무한할 수 있다는 것과 핵이 따로 남는다는 것입니다.
무엇이 그대로이고 무엇이 깨지는지를 세 열로 맞대면 이렇습니다.
대칭 행렬
컴팩트 자기수반
유계 자기수반
고윳값
실수 n개
실수, 셀 수 있게 많고 0으로 간다
하나도 없을 수 있다
고유벡터 기저
언제나 있다
핵을 더하면 있다
없을 수 있다
크기가 가장 큰 고윳값
노름과 같다
노름과 같다
노름에 닿지 않을 수 있다
0 아닌 고윳값의 고유공간
유한차원
유한차원
무한차원일 수 있다
예
중급 14번
적분작용소 min(s, t)
곱셈작용소 t f(t)
오른쪽 열의 곱셈작용소는 tf(t)=λf(t) 가 t=λ 인 거의 모든 점에서 f(t)=0 을 요구하므로 고윳값이 하나도 없습니다. 그래도 자기수반이고 노름이 1입니다. 이런 작용소의 스펙트럼 정리는 합 대신 사영값 측도에 대한 적분으로 적어야 하고 이 글의 범위를 넘습니다. 가운데 열을 오른쪽 열과 가르는 것이 컴팩트성 하나라는 것을 아래 증명이 보여 줍니다.
증명 개요
보조정리 하나. 자기수반 T 에서 ∥T∥=sup∥x∥=1∣⟨Tx,x⟩∣ 입니다. 오른쪽을 m 이라 하면 코시–슈바르츠로 m≤∥T∥ 입니다. 반대쪽은 노름이 1인 x,y 에서 자기수반 덕분에 교차항이 ⟨Tx,y⟩+⟨Ty,x⟩=2⟨Tx,y⟩ 로 합쳐져
입니다. 컴팩트성으로 부분수열을 골라 Txn→w 로 두면 λxn=Txn−(Txn−λxn)→w 이니 xn→w/λ 이고, 연속성으로 T(w/λ)=w, 곧 Tw=λw 입니다. ∥w∥=∣λ∣=0 이라 진짜 고유벡터입니다. 곱셈작용소에서 깨지는 곳이 정확히 「부분수열을 골라」입니다.
쌓아 올리기. 보조정리 둘로 e1 과 λ1 을 얻고 H1={e1}⊥ 로 갑니다. x⊥e1 이면 ⟨Tx,e1⟩=⟨x,Te1⟩=λ1⟨x,e1⟩=0 이라 T 는 H1 을 H1 으로 보내고, 거기 제한한 것도 컴팩트 자기수반이며 노름이 ∣λ1∣ 이하입니다. 같은 일을 되풀이해 ∣λ1∣≥∣λ2∣≥⋯ 를 얻고, 어느 단계에서 제한이 0이 되면 멈춥니다.
보조정리 셋. 무한히 이어지면 λk→0 입니다. 아니라면 ∣λk∣≥ε 이 모든 k 에서 서고, 유계 수열 ek 의 상 Tek=λkek 끼리의 거리가 λj2+λk2≥2ε 이라 수렴하는 부분수열이 없어 컴팩트에 어긋납니다. 같은 논증이 0 아닌 고윳값의 고유공간이 유한차원임도 줍니다. 마지막으로 모든 ek 와 직교하는 부분공간에서 T 의 노름은 모든 k 에서 ∣λk∣ 이하이니 0이고, 그 부분공간은 kerT 안에 있습니다. 그러면 x=∑k⟨x,ek⟩ek+x0, x0∈kerT 로 쪼개지고, T 가 연속이라 급수 안으로 들어가 전개식이 섭니다.
가정마다 쓰인 자리를 모으면 이렇습니다. 자기수반은 보조정리 하나의 교차항과 직교 여공간이 보존되는 데, 컴팩트성은 보조정리 둘의 부분수열과 보조정리 셋에, 완비성은 급수의 수렴과 사영에 쓰였습니다.
고유함수 전개
첫머리의 적분작용소를 손으로 풉니다. ⟨Kf,f⟩≥0 이라 고윳값은 0 이상이고, 0이 아닌 λ 에서 Kf=λf 를 적분 구간을 둘로 쪼개 적으면
λf(s)=∫0stf(t)dt+s∫s1f(t)dt
입니다. s=0 을 넣으면 f(0)=0 입니다. 미분하면 sf(s) 두 항이 지워져 λf′(s)=∫s1f(t)dt 가 남고, s=1 에서 f′(1)=0 입니다. 한 번 더 미분하면 λf′′=−f 입니다. f(0)=0 을 만족하는 해는 sin(s/λ) 의 상수배이고, f′(1)=0 이 cos(1/λ)=0 을 요구하므로 1/λ=(k−21)π 입니다.
λk=(k−21)2π21,ϕk(s)=2sin((k−21)πs),k=1,2,…
∫01sin2((k−21)πs)ds=1/2 이라 2 가 노름을 1로 맞춥니다. 값은 λ1=0.4053, λ2=0.0450, λ3=0.0162, λ4=0.0083 으로 첫머리 행렬의 고윳값과 같습니다. 행렬 원소 min(ti,tj)/n 은 이 적분을 격자 위의 합으로 바꾼 것이라, 위쪽 고윳값은 격자를 늘려도 그대로이고 바닥 쪽 고윳값은 0으로 몰리는 λk 를 따라 끝없이 작아집니다.
핵도 계산합니다. Kf=0 이면 위의 미분을 그대로 따라가 0=(Kf)′′=−f 이니 f=0 입니다. 핵이 0뿐이므로 스펙트럼 정리의 직교합에서 핵 쪽이 비고, {ϕk} 가 L2[0,1] 의 정규직교 기저입니다. 셋째 질문의 남은 반쪽이 이것입니다. 그런데 K 의 역은 고윳값이 1/λk→∞ 라 유계가 아니고, 실제로 그 역은 앞에서 본 유계가 아닌 미분작용소 −d2/ds2 입니다. 고윳값이 0으로 가는 만큼 역이 터진다는 것이 컴팩트 작용소의 값입니다.
고윳값이 k−2 로 줄어드는 속도는 커널의 매끄러움이 정합니다. min(s,t) 는 대각선에서 꺾여 있고 그 꺾임이 k−2 를 만듭니다. 가우시안 커널처럼 매끄러운 커널은 고윳값이 지수적으로 줄어듭니다. 작용소의 전개 Kf=∑λk⟨f,ϕk⟩ϕk 에서 한 걸음 더 나아가 커널 자체를 점마다 min(s,t)=∑kλkϕk(s)ϕk(t) 로 펼치는 것이 머서 정리이고, 「고급 19번 · Mercer 정리와 랜덤 특징」이 맡습니다.
특잇값 분해
무한차원 SVD
컴팩트 작용소 T:H1→H2 가 자기수반이 아니어도 중급 15번과 같은 길로 분해합니다. T∗T 는 컴팩트 자기수반이고 ⟨T∗Tx,x⟩=∥Tx∥2≥0 이라 양이므로, 스펙트럼 정리로 정규직교 고유벡터 vk 와 양의 고윳값 σk2 을 얻습니다. uk=Tvk/σk 로 두면 ⟨uj,uk⟩=⟨T∗Tvj,vk⟩/(σjσk) 라 이것도 정규직교이고,
Tx=∑kσk⟨x,vk⟩uk,σ1≥σ2≥⋯→0
입니다. σk 를 특잇값이라 부릅니다. 행렬과 달라지는 것은 특잇값이 무한히 많아 0으로 몰린다는 것 하나인데, 그 하나가 큰 차이를 만듭니다. Tx=y 를 풀면 x=∑k⟨y,uk⟩vk/σk 이고, y 의 높은 번호 성분에 섞인 아주 작은 잡음이 1/σk 배로 부풀어 해가 관측에 연속으로 의존하지 않습니다. 이것이 역문제의 불량 조건이고, 정칙화는 1/σk 를 σk/(σk2+α) 처럼 묶어 그 폭발을 막는 일입니다.
첫머리의 공분산과 이어지는 예가 있습니다. 적분작용소 (Vf)(s)=∫0sf(t)dt 의 수반은 (V∗g)(t)=∫t1g(u)du 이고, 둘을 이으면
(VV∗g)(s)=∫0s∫t1g(u)dudt=∫01min(s,u)g(u)du
라 VV∗=K 입니다. 백색잡음을 적분하면 브라운 운동이 된다는 사실의 작용소판이고, 「고급 29번 · 브라운 운동과 이토 미적분」에서 다시 만납니다. 그래서 V 의 특잇값은 σk=λk=1/((k−21)π), 곧 0.6366, 0.2122, 0.1273이고, 왼쪽 특이함수가 ϕk, 오른쪽 특이함수가 V∗ϕk/σk=2cos((k−21)πt) 입니다.
에카르트–영
계수가 r 이하인 작용소 중 T 에 작용소 노름으로 가장 가까운 것은 잘라 낸 Tr=∑k≤rσk⟨⋅,vk⟩uk 이고, 그 오차는 ∥T−Tr∥=σr+1 입니다. 오차 쪽은 T−Tr 의 특잇값이 σr+1,σr+2,… 라 바로 나옵니다. 최적이라는 쪽을 증명합니다. 계수가 r 이하인 B 를 아무것이나 잡고 W=span{v1,…,vr+1} 을 보면, W 는 r+1 차원인데 B 의 상은 r 차원 이하이므로 Bx=0 인 단위벡터 x∈W 가 있습니다. 그 x 에서
이니 ∥T−B∥≥σr+1 입니다. 중급 16번의 행렬 증명과 같은 줄입니다. 그 증명이 쓰는 것은 유한차원 부분공간 W 하나의 차원 세기뿐이라 공간 전체가 무한차원이어도 그대로 섭니다. 다음 소절의 힐베르트–슈미트 노름으로 재도 잘라 낸 것이 최적이고 오차의 제곱은 ∑k>rσk2 입니다. 그 증명은 결과만 가져옵니다.
첫머리의 K 에 대 보면 고윳값이 곧 특잇값이라, 열 개를 남긴 근사의 작용소 노름 오차가 λ11=0.000919 이고 힐베르트–슈미트 오차가 (∑k>10λk2)1/2=0.00185 입니다.
힐베르트–슈미트와 트레이스 클래스
정규직교 기저 {ek} 를 하나 골라 ∥T∥HS2=∑k∥Tek∥2 로 둡니다. 파르스발을 두 번 쓰면 ∑k∥Tek∥2=∑k∑j⟨Tek,fj⟩2=∑j∥T∗fj∥2 라 어느 기저를 골라도 값이 같고, ek=vk 로 고르면 ∑kσk2 입니다. 이 값이 유한한 작용소를 힐베르트–슈미트 작용소라 부릅니다. 행렬에서는 중급 17번의 프로베니우스 노름입니다. 적분작용소에서는 ∥K∥HS2=∬k(s,t)2dsdt 라는 것이 알려져 있고, 첫머리의 커널에서 ∑kλk2=16/π4⋅∑홀수mm−4=1/6 으로 실제로 맞습니다. 힐베르트–슈미트 작용소는 컴팩트입니다. 잘라 낸 Tr 이 유한 계수이고 ∥T−Tr∥≤∥T−Tr∥HS→0 이니 앞 절의 노름 극한 결과가 섭니다. 미뤄 둔 「제곱 적분이 유한한 커널의 적분작용소는 컴팩트」가 이것으로 닫힙니다.
특잇값의 합 ∑kσk 가 유한하면 트레이스 클래스라 부르고, 그때 trT=∑k⟨Tek,ek⟩ 가 기저와 무관하게 정해집니다. 양의 자기수반이면 트레이스는 고윳값의 합입니다. 첫머리의 커널에서 ∑kλk=(4/π2)∑홀수mm−2=(4/π2)(π2/8)=1/2 이고, 이것이 대각선 위의 적분 ∫01min(t,t)dt=∫01tdt 와 같다는 것은 연속인 양의 커널에서 성립하는 결과로, 역시 고급 19번이 보입니다.
네 작용소 모임은 특잇값 수열이 어느 수열 공간에 드는지로 갈립니다. 트레이스 클래스는 ℓ1, 힐베르트–슈미트는 ℓ2, 컴팩트는 0으로 가는 수열, 유계는 유계 수열이고, 지난 글의 ℓ1⊂ℓ2⊂ℓ∞ 가 그대로 작용소의 층이 됩니다. 대각 작용소로 각 층의 경계를 세울 수 있습니다. diag(1/k) 는 컴팩트이지만 ∑1/k 가 발산해 힐베르트–슈미트가 아니고, diag(1/k) 는 힐베르트–슈미트이지만 트레이스 클래스가 아니며, 특잇값이 k−2 로 줄어드는 첫머리의 K 는 트레이스 클래스입니다.
다시 브라운 운동 공분산으로
세 질문
첫째 질문의 답입니다. 행렬 뒤의 대상은 L2[0,1] 위의 적분작용소 K 입니다. 커널의 제곱 적분이 1/6 로 유한하니 힐베르트–슈미트이고 따라서 컴팩트이며, 커널이 대칭이라 자기수반입니다. 스펙트럼 정리가 고유분해를 보장하고, 고윳값이 0으로 가는 것은 선택이 아니라 보조정리 셋이 강제하는 결과입니다. 격자를 늘릴수록 바닥 고윳값이 작아지던 것은 그 0이 고윳값들이 몰리는 자리이기 때문입니다. 고윳값과 고유함수는 미분방정식으로 정확히 풀려 λk=1/((k−21)π)2, ϕk=2sin((k−21)πs) 입니다.
둘째 질문의 답입니다. 에카르트–영의 증명은 유한차원 부분공간 하나만 쓰므로 무한차원에서도 섭니다. 열 개를 남기면 작용소 노름으로 λ11=0.000919, 힐베르트–슈미트 노름으로 0.00185만큼 어긋납니다. 경로를 뽑는 쪽에서 버리는 몫은 분산으로 적는 편이 읽기 쉽습니다. 경로 전체의 에너지 기댓값이 E∥X∥2=∫01E[X(t)2]dt=∫01tdt=1/2 로 트레이스와 같고, 열 개만 남긴 경로와의 차이는 E∥X−X10∥2=∑k>10λk=0.0101 입니다. 분산의 98.0%를 남기는 셈이고, 하나만 남겨도 81.1%, 셋이면 93.3%입니다.
셋째 질문의 답입니다. K 의 핵이 0뿐이라 고유함수들의 닫힌 선형 결합이 L2[0,1] 전체이고, 그래서 파르스발 항등식이 모든 함수에서 섭니다. 빠진 방향이 없다는 것은 정규직교 기저의 넷째 조건이고, 그 조건을 주는 것은 핵 계산 한 줄과 스펙트럼 정리의 직교합입니다. 각주의 한 문장은 사영 정리, 파르스발, 리스 표현으로 만든 수반, 컴팩트성, 에카르트–영 다섯을 한꺼번에 부르고 있었던 것입니다.
코드로 확인하기
격자 1,000점에서 행렬을 만들어 고윳값과 고유함수를 정확한 식과 맞대고, 트레이스·힐베르트–슈미트 노름·에카르트–영 오차, VV∗=K, 파르스발 부분합, 앞의 사영 계산을 차례로 찍습니다.
행렬의 고윳값과 정확한 λk 는 소수 일곱째 자리에서야 갈리고, 고유벡터는 부호를 맞추면 2sin((k−21)πt) 와 반올림 오차 수준으로 겹칩니다. 작용소 노름 오차가 λ11 과 열다섯 자리까지 같은 것이 에카르트–영의 등호이고, 프로베니우스 노름은 힐베르트–슈미트 노름의 이산판입니다. 잔차 노름의 제곱 0.005556 은 1/180 이고, 두 내적이 0이라는 것이 사영의 판정 조건입니다.
연습
L2[0,1] 에서 t3 을 span{1,t} 위로 사영한 함수와 잔차 노름의 제곱을 구하세요.
ℓ2 위의 왼쪽 자리옮김 L 의 고윳값을 모두 구하세요. 오른쪽 자리옮김 S 는 고윳값을 갖나요.
Lx=λx 는 xk+1=λxk 라 x=x1(1,λ,λ2,…) 이고, 이것이 ℓ2 에 들려면 ∣λ∣<1 이어야 합니다. 그러니 −1<λ<1 인 모든 실수가 고윳값입니다. S 는 Sx=λx 의 첫 자리에서 λx1=0, 다음 자리마다 xk=λxk+1 이라, λ=0 이면 x1=0 에서 차례로 모든 자리가 0이고 λ=0 이면 Sx=0 이 곧 x=0 입니다. 고윳값이 없습니다. 둘 다 컴팩트가 아니라 스펙트럼 정리 밖에 있습니다.
첫머리의 팀이 열 개 성분으로 경로를 뽑아도 되는 이유를 이제 한 문단으로 적을 수 있습니다. 공분산 작용소가 컴팩트 자기수반이라 고유함수 기저가 있고, 고윳값이 k−2 로 줄어 꼬리합이 작으며, 잘라 낸 근사는 어떤 열 개짜리 근사보다도 가깝고, 버린 몫은 트레이스의 꼬리로 정확히 셀 수 있습니다. 이 사슬의 고리마다 무한차원 고유의 함정이 하나씩 있었습니다. 닫혀 있지 않은 부분공간에는 최적 근사가 없고, 완비가 아니면 리스 표현이 공간 밖으로 새며, 컴팩트가 아니면 고윳값이 아예 없을 수 있습니다. 다음 글 「고급 3번 · 측도와 르베그 적분」은 이 글이 결과만 빌려 쓴 두 가지를 정면으로 다룹니다. L2 의 원소가 「거의 모든 곳에서 같은 함수들의 묶음」이라는 단서와, 수반작용소를 계산할 때 적분 순서를 바꿔도 되는 조건입니다.
갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.