거리공간·코시 수열·완비성·콤팩트성·립시츠 연속을 세우고 바나흐 고정점 정리를 끝까지 증명한 뒤, Lᵖ 공간과 횔더·민코프스키 부등식, 무한차원에서 노름 동치가 깨지는 자리, 쌍대공간과 약수렴까지 평형 층 하나를 예로 계산합니다.
PALDYN Team//62 MIN READ
01MATH
고급
거리공간 · 바나흐 고정점 정리
층을 쌓는 대신 방정식 하나를 푸는 신경망이 있습니다. 입력 x 를 받으면 은닉 상태를 z=tanh(Wz+Ux+b) 를 만족하는 z 로 정하고, 그 z 를 다음 단계로 넘깁니다. 층이 무한히 깊은 네트워크의 끝 상태를 바로 구하는 셈이라 평형 모델이라 부릅니다. 구현은 간단합니다. z0=0 에서 시작해 zn+1=tanh(Wzn+Ux+b) 를 되풀이하다가 변화가 작아지면 멈춥니다. 그런데 이 방식을 정당화하는 논문의 정리부는 이런 문장으로 시작합니다.
Let (Z,d) be a complete metric space and suppose fθ(⋅,x) is a γ-contraction with γ<1. Then the fixed point z⋆ exists and is unique, and the iterates satisfy d(zn,z⋆)≤1−γγnd(z1,z0).
팀에서 입력 하나를 골라 Ux+b 를 상수 c=(1,−0.5) 로 고정하고, 가중치는 W=[0.480.64−0.640.48] 로 두고 돌려 봤습니다. 리뷰에서 질문이 셋 나옵니다. 첫째, 「complete metric space」는 왜 붙어 있고 빼면 무엇이 무너지나요. 둘째, 누군가 W 의 행 절댓값 합을 재 보니 최대가 1.12라 1을 넘는데, 그러면 축약이 아니라서 보장이 깨지는 것 아닌가요. 셋째, 오차 10−6 을 보장하려면 몇 번 돌려야 하나요. 이 글은 세 질문에 답하는 데 필요한 말을 처음부터 세웁니다. 거리와 수렴, 코시 수열과 완비성, 립시츠 연속과 축약을 정의하고, 바나흐 고정점 정리를 끝까지 증명합니다. 그다음 노름이 얹힌 공간으로 올라가 Lp 공간과 횔더 부등식, 그리고 차원이 무한해지면 무엇이 깨지는지를 봅니다.
거리공간
거리의 공리
중급 5번의 노름 글에서는 벡터의 길이 ∥x∥ 를 먼저 정하고 거리를 ∥x−y∥ 로 만들었습니다. 수렴을 말하는 데는 그보다 적은 것으로 충분합니다. 집합 X 위의 함수 d:X×X→[0,∞) 가 모든 x,y,z 에서 다음 셋을 만족하면 거리라 하고, 거리를 하나 얹은 집합 (X,d) 를 거리공간이라 부릅니다.
d(x,y)=0⟺x=y
d(x,y)=d(y,x)
d(x,z)≤d(x,y)+d(y,z)
덧셈도 스칼라배도 요구하지 않는다는 점이 노름과 다릅니다. 그래서 벡터가 아닌 것에도 거리를 줄 수 있습니다. 같은 길이의 토큰 열 두 개에서 자리가 다른 토큰의 개수를 세는 해밍 거리, 글자를 넣고 빼고 바꾸는 최소 횟수인 편집 거리가 모두 세 공리를 만족합니다. 같으면 0, 다르면 1을 주는 이산 거리도 거리입니다. 노름이 있으면 거리가 생기지만 거꾸로는 아니므로, 거리공간은 노름공간보다 넓은 틀입니다.
세 공리 중 가장 자주 깨지는 것은 삼각부등식입니다. 임베딩 검색에서 흔히 쓰는 1−cosθ 를 보겠습니다. 단위벡터 a,b,c 가 차례로 45°씩 벌어져 a 와 c 가 직각이면 d(a,c)=1 인데, d(a,b)+d(b,c)=2(1−cos45°)=0.586 입니다. 돌아가는 길이 곧장 가는 길보다 짧으니 거리가 아닙니다. 각도 θ 자체는 거리이고, 단위벡터 사이의 유클리드 거리 2−2cosθ 도 거리입니다. 아래의 정리들은 전부 삼각부등식을 증명의 지렛대로 쓰므로, 이것이 없는 「유사도」에는 그대로 옮겨지지 않습니다.
열린집합
점 x 와 반지름 r>0 에 대해 B(x,r)={y:d(x,y)<r} 를 열린 공이라 부릅니다. 경계를 빼고 안쪽만 모은 공입니다. 집합 U 의 모든 점마다 그 점을 중심으로 하는 작은 열린 공이 U 안에 통째로 들어가면 U 를 열린집합이라 하고, 여집합이 열린집합인 집합을 닫힌집합이라 합니다. 실수 직선에서 (0,1) 은 열려 있고 [0,1] 은 닫혀 있으며, (0,1] 은 어느 쪽도 아닙니다. 1에서는 공을 아무리 작게 잡아도 1보다 큰 수가 끼어 열린집합이 못 되고, 여집합에서 0 주변이 같은 이유로 열리지 않아 닫힌집합도 못 됩니다.
논문에서 「f 는 x⋆ 의 열린 근방에서 미분 가능하다」는 문장이 열린집합을 쓰는 전형적인 자리입니다. 그 점에서 어느 방향으로든 조금은 움직일 여지가 있다는 말입니다. 닫힌집합은 반대 방향의 일을 합니다. 닫힌집합 안의 점들이 어딘가로 수렴하면 그 극한도 그 집합 안에 있다는 것이 닫혀 있다는 말과 같고, 이 성질이 뒤의 고정점 정리에서 「극한이 공간 밖으로 새지 않는다」를 지켜 줍니다.
수열의 수렴
거리공간의 수열 x1,x2,… 가 점 x 로 수렴한다는 것은 d(xn,x)→0 이라는 뜻입니다. 풀어 쓰면 어떤 ε>0 을 골라도 그보다 뒤의 모든 항이 x 와 ε 안에 들어오는 번호 N 이 있다는 것입니다.
∀ε>0∃N∀n≥N:d(xn,x)<ε
극한은 하나뿐입니다. 두 점 x,x′ 로 동시에 수렴한다면 d(x,x′)≤d(x,xn)+d(xn,x′) 의 오른쪽이 0으로 가므로 d(x,x′)=0, 곧 x=x′ 입니다. 첫 공리와 삼각부등식이 함께 쓰였습니다.
수렴은 거리가 정합니다. 같은 집합이라도 거리를 바꾸면 수렴하는 수열이 달라집니다. 이산 거리에서는 d(xn,x)<1/2 이 곧 xn=x 이므로, 어느 번호부터 아예 멈춰 선 수열만 수렴합니다. 유클리드 거리에서 0으로 가던 1/n 이 이산 거리에서는 아무 데로도 수렴하지 않습니다. 그래서 정리부가 「어느 거리에서」를 꼭 밝히고, 이 글 뒤쪽의 무한차원에서는 이 차이가 실제로 계산 결과를 가릅니다.
완비성과 콤팩트성
코시 수열
수렴을 확인하려면 극한 x 를 미리 알아야 합니다. 평형 층의 z⋆ 처럼 극한이 바로 우리가 구하려는 것이면 이 정의로는 아무것도 확인할 수 없습니다. 그래서 극한을 쓰지 않는 조건을 둡니다. 수열의 항들끼리 충분히 뒤로 가면 서로 얼마든지 가까워질 때, 곧
∀ε>0∃N∀m,n≥N:d(xm,xn)<ε
일 때 그 수열을 코시 수열이라 부릅니다. 수렴하는 수열은 언제나 코시 수열입니다. 극한 x 와 ε/2 안에 다 들어온 뒤라면 d(xm,xn)≤d(xm,x)+d(x,xn)<ε 이기 때문입니다.
거꾸로가 문제입니다. 항들이 서로 모여드는 것은 보이는데, 모여드는 그 자리가 공간 안에 있는지는 코시 조건이 말해 주지 않습니다. 고정점 정리의 증명은 바로 이 틈을 지나갑니다. 반복값들이 서로 가까워진다는 것은 축약 조건만으로 보일 수 있고, 그 모임 자리가 실제로 존재한다는 것은 공간의 성질에 맡깁니다.
완비가 아닌 공간
모든 코시 수열이 그 공간 안의 점으로 수렴하면 그 거리공간을 완비라고 부릅니다. 실수 R 과 Rn 은 완비이고, 완비 공간의 닫힌 부분집합도 완비입니다. 닫혀 있으니 극한이 밖으로 못 나가기 때문입니다.
완비가 아닌 공간은 생각보다 가까이 있습니다. 유리수만 모은 X=Q∩[1,2] 에서 T(x)=x/2+1/x 를 되풀이하면 2 를 구하는 뉴턴 반복이 됩니다. 유리수를 넣으면 유리수가 나오고, [1,2] 에서 T 의 도함수 1/2−1/x2 의 절댓값이 1/2 을 넘지 않으므로 두 점 사이를 절반 이하로 줄입니다. x0=1 에서 시작하면 3/2, 17/12, 577/408, 665857/470832 가 나오고 2 와의 차이는 8.6×10−2, 2.5×10−3, 2.1×10−6, 1.6×10−12 로 줄어듭니다. 항끼리는 분명히 모여드는 코시 수열인데 모이는 자리 2 가 유리수가 아니라서 X 안에는 극한이 없습니다.
더 단순한 예도 있습니다. X=(0,1] 에서 T(x)=x/2 는 X 를 X 로 보내고 거리를 정확히 절반으로 줄이는데, 반복값 1,1/2,1/4,… 가 다가가는 0이 X 에 없습니다. 이 T 는 X 안에 고정점이 하나도 없습니다. 고정점 정리에서 완비성을 빼면 무엇이 무너지는지가 이 한 줄로 끝납니다.
![두 수직선. 위는 유리수 구간 1~2에서 x/2+1/x 반복이 1, 3/2, 17/12 로 √2 의 빈자리에 몰리고, 아래는 (0,1]에서 x/2 반복이 1, 1/2, 1/4 로 빠진 점 0 에 몰린다](/assets/posts/math-adv-metric-normed-and-fixed-points-incomplete.svg)
완비성은 집합이 아니라 거리에 붙은 성질이라는 점도 짚어 둡니다. [0,1] 위의 연속함수 전체 C[0,1] 에 최댓값 거리 supt∣f(t)−g(t)∣ 를 주면 완비입니다. 같은 집합에 넓이 거리 ∫01∣f−g∣dt 를 주면 완비가 아닙니다. 1/2 까지 0이다가 폭 1/n 동안 직선으로 올라 1에 닿는 함수 fn 을 생각하면, m<n 일 때 ∫∣fn−fm∣=1/(2m)−1/(2n) 이라 코시 수열이지만, 모여드는 곳은 1/2 에서 끊어지는 계단 함수이고 그것은 연속함수가 아닙니다.
콤팩트성
거리공간의 부분집합 K 에서 뽑은 어떤 수열이든 K 안의 점으로 수렴하는 부분수열을 가지면 K 를 콤팩트라고 부릅니다. 수열이 아무리 돌아다녀도 어딘가에는 무한히 자주 들르는 점이 K 안에 있다는 뜻입니다. Rn 에서는 닫혀 있고 유계인 집합이 정확히 콤팩트 집합입니다(하이네–보렐 정리).
콤팩트성이 주는 가장 쓸모 있는 결과는 최대·최소의 존재입니다. 콤팩트 집합 위의 연속인 실함수는 최댓값과 최솟값을 실제로 갖습니다. 함숫값이 하한으로 다가가는 점들을 뽑고, 그 수열의 수렴하는 부분수열을 잡고, 연속성으로 극한점에서 함숫값이 하한과 같아짐을 보이는 세 걸음입니다. 조건 하나만 빠져도 무너집니다. (0,1) 위의 f(x)=x 는 닫혀 있지 않아 최솟값이 없고, [0,∞) 위의 e−x 는 유계가 아니라 하한 0에 닿지 않습니다.
학습에서는 이 둘째 모양이 실제로 일어납니다. 선형분리 가능한 데이터에 로지스틱 손실을 걸면 가중치를 같은 방향으로 키울수록 손실이 0에 다가가지만 0이 되는 유한한 가중치는 없습니다. 최소점이 없으니 「최적해로 수렴한다」는 문장 자체가 성립하지 않고, 경사하강은 가중치 노름을 끝없이 키웁니다. 가중치를 ∥θ∥≤R 안에 묶으면 그 공은 닫혀 있고 유계라 콤팩트이고, 연속인 손실은 그 안에서 최솟값을 갖습니다. 차원이 유한할 때의 이야기입니다. 무한차원에서는 닫힌 단위 공이 콤팩트가 아니고, 그 이유는 이 글 끝 무렵에 봅니다.
립시츠 연속
립시츠 조건
두 거리공간 사이의 함수 f:(X,dX)→(Y,dY) 가 어떤 상수 L 에 대해
dY(f(x),f(y))≤LdX(x,y)
를 모든 x,y 에서 만족하면 f 를 립시츠 연속이라 하고, 그런 L 중 가장 작은 것이 립시츠 상수입니다. 논문의 「f is L-Lipschitz」가 정확히 이 부등식입니다. 중급 17번에서 선형층의 립시츠 상수가 스펙트럼 노름이라는 것을 이미 계산했습니다.
연속의 조건은 세기가 다른 단계로 늘어섭니다. 연속은 점마다 「입력을 δ 안에 두면 출력이 ε 안에 든다」는 δ 가 있다는 것이고, 그 δ 를 점과 무관하게 하나로 고를 수 있으면 균등연속입니다. 립시츠는 δ=ε/L 로 아예 식을 정해 주므로 균등연속보다 강하고, 립시츠 상수가 1보다 작으면 다음 소절의 축약이 됩니다. 거꾸로는 하나도 성립하지 않습니다. [0,1] 위의 x 는 균등연속이지만 0 근처에서 기울기가 끝없이 커져 립시츠가 아니고, 실수 전체 위의 x2 은 연속이지만 멀리 갈수록 가팔라져 균등연속도 못 됩니다.
미분 가능한 함수라면 판정은 기울기로 합니다. 볼록한 영역에서 ∥∇f∥≤L 이면 평균값 정리로 ∣f(x)−f(y)∣≤L∥x−y∥ 이고, 거꾸로 립시츠면 기울기가 L 을 못 넘습니다. 미분 가능하지 않아도 립시츠일 수 있습니다. ReLU와 ∣x∣ 는 0에서 꺾이지만 립시츠 상수가 1입니다. 그래서 「립시츠」는 매끄러움이 아니라 「얼마나 빨리 변할 수 있는가」의 상한이고, 적대적 섭동에 대한 인증 반경처럼 ∥f(x+δ)−f(x)∥≤L∥δ∥ 한 줄로 보장을 주는 자리에 씁니다.
L-매끄러움
중급 46번에서 학습률 상한 2/L 을 유도할 때 L-매끄러움을 「그래디언트가 립시츠」라고 정의하고 헤세 행렬의 최대 고윳값으로 바꿔 썼습니다. 이제 그 문장을 정확히 적을 수 있습니다. 함수 f:Rn→R 가 L-매끄럽다는 것은 그래디언트라는 함수 ∇f:(Rn,∥⋅∥2)→(Rn,∥⋅∥2) 가 립시츠 상수 L 을 갖는다는 것입니다.
∥∇f(x)−∇f(y)∥2≤L∥x−y∥2
두 번 미분 가능하면 이것은 모든 점에서 ∥∇2f(x)∥2≤L, 곧 헤세 행렬의 고윳값이 전부 [−L,L] 안에 있다는 것과 같습니다. 바로 위에서 본 「기울기 상한 ⇔ 립시츠」를 ∇f 에 적용한 것이고, 그 기울기가 헤세 행렬입니다. 볼록 함수는 고윳값이 0 이상이라 중급 46번의 λmax≤L 과 같은 말이 되고, 볼록이 아닌 손실에서는 음의 곡률 쪽 크기도 L 을 넘으면 안 된다는 것이 정확한 조건입니다.
예를 들어 f(x)=log(1+ex) 는 f′′(x)=σ(x)(1−σ(x))≤1/4 이라 L=1/4 로 매끄럽습니다. 시그모이드 σ 가 0과 1 사이에 있으니 그 곱은 σ=1/2 일 때 가장 큽니다. 반면 f(x)=x4 은 f′′=12x2 이 끝없이 커져 실수 전체에서는 어떤 L 로도 매끄럽지 않고, 그래서 고정 학습률이 어딘가에서 발산합니다. 중급 46번이 「L이 없는 손실」이라 부른 자리가 이것입니다.
축약사상
거리공간 X 에서 자기 자신으로 가는 사상 T:X→X 가 어떤 γ∈[0,1) 에 대해
d(T(x),T(y))≤γd(x,y)
를 만족하면 T 를 축약사상, 또는 γ-축약이라 부릅니다. 립시츠 상수가 1보다 작은 자기 사상입니다. T(x⋆)=x⋆ 인 점 x⋆ 를 T 의 고정점이라 합니다. 평형 층의 z⋆ 가 바로 사상 z↦tanh(Wz+c) 의 고정점입니다.
경사하강 한 걸음도 사상입니다. T(x)=x−η∇f(x) 의 고정점은 ∇f(x⋆)=0 인 점입니다. f 가 두 번 미분 가능하고 헤세 행렬의 고윳값이 어디서나 [μ,L] 안에 있다고 하면(μ>0), 미적분의 기본정리로 그래디언트의 차이를 적어
T(x)−T(y)=(I−ηHˉ)(x−y),Hˉ=∫01∇2f(y+t(x−y))dt
를 얻습니다. 평균 헤세 Hˉ 도 고윳값이 [μ,L] 안에 있으므로 I−ηHˉ 의 스펙트럼 노름은 max(∣1−ημ∣,∣1−ηL∣) 을 넘지 않습니다. 이 값이 1보다 작을 조건이 정확히 0<η<2/L 입니다. 중급 46번이 이차함수에서 한 스텝을 곱셈 하나로 보고 얻은 상한이, 이차가 아닌 강볼록 손실에서도 「경사하강 사상이 축약이다」라는 문장으로 그대로 섭니다.
축약의 조건에서 γ<1 이 「거리를 줄인다」보다 강하다는 점이 중요합니다. [1,∞) 위의 T(x)=x+1/x 는
∣T(x)−T(y)∣=∣x−y∣(1−xy1)<∣x−y∣
로 서로 다른 두 점의 거리를 언제나 줄이지만, 줄이는 비율이 x,y 가 커질수록 1에 다가가 하나의 γ<1 로 묶이지 않습니다. 그리고 T(x)>x 라 고정점이 없습니다. 공간이 완비여도 γ 가 하나로 잡히지 않으면 정리가 서지 않습니다.
바나흐 고정점 정리
정리
바나흐 고정점 정리, 또는 축약사상 원리는 다음과 같습니다. (X,d) 가 비어 있지 않은 완비 거리공간이고 T:X→X 가 γ-축약(0≤γ<1)이면,
T 는 고정점 x⋆ 를 정확히 하나 갖는다.
어떤 x0∈X 에서 시작하든 xn+1=T(xn) 은 x⋆ 로 수렴한다.
사전 경계 d(xn,x⋆)≤1−γγnd(x1,x0) 가 성립한다.
사후 경계 d(xn,x⋆)≤1−γγd(xn,xn−1) 가 성립한다.
셋째 줄은 돌리기 전에 첫 걸음 하나만 보고 필요한 반복 수를 알려 주고, 넷째 줄은 돌리는 도중에 바로 앞 걸음의 변화량만 보고 지금의 오차를 알려 줍니다. 극한 x⋆ 를 모르는 채로 그것과의 거리를 위에서 누른다는 점에서 둘 다 앞 절의 코시 조건과 같은 결을 갖습니다.
존재의 증명
먼저 이웃한 두 항의 거리를 셉니다. d(x2,x1)=d(T(x1),T(x0))≤γd(x1,x0) 이고, 같은 일을 되풀이하면 귀납적으로
d(xk+1,xk)≤γkd(x1,x0)
입니다. 한 걸음마다 걸음 폭이 γ 배 이하로 줄어듭니다. 이제 m>n 인 두 항의 거리를 이웃한 걸음들로 쪼개 삼각부등식을 거듭 씁니다.
마지막 등호가 등비급수이고, 수렴하려면 γ<1 이 필요합니다. 오른쪽은 m 과 무관하고 n 이 커지면 0으로 가므로, 어떤 ε 에도 γNd(x1,x0)/(1−γ)<ε 인 N 을 잡으면 m,n≥N 에서 d(xm,xn)<ε 입니다. 반복값은 코시 수열입니다. d(x1,x0)=0 이면 x0 이 이미 고정점이니 그 경우도 여기에 들어갑니다.
X 가 완비이므로 이 코시 수열은 X 안의 어떤 점 x⋆ 로 수렴합니다. 남은 것은 그 점이 고정점이라는 확인입니다. 삼각부등식과 축약 조건으로
이고, n→∞ 에서 오른쪽의 두 항이 모두 0으로 갑니다. 왼쪽은 n 과 무관한 수이므로 0이고, 거리의 첫 공리로 T(x⋆)=x⋆ 입니다. 둘째 항을 쓸 수 있었던 것은 T(xn)=xn+1 이라는 반복의 정의 덕분이고, 그 반복이 처음부터 정의되려면 T 가 X 를 X 안으로 보내야 합니다. 가정 셋이 각각 한 번씩 쓰였습니다. 자기 사상이라는 것은 반복을 세우는 데, γ<1 은 등비급수를 닫는 데, 완비성은 극한을 공간 안에 잡는 데 쓰였습니다.
유일성과 오차 경계
고정점이 둘 x⋆,y⋆ 라 하면 d(x⋆,y⋆)=d(T(x⋆),T(y⋆))≤γd(x⋆,y⋆) 이므로 (1−γ)d(x⋆,y⋆)≤0 입니다. 1−γ>0 이니 d(x⋆,y⋆)=0, 곧 두 점은 같습니다. 출발점과 무관하게 같은 점으로 간다는 둘째 주장도 여기서 따라 나옵니다. 어디서 시작하든 극한은 고정점이고 고정점은 하나뿐이기 때문입니다.
사전 경계는 존재 증명의 부등식 d(xm,xn)≤γnd(x1,x0)/(1−γ) 에서 m→∞ 로 보내면 됩니다. 이때 왼쪽이 d(x⋆,xn) 으로 간다는 것은 삼각부등식에서 나옵니다. ∣d(xm,xn)−d(x⋆,xn)∣≤d(xm,x⋆)→0 이기 때문입니다. 오른쪽은 m 과 무관하니 그대로 남아 셋째 주장이 섭니다.
사후 경계는 사전 경계를 출발점만 바꿔 다시 쓴 것입니다. xn−1 을 새 출발점으로 보면 한 걸음 뒤가 xn 이므로, 걸음 수 1에 대한 사전 경계가
d(xn,x⋆)≤1−γγd(xn,xn−1)
입니다. 증명이 여기서 끝납니다. 실무에서 가장 쓸모 있는 줄은 이 마지막 것입니다. 「변화량이 δ 보다 작아지면 멈춘다」는 흔한 정지 규칙은 그 자체로는 아무것도 보장하지 않지만, 축약 상수를 알면 변화량에 γ/(1−γ) 를 곱한 것이 진짜 오차의 상한이 됩니다. γ=0.99 이면 그 배수가 99라, 변화량 10−6 에서 멈춘 답의 오차는 10−4 까지 남아 있을 수 있습니다.
코사인 반복
계산기에서 cos 단추를 계속 누르면 0.739 근처에서 멈춥니다. 이것을 정리에 대 봅니다. 공간은 X=[0,1] 로 잡습니다. 실수 직선의 닫힌 부분집합이라 완비입니다. cos 는 [0,1] 을 [cos1,1]=[0.5403,1] 로 보내므로 자기 사상이고, 평균값 정리로
∣cosx−cosy∣≤maxt∈[0,1]∣sint∣⋅∣x−y∣=sin1⋅∣x−y∣
이니 γ=sin1≈0.8415 인 축약입니다. 실수 전체에서는 ∣sint∣ 가 1에 닿아 축약이 아니므로, 공간을 좁게 잡는 것이 증명의 일부라는 점을 눈여겨봐 둡니다. 고정점은 x⋆=cosx⋆ 의 유일한 해 0.7391 입니다.
x0=0 에서 출발하면 x1=1 이라 d(x1,x0)=1 이고, 1/(1−γ)=6.31 입니다. 오차 10−6 을 보장하는 반복 수는 사전 경계 γn⋅6.31≤10−6 에서 n=91 입니다. 실제로 오차가 10−6 밑으로 들어가는 것은 n=33 이고, 사후 경계를 정지 규칙으로 쓰면 n=40 에서 멈춥니다. 멈춘 그 자리의 실제 오차는 5.5×10−8 입니다.
사전 경계가 세 배 가까이 비관적인 이유는 두 가지입니다. 하나는 첫 걸음 d(x1,x0)=1 이 크다는 것이고, 더 큰 이유는 γ=sin1 이 구간 전체에서 가장 나쁜 기울기라는 것입니다. 고정점 근처의 실제 축소율은 ∣sinx⋆∣=0.674 라서, 그림에서 실제 오차의 기울기가 사전 경계보다 가파릅니다. 사후 경계는 매 걸음의 실제 변화량을 쓰니 그 가파름을 따라가고, 실제보다 늘 위에 있으면서 일곱 걸음밖에 늦지 않습니다. 정리가 주는 것은 최악의 경우에 대한 보장이고, 실제 속도는 고정점 근처의 국소 기울기가 정합니다.
노름공간과 Lᵖ 공간
바나흐 공간
벡터공간에 중급 5번의 노름 세 공리를 만족하는 ∥⋅∥ 를 얹은 것을 노름공간이라 부릅니다. 노름공간은 언제나 d(x,y)=∥x−y∥ 로 거리공간이 되고, 앞 절의 말이 전부 그대로 쓰입니다. 그 거리에 대해 완비인 노름공간을 바나흐 공간이라 부릅니다. 고정점 정리에 이름을 준 그 바나흐이고, 축약사상 원리를 함수 공간에서 쓰려면 그 공간이 바나흐 공간인지부터 확인해야 합니다.
Rn 은 어떤 노름을 줘도 바나흐 공간입니다. 이유는 아래 노름 동치 소절에서 봅니다. 최댓값 노름 ∥f∥∞=supt∣f(t)∣ 를 준 C[0,1] 도 바나흐 공간이고, 넓이 노름을 준 C[0,1] 은 앞에서 본 계단 함수 반례 때문에 바나흐 공간이 아닙니다. 무한차원에서는 노름을 고르는 일이 공간의 성질을 바꿉니다.
Lᵖ 공간
1≤p<∞ 에 대해 ∑k∣xk∣p<∞ 인 실수열 x=(x1,x2,…) 를 모은 공간을 ℓp 라 하고, 노름은 중급 5번의 p-노름을 무한히 이어 붙인 것입니다.
∥x∥p=(∑k=1∞∣xk∣p)1/p,∥x∥∞=supk∣xk∣
ℓ∞ 는 유계 수열 전체입니다. 함수에서도 같습니다. 구간이나 확률공간 Ω 위에서 ∫Ω∣f∣p<∞ 인 함수를 모으고 ∥f∥p=(∫∣f∣p)1/p 로 재면 Lp 공간이 됩니다. 확률변수라면 ∥X∥p=(E∣X∣p)1/p 이고, 평균제곱오차의 제곱근이 L2 노름, 평균절대오차가 L1 노름입니다.
한 가지 단서가 붙습니다. 한 점에서만 값이 다른 두 함수는 적분이 같아 ∥f−g∥p=0 이 되는데, 노름의 첫 공리는 그러면 f=g 이기를 요구합니다. 그래서 Lp 의 원소는 함수 하나가 아니라 「거의 모든 곳에서 같은 함수들의 묶음」으로 봅니다. 이 「거의 모든 곳」을 정확히 하는 것이 측도이고, 「고급 3번 · 측도와 르베그 적분」이 맡습니다. 여기서는 결과만 가져옵니다. 1≤p≤∞ 에서 ℓp 와 Lp 는 모두 바나흐 공간입니다(리스–피셔 정리).
이것이 노름이려면 삼각부등식 ∥f+g∥p≤∥f∥p+∥g∥p 가 서야 하는데, 이 부등식은 p=1,2,∞ 가 아니면 눈으로 보이지 않습니다. 그 증명의 열쇠가 다음 소절의 횔더 부등식입니다. 그리고 p<1 에서는 실제로 깨지므로, p<1 의 「노름」은 중급 5번에서 본 대로 노름이 아닙니다.
횔더 부등식
1<p,q<∞ 가 1/p+1/q=1 을 만족하면 두 수를 서로의 켤레 지수라 부릅니다. p=2 의 짝은 2이고, p=3 의 짝은 3/2 입니다. p=1 의 짝은 ∞ 로 둡니다.
먼저 영 부등식을 증명합니다. a,b≥0 이면
ab≤pap+qbq
입니다. a 나 b 가 0이면 왼쪽이 0이라 당연합니다. 둘 다 양수이면 ab=exp(loga+logb) 를 loga=p1logap, logb=q1logbq 로 다시 적습니다.
부등호 하나가 지수함수의 볼록성입니다. 가중치 1/p 와 1/q 가 음이 아니고 합이 1이므로, 두 점의 가중평균에서 잰 exp 는 각 점의 exp 를 같은 가중치로 평균한 것을 넘지 않습니다. 지수함수는 엄격하게 볼록이므로 등호는 두 점이 같을 때, 곧 ap=bq 일 때만 섭니다.
이제 횔더 부등식입니다. x∈ℓp, y∈ℓq 이면
∑k∣xkyk∣≤∥x∥p∥y∥q
입니다. ∥x∥p=0 이면 x=0 이라 양쪽이 0이고, y 도 같습니다. 둘 다 0이 아니면 크기를 1로 맞춥니다. ak=∣xk∣/∥x∥p, bk=∣yk∣/∥y∥q 로 두면 ∑kakp=1, ∑kbkq=1 입니다. 각 k 에서 영 부등식을 쓰고 더하면
∑kakbk≤p1∑kakp+q1∑kbkq=p1+q1=1
이고, 왼쪽에 ∥x∥p∥y∥q 를 곱해 되돌리면 횔더 부등식입니다. 무한합이어도 부분합마다 위 부등식이 서고 오른쪽이 부분합과 무관하게 1로 묶이니, 단조 증가하는 부분합의 극한도 1을 넘지 않습니다. 적분이면 합을 적분으로 바꾼 같은 증명입니다. p=1,q=∞ 짝은 ∑∣xkyk∣≤supk∣yk∣∑∣xk∣ 로 바로 섭니다.
등호 조건도 영 부등식에서 그대로 옵니다. 모든 k 에서 akp=bkq 여야 하므로, ∣yk∣q 가 ∣xk∣p 에 비례할 때, 곧 ∣yk∣∝∣xk∣p−1 일 때 등호가 섭니다. p=q=2 이면 y∝x 이고, 이것이 코시–슈바르츠 부등식과 그 등호 조건입니다.
손으로 확인해 봅니다. x=(1,2,3), y=(4,−1,2) 이면 왼쪽은 4+2+6=12 입니다. p=2 에서 오른쪽은 1421=17.15, p=3 에서 361/3⋅11.832/3=3.302×5.191=17.14, p=3/2 에서 18.12, p=1 에서 6×4=24 입니다. 지수를 어떻게 짝지어도 12 위에 있습니다. 등호 조건대로 p=3 에서 y=(1,4,9) 로 바꾸면 왼쪽이 1+8+27=36, 오른쪽이 361/3⋅362/3=36 으로 정확히 같아집니다.
민코프스키 부등식
Lp 노름의 삼각부등식에 붙은 이름이 민코프스키 부등식입니다. 1≤p≤∞ 에서
∥x+y∥p≤∥x∥p+∥y∥p
입니다. 이 글에서 이것은 진술로 충분하지만, 횔더에서 두 줄이면 나오므로 적어 둡니다. 1<p<∞ 에서 ∣xk+yk∣p≤(∣xk∣+∣yk∣)∣xk+yk∣p−1 로 쪼개 두 항에 각각 횔더를 쓰면, (p−1)q=p 이므로
∥x+y∥pp≤(∥x∥p+∥y∥p)∥x+y∥pp/q
이고, 양변을 ∥x+y∥pp/q 로 나누면 p−p/q=1 이라 민코프스키가 나옵니다. 이 부등식 덕분에 ℓp 와 Lp 가 노름공간이 되고, 횔더는 그 공간 위의 선형범함수가 유계라는 것을 보이는 데 다시 쓰입니다.
무한차원
노름 동치
같은 벡터공간 위의 두 노름 ∥⋅∥a,∥⋅∥b 에 대해 모든 x 에서 m∥x∥a≤∥x∥b≤M∥x∥a 인 양수 m,M 이 있으면 두 노름을 동치라 합니다. 중급 5번이 소개한 정리는 유한차원에서 모든 노름이 동치라는 것이고, Rn 의 세 노름 사이의 상수는 이렇습니다.
증명의 핵심은 앞 절의 콤팩트성입니다. 한 노름의 단위구면이 유한차원에서 콤팩트이고 다른 노름이 그 위에서 연속이니 최댓값과 최솟값을 갖고, 그 둘이 M 과 m 이 됩니다. 동치인 노름끼리는 수렴, 코시 수열, 완비성, 열린집합, 립시츠 연속이라는 성질이 전부 같습니다. 상수만 바뀝니다. 어느 노름으로 재도 수렴하는 수열은 같고, 립시츠 상수는 M/m 배 안에서 달라집니다.
평형 층의 둘째 질문이 여기서 풀립니다. ℓ∞ 에서 재면 W 의 유도 노름은 행 절댓값 합의 최대인 1.12이고, ℓ2 에서 재면 스펙트럼 노름 0.8입니다. 축약 상수는 거리에 매인 값이라 노름을 바꾸면 바뀝니다. 그런데 고정점 정리를 쓰려면 어떤 하나의 완비 거리에서 축약이면 충분합니다. ℓ2 에서 0.8-축약이니 고정점이 하나뿐이고 반복이 ℓ2 로 수렴하며, 유한차원이라 그 수렴은 ℓ∞ 로 재도 수렴입니다. 1.12는 「ℓ∞ 에서는 이 방법으로 증명할 수 없다」는 뜻일 뿐 반복이 발산한다는 뜻이 아닙니다.
무한차원의 반례
무한차원에서는 동치 정리가 무너집니다. ℓp 에서 앞의 N 자리만 1인 수열 x(N)=(1,…,1,0,0,…) 을 재면 ∥x(N)∥∞=1, ∥x(N)∥2=N, ∥x(N)∥1=N 입니다. 비율이 N 과 함께 끝없이 커지니 어떤 상수 M 으로도 묶이지 않습니다. 유한차원의 상수 n, n 이 차원을 따라 커지던 것이 무한차원에서 무한대로 간 것입니다. 공간 자체도 갈립니다. (1,1/2,1/3,…) 는 제곱합이 유한해 ℓ2 에 들지만 합이 발산해 ℓ1 에는 없습니다.
함수 공간에서는 같은 함수열이 노름마다 다른 곳으로 갑니다. [0,1] 위의 fn(t)=tn 은 ∥fn∥1=1/(n+1), ∥fn∥2=1/2n+1 로 0에 가지만 ∥fn∥∞=1 은 그대로입니다. 넓이 노름으로는 0으로 수렴하고, 최댓값 노름으로는 수렴하지 않습니다. 「fn→0 이다」는 문장이 노름을 밝히지 않으면 참도 거짓도 아닌 것입니다.
콤팩트성도 무너집니다. ℓ2 의 표준 단위벡터 en 은 n 번째 자리만 1인 수열입니다. 모두 닫힌 단위 공 안에 있고, 서로 다른 둘 사이의 거리가 언제나 ∥en−em∥2=2 라 어떤 부분수열도 코시가 아닙니다. 닫혀 있고 유계인데 콤팩트가 아닌 것입니다. 정리하면 이렇습니다.
성질
유한차원
무한차원
노름 동치
모든 노름이 동치
노름마다 수렴이 다르다
닫힌 유계 집합
콤팩트
단위 공도 콤팩트가 아니다
선형범함수
전부 유계
유계가 아닌 것이 있다
약수렴과 강수렴
같다
약수렴이 더 약하다
뒤의 두 줄을 이제 정의합니다.
쌍대공간
노름공간 X 에서 실수로 가는 선형 함수 φ 를 선형범함수라 하고, 어떤 상수 C 에 대해 ∣φ(x)∣≤C∥x∥ 이면 유계 선형범함수라 부릅니다. 선형이라 ∣φ(x)−φ(y)∣=∣φ(x−y)∣≤C∥x−y∥ 이니, 유계는 곧 립시츠이고 곧 연속과 같습니다. 그런 C 중 가장 작은 것
∥φ∥∗=sup∥x∥≤1∣φ(x)∣
를 쌍대 노름이라 하고, 유계 선형범함수 전체에 이 노름을 준 공간 X∗ 를 쌍대공간이라 합니다. X∗ 는 X 가 완비가 아니어도 언제나 바나흐 공간입니다.
횔더 부등식이 여기서 쌍대공간을 계산해 줍니다. y∈ℓq 를 하나 고르고 φy(x)=∑kykxk 로 두면, 횔더로 ∣φy(x)∣≤∥y∥q∥x∥p 이니 ℓp 위의 유계 선형범함수이고, 등호 조건을 만족하는 x 를 넣으면 이 상수에 닿으므로 ∥φy∥∗=∥y∥q 입니다. 그리고 1≤p<∞ 에서는 ℓp 위의 유계 선형범함수가 전부 이 꼴이라는 것이 알려져 있습니다. 이 결과를 (ℓp)∗=ℓq 로 적습니다. 유한차원 Rn 에서도 같아서, ℓ∞ 노름의 쌍대 노름은 ℓ1 노름입니다. 중급 46번에서 ℓ∞ 단위 공 안의 가장 가파른 방향이 부호 벡터 sign(g) 였고 그때 내려간 양이 ∥g∥1 이었던 것이 바로 sup∥d∥∞≤1⟨g,d⟩=∥g∥1 이라는 쌍대 노름 계산이었습니다. p=2 에서는 짝이 자기 자신이라 범함수가 내적 하나로 적히는데, 그것이 무한차원 힐베르트 공간에서도 성립한다는 리스 표현 정리는 「고급 2번 · 힐베르트 공간과 무한차원 스펙트럼 정리」가 맡습니다.
유한차원에서는 모든 선형범함수가 유계입니다. 무한차원에서는 아닙니다. 넓이 노름을 준 C[0,1] 에서 끝점의 값 φ(f)=f(1) 은 선형이지만, 앞의 fn(t)=tn 을 넣으면 ∥fn∥1=1/(n+1)→0 인데 φ(fn)=1 이라 어떤 C 로도 묶이지 않습니다. 최댓값 노름으로 바꾸면 ∣f(1)∣≤∥f∥∞ 라 유계입니다. 「한 점에서 함숫값을 읽는 일」이 연속인지가 노름에 달려 있다는 이 관찰이 재생 커널 힐베르트 공간의 출발점이고, 그 이야기는 고급 A5 단원에서 이어집니다.
약수렴
노름으로 재는 수렴 ∥xn−x∥→0 을 강수렴이라 하고, 그보다 약한 수렴을 쌍대공간으로 정의합니다. 모든 φ∈X∗ 에서 φ(xn)→φ(x) 이면 xn 이 x 로 약수렴한다고 하고 xn⇀x 로 적습니다. 강수렴하면 ∣φ(xn)−φ(x)∣≤∥φ∥∗∥xn−x∥→0 이니 약수렴합니다. 유한차원에서는 좌표를 읽는 범함수 n 개만으로 모든 좌표가 수렴하니 둘이 같습니다.
무한차원에서는 갈립니다. ℓ2 의 en 은 노름이 늘 1이라 0으로 강수렴하지 않습니다. 그런데 ℓ2 위의 유계 선형범함수는 전부 어떤 y∈ℓ2 의 φy 이고, φy(en)=yn 입니다. ∑yk2<∞ 이니 yn→0 이고, 따라서 en⇀0 입니다. 그림의 yk=1/k 이면 φy(en)=1/n 이 1, 0.5, 0.333으로 줄어듭니다. 어느 고정된 방향에서 보든 en 의 그림자는 사라지는데, 벡터 자체는 줄지 않고 아직 안 본 새 좌표로 달아나는 것입니다.
같은 수열이 공간을 바꾸면 약수렴도 안 합니다. ℓ1 에서 en 을 보면 쌍대공간이 ℓ∞ 라 모든 자리가 1인 y=(1,1,…) 가 범함수로 들어오고, φy(en)=1 이 0으로 가지 않습니다. 약수렴을 쓰는 이유는 콤팩트성을 되찾기 위해서입니다. 1<p<∞ 의 ℓp 와 Lp 에서는 유계인 수열이 언제나 약수렴하는 부분수열을 갖는다는 것이 알려져 있고, 무한차원에서 최솟값의 존재를 보이는 논증은 닫힌 단위 공의 콤팩트성 대신 이 성질을 씁니다.
다시 평형 층으로
정리 줄 읽기
첫머리의 정리 줄을 이제 한 마디씩 읽을 수 있습니다. 공간은 (R2,∥⋅∥2) 입니다. 유한차원이라 어떤 노름으로도 완비이니 「complete metric space」는 공짜로 섭니다. 무한차원 함수 공간에서 같은 논증을 쓰는 논문이라면 이 줄이 공짜가 아니고, 그 공간이 바나흐 공간인지를 따로 확인해야 합니다.
축약 상수는 두 립시츠 상수의 곱으로 잡습니다. tanh 는 도함수 1−tanh2 가 0과 1 사이라 성분마다 1-립시츠이고, 성분마다 1-립시츠인 함수는 ∥tanh(u)−tanh(v)∥2≤∥u−v∥2 를 만족합니다. 선형 부분은 중급 17번대로 ∥Wz−Wz′∥2≤∥W∥2∥z−z′∥2 입니다. 둘을 합치면 γ=∥W∥2=0.8 입니다. 이 W 는 0.8배와 회전의 곱이라 스펙트럼 노름이 정확히 0.8입니다. 그러니 첫째 질문의 답은 이렇습니다. 완비성은 반복값의 모임 자리가 공간 안에 있음을 보장하고, R2 에서는 언제나 참이라 아무것도 무너지지 않습니다. 둘째 질문의 답은 앞의 노름 동치 소절에서 이미 나왔습니다.
셋째 질문은 숫자입니다. z0=0 에서 z1=tanh(c)=(0.7616,−0.4621) 이라 d(z1,z0)=0.891 이고, 사전 경계 0.8n/0.2×0.891≤10−6 을 풀면 n=69 입니다. 실제로 돌리면 n=15 에서 오차가 9.5×10−7 로 이미 들어오고, 사후 경계 4∥zn−zn−1∥2≤10−6 을 정지 규칙으로 쓰면 n=18 에서 멈추며 그때 실제 오차는 3.8×10−8 입니다. 고정점은 z⋆=(0.8734,0.1125) 입니다. 코사인 반복과 같은 모양으로, 사전 경계는 학습 전에 반복 상한을 정하는 데 쓰고, 사후 경계는 학습 중에 정지를 정하는 데 씁니다.
실제가 경계보다 네 배 넘게 빠른 이유도 같습니다. 고정점에서 이 사상의 야코비 행렬 diag(1−tanh2(⋅))W 는 tanh 의 기울기가 1보다 작은 만큼 W 를 더 줄이고, 고윳값의 크기가 0.387이라 오차가 국소적으로 한 걸음에 그만큼씩 줄어듭니다. γ=0.8 은 tanh 의 기울기를 가장 나쁜 값 1로 친 상한입니다.
코드로 확인하기
평형 층의 반복과 두 경계를 함께 찍고, 횔더 부등식을 무작위 벡터 1만 쌍으로 대 봅니다.
import numpy as npW = np.array([[0.48, -0.64], [0.64, 0.48]])c = np.array([1.0, -0.5])T = lambda z: np.tanh(W @ z + c)gamma = np.linalg.norm(W, 2) # ℓ2 유도 노름print(gamma, np.abs(W).sum(axis=1).max()) # 0.8 1.12 ← ℓ∞ 유도 노름은 1을 넘는다z_star = np.zeros(2)for _ in range(500): z_star = T(z_star)print(z_star) # [0.87339907 0.11249467]z0 = np.zeros(2)z1 = T(z0)d1 = np.linalg.norm(z1 - z0)prev, z = z0, z1for n in range(1, 31): if n in (1, 5, 10, 15, 20, 30): err = np.linalg.norm(z - z_star) post = gamma / (1 - gamma) * np.linalg.norm(z - prev) prior = gamma**n / (1 - gamma) * d1 print(f"{n:2d} {err:.2e} {post:.2e} {prior:.2e}") prev, z = z, T(z)# n 실제 오차 사후 경계 사전 경계# 1 5.85e-01 3.56e+00 3.56e+00# 5 7.04e-03 1.37e-01 1.46e+00# 10 7.03e-05 9.22e-04 4.78e-01# 15 9.49e-07 5.36e-06 1.57e-01# 20 1.08e-08 3.40e-08 5.14e-02# 30 8.71e-13 5.48e-12 5.51e-03rng = np.random.default_rng(0)worst = 0.0for _ in range(10000): p = rng.uniform(1.05, 6.0) q = p / (p - 1) x, y = rng.normal(size=(2, 50)) ratio = np.abs(x * y).sum() / (np.linalg.norm(x, p) * np.linalg.norm(y, q)) worst = max(worst, ratio)print(worst) # 0.8426... ← 1을 한 번도 안 넘는다x = rng.normal(size=50)y = np.sign(x) * np.abs(x) ** 2 # p = 3 의 등호 조건 |y| ∝ |x|^(p−1)print(np.abs(x * y).sum() / (np.linalg.norm(x, 3) * np.linalg.norm(y, 1.5))) # 1.0000000000000002
세 열이 늘 「실제 ≤ 사후 ≤ 사전」 차례로 서는 것을 보면 증명의 두 부등식이 그대로 보입니다. n=1 에서 두 경계가 같은 것은 우연이 아닙니다. 한 걸음째의 사후 경계 γd(z1,z0)/(1−γ) 는 사전 경계의 n=1 과 같은 식입니다. 횔더 쪽은 무작위로 뽑은 1만 쌍 중 가장 빡빡한 것이 0.84에 그치고, 등호 조건대로 만든 짝만 1에 닿습니다. 부등식이 무작위로는 잘 안 빡빡해지고 등호가 특정한 정렬에서만 선다는 것이 숫자로 보입니다.
연습
T(x)=1/(1+x) 를 X=[1/2,1] 위에서 봅니다. T 가 X 를 자기 안으로 보내는 축약임을 보이고 γ 를 구한 뒤, x0=1 에서 오차 10−3 을 사전 경계로 보장하는 가장 작은 n 을 구하세요.
T 는 감소함수라 T([1/2,1])=[1/2,2/3]⊂X 이고, ∣T′(x)∣=1/(1+x)2≤4/9 이므로 γ=4/9 입니다. x1=1/2 이라 d(x1,x0)=1/2 이고 1/(1−γ)=9/5 입니다. (4/9)n×0.9≤10−3 에서 n≥8.39 이니 n=9 입니다. 고정점은 (5−1)/2=0.6180 이고, 실제 오차는 n=7 에서 이미 3.9×10−4 입니다.
T(x)=x2 은 [0,1] 에서 자기 자신으로 가는 사상입니다. 이것이 [0,1] 위의 축약이 아님을 립시츠 상수를 계산하지 않고 보이세요.
02=0, 12=1 이라 고정점이 둘입니다. 축약이면 고정점이 하나뿐이어야 하므로 축약이 아닙니다. [0,0.4] 로 좁히면 ∣x2−y2∣=∣x+y∣∣x−y∣≤0.8∣x−y∣ 이고 [0,0.16] 안으로 보내므로 0.8-축약이 됩니다.
x=(1,1,2) 와 p=3 에서 횔더 부등식의 등호를 만드는 y 를 하나 구하고, 양변이 같음을 확인하세요.
등호 조건 ∣yk∣∝∣xk∣p−1 에서 y=(1,1,4) 입니다. 왼쪽은 1+1+8=10 이고, ∥x∥3=101/3, ∥y∥3/2=(1+1+8)2/3=102/3 이라 오른쪽도 10입니다.
넓이 노름을 준 C[0,1] 에서 시작점의 값 φ(f)=f(0) 이 유계 선형범함수인지 판정하세요. 최댓값 노름에서는 어떤가요.
모든 y∈ℓ2 에서 φy(xn)=y1+yn→y1=φy(e1) 이므로 e1 로 약수렴합니다. 그러나 ∥xn−e1∥2=∥en∥2=1 이라 강수렴하지 않습니다.
이 글이 세운 것은 결국 한 줄을 읽는 도구입니다. 「완비 거리공간 위의 γ-축약은 고정점을 하나 갖고, 반복은 γn 속도로 그리로 간다.」 앞으로 이 정리가 그대로 다시 쓰이는 자리가 셋 있습니다. 「고급 A4 · 확률적 근사」의 Robbins–Monro 수렴, 「고급 A7 · 엔트로피 정규화와 Sinkhorn」의 대각 스케일링 수렴, 「고급 A14 · MDP와 벨만 작용소」의 가치 반복입니다. 셋 모두 공간과 거리를 잘 골라 그 사상이 축약임을 보이는 것이 일의 전부이고, 나머지는 이 글의 증명이 닫습니다. 다음 글 「고급 2번 · 힐베르트 공간과 무한차원 스펙트럼 정리」는 이 글의 바나흐 공간에 내적을 하나 더 얹습니다. 그러면 ℓ2 의 쌍대가 왜 자기 자신인지, 닫힌 부분공간 위의 최적 근사가 왜 언제나 존재하는지가 같은 언어로 섭니다.
갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.