Muon 구현을 열면 옵티마이저의 한가운데에 zeropower_via_newtonschulz5(G) 라는 함수가 있습니다. 모멘텀으로 평균낸 기울기 행렬을 받아 행렬 곱 다섯 번짜리 반복을 돌리고, 특잇값이 전부 1 근처인 행렬을 돌려줍니다. 같은 팀의 다른 프로젝트에서는 순환 신경망의 은닉 가중치를 직교 행렬로 묶어 두고 싶어 하고, 또 다른 프로젝트는 임베딩 벡터를 매 걸음 단위 길이로 다시 정규화합니다. 세 장면 모두 「직교」나 「단위 길이」라는 제약이 등장하는데 하는 일은 다릅니다. Muon은 가중치가 아니라 갱신을 직교화하고, 순환 신경망은 가중치 자체를 직교 행렬의 집합 안에 두려 하며, 임베딩은 구면 위에 머물게 합니다. 걸음마다 정규화하는 것이 올바른 최적화 알고리즘인지, 그렇다면 기울기는 정규화 전에 무엇으로 바꿔야 하는지, 그리고 다섯 번의 반복이 왜 특잇값을 1 근처로 보내고 언제 실패하는지가 이 글의 질문입니다.
지난 글은 Muon의 갱신 이 스펙트럴 노름 아래의 최급강하라는 것을 유도하고, 그 값을 뉴턴–슐츠 반복으로 계산한다는 데서 멈췄습니다. 이 글은 그 반복의 수렴 조건을 계산하고, 그 바깥에서 「직교 행렬들의 집합 위에서 내려가기」를 다양체의 언어로 세웁니다. 도구는 직교와 사영, 회전과 2×2 선형변환, 특잇값 분해, 그리고 힐베르트 공간의 리스 표현입니다.
매끄러운 다양체
차트와 아틀라스
원은 평면 안의 곡선이지만, 원 위에 사는 개미에게는 앞뒤 한 방향뿐인 1차원 세계입니다. 이 「국소적으로는 평평한 처럼 보인다」를 정의로 만든 것이 다양체입니다. 집합 의 일부 를 의 열린 집합으로 일대일 대응시키는 사상 를 차트라 부르고, 전체를 덮는 차트들의 모음을 아틀라스라 부릅니다. 원은 차트 하나로 덮을 수 없습니다. 각도로 펴면 와 가 한 점인데 구간의 양 끝은 두 점이기 때문입니다. 그래서 각도의 범위를 어긋나게 잡은 차트 두 개가 필요합니다.
두 차트가 겹치는 자리에서는 한 차트의 좌표를 다른 차트의 좌표로 바꾸는 전이 사상 이 생깁니다. 원의 예에서는 「 그대로 또는 」입니다. 모든 전이 사상이 무한 번 미분 가능하면 을 매끄러운 다양체라 부르고 를 그 차원이라 부릅니다. 이 조건 덕분에 「다양체 위의 함수가 미분 가능하다」를 어느 차트에서 확인해도 답이 같습니다.
실무에서 만나는 다양체는 대부분 더 쉬운 길로 정의됩니다. 매끄러운 함수 의 영점 집합 에서 야코비안 가 모든 점에서 랭크 이면, 음함수 정리가 차트를 만들어 주어 은 차원 의 매끄러운 다양체가 됩니다. 이렇게 큰 유클리드 공간 안에 앉은 다양체를 매장된 부분다양체라 부릅니다. 단위 구면은 로, 직교 열을 가진 행렬의 집합은 로 정의됩니다.
접공간
다양체 위의 점 를 지나는 매끄러운 곡선 가 이면, 그 속도 를 접벡터라 부릅니다. 에서 가능한 모든 속도의 집합이 접공간 이고, 차원이 다양체와 같은 벡터공간입니다. 매장된 경우에는 계산이 바로 됩니다. 곡선이 다양체 위에 있으므로 이고, 미분하면 이라
입니다. 구면에서는 의 미분이 이므로 접공간은 , 곧 반지름에 수직인 벡터들입니다. 접공간에 수직인 나머지를 법공간이라 부릅니다.
점마다 접공간이 하나씩 붙어 있으므로, 점과 그 점의 접벡터를 쌍으로 모은 도 하나의 다양체가 되고 이를 접다발이라 부릅니다. 차원은 입니다. 최적화 알고리즘이 들고 다니는 상태, 곧 「지금 위치와 지금 모멘텀」은 정확히 접다발의 한 점입니다. 모멘텀은 그 자리의 접공간에 사는 벡터라, 위치가 바뀌면 다른 접공간으로 옮겨 주어야 합니다. 뒤에서 이 일을 벡터 수송이 맡습니다.
미분사상
다양체 사이의 매끄러운 사상 이 있으면, 접벡터도 따라 옮겨집니다. 이면 를 거친 곡선의 속도
로 정의하고, 이 선형사상 을 미분사상이라 부릅니다. 밀어낸다는 뜻에서 푸시포워드라고도 합니다. 유클리드 공간의 야코비안이 하던 일을 그대로 하며 연쇄법칙 도 그대로입니다. 실수값 함수 이면 는 방향의 방향도함수, 곧 수 하나입니다. 이 수를 벡터 하나로 바꾸는 장치가 다음 절의 계량입니다.
리만 계량
내적과 길이
접공간마다 내적 를 하나씩 정하고 그 내적이 점을 따라 매끄럽게 바뀌면, 이 내적의 모음을 리만 계량이라 부르고 계량을 갖춘 다양체를 리만 다양체라 부릅니다. 계량이 있으면 곡선의 길이를 잴 수 있습니다.
두 점을 잇는 곡선 가운데 가장 짧은 길이가 리만 거리입니다. 매장된 부분다양체에는 큰 공간의 내적을 접공간에 그대로 물려주는 유도 계량이 자연스럽고, 이 글의 대부분은 이것을 씁니다. 하지만 계량은 고르는 것입니다. 같은 집합에 다른 계량을 주면 거리도, 뒤의 그래디언트도 바뀝니다. 확률 단체에 피셔–라오 계량을 주는 것이 그 예입니다.
측지선과 지수사상
국소적으로 가장 짧은 곡선을 측지선이라 부릅니다. 매장된 다양체에서 유도 계량을 쓰면 측지선은 가속도 가 늘 법공간에 있는 곡선, 곧 다양체 안쪽으로는 전혀 가속하지 않고 다양체에 붙어 있으려고만 휘는 곡선입니다. 구면에서는 대원이고, 점 에서 접벡터 방향으로 출발하는 측지선은
입니다. 두 번 미분하면 라 가속도가 반지름 방향, 곧 법선 방향입니다. 시간 1에서 측지선이 닿는 점을 로 적고 지수사상이라 부릅니다. 접벡터 하나를 받아 「그 방향으로 그 길이만큼 다양체를 따라 걸어간 점」을 돌려주는 사상입니다.
후퇴
지수사상은 정확하지만 비쌉니다. 스티펠 다양체의 지수사상은 행렬 지수함수를 요구합니다. 최적화에는 1차까지만 맞으면 충분하므로, 다음 두 조건을 만족하는 매끄러운 사상 이면 무엇이든 씁니다.
이것이 후퇴입니다. 접공간에서 한 걸음을 간 뒤 다양체로 「물러서는」 사상이라는 뜻입니다. 구면의 후퇴는 정규화 이고, 첫머리의 「임베딩을 매 걸음 정규화한다」가 정확히 이것입니다. 길이 짜리 접벡터에서 구면의 후퇴와 지수사상을 비교하면, 방향 성분은 과 로 에서야 갈리고, 진행 방향 성분은 과 로 에서 갈립니다. 두 점의 차이가 이라 2차까지 같은 후퇴입니다.
평행 이동
모멘텀을 쓰려면 지난 걸음의 접벡터를 새 점의 접공간으로 옮겨야 합니다. 곡선을 따라 「방향을 바꾸지 않고」 벡터를 옮기는 것, 정확히는 공변 미분이 0이 되게 옮기는 것을 평행 이동이라 부릅니다. 구면에서 대원을 따라 평행 이동하면, 진행 방향과 나란한 성분은 진행 방향과 함께 돌고 수직 성분은 그대로 남습니다. 평면에서는 아무 일도 안 하는 연산이 휜 공간에서는 벡터를 돌린다는 점이 중요합니다. 정확한 평행 이동 역시 비싸서, 실무에서는 새 점의 접공간으로 그냥 사영하는 벡터 수송 를 씁니다. 후퇴가 지수사상의 1차 근사였듯 벡터 수송은 평행 이동의 1차 근사입니다.
행렬 다양체
구면과 스티펠
스티펠 다양체는 직교 정규인 열 개를 가진 행렬의 집합
입니다. 이면 단위 구면이고 이면 직교 행렬 전체입니다. 정의식 는 대칭 행렬의 등식이라 독립인 식이 개이고, 차원은 입니다. 접공간은 정의식을 미분해 얻습니다. 이므로
곧 가 반대칭인 들입니다. 프로베니우스 내적에 대한 직교 사영은
입니다. 확인은 둘입니다. 는 의 반대칭 부분이라 결과가 접공간에 있습니다. 그리고 버린 부분 ( 대칭)는 모든 접벡터와 수직입니다. 에서 대칭 행렬과 반대칭 행렬의 곱의 대각합은 0이기 때문입니다. 구면에서는 이 공식이 로 줄어듭니다.
그라스만
주성분 분석이 찾는 것은 행렬 가 아니라 그 열들이 펼치는 부분공간입니다. 와 ( 는 직교 행렬)는 같은 부분공간을 펼치므로, 스티펠에서 이 둘을 같은 점으로 묶은 몫 가 그라스만 다양체입니다. 차원은 스티펠 차원에서 의 차원 를 뺀 입니다. 계산은 대표 행렬 로 하되, 같은 부분공간 안에서 기저만 돌리는 방향(, 반대칭)을 빼고 남은 수평 방향 만 씁니다. 그 방향으로의 사영은 입니다. 목적함수가 를 만족하면, 곧 기저가 아니라 부분공간에만 의존하면, 스티펠의 리만 그래디언트가 저절로 수평 방향에 놓이므로 두 다양체에서의 계산이 같아집니다. 뒤의 실험이 그 경우입니다.
양정치 행렬
공분산 행렬, Shampoo의 통계 과 , 가우스 분포의 정밀도 행렬은 모두 양정치 행렬의 집합 에 삽니다. 이 집합은 대칭 행렬 공간의 열린 부분집합이라 접공간이 대칭 행렬 전체이고, 다양체로서는 단순합니다. 흥미로운 것은 계량입니다. 유클리드 계량을 쓰면 경계, 곧 고윳값이 0인 특이 행렬까지의 거리가 유한해서, 경사하강이 한 걸음에 집합 밖으로 나갈 수 있습니다. 대신 아핀 불변 계량
을 쓰면 경계가 무한히 멀어지고, 리만 그래디언트가 , 지수사상이 가 됩니다. 행렬 지수함수의 결과는 언제나 양정치이므로 걸음이 집합을 벗어나지 않습니다.
확률 단체
확률 벡터의 집합 의 접공간은 성분의 합이 0인 벡터들입니다. 유클리드 계량에서의 사영은 평균을 빼는 것 입니다. 여기에 피셔–라오 계량 를 주면 리만 그래디언트가
로 바뀝니다. 유도는 한 줄입니다. 합이 0인 모든 에 대해 이려면 이어야 하고, 에서 입니다. 이 흐름은 생물학의 복제자 동역학과 같은 식이고, 근접 연산자와 거울 하강에서 본 지수가중 갱신의 연속 극한입니다. 거울 하강과 계량을 바꾼 리만 경사하강이 같은 이야기를 두 언어로 한 것입니다.
| 다양체 | 집합 | 접공간 | 사영 또는 리만 그래디언트 | 차원 |
|---|---|---|---|---|
| 구면 | ||||
| 스티펠 | 반대칭 | |||
| 그라스만 | 부분공간 | |||
| 양정치 | 대칭 행렬 | |||
| 확률 단체 |
리만 그래디언트
정의
의 미분 는 접공간 위의 선형범함수입니다. 접공간은 계량으로 내적을 갖춘 유한차원 벡터공간이므로, 리스 표현 정리가 이 범함수를 내적으로 쓰게 해 줍니다. 모든 에 대해
를 만족하는 접벡터 가 하나뿐이고, 이것이 리만 그래디언트입니다. 유클리드 공간에서 표준 내적을 쓰면 보통의 그래디언트와 같습니다. 정의에서 보이듯 그래디언트는 미분만으로 정해지지 않고 계량에 기댑니다. 미분은 「방향을 주면 변화율을 돌려주는 것」이고, 그래디언트는 「그 변화율을 가장 크게 만드는 방향」인데 어느 방향이 가장 큰지는 길이를 재는 자가 정하기 때문입니다.
사영 정리
매장된 부분다양체 에 유도 계량을 쓰고, 를 큰 공간의 매끄러운 함수 로 확장할 수 있다고 합시다. 그러면
입니다. 는 위로의 직교 사영입니다. 증명은 세 걸음입니다.
- 접벡터 를 하나 고르고 , 인 다양체 위의 곡선 를 잡습니다. 곡선이 다양체 위에 있으므로 이고, 큰 공간의 연쇄법칙으로 입니다.
- 로 쪼갭니다. 둘째 항은 법공간에 있어 모든 접벡터와 수직이므로 입니다. 유도 계량이라 이 내적이 곧 입니다.
- 따라서 는 접공간에 있으면서 모든 에 대해 정의의 등식을 만족합니다. 그런 벡터가 둘 라면 이 모든 접벡터에 대해 성립하고, 를 넣으면 입니다. 그러니 리만 그래디언트는 입니다.
증명의 1단계에서 쓴 것은 다양체 위의 값뿐이므로, 확장 를 어떻게 골라도 사영한 결과는 같습니다. 확장마다 는 달라도 그 차이는 전부 법선 방향에 있다는 뜻입니다. 실무의 의미는 간단합니다. 자동미분이 돌려주는 유클리드 그래디언트를 받아 접공간에 사영하기만 하면 리만 그래디언트가 됩니다.
계량과 프리컨디셔닝
계량을 바꾸면 무엇이 달라지는지 가장 단순한 경우에서 봅니다. 자체를 다양체로 보고 계량을 로 주면, 정의의 등식이 이고 이것이 모든 에 대해 성립하려면
입니다. 지난 글의 프리컨디셔닝된 갱신 은 계량 아래의 리만 경사하강이었다는 뜻입니다. 「어떤 자로 걸음을 재는가」라는 지난 글의 문장이 이 절의 계량과 같은 말입니다. 계량으로 피셔 정보 행렬을 고르면 이 그래디언트가 자연 그래디언트가 되고, 분포의 공간을 피셔–라오 계량을 갖춘 통계다양체로 보는 이야기는 고급 26번 · 「정보기하와 자연 그래디언트: 분포 공간에서 내려가기」가 이어받습니다. 앞 절의 확률 단체 공식은 그 이야기의 가장 작은 경우입니다.
직교 제약 아래 경사하강
알고리즘
재료가 다 모였습니다. 리만 경사하강은
한 줄이고, 스티펠 다양체에서는 세 단계입니다. 자동미분으로 유클리드 그래디언트 를 구하고, 로 접공간에 사영하고, 한 걸음 간 뒤 후퇴로 돌아옵니다. 당겨온 함수 가 -매끄럽다는 가정 아래에서는 유클리드 경사하강의 비볼록 수렴 보장이 그대로 옮겨 와서, 리만 그래디언트 노름의 최솟값이 로 줄어듭니다.
예제로 대칭 행렬 의 상위 개 고유공간을 찾는 문제 를 봅니다. 유클리드 그래디언트가 이고, 가 대칭이라 리만 그래디언트는
입니다. 이것이 0이면 , 곧 의 열이 펼치는 공간이 에 대해 불변 부분공간입니다. 정상점은 고유공간이고, 최솟값은 가장 큰 고윳값 개 합의 배입니다. 목적함수가 에 불변이므로 실은 그라스만 위의 문제입니다.
극분해 후퇴
스티펠 다양체의 후퇴로 가장 자연스러운 것은 극분해 후퇴입니다. 접공간에서 간 점 를 특잇값 분해 해서 직교 인자 만 남깁니다. 닫힌 꼴도 있습니다. 가 반대칭이므로
이고, 그래서 입니다. 이 직교 인자는 에서 프로베니우스 거리로 가장 가까운 직교 열 행렬입니다. 직교 열 에 대해 이고 앞의 두 항이 고정이므로, 일 때 를 최대화하면 됩니다. 등호는 에서입니다. 이 문제를 직교 프로크루스테스 문제라 부릅니다.
여기서 지난 글과 이 글이 만납니다. 지난 글의 Muon 갱신 은 기울기 행렬의 극분해 직교 인자였습니다. 같은 연산이 한쪽에서는 「스펙트럴 노름 아래의 최급강하 방향」으로, 다른 쪽에서는 「가장 가까운 직교 행렬로 돌아오는 후퇴」로 나타납니다. 앞쪽은 갱신을 직교화하고 뒤쪽은 가중치를 직교화한다는 점이 다릅니다. 극분해 말고도 QR 분해의 를 쓰는 QR 후퇴가 더 싸고, 반대칭 행렬 로 를 계산하는 케일리 후퇴는 직교성을 정확히 보존해서 직교 순환 신경망에서 자주 씁니다. 직교 행렬은 벡터의 길이를 바꾸지 않으므로 순환 신경망의 은닉 상태가 시간을 따라 폭발하거나 사라지지 않는다는 것이 그쪽의 동기입니다.
벡터 수송과 모멘텀
모멘텀을 다양체 위에서 하려면 걸음마다 모멘텀 벡터를 새 접공간으로 옮겨야 합니다. 앞의 벡터 수송을 쓰면 갱신이
가 됩니다. 옮기지 않고 더하면 모멘텀에 법선 성분이 쌓여 다음 걸음이 다양체에서 벗어나는 쪽으로 밀립니다. Adam처럼 좌표마다 나누는 방법은 다양체 위에서 더 까다롭습니다. 좌표축이라는 개념이 접공간마다 다르게 정해져 있어서, 좌표별 스케일링이 다양체의 기하와 맞물리지 않기 때문입니다.
뉴턴–슐츠 반복
특잇값 위의 다항식
극분해의 직교 인자를 매 걸음 특잇값 분해로 구하면 GPU에서 느립니다. 뉴턴–슐츠 반복은 행렬 곱만으로 같은 값에 다가갑니다. 3차 꼴
에서 이면 이라 입니다. 특잇벡터는 그대로이고 특잇값만 스칼라 함수
로 옮겨집니다. 행렬 반복의 수렴이 스칼라 반복의 수렴으로 줄어든 것입니다. 이 함수는 에서 값이 1이고 기울기가 0입니다.
수렴 조건
스칼라 반복을 구간별로 따라갑니다. 이라 는 에서 증가하고 에서 최댓값 1을 가집니다. 이면 이고 이므로 수열은 위로 유계인 증가수열이라 고정점 1로 수렴합니다. 이면 가 에 떨어지고 그다음은 앞의 경우입니다. 에서는 이라 그 방향이 영원히 사라지고, 그보다 크면 값이 음수가 되어 부호가 뒤집힌 로 가거나 발산합니다. 그래서 수렴 조건은
이고, 실무에서는 시작 행렬을 프로베니우스 노름으로 나눕니다. 프로베니우스 노름은 최대 특잇값 이상이므로 모든 특잇값이 1 이하가 되어 조건이 저절로 성립합니다.
수렴 속도는 두 갈래입니다. 1 근처에서는 이라 오차가 제곱으로 줄어드는 이차 수렴입니다. 0 근처에서는 라 매번 1.5배밖에 안 자라고, 특잇값 이 1에서 안으로 오는 데 스무 번이 걸립니다. 작은 특잇값이 병목입니다.
5차 다항식
Muon은 이 병목을 피하려고 고정점의 성질을 일부러 버린 5차 다항식
을 다섯 번 돌립니다. 0 근처의 기울기가 3.44라 작은 특잇값을 3차의 1.5배보다 훨씬 빨리 끌어올립니다. 대가로 이라 1이 고정점이 아니고, 특잇값은 1로 수렴하지 않고 1 근처의 띠 안에서 오르내립니다. 글 끝의 실험에서 의 특잇값이 다섯 번 뒤에 안에 들었고, 같은 다섯 번으로 3차 반복은 을 까지밖에 못 올렸습니다.
정확히 이 아니어도 되는 이유는 최급강하의 관점에서 셈할 수 있습니다. 결과 행렬의 특잇값이 에 있으면 기울기와의 내적은 이상이고 스펙트럴 노름은 이하입니다. 스펙트럴 노름 1당 감소량이 최적값 의 배 이상이라, 방향을 정확히 맞추지 않아도 최적 하강의 6할 이상을 늘 확보합니다. 그 대신 다섯 번의 행렬 곱으로 끝나고 반정밀도에서도 돌아갑니다.
오차 누적
수치적으로 두 종류의 반복을 갈라 보아야 합니다. 뉴턴–슐츠 반복은 끌어당기는 고정점을 향하는 반복이라, 한 번의 반올림 오차가 다음 반복에서 다시 1 쪽으로 당겨집니다. 오차가 쌓이지 않고 스스로 고쳐집니다. 반대로 직교 행렬을 계속 곱하거나 후퇴 없이 걸음을 계속 더하는 계산은 오차를 고칠 장치가 없어서 쌓입니다. 글 끝의 실험에서 64차 직교 행렬을 단정밀도로 열 번 곱하면 직교 오차가 , 만 번이면 이었습니다. 천 배 곱하는 동안 오차가 서른 배 남짓, 곧 대략 횟수의 제곱근으로 자랐으니 반올림 오차가 무작위 걸음처럼 쌓인 것입니다.
후퇴를 빼면 훨씬 빨리 무너집니다. 접공간 사영만 하고 후퇴를 하지 않으면 한 걸음에 만큼 다양체에서 벗어나고, 벗어난 점에서는 사영 공식의 전제 가 이미 틀려 다음 사영이 더 나빠집니다. 처방은 두 가지입니다. 매 걸음 후퇴를 쓰거나, 비용이 문제라면 몇 걸음마다 극분해나 QR로 다시 직교화합니다. 직교화를 QR로 할 때는 하우스홀더 QR을 쓰거나 그람–슈미트를 두 번 돌립니다. 조건이 나쁜 행렬에서 고전적 그람–슈미트는 직교성 오차가 조건수의 제곱에, 수정 그람–슈미트도 조건수에 비례해 커지기 때문입니다.
다시 Muon으로
코드로 확인하기
본문의 주장 다섯을 숫자로 확인합니다. 리만 그래디언트가 사영과 같다는 것, 스티펠 위의 경사하강이 상위 고유공간을 찾는 것, 후퇴를 빼면 직교성이 새는 것, 직교 행렬의 곱에서 반올림 오차가 쌓이는 것, 그리고 뉴턴–슐츠 반복의 수렴 조건과 5차 다항식의 띠입니다.
import numpy as np
rng = np.random.default_rng(0)
sym = lambda M: (M + M.T) / 2
def proj(X, Z): # 스티펠 접공간으로의 사영
return Z - X @ sym(X.T @ Z)
def polar(Y): # 극분해의 직교 인자 = 가장 가까운 직교 행렬
U, _, Vt = np.linalg.svd(Y, full_matrices=False)
return U @ Vt
def ortho_err(X):
return np.linalg.norm(X.T @ X - np.eye(X.shape[1]))
# 1) 리만 그래디언트 = 사영: 다양체 위의 곡선으로 방향도함수를 잰다
n, p = 8, 3
A = rng.standard_normal((n, n)); A = A + A.T
f = lambda X: -0.5 * np.trace(X.T @ A @ X)
egrad = lambda X: -A @ X
X = polar(rng.standard_normal((n, p)))
V = proj(X, rng.standard_normal((n, p))) # 접벡터 하나
t = 1e-6
numeric = (f(polar(X + t * V)) - f(polar(X - t * V))) / (2 * t)
print(f"곡선을 따라 잰 미분 {numeric:.6f} <P(∇f), V> {np.sum(proj(X, egrad(X)) * V):.6f}")
# 2) 스티펠 위의 경사하강: 상위 고유공간 찾기
X = polar(rng.standard_normal((n, p)))
for k in range(301):
G = proj(X, egrad(X))
if k in (0, 30, 100, 300):
print(f"걸음 {k:3d}: f = {f(X):9.5f} |grad| = {np.linalg.norm(G):.2e} 직교 오차 {ortho_err(X):.1e}")
X = polar(X - 0.05 * G)
print(f"고윳값 위 세 개 합의 −1/2 배 {-0.5 * np.sort(np.linalg.eigvalsh(A))[-3:].sum():9.5f}")
# 3) 후퇴를 빼면 직교성이 샌다: 잡음 섞인 기울기로 삼백 걸음
for name, step in [("유클리드 걸음", lambda X, Z: X - 0.05 * Z),
("사영만", lambda X, Z: X - 0.05 * proj(X, Z)),
("사영 + 극분해", lambda X, Z: polar(X - 0.05 * proj(X, Z)))]:
r = np.random.default_rng(1)
X = polar(r.standard_normal((n, p)))
errs = []
for k in range(1, 301):
X = step(X, r.standard_normal((n, p)))
if k in (1, 10, 100, 300):
errs.append(f"{ortho_err(X):.1e}")
print(f"{name:10s} 직교 오차 1·10·100·300 걸음: {' '.join(errs)}")
# 4) 직교 행렬을 float32 로 계속 곱하면
Q = np.eye(64, dtype=np.float32)
for k in range(1, 10001):
R = polar(rng.standard_normal((64, 64))).astype(np.float32)
Q = Q @ R
if k in (10, 1000, 10000):
print(f"float32 곱 {k:5d}번: 직교 오차 {ortho_err(Q.astype(np.float64)):.1e}")
# 5) 뉴턴–슐츠: 특잇값의 지도와 수렴 조건
cubic = lambda s: 1.5 * s - 0.5 * s ** 3
quintic = lambda s: 3.4445 * s - 4.7750 * s ** 3 + 2.0315 * s ** 5
for s0 in [0.001, 0.5, 1.5, 2.0, 2.5]:
s = s0
for _ in range(25):
s = cubic(s)
if abs(s) > 1e6: break
print(f"3차 반복 25번: {s0:5.3f} → {s:.4g}")
for lo in [0.001, 0.01]:
s = np.linspace(lo, 1, 1000)
for _ in range(5):
s = quintic(s)
print(f"5차(Muon 계수) 5번: [{lo}, 1] → [{s.min():.3f}, {s.max():.3f}]")
s = np.linspace(0.001, 1, 1000)
for _ in range(5):
s = cubic(s)
print(f"3차 5번: [0.001, 1] → [{s.min():.3f}, {s.max():.3f}]")
곡선을 따라 잰 미분 7.468130 <P(∇f), V> 7.468130
걸음 0: f = 2.38262 |grad| = 4.36e+00 직교 오차 3.5e-16
걸음 30: f = -3.72674 |grad| = 1.90e-01 직교 오차 1.3e-15
걸음 100: f = -3.80638 |grad| = 1.18e-01 직교 오차 2.0e-16
걸음 300: f = -3.83249 |grad| = 5.79e-03 직교 오차 6.1e-16
고윳값 위 세 개 합의 −1/2 배 -3.83254
유클리드 걸음 직교 오차 1·10·100·300 걸음: 2.4e-01 8.7e-01 4.3e+00 1.4e+01
사영만 직교 오차 1·10·100·300 걸음: 3.9e-02 2.8e-01 2.3e+00 3.8e+00
사영 + 극분해 직교 오차 1·10·100·300 걸음: 2.0e-15 1.5e-15 1.4e-15 1.4e-15
float32 곱 10번: 직교 오차 5.2e-06
float32 곱 1000번: 직교 오차 5.4e-05
float32 곱 10000번: 직교 오차 1.7e-04
3차 반복 25번: 0.001 → 1
3차 반복 25번: 0.500 → 1
3차 반복 25번: 1.500 → 1
3차 반복 25번: 2.000 → -1
3차 반복 25번: 2.500 → 5.428e+11
5차(Muon 계수) 5번: [0.001, 1] → [0.471, 1.202]
5차(Muon 계수) 5번: [0.01, 1] → [0.682, 1.134]
3차 5번: [0.001, 1] → [0.008, 1.000]
읽을 것은 다섯입니다. 첫째, 다양체 위의 곡선을 따라 잰 방향도함수와 사영한 그래디언트의 내적이 여섯 자리까지 같습니다. 사영 정리가 숫자로 맞은 것입니다. 둘째, 극분해 후퇴로 300걸음을 가자 목적함수가 로 고윳값으로 계산한 에 닿았고, 직교 오차는 내내 수준입니다. 셋째, 같은 무작위 기울기로 후퇴 없이 걸으면 유클리드 걸음은 한 걸음 만에 오차 0.24, 사영만 한 걸음도 열 걸음에 0.28, 백 걸음에 2.3으로 다양체를 떠납니다. 사영이 1차 이탈을 막아도 2차 이탈이 쌓이는 것입니다. 넷째, 단정밀도 직교 행렬의 곱은 횟수의 제곱근 속도로 오차가 쌓입니다. 다섯째, 3차 반복은 안쪽의 0.001·0.5·1.5를 전부 1로 보냈고, 2.0은 부호가 뒤집힌 로, 2.5는 발산했습니다. 5차 다항식은 다섯 번에 을 로 모았지만, 0.001처럼 아주 작은 특잇값이 섞이면 아래 끝이 0.471로 내려갑니다.
연습
와 의 차원을 구하세요.
스티펠은 이고, 그라스만은 입니다. 차이 1이 회전 하나의 자유도입니다.단위 구면 위의 점 에서 벡터 을 접공간에 사영하세요.
이라 입니다., 일 때 스티펠 접공간으로의 사영 를 구하고 접공간 조건을 확인하세요.
의 대칭 부분은 이고, 이를 에 곱해 빼면 입니다. 이 반대칭이라 접공간에 있습니다.원 위의 점 에서 길이 0.3인 접벡터 에 대해 지수사상과 정규화 후퇴의 결과를 각각 구하고 두 점의 거리를 과 비교하세요.
지수사상은 , 후퇴는 입니다. 거리는 0.0085로 와 같은 크기입니다.확률 단체의 점 에서 유클리드 그래디언트가 일 때 피셔–라오 계량의 리만 그래디언트를 구하세요.
이므로 입니다. 성분의 합이 0이라 접공간에 있습니다.양정치 행렬 에서 대칭인 유클리드 그래디언트가 일 때 아핀 불변 계량의 리만 그래디언트를 구하세요.
는 성분마다 를 곱하므로 입니다.원 위의 점 과 접벡터 에 극분해 후퇴 공식 를 적용하세요.
라 입니다. 원 위의 점이고, 에서는 정규화 후퇴와 같습니다.특잇값 0.1에서 3차 뉴턴–슐츠 반복을 몇 번 해야 처음으로 0.9를 넘나요.
라 일곱 번입니다. 처음 몇 번은 거의 1.5배씩 자라고 1에 가까워질수록 빨라집니다.Muon의 5차 다항식에서 을 계산하고, 그것이 반복의 고정점에 대해 무엇을 말하는지 답하세요.
이라 1은 고정점이 아닙니다. 특잇값이 1에 정확히 모이지 않고 1 근처의 띠에서 오르내리도록 일부러 설계한 계수입니다.
첫머리의 세 장면으로 돌아갑니다. 임베딩을 매 걸음 정규화하는 것은 구면 위의 후퇴이고, 정규화하기 전에 기울기에서 반지름 방향 성분을 빼면 그것이 리만 경사하강입니다. 빼지 않아도 정규화가 그 성분을 대부분 지우지만, 모멘텀이 있으면 그 성분이 쌓여 걸음을 왜곡합니다. 순환 신경망의 가중치를 직교 행렬로 묶어 두려면 스티펠 다양체 위에서 사영과 후퇴를 쓰고, 오래 학습할수록 반올림 오차가 쌓이므로 가끔 다시 직교화합니다. Muon의 뉴턴–슐츠 반복은 가중치가 아니라 갱신을 스티펠 근처로 보내는 일이고, 특잇값이 안쪽이면 수렴하며 5차 계수는 정확한 직교성 대신 속도를 고른 것입니다. 가중치를 스티펠 위에 두고 그 접공간 안에서 스펙트럴 노름 최급강하를 하는 변형도 제안되어 있는데, 이 글의 사영·후퇴와 지난 글의 노름 최급강하를 합친 것입니다.
읽어주셔서 감사합니다. 😊

