세 가지 안정화 기법이 각각 다른 이름으로 불립니다. 순환망에서는 그래디언트 클리핑의 임계값을 정하고, GAN 판별자에서는 스펙트럼 정규화를 켜고, 강건성 논문에서는 립시츠 제약을 겁니다. 라이브러리도 다르고 걸리는 자리도 다릅니다.
그런데 셋이 재는 것은 같은 수 하나입니다. «이 행렬이 벡터를 최대 몇 배까지 늘릴 수 있는가» — 이 질문의 답이 세 기법의 공통 언어입니다.
지난 글에서 프로베니우스 노름과 스펙트럼 노름을 «행렬 사이의 거리를 재는 두 자»로 빌려 쓰고 성질은 미뤄 두었습니다. 이 글이 그 빚을 갚습니다.
유도 노름과 σ_max
유도 노름
벡터의 길이를 재는 노름은 이미 노름과 거리에서 세웠습니다. 행렬에도 그런 자가 필요한데, 행렬은 그 자체가 «벡터를 벡터로 보내는 장치»라 자연스러운 정의가 하나 있습니다 — 가장 많이 늘어나는 정도를 재는 것입니다.
정의. 벡터 노름 이 주어졌을 때
를 그 벡터 노름이 유도한 노름이라고 한다.
두 번째 등호는 분수를 «길이 1로 맞춰 놓고 재기»로 바꾼 것입니다. 를 두 배로 늘리면 분자와 분모가 함께 두 배가 되어 비가 그대로이므로, 길이 1인 것만 봐도 됩니다. 곧 유도 노름은 벡터의 자를 하나 골라 두고, 그 자로 잰 입력 길이 대비 출력 길이의 최대 배율을 행렬의 크기로 삼는 것입니다.
이것이 노름이라고 불릴 자격이 있는지부터 확인합니다. 벡터 노름이 갖춰야 했던 세 조건을 행렬에 그대로 요구합니다.
- 0일 때만 0 — 이면 0이 아닌 열이 하나 있고, 그 열을 뽑는 표준기저 를 넣으면 이므로 최댓값이 0보다 큽니다.
- 상수배 — 이므로 최댓값도 배가 됩니다.
- 삼각부등식 — 길이 1인 아무 에서 이고, 왼쪽의 최댓값도 이 상한을 못 넘습니다.
셋 다 벡터 노름의 성질을 한 번씩 빌려 쓴 것뿐입니다. 덤으로 하나가 더 따라옵니다 — 단위행렬은 아무것도 늘리지 않으므로 어떤 벡터 노름에서 유도했든 입니다. 이 사실이 뒤에서 판정 도구가 됩니다.
스펙트럼 노름
노름에서 유도된 것을 스펙트럼 노름이라 하고 로 적습니다. 지난 두 글의 그림 — 어떤 행렬이든 단위원을 타원으로 보낸다 — 이 이미 답을 말하고 있습니다. 길이 1인 벡터가 갈 수 있는 가장 먼 곳은 타원의 긴 반지름이고 그것이 입니다. 특잇값 분해로 확인합니다.
가 직교행렬이라 길이를 바꾸지 않으므로 지웠습니다. 로 두면 이것도 직교행렬이라 이고,
이 가장 크므로 각 항의 계수를 으로 키운 것이고, 괄호 안은 입니다. 그리고 일 때, 즉 일 때 등호가 성립합니다.
최댓값이 실제로 도달된다는 점이 중요합니다. 상한이 아니라 정확한 값이고, 그 값을 내는 입력 방향이 이라는 것까지 알려 줍니다. 이름에 '스펙트럼'이 붙은 것은 이 값이 의 스펙트럼 — 고윳값 전체 — 의 최댓값에서 나오기 때문입니다. 식으로 적으면 입니다.
1-노름과 ∞-노름
벡터의 자를 이나 로 바꾸면 유도 노름이 달라지고, 놀랍게도 둘 다 특잇값 없이 성분만 보고 바로 나옵니다. 이 유도한 1-노름은 각 열의 절댓값 합 가운데 가장 큰 것, 곧 최대 열합이고, 가 유도한 ∞-노름은 최대 행합입니다.
1-노름 쪽을 보면 이유가 짧습니다. 로 열의 조합이니 이고, 가장 큰 열 하나만 뽑는 에서 등호가 됩니다. 단위공의 꼭짓점이 표준기저이므로 최대가 꼭짓점에서 나는 것입니다. ∞-노름은 반대로 한 행을 붙잡습니다 — 단위공의 꼭짓점은 성분이 전부 인 벡터이고, 그 부호를 어떤 행의 부호와 맞추면 그 행의 절댓값 합이 그대로 출력 성분 하나가 됩니다.
이 둘로 스펙트럼 노름에 상한을 공짜로 겁니다.
증명에는 곱의 노름을 노름의 곱으로 누르는 성질이 한 번 쓰이므로, 그 성질을 세우는 「부분곱셈성」 절에서 마저 봅니다. 값이 어떻게 나오는지는 바로 아래 손계산에서 확인합니다 — 거대한 행렬에서 특잇값 분해를 돌리기 전에 덧셈만으로 스펙트럼 노름의 크기를 가늠할 수 있다는 것이 이 부등식의 쓸모입니다.
프로베니우스 노름과 손계산
프로베니우스 노름
다른 자도 하나 있습니다. 행렬을 길게 편 벡터로 보고 그 길이를 재는 것입니다.
이것을 프로베니우스 노름이라고 합니다. 유도 노름이 아니라 성분을 직접 세는 방식이라 계산이 훨씬 싸고, 그래서 실무에서 «행렬이 얼마나 큰가»를 대충 볼 때 가장 많이 쓰입니다. 가중치 감쇠가 더하는 벌점 도 층마다 보면 이 노름의 제곱입니다.
이 값도 특잇값으로 표현됩니다. 의 성분이 번 열의 제곱합이므로 대각합이 곧 모든 성분의 제곱합입니다.
그리고 「고윳값의 합은 대각합」이라는 관계에서 입니다.
두 노름은 같은 특잇값 목록을 다르게 요약합니다. 스펙트럼 노름은 가장 큰 하나만 보고, 프로베니우스 노름은 전부를 모읍니다. 그래서 부등식이 바로 나옵니다 — 랭크를 이라 하면
왼쪽은 «전부 모은 것이 하나보다 크다», 오른쪽은 «전부가 최대치여도 배까지»입니다. 왼쪽의 등호는 랭크 1일 때, 오른쪽의 등호는 특잇값이 전부 같을 때 성립합니다.
손계산
지난 두 글에서 쓴 로 네 노름을 전부 구합니다. 특잇값은 와 였습니다.
스펙트럼 노름은 큰 쪽 하나입니다.
프로베니우스 노름은 두 방법으로 구해 맞춰 봅니다. 성분을 직접 세면
특잇값으로 구하면 으로 같습니다. 15번 글에서 검산으로 써 놓고 이유를 미뤄 둔 관계가 이것이었습니다. 랭크가 2이므로 부등식도 확인됩니다.
1-노름과 ∞-노름은 더하기만 합니다. 열합은 과 이므로 , 행합은 이므로 입니다. 상한은 이고, 실제 보다 18% 큽니다. 분해 없이 얻은 것치고는 가깝습니다.
비유도 노름
프로베니우스 노름은 어떤 벡터 노름에서도 유도되지 않습니다. 판정은 앞에서 챙겨 둔 한 줄로 끝납니다 — 유도 노름이면 반드시 인데,
이면 1이 아닙니다. 단위행렬이면 약 22.6입니다. 아무것도 늘리지 않는 행렬을 22.6이라고 재는 자이니, «최대 배율»이라는 해석이 프로베니우스 노름에는 없습니다. 특잇값으로 보면 당연합니다 — 단위행렬의 특잇값은 1이 개이고, 프로베니우스 노름은 그 전부를 모읍니다.
그런데도 다음 절의 부분곱셈성 은 만족합니다. 의 성분은 의 행 와 의 열 의 내적이므로 코시-슈바르츠 부등식으로 이고, 모든 에 대해 더하면
두 줄입니다. 그래서 프로베니우스 노름도 층을 쌓은 상한을 잡는 데 쓸 수는 있지만, 스펙트럼 노름보다 언제나 크거나 같으므로 더 헐거운 상한이 됩니다.
핵 노름
같은 특잇값 목록을 요약하는 방법이 하나 더 있습니다. 제곱 없이 그대로 더한 을 핵 노름이라고 합니다. 위의 라면 입니다. 벡터에 비유하면 특잇값 목록의 가 스펙트럼 노름, 가 프로베니우스 노름, 이 핵 노름입니다.
이 세 번째 요약이 쓸모 있는 이유는 랭크와의 관계입니다. 랭크는 0이 아닌 특잇값의 개수라 특잇값 목록의 «»인데, 개수를 직접 줄이는 최적화는 볼록하지 않아 풀기 어렵습니다. 벡터에서 0이 아닌 성분 개수 대신 을 벌점으로 거는 것처럼, 행렬에서는 랭크 대신 핵 노름을 벌점으로 걸면 볼록한 문제가 됩니다. 어려운 문제를 풀 수 있는 볼록 문제로 바꾸는 이 대체를 볼록 완화라고 부르고, 빈칸이 많은 평점 행렬을 저랭크로 채우는 추천 시스템의 행렬 완성이 이 방법을 씁니다. 지난 글의 LoRA가 랭크를 로 못 박아 두는 방식이었다면, 핵 노름은 랭크를 벌점으로 부드럽게 누르는 방식입니다.
부분곱셈성
스펙트럼 노름의 곱
행렬 노름에는 벡터 노름에 없는 성질이 하나 있습니다. 곱의 노름이 노름의 곱을 넘지 않는다는 를 부분곱셈성이라고 합니다.
스펙트럼 노름에서는 정의만으로 두 줄입니다. 어떤 에 대해서든
유도 노름의 정의가 « 가 모든 에 성립한다»는 말과 같으므로, 그것을 두 번 쓴 것뿐입니다. 같은 논리가 어떤 유도 노름에서도 통합니다.
앞에서 미뤄 둔 상한 가 이것으로 풀립니다. 먼저 이면 이므로 고윳값의 절댓값은 어떤 유도 노름도 넘지 못합니다. 이것을 에 1-노름으로 쓰고 부분곱셈성을 붙이면
마지막 등호는 전치하면 열이 행이 되어 최대 열합이 최대 행합으로 바뀐다는 것입니다.
부분곱셈성에서 요점은 등호가 아니라 부등호라는 데 있습니다. 가 가장 크게 늘리는 방향과 가 결과를 내놓는 방향이 다르면 곱은 예측보다 작아집니다. 숫자로 봅니다.
| 값 | |
|---|---|
| 1.500 | |
| 1.373 | |
| 곱의 상한 | 2.060 |
| 실제 | 1.837 |
두 층만으로도 상한이 실제보다 12% 큽니다.
층별 상한
이 여유는 층마다 곱해집니다. 무작위 행렬을 성분 분산이 이 되게 뽑아 스무 개를 차례로 곱해 봅니다. 층 하나의 스펙트럼 노름은 2 안팎이므로 층별 노름의 곱은 층마다 대략 두 배씩 불어납니다. 그런데 곱해진 행렬의 실제 스펙트럼 노름은 3~4 근처에서 좀처럼 움직이지 않습니다.
열 층이면 층별 곱이 817인데 실제는 3.70이라 상한이 실제의 221배이고, 스무 층이면 636,752 대 3.08로 20만 배를 넘습니다. 이유는 앞의 두 층 예와 같습니다 — 한 층이 가장 크게 늘리는 방향 을 앞 층의 출력이 정확히 겨냥할 까닭이 없고, 무작위 층끼리는 그 방향이 거의 늘 어긋납니다. 층별 곱은 모든 층의 최악이 한 줄로 맞춰지는 경우를 가정한 값이라, 깊을수록 그런 일이 일어날 확률과 멀어집니다.
그래서 층별 노름의 곱은 강건성을 «증명»할 때는 쓸 수 있어도 실제 모델이 얼마나 민감한지를 «추정»하는 데는 쓸모가 없습니다. 그래도 상한이라는 점은 변하지 않아서, 층마다 노름을 1 이하로 묶으면 전체도 1 이하가 보장됩니다. 뒤에서 볼 스펙트럼 정규화가 기대는 것이 이 방향입니다.
스펙트럼 반지름
13번 글의 스펙트럼 반지름 , 곧 고윳값 절댓값의 최댓값과 헷갈리기 쉬우니 구별해 둡니다. 바로 위에서 보았듯 는 항상 성립하고 대칭 행렬에서는 등호가 되지만, 일반적으로는 다릅니다 — 전단 이 인데 이었던 것이 그 예입니다.
부분곱셈성은 를 주지만, 같은 행렬을 거듭 곱할 때 실제로 커지는 속도는 가 정합니다. 전단을 스무 번 곱하면 인데 상한 은 약 15,127입니다. 전단의 거듭제곱은 이라 에 비례해 느리게 자랄 뿐이고, 이 말하는 대로 지수적으로 터지지는 않습니다. 는 반복 곱셈의 장기 운명을, 는 한 번 통과할 때의 최대 증폭을 말합니다.
립시츠 상수
립시츠 조건
이제 첫머리로 돌아옵니다. 함수 가 입력의 차이를 최대 배까지만 벌린다는 조건을 립시츠 조건이라 하고, 그런 중 가장 작은 것을 립시츠 상수라고 합니다.
선형층 에 넣어 보면 계산이 한 줄에 끝납니다.
그리고 가 방향일 때 등호가 성립하므로 이보다 작은 은 없습니다.
«가장 크게 늘리는 배율»과 «차이를 벌리는 최대 비율»이 같은 수였습니다. 하나는 벡터 하나를 넣어 재고 다른 하나는 두 입력의 차이를 재는데, 선형이라 그 둘이 같은 것을 묻습니다.
층을 쌓으면 부분곱셈성이 그대로 립시츠 상수에 적용됩니다. ReLU·시그모이드·탄젠트 같은 흔한 활성함수는 기울기의 절댓값이 1을 넘지 않아 립시츠 상수가 1 이하이므로, 전체 상수는 선형층의 스펙트럼 노름들의 곱으로 묶입니다.
여기서 세 기법이 한 줄에 놓입니다.
| 기법 | 실제로 하는 일 | 노름으로 말하면 |
|---|---|---|
| 그래디언트 클리핑 | 기울기 벡터의 크기가 임계값을 넘으면 줄인다 | 벡터의 노름에 상한을 건다 |
| 스펙트럼 정규화 | 가중치를 로 바꿔 쓴다 | 층의 립시츠 상수를 1로 고정한다 |
| 립시츠 제약 | 전체 함수가 입력 변화를 못 키우게 한다 | 층별 스펙트럼 노름의 곱을 묶는다 |
그래디언트 클리핑
그래디언트 클리핑은 기울기 벡터 의 길이가 임계값 를 넘을 때만 길이를 로 줄이는 조작입니다.
이면 곱하는 수가 1이라 그대로 두고, 넘으면 를 곱해 길이가 정확히 가 됩니다. 곱하는 수가 언제나 양수이므로 방향은 바뀌지 않고 크기만 잘립니다. 에 이면 라 이 되고, 이것은 원래 벡터와 같은 방향의 길이 1짜리입니다.
성분마다 로 자르는 방식과 비교하면 차이가 드러납니다. 같은 가 이 되어 방향이 틀어집니다 — 손실을 가장 빨리 줄이는 방향이라는 기울기의 뜻이 사라지는 셈입니다. 노름으로 자르는 쪽이 표준이 된 이유가 이것입니다. 순환망에서 기울기가 터지는 까닭도 같은 언어로 읽힙니다 — 시간 단계마다 같은 가중치 행렬을 거꾸로 곱해 나가므로, 그 행렬이 늘리는 방향이 있으면 기울기 길이가 단계 수만큼 거듭제곱으로 불어날 수 있습니다.
스펙트럼 정규화
스펙트럼 정규화는 가중치를 쓰기 직전에 로 나누는 조작입니다. 이므로 가장 큰 특잇값이 정확히 1이 되고 나머지는 전부 1 이하로 눌립니다. 방향의 비율은 그대로 두고 전체 배율만 1에 맞추는 것입니다. GAN 판별자에 이것을 거는 이유는 판별자의 출력이 입력의 작은 변화에 급하게 튀지 않아야 생성자에게 쓸 만한 기울기가 전달되기 때문입니다.
대가도 같은 식에서 읽힙니다. 모든 특잇값이 1 이하이면 그 층은 어떤 방향으로도 입력을 늘리지 못합니다. 층을 몇 개 쌓든 전체 립시츠 상수가 1 이하이므로, 어딘가에서 기울기가 5인 함수가 필요해도 그것을 표현할 수 없습니다. 게다가 나눗셈은 모든 특잇값을 같은 비율로 줄이므로 원래 작던 특잇값은 더 작아져, 층을 거칠수록 신호가 점점 약해질 수 있습니다. 판별자처럼 민감도를 누르는 것이 목적인 자리에서는 이것이 원하는 성질이지만, 분류기에 그대로 걸면 표현력이 줄어듭니다.
편향과 정규화 층
층별 곱 가 전체를 묶으려면 모든 부품이 그 식 안에 들어와야 합니다. 들어오지 않는 것이 몇 있습니다.
- 편향 — 의 두 입력 차이를 구하면 가 지워지므로 립시츠 상수에는 영향이 없습니다. 대신 출력의 크기는 편향이 얼마든지 옮기므로, 스펙트럼 노름은 민감도를 묶을 뿐 출력 값을 묶지 않습니다.
- 정규화 층 — 추론 때의 배치 정규화는 채널마다 를 곱하는 고정된 변환이라 그 배율이 1을 넘을 수 있고, 곱에 따로 넣어야 합니다. 층 정규화는 입력의 표준편차로 나누므로 입력이 거의 상수이면 배율이 작은 에만 막혀 매우 커지고, 곱에 넣을 만한 작은 상수가 없습니다.
- 잔차 연결 — 의 립시츠 상수는 까지 갑니다. 를 1로 묶어도 블록 하나가 2배까지 늘릴 수 있습니다.
점곱 어텐션도 전역적으로 립시츠가 아니라는 결과가 알려져 있습니다. 그래서 트랜스포머 전체의 립시츠 상수를 층별 곱으로 묶으려는 시도는 이 부품들을 먼저 바꿔 끼우는 데서 시작합니다.
거듭제곱법과 조건수
거듭제곱법
스펙트럼 정규화는 매 학습 스텝마다 를 알아야 합니다. 그런데 행렬의 특잇값 분해를 스텝마다 돌리는 것은 불가능합니다.
여기서 13번 글의 거듭제곱법이 돌아옵니다. 은 의 최대 고윳값이므로 곱셈만으로 얻을 수 있습니다. 로 실제로 돌려 봅니다.
| 추정 | |
|---|---|
| 1 | 2.624 |
| 2 | 6.084 |
| 3 | 6.6990 |
| 4 | 6.70809 |
| 5 | 6.708203 |
무작위 벡터에서 출발했는데도 참값 에 다섯 스텝 만에 소수점 다섯 자리까지 붙었습니다. 수렴 속도가 이라 빠릅니다 — 원래 행렬의 갭이 인데, 제곱해서 보므로 갭도 제곱되어 유리해집니다.
실무의 스펙트럼 정규화는 여기서 한 걸음 더 갑니다. 매 스텝 수렴할 때까지 돌리는 대신 벡터를 파라미터 옆에 들고 있으면서 스텝마다 한 번씩만 갱신합니다. 가중치가 한 스텝에 조금밖에 안 변하니 지난 스텝의 추정이 이미 거의 맞고, 반복 한 번이면 따라잡힙니다. 행렬-벡터 곱 두 번으로 스펙트럼 노름을 유지하는 셈이고, 이것이 큰 모델에서 이 기법을 쓸 수 있게 만든 지점입니다.
조건수
가장 큰 특잇값만으로는 모자랄 때가 있습니다. 가장 큰 것과 가장 작은 것의 비 을 조건수라고 하며, 연립방정식 를 풀 때 의 상대 오차가 해에서 최대 몇 배로 불어나는지를 말합니다. 조건수는 노름 둘의 곱으로도 적힙니다. 정사각 가역행렬 의 역행렬은 이라 특잇값이 이고, 그중 가장 큰 것은 입니다.
로 확인합니다. 대칭이라 특잇값이 고윳값 4와 2이고 입니다. 역행렬은 이고 그 고윳값은 과 이므로 입니다. 곱하면 로 와 같습니다. 정사각형이 아닌 도 유사역행렬로 같은 값을 정의하며, 위의 행렬은 입니다.
역거듭제곱법
거듭제곱법은 가장 큰 것만 줍니다. 가장 작은 특잇값이 필요하면 뒤집어서 찾습니다. 의 고윳값은 이라 가장 큰 것이 이므로, 이 행렬에 거듭제곱법을 쓰면 쪽 방향으로 벡터가 붙습니다. 이것을 역거듭제곱법이라고 합니다. 실제로는 역행렬을 만들지 않고 스텝마다 를 풀어 를 얻습니다. 곱셈 대신 연립방정식 풀이가 들어가므로 한 스텝이 더 비싸지만, 조건수를 재려면 이 값이 필요합니다.
갭과 수렴
거듭제곱법이 빨랐던 것은 과 가 멀었기 때문입니다. 스텝마다 쪽 성분이 배씩 줄어드므로, 두 값이 붙어 있으면 이 비가 1에 가까워 좀처럼 줄지 않습니다. 특잇값을 으로 맞춘 행렬로 돌리면 다섯 스텝 뒤 추정값은 0.998인데 벡터와 의 코사인은 0.950에 불과하고, 스무 스텝이어도 0.984입니다. 백 스텝을 돌아야 추정값이 0.999999가 됩니다.
추정값은 한쪽으로만 틀립니다. 길이 1인 벡터에 대한 가 언제나 이하이기 때문입니다. 그래서 거듭제곱법의 추정은 항상 실제보다 작고, 스펙트럼 정규화로 나눈 가중치의 노름은 1보다 조금 클 수 있습니다. 갭이 작은 행렬에서 벡터까지 필요하면 시작 벡터를 여러 개 잡아 함께 돌리고 스텝마다 서로 직교하게 맞춥니다. 이렇게 하면 위쪽 둘을 한 덩어리로 잡으므로 느린 비 대신 셋째와의 비 가 속도를 정하고, 덩어리 안의 둘은 마지막에 짜리 작은 문제로 정확히 가릅니다.
코드로 확인하기
네 노름
import numpy as np
A = np.array([[3., 0], [4, 5], [0, 0]])
for p in [1, 2, np.inf, 'fro', 'nuc']:
print(p, np.linalg.norm(A, p))
# 1 7.0
# 2 6.70820393249937
# inf 9.0
# fro 7.0710678118654755
# nuc 8.94427190999916
print(np.sqrt(np.linalg.norm(A, 1) * np.linalg.norm(A, np.inf))) # 7.9372539331937721-노름과 ∞-노름이 손으로 구한 7과 9이고, 스펙트럼 노름은 그 둘로 만든 상한 7.937 아래에 있습니다. 핵 노름 8.944는 두 특잇값의 합입니다. 단위행렬로는 프로베니우스 노름이 유도 노름이 아님을 눈으로 봅니다.
for n in [2, 4, 512]:
I = np.eye(n)
print(n, np.linalg.norm(I, 2), np.linalg.norm(I, 'fro'))
# 2 1.0 1.4142135623730951
# 4 1.0 2.0
# 512 1.0 22.627416997969522부분곱셈성과 립시츠
W1 = np.array([[1.5, 0], [0, 0.8]])
W2 = np.array([[1.2, 0.4], [0, 1.1]])
print(np.linalg.norm(W2 @ W1, 2), # 1.8365502591024236
np.linalg.norm(W1, 2) * np.linalg.norm(W2, 2)) # 2.060125551410637
print(np.linalg.norm(W2 @ W1, 'fro'), # 2.0289898964755837
np.linalg.norm(W1, 'fro') * np.linalg.norm(W2, 'fro')) # 2.8497192844208357
rng = np.random.default_rng(0)
P, bound = np.eye(64), 1.0
for k in range(1, 21):
W = rng.standard_normal((64, 64)) / np.sqrt(64)
P, bound = W @ P, bound * np.linalg.norm(W, 2)
if k in (1, 5, 10, 20):
print(k, f'{bound:10.2f} {np.linalg.norm(P, 2):7.3f} {bound / np.linalg.norm(P, 2):8.1f}')
# 1 2.01 2.005 1.0
# 5 27.55 3.021 9.1
# 10 817.06 3.697 221.0
# 20 636751.77 3.082 206614.1프로베니우스 노름의 곱 2.850은 스펙트럼 노름의 곱 2.060보다 더 헐겁습니다. 립시츠 상수가 정말 인지는 무작위로 두들겨 보면 됩니다.
rng = np.random.default_rng(1)
best = max(np.linalg.norm(A @ x) / np.linalg.norm(x)
for x in rng.standard_normal((200_000, 2)))
print(best, np.linalg.norm(A, 2))
# 6.708203932113659 6.70820393249937 — 20만 번 찔러도 못 넘는다추정과 조건수
def sigma_max(M, steps=5, seed=0):
G = M.T @ M
x = np.random.default_rng(seed).standard_normal(M.shape[1])
for _ in range(steps):
x = G @ x
x = x / np.linalg.norm(x)
return np.sqrt(x @ G @ x) # 레일리 몫의 제곱근
def sigma_min(M, steps=20, seed=0):
G = M.T @ M
x = np.random.default_rng(seed).standard_normal(M.shape[1])
for _ in range(steps):
x = np.linalg.solve(G, x) # 역행렬 대신 연립방정식
x = x / np.linalg.norm(x)
return np.sqrt(x @ G @ x)
print(sigma_max(A), np.linalg.norm(A, 2)) # 6.708202533650214 6.70820393249937
print(sigma_min(A), np.linalg.cond(A)) # 2.2360679774997894 3.000000000000001
W = np.array([[3., 1], [1, 3]])
print(np.linalg.norm(W, 2) * np.linalg.norm(np.linalg.inv(W), 2), # 2.000000000000001
np.linalg.cond(W)) # 2.0000000000000004
print(np.linalg.norm(W / np.linalg.norm(W, 2), 2)) # 0.9999999999999997sigma_max 의 마지막 줄 는 길이 1인 에 대한 이차형식이라, 14번 글의 «고유기저에서 » 그대로입니다. 가 최대 고유벡터에 붙었으면 그 값이 이 되고, 덜 붙었으면 조금 모자랍니다 — 다섯 스텝의 추정 6.7082025가 참값 6.7082039보다 작은 것이 그 모습입니다. 마지막 줄은 스펙트럼 정규화가 나눗셈 한 번이라는 것을 보여 줍니다 — 부동소수점 오차를 빼면 정확히 1입니다.
정리
- 유도 노름은 «가장 많이 늘어나는 배율» 입니다. 노름의 세 조건을 만족하고, 어떤 벡터 노름에서 유도했든 입니다.
- 이고 특잇값 분해로 두 줄에 증명됩니다. 1-노름은 최대 열합, ∞-노름은 최대 행합이라 더하기만으로 나오고, 라는 상한을 줍니다.
- 이고 입니다. 이라 유도 노름이 아니지만 부분곱셈성은 만족합니다. 핵 노름 는 랭크의 볼록 완화입니다.
- 부분곱셈성 는 정의를 두 번 쓴 것입니다. 부등호라 층이 깊을수록 상한이 헐거워지고, 무작위 스무 층에서는 20만 배가 넘게 벌어졌습니다.
- 선형층의 립시츠 상수가 곧 입니다. 클리핑은 기울기 벡터의 노름을, 스펙트럼 정규화는 층의 립시츠 상수를, 립시츠 제약은 그 곱을 묶습니다. 편향·정규화 층·잔차 연결은 그 곱 밖에 있습니다.
- 는 거듭제곱법으로, 은 역거듭제곱법으로 구하고, 둘의 비가 조건수 입니다. 갭이 작으면 수렴이 느려져 여러 벡터를 함께 돌립니다.
첫머리의 세 기법으로 돌아가면, 순환망의 클리핑 임계값과 GAN 판별자의 스펙트럼 정규화와 강건성 논문의 립시츠 제약은 모두 «이 부품이 입력을 최대 몇 배까지 늘리는가»에 상한을 거는 일이었습니다. 다른 점은 그 상한을 어디에 거느냐뿐입니다.
라는 한 줄에서 시작한 다섯 편이 여기서 닫힙니다. 고윳값에서 반복 곱셈의 운명이 나왔고, 대칭이라는 조건에서 직교 대각화와 부호 판정이 나왔고, 조건을 떼어 낸 자리에서 특잇값 분해와 랭크가 나왔고, 그것을 자르는 최적성에서 LoRA의 근거가 나왔으며, 마지막으로 그 특잇값들을 하나의 수로 요약하는 자들이 안정화 기법 셋을 한 언어로 묶었습니다. 선형대수 편이 답한 것은 «행렬이 벡터에 무엇을 하는가»였습니다. 다음 단원은 질문을 바꿉니다 — 모델이 내놓는 것이 왜 하나의 답이 아니라 확률분포인가입니다.
읽어주셔서 감사합니다. 😊