LoRA 설정 파일에서 가장 자주 손대는 값이 r입니다. 4인지 8인지 64인지에 따라 학습되는 파라미터 수가 열여섯 배씩 갈리는데, 정하는 근거는 대개 «남들이 8을 쓰더라» 정도입니다. 올려 보고 성능이 안 오르면 내리는 식으로 몇 번 돌려 보는 것 말고는 방법이 없어 보입니다.
그런데 이 값은 감으로 고를 필요가 없습니다. r은 랭크이고, 랭크를 몇으로 잡아야 원본을 얼마나 잃는지는 계산되는 양이기 때문입니다.
지난 글에서 특잇값을 큰 것부터 늘어놓고 «뒤쪽은 잡음이다»라고 읽었습니다. 이 글은 뒤쪽을 실제로 잘라 버리고, 그렇게 만든 근사가 얼마나 좋은지를 정확한 수로 답합니다. 순서는 넷입니다 — 특잇값 분해를 층으로 다시 쓰고, 앞에서 자르는 것이 최적이라는 정리를 세우고, 잘라 낸 뒤의 오차를 특잇값으로 계산하고, 마지막에 그 셈으로 LoRA의 r을 고릅니다.
랭크 1 층의 합
외적
을 성분끼리 곱해 펼치면 다음 꼴이 됩니다.
여기서 은 의 랭크, 곧 0이 아닌 특잇값의 개수입니다. 각 항의 는 열벡터에 행벡터를 곱한 것으로, 이런 곱을 외적이라고 부릅니다. 이라 원래 크기의 행렬이 나오는데, 모든 행이 의 상수배라서 랭크가 1입니다. 행이 몇 줄이든 가리키는 방향은 하나뿐이라는 뜻입니다.
그러니 어떤 행렬이든 랭크 1짜리 층을 겹쳐 쌓은 것으로 볼 수 있고, 각 층의 무게가 입니다. 특잇값 분해의 관례는 특잇값을 처럼 큰 것부터 늘어놓는 것이라, 앞의 층이 두껍고 뒤로 갈수록 얇습니다. 이 관례 덕분에 «앞에서 몇 개만 남긴다»는 말이 곧 «무거운 층만 남긴다»는 말이 됩니다. 순서가 뒤섞여 있었다면 무엇을 남길지 매번 정렬부터 해야 했을 것입니다.
층 사이의 직교성
층들은 그냥 쌓여 있는 것이 아니라 서로 직각으로 놓여 있습니다. 행렬 두 개의 같은 자리 성분끼리 곱해 모두 더한 값을 프로베니우스 내적이라고 하는데, 행렬을 길게 편 두 벡터의 내적과 같습니다. 두 층에 이 내적을 계산하면
가 되고, 이면 와 가 직교하므로 0입니다. 같은 층끼리는 두 괄호가 모두 1입니다.
이것이 뒤에 나올 오차 공식의 진짜 근거입니다. 직교하는 벡터들의 합은 길이의 제곱이 각 길이 제곱의 합이 된다는 피타고라스 정리가 행렬에도 그대로 걸리기 때문입니다. 층 의 길이가 이니, 층 몇 개를 더한 행렬의 길이 제곱은 그 층들의 을 더한 값입니다. 층이 서로 비스듬했다면 겹치는 부분이 생겨 이렇게 깔끔하게 더해지지 않습니다.
층 하나의 저장 비용
랭크 1 층 하나는 개의 성분을 갖지만, 그것을 다 적을 필요는 없습니다. 의 개와 의 개, 그리고 하나면 층 전체가 복원됩니다. 를 어느 한쪽 벡터에 곱해 넣으면 개입니다.
이면 행렬은 백만 개인데 층 하나는 이천 개입니다. 층을 개 남기면 개가 들고, 이것이 원래의 보다 작으려면 , 정사각이면 이어야 합니다. 랭크를 절반 넘게 남기면 압축이 아니라 오히려 늘어나는 셈이니, 저장을 아끼는 목적이라면 는 그보다 훨씬 작아야 합니다. LoRA가 정확히 이 셈 위에 서 있다는 것은 뒤에서 봅니다.
잘라 낸 특잇값 분해
앞의 개만 남기고 나머지를 버린 것을 잘라 낸 특잇값 분해라 하고 로 적습니다.
랭크 1짜리 개의 합이므로 의 랭크는 이하입니다. 이렇게 원래 행렬을 더 낮은 랭크의 행렬로 대신하는 일을 저계수 근사라고 하고, 잘라 낸 특잇값 분해는 그 근사를 만드는 한 가지 방법입니다. 다음 절이 답할 물음은 그것이 여러 방법 가운데 가장 좋은 방법인가입니다.
에카르트-영 정리
거리를 재는 두 자
«큰 것부터 남긴다»는 자연스러워 보이지만, 자연스러움이 최적성의 증거는 아닙니다. 랭크 짜리 행렬은 무수히 많고, 그중 에 가장 가까운 것이 하필 라는 보장은 아직 없습니다. 가깝다는 말을 하려면 먼저 행렬 사이의 거리를 재는 자가 있어야 합니다.
프로베니우스 노름은 모든 성분을 제곱해 더하고 제곱근을 씌운 값 으로, 행렬을 길게 편 벡터의 길이이자 앞 절의 프로베니우스 내적으로 자기 자신을 잰 값의 제곱근입니다. 앞 절의 피타고라스 셈에 따라 입니다. 스펙트럼 노름은 길이 1인 벡터를 넣었을 때 나오는 벡터의 길이 가운데 가장 큰 값이고, 그 값이 가장 큰 특잇값 입니다. 앞의 것은 행렬 전체의 크기를, 뒤의 것은 가장 세게 늘이는 한 방향만을 봅니다. 둘의 성질과 관계는 다음 글이 맡고, 여기서는 «행렬 사이의 거리를 재는 두 자»로만 씁니다.
정리의 내용
에카르트-영 정리. 랭크가 이하인 모든 행렬 에 대해
가 프로베니우스 노름과 스펙트럼 노름 모두에서 성립한다.
정리가 말하는 것은 강합니다. 두 자로 재도 같은 행렬이 최적이고, «랭크 로 줄인다»는 문제는 특잇값 분해 한 번으로 완전히 풀립니다. 최적화를 돌릴 필요도, 후보를 비교할 필요도 없습니다. 보통 최적화 문제는 답을 찾으려면 경사를 따라 여러 번 움직여야 하는데, 이 문제는 랭크 제약이라는 까다로운 조건이 붙었는데도 닫힌 답이 있다는 점이 특별합니다.
스펙트럼 노름의 증명
스펙트럼 노름 쪽은 한 문단으로 증명됩니다. 핵심은 랭크 행렬이 반드시 «못 보는 방향»을 넉넉히 갖는다는 데 있습니다.
이 되는 벡터 를 모두 모은 공간을 의 영공간이라고 합니다. 가 차원 벡터를 받고 랭크가 이하이면, 받는 쪽 차원 가운데 차원 이하만 살아남고 나머지가 0으로 눌리므로 영공간의 차원은 이상입니다. 한편 의 앞쪽 오른쪽 특이벡터 이 펼치는 공간은 차원입니다. 두 공간의 차원을 더하면 이상이라 차원 안에 서로 겹치지 않고 들어갈 수 없고, 0이 아닌 공통 벡터가 반드시 있습니다.
그 공통 벡터를 길이 1로 맞춘 것을 라 하면 이므로 입니다. 그런데 는 의 조합이라 가 적어도 배로 늘입니다. 따라서
이고, 다음 절에서 볼 것처럼 는 정확히 을 냅니다. 어떤 후보도 밑으로는 못 내려간다는 하한을 가 딱 맞추니 최적입니다. 프로베니우스 쪽 증명은 같은 생각을 특잇값 하나하나에 적용하는 것이라 길이만 길고, 여기서는 결과만 씁니다.
정리가 성립하는 자
이 정리는 두 자에서만 성립하는 우연이 아닙니다. 회전을 앞뒤로 곱해도 값이 변하지 않는 노름을 유니터리 불변 노름이라고 하는데, 프로베니우스와 스펙트럼이 모두 여기에 들고, 이 부류 전체에서 잘라 낸 특잇값 분해가 최적이라는 것이 미르스키의 일반화입니다. 회전에 무심한 자는 특잇값만 보기 때문에, 특잇값을 앞에서 남기는 쪽이 이기는 것입니다.
거꾸로 회전에 민감한 자에서는 보장이 없습니다. 성분 가운데 가장 큰 오차의 절댓값을 재는 자를 써 봅니다. 의 잘라 낸 분해 은 오른쪽 아래에서 1을 틀립니다. 그런데 랭크 1인 은 네 성분 모두 씩만 틀려, 이 자로는 더 가깝습니다. 프로베니우스로 재면 순서가 뒤집혀 의 오차가 1, 이 후보가 입니다. 표로 놓으면 이렇습니다.
| 자 | 의 오차 | 후보의 오차 |
|---|---|---|
| 성분별 최대 오차 | 1 | |
| 프로베니우스 노름 | 1 |
어떤 자를 쓰는지가 «최적»의 뜻을 정하고, 에카르트-영이 약속하는 것은 회전에 무심한 자에서의 최적뿐입니다.
잘라 낸 뒤의 오차
오차 공식
최적이라는 것보다 실무에 더 쓸모 있는 것은 얼마나 잃는지가 계산된다는 쪽입니다. 는 잘라 낸 층들의 합이므로
이고, 이것 자체가 특잇값 을 가진 행렬의 특잇값 분해입니다. 그러므로 두 노름의 값이 바로 읽힙니다.
앞의 것은 «버린 것 전체의 크기»이고 뒤의 것은 «버린 것 중 가장 큰 하나»입니다. 앞의 식이 제곱합의 제곱근인 것은 첫 절의 직교성 덕분이고, 뒤의 식이 한 값뿐인 것은 스펙트럼 노름이 가장 세게 늘이는 방향 하나만 보기 때문입니다. 특잇값 목록만 있으면 를 바꿔 가며 오차를 표로 뽑을 수 있습니다 — 근사를 실제로 만들어 보지 않고도 그렇습니다.
에너지 비율
특잇값이 인 행렬로 표를 채워 봅니다. 제곱합이 입니다.
| 남긴 것 | 담긴 에너지 | |||
|---|---|---|---|---|
| 1 | 10 | 6 | 68.5% | |
| 2 | 10, 6 | 3 | 93.2% | |
| 3 | 10, 6, 3 | 1 | 99.3% | |
| 4 | 전부 | 0 | 0 | 100% |
마지막 열의 에너지는 로, 프로베니우스 노름의 제곱 가운데 남긴 층이 얼마를 채웠는지를 백분율로 적은 값입니다. 지난 글의 수치 랭크에서 쓴 것과 같은 양입니다.
여기서 흔히 하는 실수가 제곱을 빼먹고 특잇값 자체의 합으로 비율을 내는 것입니다. 같은 을 합으로 세면 전체가 20이라 이 50%, 가 80%입니다. 제곱합으로 센 68.5%·93.2%와 꽤 다르고, 목표를 90%로 잡았다면 한쪽은 를, 다른 쪽은 을 고릅니다. 프로베니우스 오차를 말하려면 제곱합이 맞습니다 — 오차 공식에 들어가는 것이 이기 때문에, 제곱합의 비율이어야 «남긴 만큼 오차가 줄었다»와 정확히 맞물립니다. 특잇값 자체의 합은 핵 노름이라는 다른 자로 잰 크기라, 그 비율을 프로베니우스 오차와 엮으면 수가 어긋납니다.
에너지와 오차는 한 식으로 이어집니다. 원래 크기에 대한 오차의 비율을 상대 오차라 하면
이고, 는 개를 남겼을 때의 에너지입니다. 면 으로, 에너지를 93% 지켰다는 말은 상대 오차가 26%라는 말과 같습니다. 에너지 93%는 넉넉해 보이지만 오차로 바꾸면 4분의 1이 넘는다는 것을 기억해 둘 만합니다. 제곱근이 작은 수를 크게 부풀리기 때문입니다.
손계산
의 랭크 1 최적 근사를 구합니다. 대칭 행렬이고 고윳값이 모두 양수라 지난 글에서 본 대로 특잇값이 고윳값과 같습니다. 대각합이 6, 행렬식이 8이므로 고윳값은 의 두 근 이고 , 입니다. 고유벡터는 과 이므로
오차를 직접 계산합니다.
공식이 예고한 와 정확히 같습니다. 남은 행렬 이 바로 버린 층 이라는 것도 눈으로 확인됩니다.
최적이라는 말이 실제로 무슨 뜻인지 다른 랭크 1 후보와 대 봅니다.
| 후보 | 행렬 | 랭크 | |
|---|---|---|---|
| 잘라 낸 SVD | 행 | 1 | 2 |
| 첫 행만 남기기 | 행 | 1 | 3.16 |
| 첫 열만 남기기 | 행 | 1 | 3.16 |
«원본에서 눈에 띄는 부분을 남긴다»는 직관적인 두 방법이 SVD보다 1.5배 넘게 나쁩니다. 첫 행만 남기면 둘째 행 이 통째로 오차가 되어 입니다. 덜어낼 것을 성분 단위로 고르면 안 되고 축 단위로 골라야 한다는 것이 이 표의 내용입니다.
LoRA의 랭크 제약
두 조각의 곱
이제 첫머리로 갑니다. 사전학습된 가중치 를 파인튜닝하면 그 자리에 가 들어섭니다. 문제는 가 와 같은 크기 — — 라 저장할 것도 학습할 것도 그대로라는 점입니다.
LoRA는 여기에 조건을 하나 거는 파인튜닝 방법입니다. 이름이 «저계수 적응»의 줄임말이고, 업데이트를 두 조각의 곱으로만 허락합니다. 논문의 표기를 따라 두 조각을 , 로 적으니, 이 절부터의 는 앞 절의 행렬과 다른 것입니다.
을 작게 잡으면 의 랭크가 이하로 강제됩니다. 곱의 랭크는 두 인수의 랭크를 넘을 수 없고 의 랭크가 최대 이기 때문입니다. 첫 절의 말로 하면 이라 의 열과 의 행을 짝지은 외적 개의 합이고, 업데이트를 랭크 1짜리 층 개로만 표현하겠다는 선언입니다. 다만 이 층들은 특잇값 분해의 층과 달리 서로 직교하라는 조건이 없습니다.
파라미터와 지연
파라미터 수가 얼마나 줄어드는지는 첫 절의 저장 비용 셈 그대로입니다. 층 하나에 개가 드니 개면 개입니다. 일 때
| 파라미터 수 | 비율 | |
|---|---|---|
| 전체 | 100% | |
| 0.39% | ||
| 3.13% |
파라미터가 0.39%라고 계산도 그만큼 줄어드는 것은 아닙니다. 학습 중에는 입력 에 대해 를 계산하는데, 큰 행렬 곱 하나는 그대로이고 작은 곱 두 번이 더 붙습니다. 그래서 두 조각을 따로 둔 채 추론하면 지연은 오히려 조금 늘어납니다. 아끼는 것은 학습할 파라미터와 그 기울기, 옵티마이저 상태가 차지하는 메모리이지 계산 횟수가 아닙니다.
학습이 끝나면 를 미리 더해 한 행렬로 만들 수 있고, 이 일을 병합이라고 합니다. 병합한 뒤에는 원래 모델과 크기도 계산도 같아 추론 지연이 사라집니다. 대신 한 기반 모델 위에 어댑터 여럿을 갈아 끼우며 쓰려면 병합하지 않은 채 두는 편이 낫습니다. 병합할지는 과 관계없는 배포의 문제입니다.
영 초기화
LoRA는 학습을 시작할 때 를 작은 무작위 값으로, 를 0으로 둡니다. 그러면 이라 첫 걸음의 모델은 사전학습 모델과 정확히 같습니다. 파인튜닝이 원래 모델에서 출발해 조금씩 벗어나야 한다는 요구를 초기값 하나로 맞추는 장치입니다.
둘 다 0으로 두면 안 됩니다. 의 기울기는 에, 의 기울기는 에 비례하므로 둘이 모두 0이면 기울기도 모두 0이라 영영 움직이지 않습니다. 하나만 0이면 무작위인 쪽 덕분에 0인 쪽이 첫 걸음부터 기울기를 받고, 다음 걸음부터는 둘 다 움직입니다.
붙일 자리
과 별개로 정해야 하는 것이 어느 가중치에 LoRA를 붙이느냐입니다. 트랜스포머 한 층에는 어텐션의 질의·키·값·출력 투영과 MLP의 행렬 둘셋이 있고, 원 논문은 질의와 값 투영에만 붙였습니다. 붙이는 자리를 넓히면 같은 에서도 파라미터가 그만큼 늘어나므로, « 을 올렸더니 좋아졌다»와 «붙이는 자리를 늘렸더니 좋아졌다»를 섞어 읽으면 안 됩니다.
여기서 에카르트-영이 하는 말이 분명해집니다. 랭크 로 표현할 수 있는 최선이 의 상위 개 층이고, 잃는 것은 나머지 특잇값의 제곱합입니다. LoRA가 통한다는 것은 «파인튜닝이 실제로 만드는 업데이트의 특잇값이 빨리 떨어진다»는 경험적 사실과 같은 말입니다.
주의할 것이 하나 있습니다. 낮은 랭크로 잘 근사되는 것은 이지 가 아닙니다. 사전학습된 가중치 자체의 특잇값은 대체로 완만하게 떨어져서, 90%를 채우는 데 절반 이상의 축이 필요한 것이 보통입니다. 두 행렬을 섞어 보면 판단이 어긋납니다.
r을 고르는 절차
스펙트럼 측정
그러므로 근거로 삼을 것은 의 특잇값 분포입니다. 그런데 를 알려면 파인튜닝을 이미 해 봤어야 한다는 순환이 있으니, 실무에서는 이렇게 끊습니다.
- 한 번은 넉넉하게 돌린다. 전체 파인튜닝을 짧게 하거나, LoRA를 일부러 큰 — 이를테면 64 — 로 한 에폭 돌립니다.
- 를 층마다 꺼내 특잇값을 구한다. 큰 의 LoRA로 돌렸다면 를 그대로 씁니다.
- 누적 에너지 곡선을 그리고 목표 비율을 채우는 를 읽는다. 90%나 95%가 흔한 기준입니다.
- 층마다 나온 를 하나로 합쳐 을 정한다.
실제로 감쇠하는 하나를 만들어 재 보면 특잇값이 이렇게 나옵니다.
| 목표 에너지 | 필요한 |
|---|---|
| 90% | 4 |
| 95% | 5 |
| 99% | 8 |
90%에서 95%로 올리는 데는 축 하나면 되는데 99%까지 가려면 셋이 더 듭니다. 뒤쪽 축의 값이 작아 에너지를 조금씩만 보태기 때문이고, 이 «올라가는 비용»이 어디서 급해지는지가 을 정하는 자리입니다. 앞 절의 셈으로 옮기면 95%는 상대 오차 , 99%는 10%라, 축 셋을 더 주고 오차를 절반 넘게 줄이는 거래입니다.
곡선이 완만하면 그 층은 저계수와 안 맞는다는 신호입니다. 90%를 채우는 데 절반 이상의 축이 필요하면 LoRA로 줄여 봐야 잃는 것이 많으니, 그 층은 전체 파인튜닝으로 두거나 다른 방법을 씁니다.
층별 k의 통합
층이 수십 개면 층마다 다른 가 나옵니다. 다섯 층에서 가 나왔다고 해 봅니다. 하나의 로 합치는 방법은 둘입니다.
- 최댓값 12를 쓰면 모든 층이 목표를 채웁니다. 대신 나머지 네 층은 필요한 것의 2.4배에서 4배인 랭크를 받아 파라미터를 낭비합니다.
- 중앙값 4를 쓰면 대부분의 층에 맞습니다. 대신 5와 12가 나온 두 층은 목표에 못 미치고, 특히 12가 나온 층은 크게 모자랍니다.
어느 쪽이 맞는지는 모자란 층이 무엇이냐에 달려 있습니다. 한 층만 유독 크다면 그 층만 다르게 주는 것이 가장 낫고, 구현이 층마다 다른 을 받아 준다면 합칠 필요 자체가 없습니다. 하나로 정해야 한다면 최댓값 쪽에서 출발해 줄여 보는 편이 안전합니다. 모자란 층의 손실은 성능에서 드러나기 전까지 안 보이지만, 남는 층의 낭비는 파라미터 수로 바로 보이기 때문입니다.
학습이 찾는 근사
여기서 한 가지 선을 그어 둡니다. 에카르트-영은 를 이미 알 때의 이야기입니다. 큰 로 얻은 업데이트를 랭크 로 자르면 그 자른 것이 최선이라는 데까지가 정리의 몫입니다.
랭크 의 LoRA를 처음부터 학습하면 사정이 다릅니다. 학습은 손실을 줄이는 방향으로 와 를 움직일 뿐, 전체 파인튜닝의 에 가장 가까운 랭크 행렬을 찾아가라는 목표를 받은 적이 없습니다. 그러니 학습된 가 전체 파인튜닝 결과의 잘라 낸 분해와 같다는 보장은 없고, 더 나쁠 수도 있고 손실 기준으로는 오히려 나을 수도 있습니다. 스펙트럼으로 고른 은 «이만큼이면 담을 그릇은 된다»는 하한의 근거이지, 그 로 학습하면 그 에너지가 꼭 나온다는 약속이 아닙니다. 그래서 고른 뒤에 한 번 더 돌려 확인하는 걸음이 빠지지 않습니다.
α/r의 역할
LoRA 구현에서 실제로 더해지는 것은 가 아니라 입니다. 앞의 상수는 학습되지 않고 설정으로 고정됩니다.
이 상수의 역할은 앞 절과 이어집니다. 는 랭크 1짜리 층 개의 합이므로, 각 층이 비슷한 크기라면 을 키울수록 합 전체가 커집니다. 로 나누면 합이 아니라 평균에 가까워져 을 바꿔도 업데이트의 크기가 크게 흔들리지 않습니다. 을 8에서 32로 올릴 때 학습률을 다시 잡지 않아도 되게 하려는 것이 이 나눗셈의 목적입니다.
는 그 위에 얹는 배율이고, 실질적으로 어댑터에만 걸리는 학습률 배수처럼 작동합니다. 그래서 학습률과 를 둘 다 따로 탐색하면 같은 손잡이를 두 번 돌리는 셈이 됩니다. 하나를 고정하고 다른 하나만 움직이는 편이 낫고, 실무에서는 두 값을 따로 보지 말고 비 을 하나의 값으로 보는 편이 낫습니다.
- 을 두 배로 올리면서 를 그대로 두면 이 절반이 됩니다 — 표현력은 늘렸는데 업데이트 세기는 줄인 것이라 두 변화가 섞여 원인을 못 가립니다.
- 처럼 함께 올려 을 고정하면 바뀐 것이 랭크 하나뿐이 되어, 앞의 스펙트럼 실험과 결과를 맞대 볼 수 있습니다.
코드로 확인하기
손계산 대조
손으로 푼 의 근사와 후보 비교를 그대로 옮깁니다.
import numpy as np
M = np.array([[3., 1], [1, 3]])
U, s, Vt = np.linalg.svd(M)
print(s) # [4. 2.]
M1 = s[0] * np.outer(U[:, 0], Vt[0]) # 상위 1개 층만
print(M1) # [[2. 2.] [2. 2.]]
print(np.linalg.norm(M - M1, 'fro'), s[1]) # 2.0 2.0 — 공식과 일치
for name, X in [("SVD", M1),
("첫 행", np.array([[3., 1], [0, 0]])),
("첫 열", np.array([[3., 0], [1, 0]]))]:
print(name, np.linalg.matrix_rank(X), round(np.linalg.norm(M - X, 'fro'), 4))
# SVD 1 2.0
# 첫 행 1 3.1623
# 첫 열 1 3.1623
감쇠하는 ΔW
을 고르는 절차는 함수 하나로 씁니다. 특잇값만 필요하므로 compute_uv=False로 와 를 만들지 않습니다. 큰 행렬에서는 이쪽이 훨씬 가볍고, 표를 먼저 뽑아 를 정한 뒤에 근사가 필요할 때만 전체 분해를 하면 됩니다.
시험용 는 특잇값을 우리가 정한 값으로 심어 만듭니다. 의 가 그대로 특잇값이 되려면 와 가 직교행렬이어야 하는데, 무작위 행렬을 QR 분해하면 그 가 직교행렬이라 이 용도에 맞습니다. 무작위 행렬을 그대로 쓰면 심은 값이 섞여 다른 특잇값이 나옵니다.
def rank_for_energy(delta_w, target=0.95):
s = np.linalg.svd(delta_w, compute_uv=False)
energy = np.cumsum(s ** 2) / (s ** 2).sum()
return int((energy < target).sum() + 1), s
rng = np.random.default_rng(5)
U, _ = np.linalg.qr(rng.standard_normal((256, 256)))
V, _ = np.linalg.qr(rng.standard_normal((256, 256)))
dW = U @ np.diag(2.0 * 0.72 ** np.arange(256) + 0.004) @ V.T # 감쇠하는 ΔW
for t in (0.90, 0.95, 0.99):
k, s = rank_for_energy(dW, t)
print(t, k)
# 0.9 4 / 0.95 5 / 0.99 8
오차 공식 대조
잘라 낸 근사를 실제로 만들어 오차 공식과 맞대 봅니다.
U2, s2, Vt2 = np.linalg.svd(dW)
for k in (4, 8, 16):
approx = (U2[:, :k] * s2[:k]) @ Vt2[:k]
print(k,
round(np.linalg.norm(dW - approx, 'fro'), 6),
round(np.sqrt((s2[k:] ** 2).sum()), 6), # 프로베니우스 예측
round(s2[k], 6)) # 스펙트럼 예측
# 4 0.786909 0.786909 0.541477
# 8 0.22675 0.22675 0.148441
# 16 0.066061 0.066061 0.014432
가운데 두 열이 소수점 여섯 자리까지 같습니다 — 근사를 만들어 재나 특잇값으로 계산하나 답이 하나입니다. 마지막 열은 근사를 만들면서 로 재도 같은 값이 나옵니다.
정리
- 특잇값 분해는 랭크 1짜리 층의 합입니다. 이고 각 층의 무게가 이며, 층끼리 직교해 길이 제곱이 그대로 더해집니다.
- 잘라 낸 특잇값 분해 는 랭크 이하인 모든 행렬 중 에 가장 가깝습니다(에카르트-영). 프로베니우스와 스펙트럼, 나아가 회전에 무심한 모든 자에서 그렇고, 성분별 최대 오차 같은 자에서는 아닙니다.
- 잃는 양이 공식으로 나옵니다. , 이라 특잇값 목록만으로 표를 뽑을 수 있습니다.
- 에너지는 특잇값의 합이 아니라 제곱합의 비율이고, 상대 오차는 입니다.
- 성분 단위로 덜어내면 안 됩니다. 행이나 열을 지우는 방식은 같은 랭크에서 1.5배 넘게 나빴습니다.
- LoRA의 는 랭크 제약이고, 층에서 이면 파라미터가 0.39%로 줍니다. 계산은 병합 전까지 오히려 조금 늘고, 를 0으로 시작해 첫 걸음을 원래 모델에 맞춥니다.
- 낮은 랭크로 근사되는 것은 이지 가 아닙니다.
- 은 누적 에너지 곡선에서 읽습니다. 큰 로 한 번 돌려 를 얻고, 목표 비율을 채우는 를 층마다 재고, 합칠 때는 모자라는 층을 먼저 봅니다. 그렇게 고른 은 그릇의 크기이지 학습 결과의 약속이 아닙니다.
- 은 함께 봅니다. 비교 실험에서는 그 비를 고정합니다.
다시 설정 파일의 r로 돌아가면, 이제 그 칸에 들어갈 수는 «남들이 쓰는 8»이 아니라 한 번 넉넉하게 돌려 얻은 업데이트의 특잇값이 정합니다. 곡선이 4에서 이미 95%를 넘는 층이라면 64는 낭비이고, 30에서도 90%를 못 채우는 층이라면 8은 처음부터 담을 수 없는 그릇입니다.
이 글에서 두 노름을 «행렬 사이의 거리를 재는 자»로 쓰기만 하고 성질은 미뤄 두었습니다. 다음 글이 그 빚을 갚습니다. 이 왜 그런지, 프로베니우스 노름의 제곱이 왜 특잇값 제곱합인지, 그리고 그 값이 층을 통과할 때 신호가 얼마나 커질 수 있는지를 정하는 립시츠 상수와 어떻게 같은 것인지입니다.
읽어주셔서 감사합니다. 😊

