수학

MATH / 중급 16번

저계수 근사와 에카르트-영: LoRA의 r을 스펙트럼으로 고르기

상위 k개 특잇값만 남긴 근사가 프로베니우스·스펙트럼 노름 모두에서 최적이라는 에카르트-영 정리를 세우고, 잘라 낸 오차가 남은 특잇값으로 그대로 계산된다는 것을 손으로 확인합니다. ΔW = BA라는 LoRA의 형태를 계수 제약으로 다시 읽고, r을 감이 아니라 실제 업데이트의 특잇값 분포에서 고르는 절차와 α/r의 뜻까지 갑니다.

PALDYN Team40 MIN READ

LoRA 설정 파일에서 가장 자주 손대는 값이 r입니다. 4인지 8인지 64인지에 따라 학습되는 파라미터 수가 열여섯 배씩 갈리는데, 정하는 근거는 대개 «남들이 8을 쓰더라» 정도입니다. 올려 보고 성능이 안 오르면 내리는 식으로 몇 번 돌려 보는 것 말고는 방법이 없어 보입니다.

그런데 이 값은 감으로 고를 필요가 없습니다. r은 랭크이고, 랭크를 몇으로 잡아야 원본을 얼마나 잃는지는 계산되는 양이기 때문입니다.

지난 글에서 특잇값을 큰 것부터 늘어놓고 «뒤쪽은 잡음이다»라고 읽었습니다. 이 글은 뒤쪽을 실제로 잘라 버리고, 그렇게 만든 근사가 얼마나 좋은지를 정확한 수로 답합니다. 순서는 넷입니다 — 특잇값 분해를 층으로 다시 쓰고, 앞에서 자르는 것이 최적이라는 정리를 세우고, 잘라 낸 뒤의 오차를 특잇값으로 계산하고, 마지막에 그 셈으로 LoRA의 r을 고릅니다.

랭크 1 층의 합

외적

A=UΣV⊤A = U\Sigma V^\top 을 성분끼리 곱해 펼치면 다음 꼴이 됩니다.

A=σ1u1v1⊤+σ2u2v2⊤+⋯+σrurvr⊤A = \sigma_1\mathbf{u}_1\mathbf{v}_1^\top + \sigma_2\mathbf{u}_2\mathbf{v}_2^\top + \cdots + \sigma_r\mathbf{u}_r\mathbf{v}_r^\top

여기서 rr 은 AA 의 랭크, 곧 0이 아닌 특잇값의 개수입니다. 각 항의 uivi⊤\mathbf{u}_i\mathbf{v}_i^\top 는 열벡터에 행벡터를 곱한 것으로, 이런 곱을 외적이라고 부릅니다. (m×1)(1×n)=m×n(m\times1)(1\times n) = m\times n 이라 원래 크기의 행렬이 나오는데, 모든 행이 vi⊤\mathbf{v}_i^\top 의 상수배라서 랭크가 1입니다. 행이 몇 줄이든 가리키는 방향은 하나뿐이라는 뜻입니다.

그러니 어떤 행렬이든 랭크 1짜리 층을 겹쳐 쌓은 것으로 볼 수 있고, 각 층의 무게가 σi\sigma_i 입니다. 특잇값 분해의 관례는 특잇값을 σ1≥σ2≥⋯≥σr>0\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_r > 0 처럼 큰 것부터 늘어놓는 것이라, 앞의 층이 두껍고 뒤로 갈수록 얇습니다. 이 관례 덕분에 «앞에서 몇 개만 남긴다»는 말이 곧 «무거운 층만 남긴다»는 말이 됩니다. 순서가 뒤섞여 있었다면 무엇을 남길지 매번 정렬부터 해야 했을 것입니다.

층 사이의 직교성

층들은 그냥 쌓여 있는 것이 아니라 서로 직각으로 놓여 있습니다. 행렬 두 개의 같은 자리 성분끼리 곱해 모두 더한 값을 프로베니우스 내적이라고 하는데, 행렬을 길게 편 두 벡터의 내적과 같습니다. 두 층에 이 내적을 계산하면

⟨uivi⊤, ujvj⊤⟩F=(ui⋅uj)(vi⋅vj)\langle \mathbf{u}_i\mathbf{v}_i^\top,\ \mathbf{u}_j\mathbf{v}_j^\top\rangle_F = (\mathbf{u}_i\cdot\mathbf{u}_j)(\mathbf{v}_i\cdot\mathbf{v}_j)

가 되고, i≠ji\ne j 이면 ui\mathbf{u}_i 와 uj\mathbf{u}_j 가 직교하므로 0입니다. 같은 층끼리는 두 괄호가 모두 1입니다.

이것이 뒤에 나올 오차 공식의 진짜 근거입니다. 직교하는 벡터들의 합은 길이의 제곱이 각 길이 제곱의 합이 된다는 피타고라스 정리가 행렬에도 그대로 걸리기 때문입니다. 층 ii 의 길이가 σi\sigma_i 이니, 층 몇 개를 더한 행렬의 길이 제곱은 그 층들의 σi2\sigma_i^2 을 더한 값입니다. 층이 서로 비스듬했다면 겹치는 부분이 생겨 이렇게 깔끔하게 더해지지 않습니다.

층 하나의 저장 비용

랭크 1 층 하나는 m×nm\times n 개의 성분을 갖지만, 그것을 다 적을 필요는 없습니다. ui\mathbf{u}_i 의 mm 개와 vi\mathbf{v}_i 의 nn 개, 그리고 σi\sigma_i 하나면 층 전체가 복원됩니다. σi\sigma_i 를 어느 한쪽 벡터에 곱해 넣으면 m+nm+n 개입니다.

m=n=1000m = n = 1000 이면 행렬은 백만 개인데 층 하나는 이천 개입니다. 층을 kk 개 남기면 k(m+n)k(m+n) 개가 들고, 이것이 원래의 mnmn 보다 작으려면 k<mn/(m+n)k < mn/(m+n), 정사각이면 k<n/2k < n/2 이어야 합니다. 랭크를 절반 넘게 남기면 압축이 아니라 오히려 늘어나는 셈이니, 저장을 아끼는 목적이라면 kk 는 그보다 훨씬 작아야 합니다. LoRA가 정확히 이 셈 위에 서 있다는 것은 뒤에서 봅니다.

잘라 낸 특잇값 분해

앞의 kk 개만 남기고 나머지를 버린 것을 잘라 낸 특잇값 분해라 하고 AkA_k 로 적습니다.

Ak=∑i=1kσiuivi⊤A_k = \sum_{i=1}^{k}\sigma_i\mathbf{u}_i\mathbf{v}_i^\top

랭크 1짜리 kk 개의 합이므로 AkA_k 의 랭크는 kk 이하입니다. 이렇게 원래 행렬을 더 낮은 랭크의 행렬로 대신하는 일을 저계수 근사라고 하고, 잘라 낸 특잇값 분해는 그 근사를 만드는 한 가지 방법입니다. 다음 절이 답할 물음은 그것이 여러 방법 가운데 가장 좋은 방법인가입니다.

특잇값 분해를 랭크 1 층의 합으로 쌓고 뒤쪽을 잘라 내는 그림

에카르트-영 정리

거리를 재는 두 자

«큰 것부터 남긴다»는 자연스러워 보이지만, 자연스러움이 최적성의 증거는 아닙니다. 랭크 kk 짜리 행렬은 무수히 많고, 그중 AA 에 가장 가까운 것이 하필 AkA_k 라는 보장은 아직 없습니다. 가깝다는 말을 하려면 먼저 행렬 사이의 거리를 재는 자가 있어야 합니다.

프로베니우스 노름은 모든 성분을 제곱해 더하고 제곱근을 씌운 값 ∥A∥F=∑i,jaij2\|A\|_F = \sqrt{\sum_{i,j}a_{ij}^2} 으로, 행렬을 길게 편 벡터의 길이이자 앞 절의 프로베니우스 내적으로 자기 자신을 잰 값의 제곱근입니다. 앞 절의 피타고라스 셈에 따라 ∥A∥F2=σ12+⋯+σr2\|A\|_F^2 = \sigma_1^2 + \cdots + \sigma_r^2 입니다. 스펙트럼 노름은 길이 1인 벡터를 넣었을 때 나오는 벡터의 길이 가운데 가장 큰 값이고, 그 값이 가장 큰 특잇값 ∥A∥2=σ1\|A\|_2 = \sigma_1 입니다. 앞의 것은 행렬 전체의 크기를, 뒤의 것은 가장 세게 늘이는 한 방향만을 봅니다. 둘의 성질과 관계는 다음 글이 맡고, 여기서는 «행렬 사이의 거리를 재는 두 자»로만 씁니다.

정리의 내용

에카르트-영 정리. 랭크가 kk 이하인 모든 행렬 XX 에 대해

∥A−Ak∥≤∥A−X∥\|A - A_k\| \le \|A - X\|

가 프로베니우스 노름과 스펙트럼 노름 모두에서 성립한다.

정리가 말하는 것은 강합니다. 두 자로 재도 같은 행렬이 최적이고, «랭크 kk 로 줄인다»는 문제는 특잇값 분해 한 번으로 완전히 풀립니다. 최적화를 돌릴 필요도, 후보를 비교할 필요도 없습니다. 보통 최적화 문제는 답을 찾으려면 경사를 따라 여러 번 움직여야 하는데, 이 문제는 랭크 제약이라는 까다로운 조건이 붙었는데도 닫힌 답이 있다는 점이 특별합니다.

랭크 k 이하인 행렬들 가운데 A_k가 A에 가장 가깝다는 도식

스펙트럼 노름의 증명

스펙트럼 노름 쪽은 한 문단으로 증명됩니다. 핵심은 랭크 kk 행렬이 반드시 «못 보는 방향»을 넉넉히 갖는다는 데 있습니다.

Xw=0X\mathbf{w} = \mathbf{0} 이 되는 벡터 w\mathbf{w} 를 모두 모은 공간을 XX 의 영공간이라고 합니다. XX 가 nn 차원 벡터를 받고 랭크가 kk 이하이면, 받는 쪽 nn 차원 가운데 kk 차원 이하만 살아남고 나머지가 0으로 눌리므로 영공간의 차원은 n−kn-k 이상입니다. 한편 AA 의 앞쪽 오른쪽 특이벡터 v1,…,vk+1\mathbf{v}_1, \dots, \mathbf{v}_{k+1} 이 펼치는 공간은 k+1k+1 차원입니다. 두 공간의 차원을 더하면 n+1n+1 이상이라 nn 차원 안에 서로 겹치지 않고 들어갈 수 없고, 0이 아닌 공통 벡터가 반드시 있습니다.

그 공통 벡터를 길이 1로 맞춘 것을 w\mathbf{w} 라 하면 Xw=0X\mathbf{w}=\mathbf{0} 이므로 (A−X)w=Aw(A-X)\mathbf{w} = A\mathbf{w} 입니다. 그런데 w\mathbf{w} 는 v1,…,vk+1\mathbf{v}_1,\dots,\mathbf{v}_{k+1} 의 조합이라 AA 가 적어도 σk+1\sigma_{k+1} 배로 늘입니다. 따라서

∥A−X∥2≥∥(A−X)w∥=∥Aw∥≥σk+1\|A - X\|_2 \ge \|(A-X)\mathbf{w}\| = \|A\mathbf{w}\| \ge \sigma_{k+1}

이고, 다음 절에서 볼 것처럼 AkA_k 는 정확히 σk+1\sigma_{k+1} 을 냅니다. 어떤 후보도 σk+1\sigma_{k+1} 밑으로는 못 내려간다는 하한을 AkA_k 가 딱 맞추니 최적입니다. 프로베니우스 쪽 증명은 같은 생각을 특잇값 하나하나에 적용하는 것이라 길이만 길고, 여기서는 결과만 씁니다.

정리가 성립하는 자

이 정리는 두 자에서만 성립하는 우연이 아닙니다. 회전을 앞뒤로 곱해도 값이 변하지 않는 노름을 유니터리 불변 노름이라고 하는데, 프로베니우스와 스펙트럼이 모두 여기에 들고, 이 부류 전체에서 잘라 낸 특잇값 분해가 최적이라는 것이 미르스키의 일반화입니다. 회전에 무심한 자는 특잇값만 보기 때문에, 특잇값을 앞에서 남기는 쪽이 이기는 것입니다.

거꾸로 회전에 민감한 자에서는 보장이 없습니다. 성분 가운데 가장 큰 오차의 절댓값을 재는 자를 써 봅니다. D=(2001)D = \begin{pmatrix} 2 & 0 \\ 0 & 1\end{pmatrix} 의 잘라 낸 분해 D1=(2000)D_1 = \begin{pmatrix} 2 & 0 \\ 0 & 0\end{pmatrix} 은 오른쪽 아래에서 1을 틀립니다. 그런데 랭크 1인 (4/32/32/31/3)\begin{pmatrix} 4/3 & 2/3 \\ 2/3 & 1/3\end{pmatrix} 은 네 성분 모두 2/32/3 씩만 틀려, 이 자로는 더 가깝습니다. 프로베니우스로 재면 순서가 뒤집혀 D1D_1 의 오차가 1, 이 후보가 4/34/3 입니다. 표로 놓으면 이렇습니다.

자 D1D_1 의 오차 후보의 오차
성분별 최대 오차 1 2/32/3
프로베니우스 노름 1 4/34/3

어떤 자를 쓰는지가 «최적»의 뜻을 정하고, 에카르트-영이 약속하는 것은 회전에 무심한 자에서의 최적뿐입니다.

잘라 낸 뒤의 오차

오차 공식

최적이라는 것보다 실무에 더 쓸모 있는 것은 얼마나 잃는지가 계산된다는 쪽입니다. A−AkA - A_k 는 잘라 낸 층들의 합이므로

A−Ak=∑i=k+1rσiuivi⊤A - A_k = \sum_{i=k+1}^{r}\sigma_i\mathbf{u}_i\mathbf{v}_i^\top

이고, 이것 자체가 특잇값 σk+1,…,σr\sigma_{k+1}, \dots, \sigma_r 을 가진 행렬의 특잇값 분해입니다. 그러므로 두 노름의 값이 바로 읽힙니다.

∥A−Ak∥F=σk+12+⋯+σr2,∥A−Ak∥2=σk+1\|A - A_k\|_F = \sqrt{\sigma_{k+1}^2 + \cdots + \sigma_r^2}, \qquad \|A - A_k\|_2 = \sigma_{k+1}

앞의 것은 «버린 것 전체의 크기»이고 뒤의 것은 «버린 것 중 가장 큰 하나»입니다. 앞의 식이 제곱합의 제곱근인 것은 첫 절의 직교성 덕분이고, 뒤의 식이 한 값뿐인 것은 스펙트럼 노름이 가장 세게 늘이는 방향 하나만 보기 때문입니다. 특잇값 목록만 있으면 kk 를 바꿔 가며 오차를 표로 뽑을 수 있습니다 — 근사를 실제로 만들어 보지 않고도 그렇습니다.

에너지 비율

특잇값이 10,6,3,110, 6, 3, 1 인 행렬로 표를 채워 봅니다. 제곱합이 100+36+9+1=146100+36+9+1 = 146 입니다.

kk 남긴 것 ∥A−Ak∥F\|A-A_k\|_F ∥A−Ak∥2\|A-A_k\|_2 담긴 에너지
1 10 36+9+1=6.78\sqrt{36+9+1} = 6.78 6 68.5%
2 10, 6 9+1=3.16\sqrt{9+1} = 3.16 3 93.2%
3 10, 6, 3 1=1\sqrt{1} = 1 1 99.3%
4 전부 0 0 100%

마지막 열의 에너지는 ∑i≤kσi2/∑iσi2\sum_{i\le k}\sigma_i^2 \big/ \sum_i\sigma_i^2 로, 프로베니우스 노름의 제곱 가운데 남긴 층이 얼마를 채웠는지를 백분율로 적은 값입니다. 지난 글의 수치 랭크에서 쓴 것과 같은 양입니다.

여기서 흔히 하는 실수가 제곱을 빼먹고 특잇값 자체의 합으로 비율을 내는 것입니다. 같은 10,6,3,110, 6, 3, 1 을 합으로 세면 전체가 20이라 k=1k=1 이 50%, k=2k=2 가 80%입니다. 제곱합으로 센 68.5%·93.2%와 꽤 다르고, 목표를 90%로 잡았다면 한쪽은 k=2k=2 를, 다른 쪽은 k=3k=3 을 고릅니다. 프로베니우스 오차를 말하려면 제곱합이 맞습니다 — 오차 공식에 들어가는 것이 σi2\sigma_i^2 이기 때문에, 제곱합의 비율이어야 «남긴 만큼 오차가 줄었다»와 정확히 맞물립니다. 특잇값 자체의 합은 핵 노름이라는 다른 자로 잰 크기라, 그 비율을 프로베니우스 오차와 엮으면 수가 어긋납니다.

같은 특잇값 10·6·3·1을 합으로 셀 때와 제곱합으로 셀 때 누적 비율이 다르게 나오는 그림

에너지와 오차는 한 식으로 이어집니다. 원래 크기에 대한 오차의 비율을 상대 오차라 하면

∥A−Ak∥F∥A∥F=∑i>kσi2∑iσi2=1−Ek\frac{\|A-A_k\|_F}{\|A\|_F} = \sqrt{\frac{\sum_{i>k}\sigma_i^2}{\sum_i\sigma_i^2}} = \sqrt{1 - E_k}

이고, EkE_k 는 kk 개를 남겼을 때의 에너지입니다. k=2k=2 면 1−0.932=0.26\sqrt{1-0.932} = 0.26 으로, 에너지를 93% 지켰다는 말은 상대 오차가 26%라는 말과 같습니다. 에너지 93%는 넉넉해 보이지만 오차로 바꾸면 4분의 1이 넘는다는 것을 기억해 둘 만합니다. 제곱근이 작은 수를 크게 부풀리기 때문입니다.

손계산

M=(3113)M = \begin{pmatrix} 3 & 1 \\ 1 & 3\end{pmatrix} 의 랭크 1 최적 근사를 구합니다. 대칭 행렬이고 고윳값이 모두 양수라 지난 글에서 본 대로 특잇값이 고윳값과 같습니다. 대각합이 6, 행렬식이 8이므로 고윳값은 λ2−6λ+8=0\lambda^2 - 6\lambda + 8 = 0 의 두 근 λ=4,2\lambda = 4, 2 이고 σ1=4\sigma_1 = 4, σ2=2\sigma_2 = 2 입니다. 고유벡터는 (1,1)(1,1) 과 (1,−1)(1,-1) 이므로

u1=v1=12(1,1),u1v1⊤=12(1111)\mathbf{u}_1 = \mathbf{v}_1 = \tfrac{1}{\sqrt2}(1,1), \qquad \mathbf{u}_1\mathbf{v}_1^\top = \frac{1}{2}\begin{pmatrix} 1 & 1 \\ 1 & 1\end{pmatrix}

M1=σ1u1v1⊤=4⋅12(1111)=(2222)M_1 = \sigma_1\mathbf{u}_1\mathbf{v}_1^\top = 4 \cdot \frac{1}{2}\begin{pmatrix} 1 & 1 \\ 1 & 1\end{pmatrix} = \begin{pmatrix} 2 & 2 \\ 2 & 2\end{pmatrix}

오차를 직접 계산합니다.

M−M1=(1−1−11),∥M−M1∥F=1+1+1+1=2M - M_1 = \begin{pmatrix} 1 & -1 \\ -1 & 1\end{pmatrix}, \qquad \|M-M_1\|_F = \sqrt{1+1+1+1} = 2

공식이 예고한 σ2=2\sigma_2 = 2 와 정확히 같습니다. 남은 행렬 M−M1M - M_1 이 바로 버린 층 2⋅12(1,−1)⊤(1,−1)2\cdot\tfrac{1}{2}(1,-1)^\top(1,-1) 이라는 것도 눈으로 확인됩니다.

최적이라는 말이 실제로 무슨 뜻인지 다른 랭크 1 후보와 대 봅니다.

후보 행렬 랭크 ∥M−X∥F\|M - X\|_F
잘라 낸 SVD M1M_1 행 (2,2),(2,2)(2,2),(2,2) 1 2
첫 행만 남기기 행 (3,1),(0,0)(3,1),(0,0) 1 3.16
첫 열만 남기기 행 (3,0),(1,0)(3,0),(1,0) 1 3.16

«원본에서 눈에 띄는 부분을 남긴다»는 직관적인 두 방법이 SVD보다 1.5배 넘게 나쁩니다. 첫 행만 남기면 둘째 행 (1,3)(1,3) 이 통째로 오차가 되어 1+9\sqrt{1+9} 입니다. 덜어낼 것을 성분 단위로 고르면 안 되고 축 단위로 골라야 한다는 것이 이 표의 내용입니다.

LoRA의 랭크 제약

두 조각의 곱

이제 첫머리로 갑니다. 사전학습된 가중치 W0W_0 를 파인튜닝하면 그 자리에 W0+ΔWW_0 + \Delta W 가 들어섭니다. 문제는 ΔW\Delta W 가 W0W_0 와 같은 크기 — m×nm \times n — 라 저장할 것도 학습할 것도 그대로라는 점입니다.

LoRA는 여기에 조건을 하나 거는 파인튜닝 방법입니다. 이름이 «저계수 적응»의 줄임말이고, 업데이트를 두 조각의 곱으로만 허락합니다. 논문의 표기를 따라 두 조각을 BB, AA 로 적으니, 이 절부터의 AA 는 앞 절의 행렬과 다른 것입니다.

ΔW=BA,B∈Rm×r, A∈Rr×n\Delta W = BA, \qquad B \in \mathbb{R}^{m\times r},\ A \in \mathbb{R}^{r\times n}

rr 을 작게 잡으면 ΔW\Delta W 의 랭크가 rr 이하로 강제됩니다. 곱의 랭크는 두 인수의 랭크를 넘을 수 없고 AA 의 랭크가 최대 rr 이기 때문입니다. 첫 절의 말로 하면 BA=∑j=1rbjaj⊤BA = \sum_{j=1}^{r}\mathbf{b}_j\mathbf{a}_j^\top 이라 BB 의 열과 AA 의 행을 짝지은 외적 rr 개의 합이고, 업데이트를 랭크 1짜리 층 rr 개로만 표현하겠다는 선언입니다. 다만 이 층들은 특잇값 분해의 층과 달리 서로 직교하라는 조건이 없습니다.

파라미터와 지연

파라미터 수가 얼마나 줄어드는지는 첫 절의 저장 비용 셈 그대로입니다. 층 하나에 m+nm+n 개가 드니 rr 개면 r(m+n)r(m+n) 개입니다. m=n=4096m = n = 4096 일 때

파라미터 수 비율
전체 ΔW\Delta W 4096×4096=16,777,2164096 \times 4096 = 16{,}777{,}216 100%
r=8r = 8 8×(4096+4096)=65,5368 \times (4096 + 4096) = 65{,}536 0.39%
r=64r = 64 64×(4096+4096)=524,28864 \times (4096 + 4096) = 524{,}288 3.13%

W와 같은 크기의 ΔW를 m×r과 r×n 두 조각으로 대신하는 모양과 파라미터 수 비교

파라미터가 0.39%라고 계산도 그만큼 줄어드는 것은 아닙니다. 학습 중에는 입력 x\mathbf{x} 에 대해 W0x+B(Ax)W_0\mathbf{x} + B(A\mathbf{x}) 를 계산하는데, 큰 행렬 곱 하나는 그대로이고 작은 곱 두 번이 더 붙습니다. 그래서 두 조각을 따로 둔 채 추론하면 지연은 오히려 조금 늘어납니다. 아끼는 것은 학습할 파라미터와 그 기울기, 옵티마이저 상태가 차지하는 메모리이지 계산 횟수가 아닙니다.

학습이 끝나면 W=W0+BAW = W_0 + BA 를 미리 더해 한 행렬로 만들 수 있고, 이 일을 병합이라고 합니다. 병합한 뒤에는 원래 모델과 크기도 계산도 같아 추론 지연이 사라집니다. 대신 한 기반 모델 위에 어댑터 여럿을 갈아 끼우며 쓰려면 병합하지 않은 채 두는 편이 낫습니다. 병합할지는 rr 과 관계없는 배포의 문제입니다.

학습 중에는 W0x와 B(Ax)를 따로 계산해 더하고, 병합 뒤에는 W0+BA 한 행렬로 계산하는 두 경로

영 초기화

LoRA는 학습을 시작할 때 AA 를 작은 무작위 값으로, BB 를 0으로 둡니다. 그러면 BA=0BA = 0 이라 첫 걸음의 모델은 사전학습 모델과 정확히 같습니다. 파인튜닝이 원래 모델에서 출발해 조금씩 벗어나야 한다는 요구를 초기값 하나로 맞추는 장치입니다.

둘 다 0으로 두면 안 됩니다. BB 의 기울기는 AA 에, AA 의 기울기는 BB 에 비례하므로 둘이 모두 0이면 기울기도 모두 0이라 영영 움직이지 않습니다. 하나만 0이면 무작위인 쪽 덕분에 0인 쪽이 첫 걸음부터 기울기를 받고, 다음 걸음부터는 둘 다 움직입니다.

붙일 자리

rr 과 별개로 정해야 하는 것이 어느 가중치에 LoRA를 붙이느냐입니다. 트랜스포머 한 층에는 어텐션의 질의·키·값·출력 투영과 MLP의 행렬 둘셋이 있고, 원 논문은 질의와 값 투영에만 붙였습니다. 붙이는 자리를 넓히면 같은 rr 에서도 파라미터가 그만큼 늘어나므로, «rr 을 올렸더니 좋아졌다»와 «붙이는 자리를 늘렸더니 좋아졌다»를 섞어 읽으면 안 됩니다.

여기서 에카르트-영이 하는 말이 분명해집니다. 랭크 rr 로 표현할 수 있는 최선이 ΔW\Delta W 의 상위 rr 개 층이고, 잃는 것은 나머지 특잇값의 제곱합입니다. LoRA가 통한다는 것은 «파인튜닝이 실제로 만드는 업데이트의 특잇값이 빨리 떨어진다»는 경험적 사실과 같은 말입니다.

주의할 것이 하나 있습니다. 낮은 랭크로 잘 근사되는 것은 ΔW\Delta W 이지 W0W_0 가 아닙니다. 사전학습된 가중치 자체의 특잇값은 대체로 완만하게 떨어져서, 90%를 채우는 데 절반 이상의 축이 필요한 것이 보통입니다. 두 행렬을 섞어 보면 판단이 어긋납니다.

r을 고르는 절차

스펙트럼 측정

그러므로 근거로 삼을 것은 ΔW\Delta W 의 특잇값 분포입니다. 그런데 ΔW\Delta W 를 알려면 파인튜닝을 이미 해 봤어야 한다는 순환이 있으니, 실무에서는 이렇게 끊습니다.

  1. 한 번은 넉넉하게 돌린다. 전체 파인튜닝을 짧게 하거나, LoRA를 일부러 큰 rr — 이를테면 64 — 로 한 에폭 돌립니다.
  2. ΔW=Wft−W0\Delta W = W_{\text{ft}} - W_0 를 층마다 꺼내 특잇값을 구한다. 큰 rr 의 LoRA로 돌렸다면 BABA 를 그대로 씁니다.
  3. 누적 에너지 곡선을 그리고 목표 비율을 채우는 kk 를 읽는다. 90%나 95%가 흔한 기준입니다.
  4. 층마다 나온 kk 를 하나로 합쳐 rr 을 정한다.

실제로 감쇠하는 ΔW\Delta W 하나를 만들어 재 보면 특잇값이 이렇게 나옵니다.

2.004, 1.444, 1.041, 0.750, 0.541, 0.391, 0.283, 0.205, …2.004,\ 1.444,\ 1.041,\ 0.750,\ 0.541,\ 0.391,\ 0.283,\ 0.205,\ \dots

목표 에너지 필요한 kk
90% 4
95% 5
99% 8

90%에서 95%로 올리는 데는 축 하나면 되는데 99%까지 가려면 셋이 더 듭니다. 뒤쪽 축의 값이 작아 에너지를 조금씩만 보태기 때문이고, 이 «올라가는 비용»이 어디서 급해지는지가 rr 을 정하는 자리입니다. 앞 절의 셈으로 옮기면 95%는 상대 오차 0.05≈22%\sqrt{0.05} \approx 22\%, 99%는 10%라, 축 셋을 더 주고 오차를 절반 넘게 줄이는 거래입니다.

ΔW의 특잇값과 누적 에너지 곡선 위에 90·95·99% 기준선을 그은 그림

곡선이 완만하면 그 층은 저계수와 안 맞는다는 신호입니다. 90%를 채우는 데 절반 이상의 축이 필요하면 LoRA로 줄여 봐야 잃는 것이 많으니, 그 층은 전체 파인튜닝으로 두거나 다른 방법을 씁니다.

층별 k의 통합

층이 수십 개면 층마다 다른 kk 가 나옵니다. 다섯 층에서 3,4,4,5,123, 4, 4, 5, 12 가 나왔다고 해 봅니다. 하나의 rr 로 합치는 방법은 둘입니다.

  • 최댓값 12를 쓰면 모든 층이 목표를 채웁니다. 대신 나머지 네 층은 필요한 것의 2.4배에서 4배인 랭크를 받아 파라미터를 낭비합니다.
  • 중앙값 4를 쓰면 대부분의 층에 맞습니다. 대신 5와 12가 나온 두 층은 목표에 못 미치고, 특히 12가 나온 층은 크게 모자랍니다.

어느 쪽이 맞는지는 모자란 층이 무엇이냐에 달려 있습니다. 한 층만 유독 크다면 그 층만 다르게 주는 것이 가장 낫고, 구현이 층마다 다른 rr 을 받아 준다면 합칠 필요 자체가 없습니다. 하나로 정해야 한다면 최댓값 쪽에서 출발해 줄여 보는 편이 안전합니다. 모자란 층의 손실은 성능에서 드러나기 전까지 안 보이지만, 남는 층의 낭비는 파라미터 수로 바로 보이기 때문입니다.

학습이 찾는 근사

여기서 한 가지 선을 그어 둡니다. 에카르트-영은 ΔW\Delta W 를 이미 알 때의 이야기입니다. 큰 rr 로 얻은 업데이트를 랭크 kk 로 자르면 그 자른 것이 최선이라는 데까지가 정리의 몫입니다.

랭크 rr 의 LoRA를 처음부터 학습하면 사정이 다릅니다. 학습은 손실을 줄이는 방향으로 BB 와 AA 를 움직일 뿐, 전체 파인튜닝의 ΔW\Delta W 에 가장 가까운 랭크 rr 행렬을 찾아가라는 목표를 받은 적이 없습니다. 그러니 학습된 BABA 가 전체 파인튜닝 결과의 잘라 낸 분해와 같다는 보장은 없고, 더 나쁠 수도 있고 손실 기준으로는 오히려 나을 수도 있습니다. 스펙트럼으로 고른 rr 은 «이만큼이면 담을 그릇은 된다»는 하한의 근거이지, 그 rr 로 학습하면 그 에너지가 꼭 나온다는 약속이 아닙니다. 그래서 고른 뒤에 한 번 더 돌려 확인하는 걸음이 빠지지 않습니다.

α/r의 역할

LoRA 구현에서 실제로 더해지는 것은 BABA 가 아니라 αrBA\frac{\alpha}{r}BA 입니다. 앞의 상수는 학습되지 않고 설정으로 고정됩니다.

이 상수의 역할은 앞 절과 이어집니다. BABA 는 랭크 1짜리 층 rr 개의 합이므로, 각 층이 비슷한 크기라면 rr 을 키울수록 합 전체가 커집니다. rr 로 나누면 합이 아니라 평균에 가까워져 rr 을 바꿔도 업데이트의 크기가 크게 흔들리지 않습니다. rr 을 8에서 32로 올릴 때 학습률을 다시 잡지 않아도 되게 하려는 것이 이 나눗셈의 목적입니다.

α\alpha 는 그 위에 얹는 배율이고, 실질적으로 어댑터에만 걸리는 학습률 배수처럼 작동합니다. 그래서 학습률과 α\alpha 를 둘 다 따로 탐색하면 같은 손잡이를 두 번 돌리는 셈이 됩니다. 하나를 고정하고 다른 하나만 움직이는 편이 낫고, 실무에서는 두 값을 따로 보지 말고 비 α/r\alpha/r 을 하나의 값으로 보는 편이 낫습니다.

  • rr 을 두 배로 올리면서 α\alpha 를 그대로 두면 α/r\alpha/r 이 절반이 됩니다 — 표현력은 늘렸는데 업데이트 세기는 줄인 것이라 두 변화가 섞여 원인을 못 가립니다.
  • α=2r\alpha = 2r 처럼 함께 올려 α/r\alpha/r 을 고정하면 바뀐 것이 랭크 하나뿐이 되어, 앞의 스펙트럼 실험과 결과를 맞대 볼 수 있습니다.

코드로 확인하기

손계산 대조

손으로 푼 MM 의 근사와 후보 비교를 그대로 옮깁니다.

import numpy as np

M = np.array([[3., 1], [1, 3]])
U, s, Vt = np.linalg.svd(M)
print(s)                                            # [4. 2.]

M1 = s[0] * np.outer(U[:, 0], Vt[0])                # 상위 1개 층만
print(M1)                                           # [[2. 2.] [2. 2.]]
print(np.linalg.norm(M - M1, 'fro'), s[1])          # 2.0 2.0  — 공식과 일치

for name, X in [("SVD",   M1),
                ("첫 행", np.array([[3., 1], [0, 0]])),
                ("첫 열", np.array([[3., 0], [1, 0]]))]:
    print(name, np.linalg.matrix_rank(X), round(np.linalg.norm(M - X, 'fro'), 4))
# SVD   1 2.0
# 첫 행 1 3.1623
# 첫 열 1 3.1623

감쇠하는 ΔW

rr 을 고르는 절차는 함수 하나로 씁니다. 특잇값만 필요하므로 compute_uv=False로 UU 와 VV 를 만들지 않습니다. 큰 행렬에서는 이쪽이 훨씬 가볍고, 표를 먼저 뽑아 kk 를 정한 뒤에 근사가 필요할 때만 전체 분해를 하면 됩니다.

시험용 ΔW\Delta W 는 특잇값을 우리가 정한 값으로 심어 만듭니다. UΣV⊤U\Sigma V^\top 의 Σ\Sigma 가 그대로 특잇값이 되려면 UU 와 VV 가 직교행렬이어야 하는데, 무작위 행렬을 QR 분해하면 그 QQ 가 직교행렬이라 이 용도에 맞습니다. 무작위 행렬을 그대로 쓰면 심은 값이 섞여 다른 특잇값이 나옵니다.

def rank_for_energy(delta_w, target=0.95):
    s = np.linalg.svd(delta_w, compute_uv=False)
    energy = np.cumsum(s ** 2) / (s ** 2).sum()
    return int((energy < target).sum() + 1), s

rng = np.random.default_rng(5)
U, _ = np.linalg.qr(rng.standard_normal((256, 256)))
V, _ = np.linalg.qr(rng.standard_normal((256, 256)))
dW = U @ np.diag(2.0 * 0.72 ** np.arange(256) + 0.004) @ V.T   # 감쇠하는 ΔW

for t in (0.90, 0.95, 0.99):
    k, s = rank_for_energy(dW, t)
    print(t, k)
# 0.9 4  /  0.95 5  /  0.99 8

오차 공식 대조

잘라 낸 근사를 실제로 만들어 오차 공식과 맞대 봅니다.

U2, s2, Vt2 = np.linalg.svd(dW)
for k in (4, 8, 16):
    approx = (U2[:, :k] * s2[:k]) @ Vt2[:k]
    print(k,
          round(np.linalg.norm(dW - approx, 'fro'), 6),
          round(np.sqrt((s2[k:] ** 2).sum()), 6),      # 프로베니우스 예측
          round(s2[k], 6))                             # 스펙트럼 예측
# 4  0.786909 0.786909 0.541477
# 8  0.22675  0.22675  0.148441
# 16 0.066061 0.066061 0.014432

가운데 두 열이 소수점 여섯 자리까지 같습니다 — 근사를 만들어 재나 특잇값으로 계산하나 답이 하나입니다. 마지막 열은 근사를 만들면서 ∥⋅∥2\|\cdot\|_2 로 재도 같은 값이 나옵니다.

정리

  • 특잇값 분해는 랭크 1짜리 층의 합입니다. A=∑σiuivi⊤A = \sum\sigma_i\mathbf{u}_i\mathbf{v}_i^\top 이고 각 층의 무게가 σi\sigma_i 이며, 층끼리 직교해 길이 제곱이 그대로 더해집니다.
  • 잘라 낸 특잇값 분해 AkA_k 는 랭크 kk 이하인 모든 행렬 중 AA 에 가장 가깝습니다(에카르트-영). 프로베니우스와 스펙트럼, 나아가 회전에 무심한 모든 자에서 그렇고, 성분별 최대 오차 같은 자에서는 아닙니다.
  • 잃는 양이 공식으로 나옵니다. ∥A−Ak∥F=∑i>kσi2\|A-A_k\|_F = \sqrt{\sum_{i>k}\sigma_i^2}, ∥A−Ak∥2=σk+1\|A-A_k\|_2 = \sigma_{k+1} 이라 특잇값 목록만으로 표를 뽑을 수 있습니다.
  • 에너지는 특잇값의 합이 아니라 제곱합의 비율이고, 상대 오차는 1−Ek\sqrt{1-E_k} 입니다.
  • 성분 단위로 덜어내면 안 됩니다. 행이나 열을 지우는 방식은 같은 랭크에서 1.5배 넘게 나빴습니다.
  • LoRA의 ΔW=BA\Delta W = BA 는 랭크 rr 제약이고, 4096×40964096\times4096 층에서 r=8r=8 이면 파라미터가 0.39%로 줍니다. 계산은 병합 전까지 오히려 조금 늘고, BB 를 0으로 시작해 첫 걸음을 원래 모델에 맞춥니다.
  • 낮은 랭크로 근사되는 것은 ΔW\Delta W 이지 W0W_0 가 아닙니다.
  • rr 은 누적 에너지 곡선에서 읽습니다. 큰 rr 로 한 번 돌려 ΔW\Delta W 를 얻고, 목표 비율을 채우는 kk 를 층마다 재고, 합칠 때는 모자라는 층을 먼저 봅니다. 그렇게 고른 rr 은 그릇의 크기이지 학습 결과의 약속이 아닙니다.
  • α/r\alpha/r 은 함께 봅니다. 비교 실험에서는 그 비를 고정합니다.

다시 설정 파일의 r로 돌아가면, 이제 그 칸에 들어갈 수는 «남들이 쓰는 8»이 아니라 한 번 넉넉하게 돌려 얻은 업데이트의 특잇값이 정합니다. 곡선이 4에서 이미 95%를 넘는 층이라면 64는 낭비이고, 30에서도 90%를 못 채우는 층이라면 8은 처음부터 담을 수 없는 그릇입니다.

이 글에서 두 노름을 «행렬 사이의 거리를 재는 자»로 쓰기만 하고 성질은 미뤄 두었습니다. 다음 글이 그 빚을 갚습니다. ∥A∥2=σ1\|A\|_2 = \sigma_1 이 왜 그런지, 프로베니우스 노름의 제곱이 왜 특잇값 제곱합인지, 그리고 그 값이 층을 통과할 때 신호가 얼마나 커질 수 있는지를 정하는 립시츠 상수와 어떻게 같은 것인지입니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN