수학

MATH / 중급 5번

노름과 거리: L1·L2·L∞와 단위구의 모양

노름의 세 공리에서 출발해 L1·L2·L∞의 단위구를 그려 비교하고, 그래디언트 클리핑과 가중치 감쇠와 L1 희소성이 각각 어떤 성질에서 나오는지 연결합니다.

PALDYN Team52 MIN READ

학습 로그를 보고 있는데 손실이 갑자기 nan이 됩니다. 그 직전 몇 스텝을 되짚어 보면 이런 게 찍혀 있습니다.

step 8412  loss 2.31  grad_norm 1.84
step 8413  loss 2.29  grad_norm 2.07
step 8414  loss 2.34  grad_norm 9284.1
step 8415  loss nan   grad_norm nan

해결책은 대부분 한 줄입니다.

torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

넣으면 잡힙니다. 그런데 이 함수가 재는 norm이 정확히 무엇인지, 그리고 1.0이라는 문턱이 무엇을 넘을 때 작동하는지는 대체로 그냥 넘어갑니다. 옆자리에는 weight_decay=0.01이 있고, 어떤 코드에는 clip_grad_value_가 대신 들어 있습니다. 셋 다 "너무 커지는 것을 막는다"고 설명되는데 막는 방식이 다릅니다.

지난 글에서 임베딩이 벡터라는 것이 무엇을 보장하는지 봤습니다. 그런데 벡터공간의 조건 어디에도 길이는 없었습니다. 길이는 따로 얹어야 하고, 얹는 방법이 하나가 아닙니다. 어떤 것을 얹느냐가 위 세 줄의 차이를 전부 만듭니다.

노름의 공리

세 공리

벡터 하나에 음이 아닌 실수 하나를 대응시키는 함수 ∥⋅∥\lVert \cdot \rVert가 다음 셋을 만족하면 노름이라 부릅니다. 노름은 「벡터의 길이」를 정하는 규칙이고, 아래 셋은 그 규칙이 길이라고 불릴 자격을 갖추는 최소 조건입니다.

∥x∥≥0,∥x∥=0  ⟺  x=0\lVert x \rVert \ge 0, \quad \lVert x \rVert = 0 \iff x = 0

∥cx∥=∣c∣⋅∥x∥\lVert cx \rVert = \lvert c \rvert \cdot \lVert x \rVert

∥x+y∥≤∥x∥+∥y∥\lVert x + y \rVert \le \lVert x \rVert + \lVert y \rVert

말로 풀면 이렇습니다.

첫째, 크기는 음수가 될 수 없고 0인 것은 영벡터뿐입니다. 이 조건이 있어야 "노름이 0이다"와 "벡터가 0이다"가 같은 말이 됩니다. 그래디언트 노름이 0으로 수렴한다는 문장이 "그래디언트가 사라진다"를 뜻하는 근거가 이것입니다.

둘째, 벡터를 cc배 하면 크기도 정확히 ∣c∣\lvert c \rvert배가 됩니다. 이 성질을 절대적 동차성이라 부르고, 클리핑이 성립하는 근거가 여기 있습니다. 벡터에 c/∥g∥c/\lVert g \rVert를 곱하면 노름이 정확히 cc가 된다는 것을 이 공리가 보장합니다. 이 성질이 없으면 "비율로 줄인다"는 조작 자체가 성립하지 않습니다.

셋째, 두 벡터를 더한 것의 크기는 각각의 크기 합을 넘지 않습니다. 이것이 삼각부등식이고, 곧 보겠지만 노름에서 거리를 만들 때 그 거리가 거리의 자격을 갖추게 하는 조건입니다. 삼각형의 한 변은 나머지 두 변의 합보다 길 수 없다는 그림 그대로입니다.

이 셋만 만족하면 무엇이든 노름입니다. 그래서 노름은 여러 개 있을 수 있고, 실제로 자주 쓰는 것이 셋입니다. 그 셋을 보기 전에 세 공리가 함께 무엇을 주는지, 그리고 무엇이 노름이 못 되는지부터 봅니다. 노름이 아닌 것을 보면 공리 하나하나가 무엇을 막고 있는지가 드러납니다.

볼록성

둘째와 셋째 공리를 같이 쓰면 한 가지가 공짜로 따라옵니다. 0≤t≤10 \le t \le 1인 tt에 대해

∥tx+(1−t)y∥≤∥tx∥+∥(1−t)y∥=t∥x∥+(1−t)∥y∥\lVert t x + (1-t) y \rVert \le \lVert t x \rVert + \lVert (1-t) y \rVert = t \lVert x \rVert + (1-t) \lVert y \rVert

입니다. 첫 부등호가 삼각부등식이고, 등호가 절대적 동차성입니다. 왼쪽의 tx+(1−t)ytx + (1-t)y는 xx와 yy를 잇는 선분 위의 점이므로, 이 식은 "선분 위 어느 점의 길이도 양 끝 길이를 같은 비율로 섞은 값을 넘지 않는다"는 뜻입니다. 이렇게 두 점 사이에서 함숫값이 양 끝을 이은 직선보다 아래에 머무는 성질을 볼록성이라 부르고, 그런 함수를 볼록 함수라 합니다. 모든 노름은 볼록 함수입니다.

같은 식을 길이가 1 이하인 점들의 모임에 적용하면 또 하나가 나옵니다. ∥x∥≤1\lVert x \rVert \le 1이고 ∥y∥≤1\lVert y \rVert \le 1이면 선분 위의 점도 길이가 t+(1−t)=1t + (1-t) = 1을 넘지 않습니다. 두 점을 잇는 선분이 통째로 그 안에 드는 집합을 볼록집합이라 하니, 노름이 정하는 "길이 1 이하의 영역"은 언제나 볼록집합입니다. 움푹 들어간 곳이 없다는 뜻입니다.

이것이 학습에서 쓸모 있는 이유는 최적화에 있습니다. 볼록 함수에는 가짜 골짜기가 없습니다. 내려가다 멈춘 곳, 곧 주변 어디로 가도 값이 안 줄어드는 극소점이 곧 전체의 최소점입니다. 선형 회귀의 손실에 L2나 L1 노름을 더해 큰 가중치를 벌하는 문제, 곧 벌점을 건 문제가 어디서 출발해도 같은 답 근처로 가는 것이 이 덕분입니다. 다만 "극소가 곧 최소"와 "최소점이 하나뿐"은 다른 말입니다. 최소점이 하나로 정해지려면 더 강한 조건, 곧 서로 다른 두 점을 잇는 선분 위에서 부등호가 늘 등호 없이 서는 엄격 볼록성이 필요합니다. L2 노름의 제곱은 엄격 볼록이고 L1 노름은 아닙니다. 마름모의 변처럼 평평한 구간에서는 등호가 서기 때문입니다. 이 차이가 뒤의 「엘라스틱 넷」에서 다시 나옵니다. 그리고 신경망의 손실 자체는 볼록이 아니므로, 여기서 말하는 볼록성은 벌점 항과 선형 모델에 대한 이야기입니다. 볼록이 아닌 손실에서 학습이 왜 되는지는 중급 44번 · 손실 지형이 다룹니다.

노름이 아닌 것

다음에 볼 pp-노름의 식에서 pp를 1보다 작게 잡으면 무엇이 깨지는지 봅니다. p=1/2p = 1/2이라 두고 (∣x1∣+∣x2∣)2(\sqrt{\lvert x_1 \rvert} + \sqrt{\lvert x_2 \rvert})^2를 길이처럼 써 봅니다. (1,0)(1, 0)과 (0,1)(0, 1)은 각각 1입니다. 그런데 둘을 더한 (1,1)(1, 1)은 (1+1)2=4(1 + 1)^2 = 4입니다. 각각의 합 2를 넘었으니 삼각부등식이 깨졌고, 이것은 노름이 아닙니다.

깨진 자리를 그림으로 보면 볼록성이 무너진 자리와 같습니다. 두 점의 한가운데 (0.5,0.5)(0.5, 0.5)를 재면 (0.5+0.5)2=2(\sqrt{0.5} + \sqrt{0.5})^2 = 2라, 길이 1인 두 점 사이의 중점이 길이 2가 됩니다. "길이 1 이하의 영역"이 축 쪽으로 오목하게 파인 별 모양이 되고, 선분이 그 영역 밖으로 나갑니다.

p=1/2의 단위구는 오목하다

더 자주 마주치는 가짜 노름이 있습니다. 0이 아닌 성분의 개수를 세는 값으로, 흔히 L0 "노름"이라 따옴표를 쳐서 부릅니다. x=(3,−4,0,1)x = (3, -4, 0, 1)이면 3입니다. 이것은 첫째 공리는 지키지만 둘째를 깹니다. 2x=(6,−8,0,2)2x = (6, -8, 0, 2)도 0이 아닌 성분이 3개라 값이 그대로 3이고, ∣2∣⋅3=6\lvert 2 \rvert \cdot 3 = 6이 되어야 할 자리가 3에 머뭅니다. 크기를 키워도 "크기"가 안 변하는 셈입니다.

희소성, 곧 0인 성분이 많은 상태를 원한다면 이 개수를 직접 벌하면 될 것 같지만 그러지 못합니다. 개수는 계단처럼 뛰는 값이라 미분이 0이거나 정의되지 않고, 볼록도 아니어서 최소를 찾는 문제가 조합 탐색이 됩니다. 성분이 dd개면 어느 성분을 남길지의 경우가 2d2^d입니다. 그래서 실무에서는 개수 대신 가장 가까운 볼록 노름인 L1을 벌하고, L1이 왜 개수를 줄이는 효과를 내는지가 이 글 뒤쪽의 주제입니다.

L1·L2·L∞

p-노름

자주 쓰는 노름 셋은 이렇습니다.

이름 정의 다른 이름 NumPy
L1 ∑i∣xi∣\sum_i \lvert x_i \rvert 맨해튼 노름 np.linalg.norm(x, 1)
L2 ∑ixi2\sqrt{\sum_i x_i^2} 유클리드 노름 np.linalg.norm(x, 2)
L∞ max⁡i∣xi∣\max_i \lvert x_i \rvert 최대 노름 np.linalg.norm(x, np.inf)

세 정의는 사실 한 식의 특수한 경우이고, 그 식을 p-노름이라 부릅니다.

∥x∥p=(∑i∣xi∣p)1/p\lVert x \rVert_p = \left( \sum_i \lvert x_i \rvert^p \right)^{1/p}

p=1p = 1이면 L1, p=2p = 2면 L2입니다. p→∞p \to \infty로 보내면 가장 큰 성분이 나머지를 압도해서 최댓값만 남고, 그래서 L∞라는 이름이 붙었습니다. 앞 절에서 본 대로 p≥1p \ge 1일 때만 노름이고, p<1p < 1은 삼각부등식이 깨집니다.

숫자를 넣어 봅니다. x=(3,−4,0,1)x = (3, -4, 0, 1)입니다.

import numpy as np
x = np.array([3.0, -4.0, 0.0, 1.0])

np.abs(x).sum()         # 8.0      = 3 + 4 + 0 + 1
np.sqrt((x**2).sum())   # 5.099    = √(9 + 16 + 0 + 1)
np.abs(x).max()         # 4.0      = |-4|

같은 벡터인데 크기가 8이기도 하고 5.1이기도 하고 4이기도 합니다. "이 벡터가 크다"는 문장은 어떤 노름을 쓰는지 밝히기 전까지 의미가 없습니다. 그리고 순서가 늘 같다는 것도 보입니다. 같은 벡터라면 pp가 클수록 값이 작거나 같습니다.

단위구

세 노름의 차이를 가장 선명하게 보는 방법은 크기가 정확히 1인 점들을 전부 그려 보는 것입니다. 그 모임을 단위구라 부릅니다. 2차원에서는 곡선이지만 높은 차원으로 그대로 늘려 쓰므로 "구"라는 이름을 씁니다.

L1, L2, L∞의 단위구

  • L1의 단위구는 마름모입니다. ∣x1∣+∣x2∣=1\lvert x_1 \rvert + \lvert x_2 \rvert = 1을 만족하는 점들이고, 꼭짓점이 축 위 (±1,0)(\pm 1, 0)과 (0,±1)(0, \pm 1)에 있습니다. 꼭짓점이 축 위에 있다는 이 한 가지에서 L1 희소성이 전부 나옵니다.
  • L2의 단위구는 원입니다. 모든 방향이 대등합니다. 회전시켜도 모양이 변하지 않는 유일한 p-노름이고, 그래서 특별히 좋아하는 방향이 없는 정규화가 필요할 때 기본값이 됩니다.
  • L∞의 단위구는 정사각형입니다. 대각선 방향으로 가장 멀리 갈 수 있습니다. (1,1)(1, 1)은 L∞로 재면 크기가 1이지만 L2로 재면 2\sqrt{2}입니다.

세 도형은 안팎으로 겹쳐 있습니다. 마름모가 원 안에 들고 원이 정사각형 안에 듭니다. 어떤 벡터가 L1 단위구 안에 있으면 L2 단위구 안에도 반드시 있고, 반대는 성립하지 않습니다. 앞에서 본 "p가 클수록 값이 작다"를 도형으로 옮기면 "p가 클수록 단위구가 크다"가 됩니다. 셋 다 볼록이라는 것도 그림에서 확인됩니다. 앞의 p=1/2p = 1/2 별 모양과 견주면 차이가 분명합니다.

노름 동치

수학에는 이런 정리가 있습니다.

유한 차원 벡터공간에서 모든 노름은 서로 동치다.

여기서 노름 동치는 상수 m,M>0m, M > 0이 있어서 모든 xx에 대해 m∥x∥a≤∥x∥b≤M∥x∥am\lVert x \rVert_a \le \lVert x \rVert_b \le M \lVert x \rVert_a가 성립한다는 뜻입니다. 한 노름으로 작으면 다른 노름으로도 상수배 안에서 작다는 말입니다. 우리가 쓰는 셋 사이에는 이런 상수가 잡힙니다.

∥x∥2  ≤  ∥x∥1  ≤  d ∥x∥2\lVert x \rVert_2 \;\le\; \lVert x \rVert_1 \;\le\; \sqrt{d}\, \lVert x \rVert_2

∥x∥∞  ≤  ∥x∥2  ≤  d ∥x∥∞\lVert x \rVert_\infty \;\le\; \lVert x \rVert_2 \;\le\; \sqrt{d}\, \lVert x \rVert_\infty

첫 줄의 왼쪽은 제곱합이 절댓값 합의 제곱보다 작다는 것에서, 오른쪽은 코시-슈바르츠에서 나옵니다. 둘째 줄은 더 쉽습니다. 제곱합에는 가장 큰 성분의 제곱이 들어 있으니 왼쪽이 서고, 성분 dd개가 전부 최댓값이어도 제곱합이 d∥x∥∞2d \lVert x \rVert_\infty^2를 못 넘으니 오른쪽이 섭니다.

등호가 서는 자리를 보면 부등식이 무엇을 재는지 보입니다. 두 줄 모두 왼쪽 등호는 성분이 한 곳에 몰렸을 때, 곧 (1,0,0,0)(1, 0, 0, 0) 같은 벡터에서 섭니다. 오른쪽 등호는 모든 성분의 크기가 같을 때, 곧 (0.5,0.5,0.5,0.5)(0.5, 0.5, 0.5, 0.5) 같은 벡터에서 섭니다. 앞의 x=(3,−4,0,1)x = (3, -4, 0, 1)은 d=4d = 4에서 4≤5.1≤84 \le 5.1 \le 8이라 둘째 줄의 한가운데쯤에 있습니다.

그래서 이론적으로는 어떤 노름으로 재도 수렴하면 다 수렴하고, 유계면 다 유계입니다. 노름 선택이 수렴 여부를 바꾸지 못합니다.

그런데 실무에서는 전혀 같지 않습니다. 상수 d\sqrt{d}가 차원에 따라 커지기 때문입니다. d=768d = 768이면 d≈27.7\sqrt{d} \approx 27.7입니다. 실제로 어느 정도인지 재 봅니다.

rng = np.random.default_rng(1)
d = 768
V = rng.normal(size=(20000, d))

l1 = np.abs(V).sum(1)
l2 = np.sqrt((V**2).sum(1))
li = np.abs(V).max(1)

print((l1/l2).min(), (l1/l2).max())   # 21.272  22.955
print((l2/li).min(), (l2/li).max())   # 5.106   10.990

정규분포에서 뽑은 768차원 벡터의 L1은 L2보다 항상 21배 이상 큽니다. 최댓값(L∞)보다는 L2가 5~11배 큽니다. 성분이 고르게 퍼진 벡터일수록 오른쪽 등호에 가까워지므로, 성분이 고만고만한 정규분포 벡터는 상한 27.7의 8할쯤인 22 언저리에 몰립니다.

그래서 이런 일이 생깁니다. L2 노름 문턱 1.0으로 클리핑하던 설정을 L1으로 바꾸면 사실상 모든 스텝이 클리핑됩니다. 정규화 세기 λ\lambda를 L2에서 L1으로 옮기면서 값을 그대로 두면 모델이 죽습니다. 동치 정리가 알려 주는 실무적 함의는 "같다"가 아니라 "상수만큼 다르고 그 상수가 차원에 비례해 커진다"이고, 노름을 바꿀 때는 세기도 함께 다시 잡아야 합니다.

행렬 노름

clip_grad_norm_이 재는 것은 사실 벡터 하나가 아닙니다. 층마다 가중치가 행렬이고, 그래디언트도 같은 모양의 행렬입니다. 행렬의 크기를 재는 가장 간단한 방법은 모든 칸을 한 줄로 펴서 L2 노름을 재는 것이고, 이것을 프로베니우스 노름이라 부릅니다. 행렬을 긴 벡터로 본 L2 노름이라는 뜻입니다.

∥W∥F=∑i,jWij2\lVert W \rVert_F = \sqrt{\sum_{i,j} W_{ij}^2}

클리핑의 전체 노름은 층마다 이 값을 구한 뒤 다시 제곱합의 제곱근을 취한 것과 같습니다. 그래디언트의 프로베니우스 노름이 3인 층과 4인 층 둘뿐이면 전체 노름은 9+16=5\sqrt{9 + 16} = 5입니다. 모든 칸을 처음부터 한 줄로 이어 붙인 L2 노름과 정확히 같은 값입니다.

행렬에는 벡터에 없던 다른 물음이 하나 더 있습니다. 행렬은 벡터를 받아 벡터를 내는 변환이므로, "이 행렬이 입력을 최대 몇 배까지 늘이는가"를 물을 수 있습니다. 그 최대 배율을 스펙트럼 노름이라 부릅니다. W=diag(2,1)W = \mathrm{diag}(2, 1)이면 프로베니우스 노름은 4+1≈2.236\sqrt{4 + 1} \approx 2.236이지만 스펙트럼 노름은 2입니다. 첫 축 방향의 입력이 2배로 늘어나는 것이 가장 크고, 그보다 더 늘어나는 방향은 없습니다. 스펙트럼 노름을 ∥W∥2\lVert W \rVert_2로 적으면 두 값은 늘 ∥W∥2≤∥W∥F\lVert W \rVert_2 \le \lVert W \rVert_F 순서이고, 클리핑은 앞의 것이 아니라 뒤의 것, 그것도 모든 층을 합친 것을 씁니다. 스펙트럼 노름이 학습 안정성과 어떻게 이어지는지는 중급 17번 · 행렬 노름에서 따로 다룹니다.

노름이 만드는 거리

거리의 조건

노름이 있으면 거리는 공짜로 따라옵니다. 두 점의 차이의 크기를 거리로 쓰면 됩니다.

d(x,y)=∥x−y∥d(x, y) = \lVert x - y \rVert

이렇게 정의한 dd가 거리로서 갖춰야 할 조건들이 노름의 세 공리에서 그대로 나옵니다.

거리의 조건 어느 공리에서 오는가
d(x,y)≥0d(x,y) \ge 0, 0이면 같은 점 첫째 공리
d(x,y)=d(y,x)d(x,y) = d(y,x) 둘째 공리에 c=−1c = -1
d(x,z)≤d(x,y)+d(y,z)d(x,z) \le d(x,y) + d(y,z) 셋째 공리

세 번째가 우리가 아는 삼각부등식입니다. x−z=(x−y)+(y−z)x - z = (x - y) + (y - z)로 쪼개고 노름의 삼각부등식을 쓰면 곧바로 나옵니다. 돌아가는 길이 질러가는 길보다 짧을 수 없다는 보장이고, 볼 트리 같은 벡터 검색 색인이 이 보장 위에서 후보를 가지칩니다.

노름마다 거리의 이름이 따로 있습니다. L2에서 온 것이 유클리드 거리, L1에서 온 것이 맨해튼 거리 — 격자 도로를 따라 가는 거리라 그렇게 부릅니다 — L∞에서 온 것이 체비셰프 거리입니다. 벡터 데이터베이스의 거리 지표 설정에서 보는 이름들이 이것이고, 그중 무엇을 고를지는 벡터 유사도 지표가 실전 기준으로 다룹니다.

단위 벡터와 코사인

여기서 짚을 것이 하나 있습니다. 코사인 유사도는 이 방식으로 만들어진 거리가 아닙니다. 어떤 노름의 차이로 정의된 것이 아니라 두 벡터가 이루는 각을 재는 다른 물건이고, 그래서 "1에서 코사인을 뺀 값"을 거리처럼 써도 삼각부등식이 보장되지 않습니다.

그런데 두 벡터의 L2 길이를 미리 1로 맞춰 두면 둘이 정확히 이어집니다. 길이가 1인 a,ba, b에 대해

∥a−b∥22=∥a∥22−2 a⋅b+∥b∥22=2−2cos⁡θ\lVert a - b \rVert_2^2 = \lVert a \rVert_2^2 - 2\, a \cdot b + \lVert b \rVert_2^2 = 2 - 2\cos\theta

입니다. a⋅ba \cdot b는 다음 글에서 정의할 내적인데, 지금은 길이가 1인 두 벡터에서 그 값이 둘 사이 각의 코사인이라는 것만 쓰면 됩니다. 숫자로 확인합니다. a=(1,0)a = (1, 0), b=(0.6,0.8)b = (0.6, 0.8)이면 둘 다 길이가 1이고, 성분끼리 곱해 더한 1×0.6+0×0.8=0.61 \times 0.6 + 0 \times 0.8 = 0.6이 cos⁡θ\cos\theta입니다. 차이는 (0.4,−0.8)(0.4, -0.8)이라 거리의 제곱은 0.16+0.64=0.80.16 + 0.64 = 0.8이고, 2−2×0.6=0.82 - 2 \times 0.6 = 0.8과 같습니다.

단위원 위에서 거리와 코사인

오른쪽 2−2cos⁡θ2 - 2\cos\theta는 코사인이 클수록 작아지므로, 단위 벡터끼리는 "코사인이 큰 순서"와 "L2 거리가 가까운 순서"가 정확히 같습니다. 임베딩을 정규화해서 저장하는 벡터 데이터베이스가 코사인 대신 L2 색인을 써도 같은 결과를 내는 이유가 이것입니다. 길이를 맞추지 않으면 이 다리가 끊기고, 그때 무엇이 갈리는지가 다음 글의 주제입니다.

고차원의 거리

거리는 차원이 커지면 이상하게 행동합니다. 점 1,000개를 [0,1]d[0, 1]^d 안에 고르게 뿌리고, 새 점 하나에서 가장 먼 점까지의 거리를 가장 가까운 점까지의 거리로 나눠 봅니다. 기준점 50개로 잰 중앙값입니다.

차원 dd L1 L2 L∞
10 4.47 3.79 3.35
100 1.54 1.44 1.35
768 1.17 1.14 1.11

768차원에서는 가장 먼 점이 가장 가까운 점보다 겨우 14% 멉니다(L2 기준). 모든 점이 거의 같은 거리에 몰리는 이 현상을 거리 집중이라 부릅니다. "가장 가까운 이웃"이라는 말이 차원이 커질수록 덜 뚜렷해진다는 뜻이고, 흔히 차원의 저주라 부르는 것의 한 얼굴입니다.

표에서 노름별 순서도 읽힙니다. 같은 차원에서 비율이 L1, L2, L∞ 순으로 작아집니다. L1이 가장 늦게 무너지고 L∞가 가장 먼저 무너집니다. L∞는 가장 크게 다른 한 좌표만 보는데, 차원이 크면 어느 두 점이든 크게 다른 좌표가 하나쯤은 있기 마련이라 값이 다 비슷해집니다. L1은 모든 좌표의 차이를 같은 무게로 더해 어느 한 좌표가 지배하지 못하게 합니다. 다만 768차원에서 1.17과 1.14의 차이는 작습니다. 노름을 바꾸는 것으로 거리 집중을 피할 수는 없고, 실제 임베딩에서 이웃 검색이 그래도 쓸 만한 것은 데이터가 768개 축을 고르게 쓰지 않고 훨씬 낮은 차원 근처에 모여 있기 때문으로 설명됩니다. 그 기하는 중급 65번 · 고차원 기하에서 다룹니다.

그래디언트 클리핑

노름 클리핑

이제 처음의 함수로 돌아갑니다. 그래디언트가 너무 길 때 잘라 내는 조작을 그래디언트 클리핑이라 부르고, clip_grad_norm_이 하는 노름 클리핑의 정의는 이렇습니다.

g←g⋅min⁡ ⁣(1,c∥g∥2)g \leftarrow g \cdot \min\!\left(1, \frac{c}{\lVert g \rVert_2}\right)

그래디언트 클리핑은 길이만 자른다

노름이 문턱 cc보다 작으면 min⁡\min이 1이 되어 아무 일도 일어나지 않습니다. 넘으면 c/∥g∥2c / \lVert g \rVert_2라는 1보다 작은 수를 전체에 곱합니다. 결과의 노름은 정확히 cc가 되는데, 그것을 보장하는 것이 앞의 절대적 동차성입니다.

∥g⋅c∥g∥2∥2=c∥g∥2∥g∥2=c\left\lVert g \cdot \frac{c}{\lVert g \rVert_2} \right\rVert_2 = \frac{c}{\lVert g \rVert_2} \lVert g \rVert_2 = c

g = np.array([6.0, 8.0])
c = 5.0
np.linalg.norm(g)                          # 10.0
g * min(1.0, c / np.linalg.norm(g))        # [3., 4.]
np.linalg.norm(g * min(1.0, c/np.linalg.norm(g)))  # 5.0

(6,8)(6, 8)이 (3,4)(3, 4)가 됐습니다. 비율이 그대로입니다. 모든 성분에 같은 수를 곱하므로 방향이 보존되고, 학습이 가리키던 방향은 그대로 두고 보폭만 줄인 것이 됩니다. 그래디언트가 폭발했을 때 방향 정보까지 버리지 않는다는 것이 이 방식의 핵심입니다.

앞의 「행렬 노름」에서 본 대로 clip_grad_norm_은 모든 파라미터의 그래디언트를 하나의 긴 벡터로 이어 붙인 다음 그 전체의 L2 노름을 잽니다. 층마다 따로 재는 것이 아닙니다. 그래서 한 층에서 폭발이 나면 다른 층들의 그래디언트도 같은 비율로 줄어듭니다. 층별 상대 크기는 유지되고 전체 보폭만 줄어듭니다.

값 클리핑

clip_grad_value_는 다른 것입니다. 이쪽은 각 성분을 개별적으로 [−v,v][-v, v]에 가둡니다.

gi←clip(gi,−v,v)g_i \leftarrow \mathrm{clip}(g_i, -v, v)

이것은 사실상 L∞ 기준 클리핑이고, 방향이 바뀝니다. 큰 성분만 잘리고 작은 성분은 그대로라 잘린 뒤의 벡터가 원래와 다른 쪽을 가리킵니다. 같은 (6,8)(6, 8)을 v=5v = 5로 자르면 (5,5)(5, 5)가 됩니다. 원래 벡터는 가로축에서 약 53도였는데 잘린 벡터는 45도입니다. 결과의 L∞ 노름은 5로 문턱과 같지만 L2 노름은 약 7.07이라, 노름 클리핑의 결과(길이 5)보다 깁니다.

단위구로 보면 L2 클리핑은 원 위로 끌어당기는 것이고 값 클리핑은 정사각형 안으로 밀어 넣는 것인데, 정사각형의 면에 눌리면 방향이 틀어집니다. 둘 다 폭발을 막지만 성질이 다르고, 트랜스포머 학습에서 노름 클리핑이 기본값인 이유가 이 방향 보존입니다.

클리핑 편향

노름 클리핑이 방향을 보존한다는 말에는 단서가 하나 붙습니다. 보존되는 것은 그 스텝의 미니배치 그래디언트의 방향이지, 우리가 실제로 따라가고 싶은 평균 그래디언트의 방향이 아닙니다. 미니배치 그래디언트는 평균을 중심으로 흔들리는 표본이고, 클리핑은 표본마다 다른 비율을 곱하므로 평균을 낸 뒤 자르는 것과 자른 뒤 평균을 내는 것이 다릅니다. 기댓값과 순서를 바꿀 수 없다는 이 어긋남을 클리핑 편향이라 부릅니다.

손으로 확인합니다. 미니배치가 반반의 확률로 두 그래디언트 중 하나를 준다고 합니다. 하나는 g1=(10,0)g_1 = (10, 0), 다른 하나는 g2=(0,2)g_2 = (0, 2)이고 문턱은 c=1c = 1입니다.

  • 평균 그래디언트는 (5,1)(5, 1)이고 가로축에서 약 11.3도를 가리킵니다. 이것을 자르면 길이만 1로 줄어 (0.981,0.196)(0.981, 0.196)이 되고 각도는 그대로입니다.
  • 표본마다 먼저 자르면 g1g_1은 (1,0)(1, 0), g2g_2는 (0,1)(0, 1)이 됩니다. 둘 다 길이가 1로 같아졌습니다. 그 평균은 (0.5,0.5)(0.5, 0.5)이고 45도를 가리킵니다.

클리핑은 평균의 방향을 바꾼다

같은 데이터인데 기대 갱신 방향이 11.3도에서 45도로 틀어졌습니다. 큰 그래디언트를 내는 표본일수록 더 많이 깎이므로, 그 표본이 가리키던 방향의 몫이 줄어든 것입니다. 문턱이 표본 그래디언트의 보통 길이보다 한참 낮으면 거의 모든 표본이 같은 길이로 깎여 이 효과가 커지고, 문턱이 보통 길이보다 높아 가끔만 작동하면 편향도 그 가끔에만 생깁니다. 클리핑이 폭발 한 번을 막는 데는 거의 공짜이지만 늘 켜 두면 공짜가 아닌 이유가 이것입니다.

문턱 고르기

그러면 cc는 어디에 둘까요. 1.0은 널리 퍼진 기본값일 뿐 모델이 알려 준 값이 아닙니다. 기준은 그래디언트 노름의 평소 크기이고, 그것은 재야 압니다. 학습 초반 몇백 스텝의 grad_norm을 찍어 그 중앙값을 보고, 평소에는 거의 안 걸리고 튀는 스텝에서만 걸리도록 그 언저리나 조금 위에 문턱을 둡니다.

서두의 로그를 이 눈으로 다시 봅니다. PyTorch의 clip_grad_norm_은 자르기 전의 전체 노름을 돌려주고, 학습 로그의 grad_norm은 대개 그 값을 찍은 것입니다. 평소 값이 1.84, 2.07이었으니 max_norm=1.0은 폭발한 스텝만이 아니라 매 스텝 작동하고 있었습니다. 그러면 갱신의 길이가 늘 학습률 곱하기 1로 고정되어, 사실상 방향만 쓰는 정규화된 경사하강이 됩니다. 그것이 틀린 설정은 아닙니다. 대형 언어 모델 학습에서는 일부러 그렇게 두기도 합니다. 다만 "폭발할 때만 개입하는 안전장치"라고 생각하고 둔 것이라면 실제 동작과 다르고, 앞에서 본 편향도 매 스텝 들어갑니다. 문턱을 바꿀 때 학습률도 같이 봐야 하는 것도 이 때문입니다. 늘 걸리는 문턱에서는 문턱이 곧 보폭의 일부입니다.

가중치 감쇠와 희소성

가중치 감쇠

정규화는 손실에 항을 하나 더하는 방식으로 씁니다. 앞에서 말한 벌점이 이것이고, 가중치가 커질수록 손실이 커지게 만들어 큰 가중치를 피하게 합니다.

Ltotal(θ)=L(θ)+λ2∥θ∥22L_{\text{total}}(\theta) = L(\theta) + \frac{\lambda}{2}\lVert \theta \rVert_2^2

L2 노름의 제곱을 씁니다. 제곱근을 벗겨 두면 미분이 깔끔해지기 때문입니다. 추가된 항을 θ\theta로 미분하면 그냥 λθ\lambda\theta입니다.

∂∂θ(λ2∥θ∥22)=λθ\frac{\partial}{\partial \theta}\left(\frac{\lambda}{2}\lVert \theta \rVert_2^2\right) = \lambda\theta

이것을 경사하강에 넣으면 업데이트가 이렇게 됩니다.

θ←θ−η(∇L+λθ)=(1−ηλ) θ−η∇L\theta \leftarrow \theta - \eta(\nabla L + \lambda\theta) = (1 - \eta\lambda)\,\theta - \eta\nabla L

매 스텝마다 θ\theta에 1−ηλ1 - \eta\lambda라는 1보다 조금 작은 수가 곱해집니다. 손실이 아무 말도 안 하면 가중치는 저절로 0을 향해 줄어들고, 그래서 이 방식을 가중치 감쇠라 부릅니다. η=0.001\eta = 0.001, λ=0.01\lambda = 0.01이면 한 스텝에 곱하는 수는 0.99999이고, 이것이 10만 스텝 쌓이면 0.99999100000≈0.370.99999^{100000} \approx 0.37입니다. 한 스텝에는 티가 안 나도 학습 전체로는 가중치를 3분의 1 남짓으로 끌어내리는 힘입니다.

이 유도는 순수한 경사하강에서만 그대로 성립합니다. Adam처럼 그래디언트를 크기로 나누는 최적화기에서는 λθ\lambda\theta 항도 함께 나눠져서 "일정 비율로 감쇠"가 깨집니다. AdamW가 정규화 항을 손실이 아니라 업데이트 단계에 따로 붙이는 이유가 그것이고, 그 유도는 중급 48번 · Adam에서 합니다.

L1 벌점

L2 대신 L1을 벌점으로 쓰면 결과가 질적으로 달라집니다.

Ltotal(θ)=L(θ)+λ∥θ∥1L_{\text{total}}(\theta) = L(\theta) + \lambda \lVert \theta \rVert_1

∥θ∥1=∑i∣θi∣\lVert \theta \rVert_1 = \sum_i \lvert \theta_i \rvert의 미분은 θi\theta_i의 부호입니다. θi>0\theta_i > 0이면 +1+1, θi<0\theta_i < 0이면 −1-1입니다. 크기와 무관하게 항상 같은 힘으로 0을 향해 밉니다. L2가 λθi\lambda\theta_i라는 크기에 비례하는 힘으로 미는 것과 정반대입니다. 0에 가까운 가중치를 L2는 거의 안 건드리지만 L1은 끝까지 같은 힘으로 밉니다.

문제는 0에서 생깁니다. ∣θi∣\lvert \theta_i \rvert는 0에서 꺾여 있어 미분이 없고, 부호만 따라 밀면 0을 사이에 두고 +λη+\lambda\eta와 −λη-\lambda\eta를 오가며 정확히 0에 멈추지 못합니다. 그래서 L1은 미분을 따라가는 대신 다음 소절의 방법으로 풉니다. 그 결과가 이렇게 생겼습니다.

L1은 0을 만들고 L2는 줄이기만 한다

def soft(w, t):
    return np.sign(w) * np.maximum(np.abs(w) - t, 0.0)

w = np.array([-1.5, -0.4, 0.0, 0.3, 2.0])

soft(w, 0.5)      # [-1.0, -0.0, 0.0, 0.0, 1.5]   ← 0.5 안쪽은 정확히 0
w / (1 + 2*0.5)   # [-0.75, -0.2, 0.0, 0.15, 1.0] ← 비율로 줄어들 뿐

L1은 −0.4-0.4와 0.30.3을 정확히 0으로 만들었습니다. L2는 −0.2-0.2와 0.150.15로 줄였을 뿐 0이 아닙니다. 부동소수점 오차로 작아진 것이 아니라 정확히 0이라 실제로 그 자리를 저장하지 않아도 됩니다. 이것이 희소성이고, 가지치기와 희소 모델의 근거입니다.

이 성질은 단위구의 모양으로 돌아갑니다. 벌점을 건 문제는 "손실을 줄이되 노름이 어느 크기를 넘지 않게"라는 문제로 바꿔 읽을 수 있고, 그때 답은 손실의 등고선이 노름의 단위구를 처음 건드리는 점입니다. L1 단위구는 축 위에 뾰족한 꼭짓점이 있어 등고선이 그 꼭짓점에 먼저 닿기 쉽고, 축 위의 점은 다른 좌표가 0인 점입니다. L2의 단위구는 매끄러운 원이라 특별히 걸릴 자리가 없고, 그래서 모든 좌표가 조금씩 작아질 뿐입니다.

근접 연산자

위 코드의 soft가 어디서 나왔는지 봅니다. 가중치 하나 ww가 손실 쪽 갱신으로 이미 정해졌다고 하고, 거기서 L1 벌점까지 고려해 최종 값 vv를 고르는 문제를 세웁니다. ww에서 너무 멀리 가지 않으면서 ∣v∣\lvert v \rvert도 작게 하는 값입니다.

v∗=arg⁡min⁡v  12(v−w)2+λ∣v∣v^\ast = \arg\min_v \; \tfrac{1}{2}(v - w)^2 + \lambda \lvert v \rvert

vv의 부호에 따라 나눠 풉니다.

  1. v>0v > 0이라 가정하면 ∣v∣=v\lvert v \rvert = v이고, 미분을 0으로 두면 v−w+λ=0v - w + \lambda = 0, 곧 v=w−λv = w - \lambda입니다. 가정과 맞으려면 w>λw > \lambda여야 합니다.
  2. v<0v < 0이라 가정하면 같은 방법으로 v=w+λv = w + \lambda이고, w<−λw < -\lambda여야 합니다.
  3. 둘 다 아니면, 곧 −λ≤w≤λ-\lambda \le w \le \lambda이면 답은 꺾인 점 v=0v = 0입니다. 0의 양쪽 어디로 움직여도 목적 함수가 커지기 때문입니다.

세 경우를 한 줄로 적은 것이 sign(w)max⁡(∣w∣−λ,0)\mathrm{sign}(w)\max(\lvert w \rvert - \lambda, 0)이고, 이것을 소프트 임계값 함수라 부릅니다. λ=0.5\lambda = 0.5에서 w=2w = 2는 1번 경우라 1.51.5, w=−0.4w = -0.4는 3번 경우라 0입니다. 위 코드의 출력과 같습니다.

이렇게 "원래 값 ww 근처에 머물면서 벌점 함수도 작게 하는 점"을 돌려주는 연산을 그 벌점의 근접 연산자라 부릅니다. L1의 근접 연산자가 소프트 임계값이고, L2 벌점 λv2\lambda v^2의 근접 연산자는 같은 계산으로 w/(1+2λ)w / (1 + 2\lambda)가 나옵니다. 코드의 둘째 줄이 그것입니다. 손실 쪽은 그래디언트로 한 걸음, 벌점 쪽은 근접 연산자로 한 걸음 번갈아 가는 방법이 근접 경사하강이고, L1 문제를 푸는 표준 방법입니다.

이 식에서 λ\lambda의 역할도 다시 읽힙니다. 절댓값이 λ\lambda보다 작은 성분은 전부 0이 됩니다. 그러니 λ\lambda는 "얼마나 세게 누르는가"이기 전에 "몇 개를 지우는가"의 눈금입니다. 위 다섯 값에서 λ=0.5\lambda = 0.5면 0이 셋(원래 0 하나를 포함해서)이고, λ=1.6\lambda = 1.6이면 2.02.0 하나만 살아남아 0이 넷이 됩니다. 남는 성분의 크기는 모두 λ\lambda만큼 깎인다는 것도 같이 기억해 둘 만합니다.

엘라스틱 넷

L1만 쓰면 생기는 약점이 하나 있습니다. 같은 정보를 담은 두 입력이 있을 때입니다. 예를 들어 두 입력이 늘 같은 값이라 가중치의 합 w1+w2=1w_1 + w_2 = 1만 정해진다고 합니다. (1,0)(1, 0)과 (0.5,0.5)(0.5, 0.5)는 예측이 같고 L1 벌점도 둘 다 1로 같습니다. L1은 둘을 가르지 못하고, 실제 풀이는 그중 하나를 거의 임의로 골라 다른 하나를 0으로 만들어 버립니다. 앞에서 본 대로 L1이 엄격 볼록이 아니라 최소점이 하나로 정해지지 않는 자리입니다.

L2 벌점의 제곱을 함께 걸면 갈립니다. (1,0)(1, 0)의 제곱합은 1이고 (0.5,0.5)(0.5, 0.5)는 0.5라 L2는 고르게 나눈 쪽을 고릅니다. L1과 L2의 제곱을 함께 쓰는 벌점을 엘라스틱 넷이라 부릅니다.

λ1∥θ∥1+λ22∥θ∥22\lambda_1 \lVert \theta \rVert_1 + \frac{\lambda_2}{2} \lVert \theta \rVert_2^2

L2 제곱이 들어가 엄격 볼록이 되므로 최소점이 하나로 정해지고, 상관 있는 입력들은 함께 살아남거나 함께 0이 됩니다. 그러면서 L1의 꼭짓점은 그대로 남아 관계없는 입력은 여전히 정확히 0이 됩니다. 근접 연산자도 둘의 조합이라, 소프트 임계값을 먼저 하고 1+λ21 + \lambda_2로 나눕니다. λ1=0.5\lambda_1 = 0.5, λ2=1\lambda_2 = 1에서 w=2w = 2는 1.5/2=0.751.5 / 2 = 0.75가 되고, w=0.3w = 0.3은 여전히 0입니다.

다시 그 로그로

같은 L2, 다른 L1

처음의 세 줄로 돌아가기 전에, 세 노름이 무엇을 다르게 벌하는지 벡터 두 개로 정리합니다. 하나는 한 성분에 몰려 있고, 하나는 고르게 퍼져 있습니다. 앞의 「노름 동치」에서 등호가 서던 두 자리입니다.

a=(1, 0, 0, 0),b=(0.5, 0.5, 0.5, 0.5)a = (1,\, 0,\, 0,\, 0), \qquad b = (0.5,\, 0.5,\, 0.5,\, 0.5)

벡터 L1 L2 L∞
aa (몰려 있음) 1.00 1.00 1.00
bb (퍼져 있음) 2.00 1.00 0.50

L2로 재면 둘은 완전히 같은 크기입니다. 그런데 L1으로 재면 bb가 두 배 크고, L∞로 재면 aa가 두 배 큽니다.

  • L2 벌점은 두 벡터를 구별하지 않습니다. 크기가 같으면 어떻게 분포하든 같은 벌을 받습니다. 그래서 L2는 전체적으로 작게만 요구합니다.
  • L1 벌점은 퍼진 것을 더 벌합니다. 같은 L2 크기라면 몰려 있는 쪽이 유리하고, 그것이 희소한 해에 유리하게 작용합니다.
  • L∞ 벌점은 몰려 있는 것을 더 벌합니다. 가장 큰 성분만 보므로 고르게 퍼뜨리는 쪽으로 밉니다.

같은 "크게 하지 마라"인데 요구하는 모양이 정반대입니다. 정규화를 고르는 일이 결국 어떤 모양의 해를 원하는가를 고르는 일입니다.

세 줄의 단위

이제 처음 로그를 다시 봅니다.

step 8414  loss 2.34  grad_norm 9284.1

grad_norm은 모든 파라미터의 그래디언트를 이어 붙인 하나의 긴 벡터의 L2 노름, 곧 층별 프로베니우스 노름을 다시 합친 값입니다. max_norm=1.0은 그 값이 1을 넘으면 1/9284.11/9284.1을 전체에 곱한다는 뜻이고, 방향은 그대로 남습니다. 평소 값이 2 언저리였으니 이 설정에서는 매 스텝이 이미 잘리고 있었다는 것도 이제 보입니다.

옆자리의 weight_decay=0.01은 같은 L2를 쓰지만 대상이 그래디언트가 아니라 가중치이고, 하는 일도 다릅니다. max_norm=1.0은 길이의 상한이라 그래디언트와 같은 단위를 갖는 값이고, weight_decay=0.01은 학습률과 곱해져 매 스텝 (1−ηλ)(1 - \eta\lambda)로 들어가는 비율이라 단위가 없습니다. 둘을 같은 "크게 하지 마라"의 세기로 견줄 수 없습니다. 하나는 한 스텝의 보폭을 자르고, 하나는 가중치 자체를 오랜 시간에 걸쳐 끌어내립니다. clip_grad_value_를 쓰는 코드는 사실 L∞로 재고 있고 방향이 바뀝니다.

감쇠 제외 대상

실제 학습 코드를 열어 보면 weight_decay가 모든 파라미터에 걸려 있지 않은 경우가 많습니다. 파라미터를 두 묶음으로 나눠, 편향(bias) 항과 LayerNorm의 배율·이동 파라미터에는 weight_decay=0.0을 주는 것이 흔한 관례입니다.

이유는 감쇠가 "0이 기본값"이라고 가정한다는 데 있습니다. 가중치 행렬은 입력을 얼마나 크게 증폭하는지를 정하므로, 그 노름을 누르면 모델이 입력의 작은 차이에 과하게 반응하지 못하게 됩니다. 이것이 감쇠가 과적합을 줄이는 경로입니다. 편향은 입력에 곱해지지 않고 더해지기만 해서 이 증폭과 무관하고, 개수도 가중치에 비해 아주 적습니다. LayerNorm의 배율은 기본값이 0이 아니라 1입니다. 정규화로 맞춘 출력의 크기를 되돌려 주는 자리라, 0으로 끌어내리면 그 층의 출력이 통째로 약해집니다. 줄일 이유가 없는 값에 줄이는 힘을 걸지 않는 것입니다.

세 줄이 전부 "무엇을 크기로 부를 것인가"와 "그 크기를 어디에 걸 것인가"의 선택이었습니다.

이제 크기는 잴 수 있게 됐는데 아직 제대로 못 다룬 것이 있습니다. 두 벡터가 이루는 각도입니다. 앞에서 단위 벡터라면 코사인과 L2 거리가 같은 순위를 준다는 것까지만 봤습니다. 임베딩 검색에서 "가깝다"를 판단할 때 실제로 쓰는 것은 거리보다 각도인 경우가 많고, 어텐션의 qi⋅kjq_i \cdot k_j가 관련도로 읽히는 것도 각도 때문입니다. 다음 글이 내적을 정의하고, 길이를 맞추지 않았을 때 내적·코사인·L2 거리 셋이 언제 같은 순위를 주고 언제 갈리는지를 증명과 반례로 가릅니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN