학습 스크립트에서 옵티마이저를 세우는 줄은 거의 언제나 이 모양입니다.
optimizer = torch.optim.AdamW(
model.parameters(),
lr=3e-4, betas=(0.9, 0.95), eps=1e-8, weight_decay=0.1,
)
숫자가 다섯 개인데 어느 것도 설명 없이 놓여 있습니다. betas의 두 번째가 왜 첫 번째보다 1에 가까운지, eps가 왜 하필 인지, weight_decay가 손실에 더하는 정규화 항과 같은 것인지 다른 것인지. 그리고 lr=3e-4는 왜 SGD에서 흔히 보던 0.1보다 수백 배 작은지. 이 글은 갱신식을 처음부터 조립해서 저 다섯 자리에 무엇이 들어가는지를 하나씩 채웁니다.
지난 글에서 모멘텀까지 왔고, 거기서 남은 문제가 하나 있었습니다. 학습률 가 모든 파라미터에 하나라는 것입니다. 어떤 방향은 곡률이 크고 어떤 방향은 작은데 걸음의 크기는 같으니, 안전한 를 고르면 완만한 방향이 영영 안 움직이고 완만한 방향에 맞추면 가파른 방향이 발산합니다.
2차 모멘트
제곱 평균
방향별로 걸음을 나누려면 "이 방향은 얼마나 가파른가"를 재는 값이 필요합니다. 곡률을 직접 재려면 2차 미분이 필요하고 그건 비쌉니다(그 계산은 뉴턴법과 2차 방법이 맡습니다). 대신 쓸 수 있는 것은 이미 손에 있는 것, 그래디언트 자체의 최근 이력입니다.
가파른 방향에서는 그래디언트의 절댓값이 크고 스텝마다 부호가 잘 뒤집힙니다. 완만한 방향에서는 절댓값이 작고 한쪽으로만 조금씩 갑니다. 그러니까 부호를 지우고 크기만 남긴 평균을 방향마다 따로 들고 있으면 됩니다. 부호를 지우는 가장 쉬운 방법은 제곱입니다.
여기서 는 이번 스텝의 그래디언트이고 은 성분마다 제곱한 벡터입니다. 지난 글의 지수이동평균(EMA) — 이전 평균에 를 곱해 남기고 새 값을 만큼 섞는 평균 — 과 완전히 같은 점화식인데 재는 대상이 가 아니라 입니다. 이것을 2차 모멘트라고 부릅니다 — 확률변수의 차 모멘트가 이고, 는 의 추정값이기 때문입니다. 같은 이유로 지난 글의 모멘텀 는 1차 모멘트, 즉 의 추정값입니다. 둘 다 같은 EMA이고 재는 것만 다릅니다 — 은 그래디언트가 어느 쪽을 가리키는지를, 는 그 크기가 얼마인지를 잽니다.
그래디언트를 로 나누면 방향마다 규모가 사라집니다.
왼쪽에서 방향 A는 2.5 안팎, 방향 B는 0.09 안팎으로 28배 차이가 납니다. 각각 자기 로 나눈 오른쪽에서는 둘 다 근처입니다. 걸음의 크기가 그래디언트의 절대적인 규모와 무관해진 것입니다.
스케일 불변성
이 성질을 정확히 적어 두는 편이 낫습니다. 어떤 방향의 그래디언트가 통째로 배가 된다고 해 봅시다. 그러면 도 배, 는 배, 는 배가 되므로
로 크기가 그대로입니다. 갱신량이 그래디언트의 스케일에 영향받지 않는다는 뜻이고, 이것을 스케일 불변성이라고 부릅니다. 손실 함수에 100을 곱해도 Adam의 걸음은 변하지 않습니다. 순수한 경사하강법이라면 걸음이 100배가 됩니다.
부호를 지우는 방법이 제곱만은 아닙니다. 절댓값의 평균 을 들고 있어도 부호는 지워집니다. 여기서 조심할 것은 차수의 짝입니다. 그래디언트가 배가 되면 는 배이므로, 로 그대로 나누면 스케일이 지워지지만 Adam의 모양을 흉내 내어 로 나누면 분모가 배밖에 안 커집니다. 손실에 100을 곱하면 걸음이 10배가 되는 것입니다. 분모는 분자와 같은 차수여야 하고, 제곱의 평균에 제곱근을 씌우는 것은 그 차수를 1로 되돌리는 일입니다.
그러니 제곱을 고른 것은 불변성 때문이 아닙니다. 차수만 맞추면 절댓값 평균도 스케일 불변입니다. 제곱 평균은 처럼 평균과 분산이 한데 들어 있는 양이라 다루기 쉽고, 큰 값에 더 큰 가중을 주어 가끔 튀는 방향을 더 조심스럽게 만듭니다. 평균이 0인 정규분포 잡음이라면 절댓값 평균은 , 제곱평균의 제곱근은 로 상수배만 다르고, 같은 학습률에서 걸음이 그만큼 달라질 뿐입니다.
AdaGrad와 RMSProp
방향마다 그래디언트 규모로 나누는 발상은 Adam보다 먼저 있었습니다. AdaGrad는 EMA 대신 지금까지의 제곱을 전부 더합니다.
합에는 잊는 장치가 없으므로 는 줄지 않고 늘기만 합니다. 같은 그래디언트 가 계속 들어오면 라 걸음이 로 줄어듭니다 — 100스텝이면 , 1만 스텝이면 입니다. 볼록한 온라인 문제의 이론에서는 이 감쇠가 맞는 속도였지만, 수십만 스텝을 도는 신경망 학습에서는 중반 이후 걸음이 사실상 0이 되어 학습이 멎습니다. 걸음을 줄일지 말지를 사람이 정하는 것이 아니라 지나간 스텝 수가 정해 버리는 것입니다.
RMSProp은 그 합을 EMA로 바꾼 것입니다. 달라진 것은 그 하나뿐인데, EMA는 오래된 제곱을 배씩 잊으므로 분모가 최근 규모를 따라 오르내립니다. 같은 그래디언트가 계속 들어오면 는 에 머물고 걸음은 근처에서 멈추지 않습니다. 이름도 그 계산 — 최근 제곱평균의 제곱근(root mean square)으로 나누기 — 에서 왔습니다. 이렇게 만 쓰고 모멘텀이 없는 RMSProp에 1차 모멘트를 얹은 것이 Adam입니다. 합이냐 EMA냐, 그 한 줄이 걸음이 죽느냐 사느냐를 가릅니다.
편향 보정
0에서 시작한 평균
점화식을 에서 시작했다는 점이 문제를 하나 만듭니다. 지난 글에서 EMA를 펼치면 가중치의 합이 이 아니라 라는 것을 봤습니다. 같은 계산을 에 하면
이고, 그래디언트의 제곱이 대체로 일정한 값 근처에 있다고 두면
가 됩니다. 즉 는 참값보다 배만큼 작게 나옵니다. 가 작을수록 심합니다. 이 어긋남을 없애려고 로 나누는 것을 편향 보정이라고 합니다.
얼마나 심한지 숫자로 보면 이렇습니다. 일 때 에서 이므로 입니다. 참값의 3.2%밖에 안 되는 값으로 나누니 걸음이 그만큼 부풉니다.
가 참값의 절반까지 오는 데 면 288스텝, 90%까지 오는 데 1,660스텝이 걸립니다. 보정이 없으면 학습 초반 수천 스텝 내내 걸음이 잘못된 크기로 나간다는 뜻입니다.
두 편향의 어긋남
여기서 에도 같은 편향이 있으니 서로 상쇄되지 않느냐고 물을 수 있습니다. 상쇄되지 않습니다. 두 편향의 지수가 다르기 때문입니다. 에서 보정 없이 계산하면
로 참값 의 3.16배입니다. 보정하면 로 정확히 맞습니다. 쪽 창이 훨씬 짧아 이 먼저 차오르므로, 어긋남은 오히려 몇 스텝 뒤에 더 커집니다.
import numpy as np
def ratio(g=3.0, b1=0.9, b2=0.999, correct=True, upto=4000):
m = v = 0.0
out = {}
for t in range(1, upto + 1):
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g * g
mh, vh = (m / (1 - b1**t), v / (1 - b2**t)) if correct else (m, v)
if t in (1, 2, 5, 10, 50, 100, 300, 1000, 3000):
out[t] = mh / (np.sqrt(vh) + 1e-8)
return out
# 매 스텝 같은 그래디언트가 들어오면 m̂/√v̂ 는 언제나 1 이어야 한다
for name, c in (("보정 함 ", True), ("보정 안 함", False)):
r = ratio(correct=c)
print(name, " ".join(f"{t}:{r[t]:.2f}" for t in r))
# 보정 함 1:1.00 2:1.00 5:1.00 10:1.00 50:1.00 100:1.00 300:1.00 1000:1.00 3000:1.00
# 보정 안 함 1:3.16 2:4.25 5:5.80 10:6.53 50:4.50 100:3.24 300:1.96 1000:1.26 3000:1.03
보정을 빼면 열 번째 스텝에서 걸음이 참값의 6.5배까지 부풀고, 의 창 1,000스텝을 세 번 채운 뒤에야 1로 돌아옵니다. 학습률을 아무리 정성껏 골라도 초반 수천 스텝은 다른 학습률로 도는 셈입니다.
첫 값으로 시작하기
보정 대신 출발점을 바꾸는 길도 있습니다. 를 0이 아니라 첫 그래디언트의 제곱으로 시작하면() 처음부터 규모가 맞으니 나눌 것이 없어 보입니다. 같은 그래디언트가 한결같이 들어오는 경우라면 실제로 이것만으로 충분합니다. 문제는 그래디언트가 잡음을 품을 때입니다.
이 방식에서 은 스텝째에 가중치 로 남습니다. 면 10스텝 뒤에도 0.99, 100스텝 뒤에도 0.91이라, 첫 표본 하나가 창 전체를 대표하는 셈입니다. 편향 보정을 쓰면 같은 자리의 가중치가 10스텝째 0.0995, 100스텝째 0.0095로 지금까지 본 표본 수의 역수에 가깝게 나뉩니다.
그래서 첫 그래디언트가 우연히 어긋나면 그 어긋남이 오래 갑니다. 참 규모가 1인데 이 0.1로 나왔다면, 첫 값으로 시작한 는 10스텝째 0.14, 100스텝째 0.32, 1,000스텝째에도 0.80입니다. 걸음이 그 역수만큼 커져 10스텝째 7배, 100스텝째에도 3배로 나갑니다. 보정한 쪽은 10스텝째 이미 0.95입니다. 반대로 이 10으로 튀었다면 첫 값으로 시작한 는 1,000스텝째에도 6.1이라 그동안 걸음이 6분의 1 아래로 눌립니다. 보정한 쪽은 같은 자리에서 1.03입니다. 편향 보정은 표본 하나를 딱 표본 하나만큼만 믿는 방법입니다.
워밍업과의 관계
편향 보정이 덮는 구간, 곧 학습 초반 스텝 안팎은 워밍업이 덮는 구간과 겹칩니다. 워밍업은 학습률을 0 근처에서 시작해 몇백~몇천 스텝에 걸쳐 목표값까지 올리는 스케줄입니다. 둘 다 초반 걸음이 잘못 나가는 것을 막으니 하나만 있으면 되지 않느냐고 물을 수 있지만, 고치는 것이 다릅니다.
편향 보정이 없애는 것은 의 치우침, 즉 평균이 체계적으로 작게 나오는 것입니다. 보정한 뒤에도 는 아직 몇 개 안 되는 표본의 평균이라 흩어짐이 큽니다 — 첫 스텝의 은 표본 하나입니다. 이 흩어짐은 나눗셈을 거치며 걸음의 잡음이 되고, 그것을 견디는 방법은 표본이 쌓일 때까지 를 낮춰 두는 것, 곧 워밍업입니다. 거꾸로 워밍업만 두고 보정을 빼면 위 코드의 3~6배짜리 체계적인 부풂이 스케줄 위에 그대로 얹혀, 워밍업을 1,000스텝으로 잡아도 그것이 끝나는 자리에서 걸음이 1.26배로 남습니다.
하나는 평균을, 하나는 흩어짐을 맡으니 서로를 대신하지 못합니다. 흩어짐이 실제로 얼마나 되는지, 워밍업 길이를 무엇에 맞추는지는 다음 글이 계산합니다.
조립한 갱신식
지금까지의 조각을 순서대로 놓으면 Adam이 나옵니다.
대각 프리컨디셔너
나눗셈과 제곱근은 성분별입니다. 벡터 하나를 다른 벡터로 성분마다 나누는 것은 대각행렬을 곱하는 것과 같으므로, 갱신을 이렇게 다시 쓸 수 있습니다.
그래디언트에 곱해서 방향을 다시 재는 이런 행렬을 프리컨디셔너라고 부릅니다. Adam의 프리컨디셔너는 대각행렬이라 좌표축 방향의 규모만 고칠 수 있고 축이 기울어진 골짜기는 펴지 못합니다. 그래도 대각선인 덕분에 개 파라미터에 메모리가 , 연산이 으로 끝납니다. 제대로 된 프리컨디셔너를 쓰려면 개짜리 행렬을 뒤집어야 하고, 그 비교는 뉴턴법과 2차 방법이 합니다.
세 손잡이
| 값 | 조절하는 것 | 흔한 값 | 바꾸면 |
|---|---|---|---|
| 방향의 기억 길이. 창은 | 0.9 (창 10) | 키우면 진행이 매끄럽고 방향 전환이 늦다 | |
| 규모의 기억 길이 | 0.999 (창 1000), LLM은 0.95~0.98 | 작게 하면 최근 규모에 민감, 크게 하면 안정적이나 편향이 오래 간다 | |
| 걸음의 상한 | 키우면 Adam이 SGD 쪽으로 넘어간다 |
가 보다 1에 가까운 이유는 재는 대상이 다르기 때문입니다. 방향은 지금 어디로 가는지가 중요하니 짧은 창이 맞고, 규모는 안정된 통계량이어야 하니 긴 창이 맞습니다. 언어모델 학습에서 를 0.95 근처로 내려 쓰는 것은 손실 스파이크, 곧 학습 도중 손실이 갑자기 튀어 오르는 사건 뒤에 규모 추정이 빨리 따라오게 하려는 것입니다 — 창이 1,000스텝이면 한 번 튄 그래디언트가 1,000스텝 동안 분모에 남습니다.
은 흔히 "0으로 나누는 것을 막는 값"이라고 설명되지만 그것만은 아닙니다. 분모가 이므로 갱신량의 크기에 상한이 걸립니다.
그래디언트가 아주 작아 인 방향에서는 나눗셈이 사실상 꺼지고 갱신이 , 즉 학습률 짜리 모멘텀 SGD가 됩니다. 을 에서 로 올리면 그 문턱이 올라가 더 많은 방향이 SGD처럼 움직입니다. 값 하나로 두 방법 사이를 미끄러지는 손잡이인 셈입니다.
ε의 위치
을 더하는 자리도 하나로 정해져 있지 않습니다. 위 식처럼 제곱근 밖에 두는 꼴과 안에 두는 꼴이 둘 다 쓰입니다.
PyTorch의 torch.optim.Adam은 (가)이고, JAX의 optax는 두 자리를 eps와 eps_root로 따로 받습니다. 같은 을 넣어도 둘은 전혀 다르게 동작합니다. (가)에서 나눗셈이 꺼지는 문턱은 이지만, (나)에서는 제곱근 안에서 더해지므로 문턱이 입니다. 네 자릿수 차이입니다.
크기가 인 그래디언트가 한결같이 들어오는 방향으로 재 보면, (가)의 비는 로 거의 1이고, (나)의 비는 로 걸음이 열 배 작아집니다. 그래디언트가 이면 (나)도 0.995로 돌아옵니다. 그래디언트가 작은 방향에서만 갈리므로 평소에는 안 보이다가, 한 구현의 설정을 다른 구현으로 옮겼을 때 일부 층만 덜 움직이는 식으로 드러납니다.
원래 Adam 논문부터가 그렇습니다. 알고리즘 본문은 (가)인데, 계산을 줄인 꼴에서는 보정을 학습률 쪽으로 옮기고 보정 전 에 을 더하므로 같은 숫자가 스텝마다 조금씩 다른 크기로 작동합니다. 그래서 은 숫자만 옮겨 적으면 안 되는 값이고, 어느 자리의 인지를 함께 확인해야 합니다.
상태 메모리
Adam은 파라미터마다 과 두 값을 스텝 사이에 들고 다닙니다. 이렇게 옵티마이저가 스텝을 넘어 기억하는 값을 옵티마이저 상태라고 합니다. 32비트 부동소수(fp32)로 두면 한 값이 4바이트라 파라미터 개에 바이트입니다. 파라미터 70억 개짜리 모델이면 상태만 56GB로, 같은 정밀도의 파라미터 자체(28GB)의 두 배입니다. 위에서 메모리 이라고 한 것이 바이트로는 이만큼입니다.
Adafactor는 이 가운데 를 줄입니다. 가중치가 행렬이면 도 같은 모양의 행렬인데, 이것을 통째로 들지 않고 행마다의 합 ( 개)과 열마다의 합 ( 개)만 EMA로 들고 있다가 필요할 때 이렇게 복원합니다.
행 합과 열 합을 곱해 전체 합으로 나눈 것이라, 가 '행의 규모 × 열의 규모'로 쪼개진다고 가정하는 근사입니다. 4096 × 4096 행렬이면 가 1,677만 개에서 8,192개로 줄어듭니다. 원 논문은 여기에 더해 1차 모멘트를 아예 빼는 설정도 두었습니다. 대신 근사이므로 성분 하나하나의 규모를 Adam만큼 세밀하게 재지는 못하고, 행과 열의 규모로 설명되지 않는 튀는 성분은 평균에 묻힙니다.
한 스텝의 이동 거리
걸음의 크기
조립한 식에서 한 스텝에 파라미터가 움직이는 거리는 에 를 곱한 것입니다. 이 비가 어느 정도인지 알면 의 뜻이 달라집니다.
같은 그래디언트가 한결같이 들어오면 비는 정확히 1이었습니다(편향 보정 절의 코드). 그래디언트가 잡음뿐이라 부호가 제멋대로면 이 서로 상쇄되어 비가 1보다 작아지고, 다음 글에서 재 보면 0.23 안팎입니다. 반대쪽 끝도 있습니다. 오래 0이던 방향에 큰 그래디언트가 한 번 들어온 경우가 가장 큰데, 그때 , 이라 비는 입니다. 기본값에서는 이것이 대략의 위쪽 끝입니다.
그러니 Adam의 는 그래디언트에 곱하는 배율이 아니라 한 스텝에 파라미터가 움직이는 거리의 단위입니다. 이면 파라미터 하나는 한 스텝에 많아야 남짓, 대개 이하로 움직입니다. 파라미터 값이 대략 어느 크기인지 알면, 몇 스텝이면 그 값을 갈아엎을 수 있는지가 곧바로 나옵니다.
학습률의 자릿수
이것이 Adam의 학습률이 SGD의 학습률보다 두세 자릿수 작은 까닭입니다. 이미지 분류의 SGD에서는 0.1이 흔한 출발값이고, Adam에서는 이나 가 흔합니다. 둘은 단위가 다릅니다. SGD의 걸음은 라 그래디언트의 크기에 곱해진 뒤에야 거리가 되고, Adam의 걸음은 자체가 거리입니다. 성분 하나의 그래디언트가 0.003이면 SGD의 0.1과 Adam의 이 같은 걸음을 냅니다.
그래서 학습률은 옵티마이저 사이에 옮겨 적을 수 없습니다. SGD로 잘 돌던 설정에서 옵티마이저만 Adam으로 바꾸고 0.1을 그대로 두면, 파라미터가 스텝마다 0.1씩 움직여 몇 스텝 만에 초기화가 무너집니다. 거꾸로 Adam의 을 SGD에 넣으면 그래디언트가 작은 방향은 거의 움직이지 않습니다. 그림에서 SGD의 선이 Adam의 선 아래에 있는 왼쪽 구간 전체가 그 자리입니다.
그래디언트 스파이크
그림의 두 선이 갈리는 모양이 Adam의 장점과 대가를 함께 보여 줍니다. SGD의 선은 기울기가 1이라 그래디언트가 100배가 되면 걸음도 100배가 됩니다. Adam의 선은 평평합니다.
손실 스파이크가 그 시험대입니다. 크기 1인 그래디언트가 5,000스텝 동안 이어지다가 한 스텝만 100으로 튀는 경우를 , 로 따라가 보면, 튄 스텝에서 은 10.9로 뛰지만 도 3.3으로 커져 걸음은 평소의 3.3배에 그칩니다. 같은 자리에서 모멘텀 없는 SGD의 걸음은 100배입니다. 큰 그래디언트가 분모에도 들어가 스스로를 누르는 것입니다.
대가는 그 뒤에 옵니다. 튄 값의 제곱은 의 창만큼 에 남아 있으므로, 100스텝 뒤 그래디언트가 평소로 돌아와도 걸음은 0.32배이고, 2,000스텝 뒤에도 0.65배, 5,000스텝 뒤에야 0.97배로 돌아옵니다. 그리고 큰 그래디언트가 잡음이 아니라 진짜 신호일 때, 손실이 실제로 그 방향으로 가파르게 떨어질 때에도 Adam은 그것을 똑같이 누릅니다. 걸음이 그래디언트의 크기를 모른다는 성질이 튐을 막는 방패이면서, 쓸모 있는 큰 신호를 흘려보내는 이유이기도 합니다.
수렴 반례
드문 큰 그래디언트
가 큰 그래디언트를 잊는 것이 위에서는 회복이었지만, 잊는 것이 틀린 답으로 이끄는 경우도 있습니다. 2018년 Reddi 등이 Adam이 수렴하지 않는 예를 만들어 보인 것이 이 자리입니다. 그 구성을 조금 바꿔, 파라미터 하나 에 100스텝마다 한 번 그래디언트 200이 들어오고 나머지 99스텝은 −1이 들어오는 문제를 봅니다. 손실로 쓰면 스텝마다 또는 인 일차함수입니다.
100스텝을 합친 평균 그래디언트는 로 양수이므로, 손실을 줄이는 방향은 를 줄이는 쪽이고 답은 입니다. 그런데 , , 로 돌린 Adam은 3,366스텝 만에 반대쪽 끝 에 닿아 거기 머뭅니다.
까닭은 창의 길이입니다. 의 창은 10스텝이라, 200이 들어온 뒤 수십 스텝이 지나면 가 그것을 잊고 1 근처로 내려옵니다. 200이 들어오는 스텝에서는 도 함께 커져 걸음이 몇 배로만 커지고, −1이 들어오는 99스텝은 다시 작아진 분모 덕에 거의 온전한 걸음으로 반대 방향을 밉니다. 한 번의 200이 아흔아홉 번의 −1보다 무겁다는 정보가 그래디언트의 크기에 담겨 있었는데, 나눗셈이 그 크기를 지운 것입니다.
로 창을 100스텝까지 늘리면 같은 문제에서 34,105스텝에 올바른 끝 −1에 닿습니다. 창이 드문 신호의 간격보다 짧을 때 깨진다는 뜻이고, 간격을 1,000스텝으로 벌린 문제를 만들면 이번에는 도 틀린 끝으로 갑니다.
AMSGrad
Reddi 등이 함께 내놓은 고침이 AMSGrad입니다. 바뀌는 것은 한 줄입니다.
지금까지 본 의 최댓값을 들고 그것으로 나눕니다. 분모가 내려가지 않으니 큰 그래디언트를 잊을 수 없고, 위의 문제에서도 올바른 끝 −1로 갑니다. 여기서는 보정한 에 최댓값을 걸었고, 구현에 따라 보정 전 에 거는 꼴도 있습니다.
빨간 선이 의 Adam, 보라 선이 창을 늘린 Adam, 하늘색 선이 AMSGrad입니다. 셋 모두 처음 99스텝은 −1만 받아 0.1까지 올라가고, 첫 200이 들어온 뒤부터 갈립니다.
분모의 고정
대가는 그림의 하늘색 선에 그대로 보입니다. AMSGrad는 방향은 맞았지만 −1에 닿는 데 68,810스텝이 걸렸습니다. 창만 늘린 Adam의 두 배입니다. 첫 200이 들어온 순간 가 63으로 올라가 그 뒤 영영 내려오지 않으므로, 이후의 걸음이 전부 63분의 1 안팎으로 눌린 채 갑니다.
실제 학습에서는 이것이 더 나쁘게 작동합니다. 학습 초반에는 그래디언트가 크고 후반으로 갈수록 작아지는 것이 보통인데, AMSGrad의 분모는 초반의 큰 값을 끝까지 쥐고 있습니다. 앞 절의 스파이크 실험을 AMSGrad로 다시 돌리면 튄 뒤의 걸음이 0.30배로 굳어 15,000스텝이 지나도 그대로입니다 — Adam은 같은 자리에서 1.00으로 돌아왔습니다.
후반으로 갈수록 걸음이 죽어 학습률 스케줄이 뜻대로 작동하지 않으니, AMSGrad는 이론에서 수렴을 되살렸지만 실무에서 널리 쓰이지는 않습니다. 언어모델 학습에서 흔한 선택은 오히려 반대쪽, 를 낮춰 분모가 더 빨리 잊게 하는 것입니다. 정말 큰 그래디언트는 그래디언트 클리핑, 곧 그래디언트 벡터의 노름이 정한 문턱을 넘으면 문턱 길이로 줄여 넣는 처리로 갱신식 밖에서 다룹니다.
분리형 가중치 감쇠
마지막 숫자 weight_decay=0.1이 남았습니다. 파라미터를 스텝마다 조금씩 0 쪽으로 당겨 값이 커지지 않게 묶어 두는 규제를 가중치 감쇠라고 하고, weight_decay가 그 세기 입니다. 넣는 방법이 두 가지이고 Adam에서는 둘이 같지 않습니다.
L2 정규화
첫 번째는 손실에 항을 더하는 L2 정규화입니다.
그래디언트에 가 더해졌으니, 이 항은 에도 에도 들어갑니다. 그리고 갱신에서 로 나뉩니다. 여기가 문제입니다 — 손실 쪽 그래디언트가 큰 파라미터는 도 크므로 감쇠 항까지 함께 작아집니다. 즉 파라미터마다 실제 규제 세기가 다릅니다. 앞에서 본 스케일 불변성이 여기서는 독이 됩니다 — 규제 항까지 그래디언트 규모로 나눠 버리기 때문입니다.
분리형 감쇠
두 번째는 감쇠를 갱신식 밖에서 따로 빼는 것입니다. 이것이 분리형 가중치 감쇠이고, 그렇게 만든 옵티마이저가 AdamW입니다.
두 번째 항에는 가 없습니다. 손실 쪽 그래디언트가 크든 작든 파라미터는 스텝마다 배로 줄어듭니다. 규제 세기가 하나로 결정되고 그래디언트 규모와 무관해집니다.
차이는 실제로 큽니다. 손실 쪽 그래디언트의 규모만 바꿔 가며 같은 로 200스텝을 돌려 봤습니다.
import numpy as np
def run(mode, g_scale, lam=0.1, lr=0.01, b1=0.9, b2=0.999, steps=200):
theta = 1.0
m = v = 0.0
for t in range(1, steps + 1):
g = g_scale * np.sin(t) # 손실 쪽 그래디언트, 평균은 0
if mode == "l2":
g = g + lam * theta # 감쇠를 손실에 더한 경우
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g * g
mh, vh = m / (1 - b1**t), v / (1 - b2**t)
theta -= lr * mh / (np.sqrt(vh) + 1e-8)
if mode == "adamw":
theta -= lr * lam * theta # 감쇠를 갱신 밖에서
return theta
for gs in (0.01, 1.0, 100.0):
print(f"그래디언트 규모 {gs:>6} L2 {run('l2', gs):.4f} AdamW {run('adamw', gs):.4f}")
# 그래디언트 규모 0.01 L2 0.0169 AdamW 0.7866
# 그래디언트 규모 1.0 L2 0.7284 AdamW 0.7866
# 그래디언트 규모 100.0 L2 0.9584 AdamW 0.7866
L2 쪽은 같은 인데 남은 값이 0.017부터 0.958까지 흩어집니다. 그래디언트가 작은 파라미터는 감쇠에 짓눌리고 큰 파라미터는 사실상 규제를 안 받습니다. AdamW 쪽은 세 경우 모두 0.7866입니다 — 이론값 에서 조금 내려간 것은 손실 쪽 갱신이 함께 움직이기 때문이고, 중요한 것은 세 값이 같다는 점입니다.
이것이 weight_decay를 옮기는 것만으로 이름이 Adam에서 AdamW로 바뀐 이유입니다. 두 줄의 코드 차이지만 라는 손잡이가 뜻대로 동작하느냐 마느냐가 갈립니다. 순수 SGD에서는 라는 분모가 없으므로 두 방식이 학습률 배수만 다른 같은 것이 되고, 그래서 이 구분은 Adam 계열에서만 생깁니다. 정규화 기법 전반의 지형은 손실 함수와 정규화가 다루고, 이 글은 갱신식만 맡았습니다.
감쇠 제외 파라미터
실제 학습 코드에서는 weight_decay를 모든 파라미터에 걸지 않는 경우가 많습니다. 파라미터를 두 묶음으로 나눠 행렬 모양의 가중치에만 감쇠를 주고, 편향(층의 출력에 더하는 상수항)과 정규화 층의 파라미터는 인 묶음에 넣는 것이 흔한 관행입니다. 정규화 층은 층의 출력을 평균 0, 분산 1로 맞춘 뒤 학습되는 스케일을 곱하고 이동을 더하는 층이고, 그 스케일과 이동이 여기서 말하는 파라미터입니다.
이유는 감쇠가 하는 일에서 나옵니다. 감쇠는 가중치의 크기를 묶어 모델이 입력의 작은 차이에 지나치게 민감해지지 않게 하는 규제입니다. 편향은 입력에 곱해지지 않고 더해지기만 하므로 키워도 그 민감도가 커지지 않고, 개수도 가중치에 비해 매우 적어 묶을 거리가 없습니다.
정규화 층의 스케일은 사정이 더 분명합니다. 이 값은 1 근처에서 출발해 정규화한 출력을 몇 배로 펼칠지를 정하는데, 0 쪽으로 당기면 규제가 아니라 그 층의 출력을 꺼 버리는 쪽으로 미는 일이 됩니다. 0이 '아무것도 안 하는' 값이 아닌 파라미터에 0으로 당기는 힘을 거는 셈이라, 감쇠의 뜻과 맞지 않습니다.
학습률과의 결합
분리형 감쇠의 항은 입니다. 혼자가 아니라 학습률과 곱해져 들어가므로 실제 규제 세기는 가 정하고, PyTorch의 AdamW도 이 꼴입니다. 스텝마다 배로 줄어드니, 손실 쪽 갱신을 빼고 감쇠만 보면 스텝 뒤 남는 비율은 대략 입니다.
, 로 10만 스텝을 돌리면 이라 , 감쇠만으로 값이 5%까지 줄어드는 세기입니다. 같은 설정에서 학습률을 코사인 곡선을 따라 0까지 내리는 코사인 스케줄을 쓰면 평균 학습률이 절반이 되어 지수가 1.5, 남는 비율이 0.22로 올라갑니다. 는 그대로인데 규제가 눈에 띄게 약해진 것입니다. 학습률을 두 배로 올리면 반대로 감쇠도 두 배가 됩니다.
그래서 학습률이나 스케줄을 바꿀 때는 를 그대로 두어도 규제가 그대로가 아닙니다. 두 실험의 가 같다고 같은 규제를 건 것이 아니고, 견주어야 하는 것은 를 스텝에 걸쳐 더한 값입니다. AdamW를 제안한 Loshchilov와 Hutter의 논문은 감쇠에 기본 학습률 대신 스케줄 배수만 곱하는 꼴로 적어 이 결합을 일부 떼어 놓았지만, 흔히 쓰는 구현은 꼴이라 결합이 그대로 남아 있습니다.
정리
- 2차 모멘트 는 방향마다 그래디언트의 규모를 재는 EMA다. 로 나누면 갱신이 스케일 불변이 되어, 손실에 상수를 곱해도 걸음이 변하지 않는다. 절댓값 평균도 차수만 맞추면 불변이고, 를 잘못 씌우면 깨진다.
- AdaGrad는 제곱을 합으로 쌓아 걸음이 로 죽고, RMSProp은 그 합을 EMA로 바꿔 걸음을 살렸다. Adam은 RMSProp에 1차 모멘트를 얹은 것이다.
- 에서 시작하므로 로 참값보다 작게 나온다. 편향 보정은 이 로 되돌리는 나눗셈이다. 보정을 빼면 에서 걸음이 최대 6.5배까지 부풀고, 으로 시작하면 첫 표본 하나를 창 전체만큼 믿는다. 보정은 평균의 치우침을, 워밍업은 흩어짐을 맡는다.
- 갱신 는 대각선 프리컨디셔너다. 은 걸음의 상한이고 제곱근 안팎 어디에 두느냐에 따라 문턱이 과 로 갈린다. 상태는 fp32에서 바이트이고, Adafactor는 행렬의 를 행·열 합으로 줄인다.
- 가 1 안팎이라 Adam의 는 한 스텝의 거리 자체다. 그래서 학습률이 SGD보다 두세 자릿수 작고, 그래디언트가 100배로 튀어도 걸음은 3.3배에 그치는 대신 쓸모 있는 큰 신호도 눌린다.
- 의 창이 드문 큰 그래디언트의 간격보다 짧으면 Adam은 틀린 끝으로 간다. AMSGrad는 의 최댓값으로 나눠 이를 막지만 분모가 내려오지 못해 걸음이 죽는다.
- AdamW는 를 갱신 밖에서 뺀다. L2 정규화처럼 손실에 더하면 감쇠 항도 로 나뉘어 규제 세기가 0.017부터 0.958까지 흩어진다. 편향과 정규화 층은 감쇠에서 빼고, 실제 규제 세기는 라 학습률 스케줄과 함께 움직인다.
이제 옵티마이저 안쪽은 다 열어 봤습니다. 남은 것은 밖에서 들어오는 값입니다 — 자체가 데이터 전체의 그래디언트가 아니라 배치 하나로 잰 추정값이라는 사실입니다. 다음 글에서 그 추정의 분산이 배치 크기로 어떻게 변하는지 계산하고, 거기서 배치를 키울 때 학습률을 얼마나 올려야 하는지, 워밍업이 왜 필요한지, 코사인 감쇠가 후반에 무엇을 하는지를 끌어냅니다.
읽어주셔서 감사합니다. 😊

