수학

MATH / 중급 53번

로그 미분 트릭: 샘플만으로 그래디언트를 얻기

RLHF 학습 루프의 손실은 로그 확률에 점수를 곱한 한 줄입니다. 그 한 줄이 어디서 나왔는지를 ∇E[f] = E[f·∇log p]라는 항등식의 유도로 따라가고, 이것이 언제 깨지는지, 왜 불편 추정량인데도 분산이 큰지, 이산 토큰에서는 왜 이 길밖에 없는지를 계산으로 확인합니다.

PALDYN Team44 MIN READ

RLHF 학습 코드를 열어 보면 손실이 이렇게 생겼습니다.

logp = torch.log_softmax(logits, -1).gather(-1, actions[..., None]).squeeze(-1)
loss = -(logp * advantage.detach()).mean()

모델이 실제로 뽑은 토큰의 로그 확률을 꺼내서, 그 답이 받은 점수를 곱하고, 부호를 뒤집어 평균 냅니다. 처음 보면 이상합니다. 점수를 손실 안에 상수처럼 곱해 놓았을 뿐인데 어떻게 이것이 「기대 보상을 올리는 방향」이 되는 걸까요. 게다가 advantage에는 detach()가 붙어 있어 역전파가 그쪽으로는 흐르지도 않습니다.

지난 글에서 우리는 J(θ)=Ey∼πθ[r(y)]J(\theta) = \mathbb{E}_{y\sim\pi_\theta}[r(y)] 를 세워 놓고 정확히 한 자리에서 막혔습니다. 미분을 합 안으로 넣으면 ∑yr(y)∇θπθ(y)\sum_y r(y)\nabla_\theta\pi_\theta(y) 가 남는데, 가중치 ∇θπθ\nabla_\theta\pi_\theta 가 확률이 아니라 표본평균으로 추정할 수 없었습니다. 필요한 것은 저 합을 다시 「πθ\pi_\theta 로 가중된 평균」 꼴로 되돌려 주는 항등식 하나였습니다.

그 항등식이 위 코드 한 줄의 정체입니다. 이 글은 그 항등식만 다룹니다 — 유도, 성립 조건, 불편성, 그리고 그 대가인 분산입니다. REINFORCE라는 알고리즘으로 조립하는 일은 정책 그래디언트가 맡습니다.

로그 미분 트릭

세 걸음 유도

시작은 초등적인 미분 공식 하나입니다. 로그의 미분은 원래 함수의 미분을 자기 자신으로 나눈 것입니다.

∇θlog⁡pθ(x)=∇θpθ(x)pθ(x)\nabla_\theta \log p_\theta(x) = \frac{\nabla_\theta p_\theta(x)}{p_\theta(x)}

양변에 pθ(x)p_\theta(x) 를 곱하면 이렇게 됩니다.

∇θpθ(x)=pθ(x) ∇θlog⁡pθ(x)\nabla_\theta p_\theta(x) = p_\theta(x)\,\nabla_\theta \log p_\theta(x)

이것을 로그 미분 트릭이라고 부릅니다 — 확률의 그래디언트를 「확률 × 로그 확률의 그래디언트」로 바꿔 쓰는 항등식입니다. 별것 아닌 변형처럼 보이지만, 오른쪽에 pθp_\theta 가 곱해진 인수로 다시 나타났다는 것이 전부입니다. 지난 글에서 필요하다고 적었던 「∇πθ\nabla\pi_\theta 안에서 πθ\pi_\theta 하나를 밖으로 끄집어내기」가 바로 이것입니다.

목적식에 넣어 보겠습니다.

∇θ Ex∼pθ[f(x)]=∇θ∫pθ(x) f(x) dx=∫∇θpθ(x)⋅f(x) dx=∫pθ(x) f(x) ∇θlog⁡pθ(x) dx=Ex∼pθ[ f(x) ∇θlog⁡pθ(x) ]\begin{aligned} \nabla_\theta\,\mathbb{E}_{x\sim p_\theta}[f(x)] &= \nabla_\theta \int p_\theta(x)\,f(x)\,dx \\ &= \int \nabla_\theta p_\theta(x)\cdot f(x)\,dx \\ &= \int p_\theta(x)\,f(x)\,\nabla_\theta \log p_\theta(x)\,dx \\ &= \mathbb{E}_{x\sim p_\theta}\big[\,f(x)\,\nabla_\theta \log p_\theta(x)\,\big] \end{aligned}

세 걸음뿐입니다. 첫 줄에서 둘째 줄로 갈 때 미분을 적분 안으로 넣었고(이 걸음에 조건이 붙습니다 — 다음 절에서 봅니다), 둘째에서 셋째로 갈 때 로그 미분 트릭을 썼고, 셋째 줄은 이미 「pθp_\theta 로 가중된 평균」 꼴이라 그대로 기댓값으로 읽었습니다. 적분으로 적었지만 언어모델처럼 xx 가 이산이면 적분 기호를 합으로 바꿔 읽으면 되고, 세 걸음은 한 글자도 달라지지 않습니다.

로그 미분 트릭이 그래디언트를 기댓값으로 되돌리는 세 걸음

왼쪽 끝과 오른쪽 끝만 남기면 이 글의 제목이 되는 식입니다.

∇θ Ex∼pθ[f(x)]=Ex∼pθ[f(x) ∇θlog⁡pθ(x)]\nabla_\theta\,\mathbb{E}_{x\sim p_\theta}[f(x)] = \mathbb{E}_{x\sim p_\theta}\big[f(x)\,\nabla_\theta \log p_\theta(x)\big]

왼쪽은 계산할 수 없고 오른쪽은 계산할 수 있습니다. 오른쪽은 pθp_\theta 에서 표본을 뽑아 각 표본에서 f(x)∇θlog⁡pθ(x)f(x)\nabla_\theta\log p_\theta(x) 를 계산해 평균 내면 되기 때문입니다. 그리고 ∇θlog⁡pθ(x)\nabla_\theta \log p_\theta(x) 는 우리가 늘 계산하던 것입니다 — 지도학습에서 로그가능도를 미분하던 그 값입니다.

점수 함수 추정량

오른쪽 식에 붙은 ∇θlog⁡pθ(x)\nabla_\theta \log p_\theta(x) 에는 통계학에서 오래 써 온 이름이 있습니다. 이 벡터를 점수 함수라고 부르는데, 표본 xx 하나가 나왔을 때 파라미터를 어느 쪽으로 밀면 그 xx 가 더 잘 나오는지를 가리키는 방향입니다. 이 글에서 따로 「점수」라고만 적는 것은 답이 받은 보상 점수이니, 둘을 헷갈리지 않도록 이 벡터는 언제나 「점수 함수」라고 끝까지 부르겠습니다.

그 이름을 따서 위 항등식으로 만든 추정량을 점수 함수 추정량이라고 부릅니다. 강화학습 쪽에서는 REINFORCE 추정량이라고도 합니다.

g^=1n∑i=1nf(x(i)) ∇θlog⁡pθ(x(i)),x(i)∼pθ\widehat{g} = \frac{1}{n}\sum_{i=1}^{n} f(x^{(i)})\,\nabla_\theta \log p_\theta(x^{(i)}),\qquad x^{(i)}\sim p_\theta

읽는 법은 단순합니다. 표본 하나마다 점수 함수, 곧 「이 표본을 더 잘 나오게 하는 방향」을 구하고, 그 방향에 그 표본의 값 ff 를 가중치로 붙여 평균 냅니다. 값이 큰 표본 쪽으로는 세게, 값이 작거나 음수인 표본 쪽으로는 약하게 또는 반대로 미는 셈입니다.

맨 앞 코드로 돌아가면 이제 읽힙니다. logp가 log⁡πθ(y)\log \pi_\theta(y) 이고, advantage가 ff 자리의 점수이며, 곱해서 평균 내고 backward()를 부르면 자동미분이 ∇θlog⁡πθ\nabla_\theta\log\pi_\theta 를 만들어 냅니다. 부호가 뒤집힌 것은 JJ 를 최대화해야 하는데 옵티마이저는 최소화하기 때문이고, detach()가 붙은 것은 점수가 ff 자리의 상수여야 하기 때문입니다 — 위 유도에서 ff 는 θ\theta 와 무관한 함수였습니다.

상수 함수의 경우

항등식에 가장 단순한 ff 를 넣어 보면 뜻밖의 사실 하나가 공짜로 나옵니다. 모든 xx 에서 f(x)=1f(x) = 1 이라고 두면 왼쪽은 ∇θE[1]=∇θ1=0\nabla_\theta \mathbb{E}[1] = \nabla_\theta 1 = 0 입니다. 확률을 다 더하면 θ\theta 가 무엇이든 1이니 그 미분은 0일 수밖에 없습니다. 그러면 오른쪽도 0이어야 합니다.

Ex∼pθ[∇θlog⁡pθ(x)]=0\mathbb{E}_{x\sim p_\theta}\big[\nabla_\theta \log p_\theta(x)\big] = 0

점수 함수의 평균은 0입니다. 표본마다 가리키는 방향은 제각각이지만, 확률로 가중해 모으면 정확히 상쇄됩니다. 아래에서 쓸 세 답짜리 문제로 확인하면, 소프트맥스 확률이 (0.4123, 0.3376, 0.2501)(0.4123,\ 0.3376,\ 0.2501) 일 때 세 답의 점수 함수를 확률로 가중해 더한 것이 세 성분 모두 0으로 떨어집니다.

이 한 줄은 지금은 곁가지처럼 보이지만 다음 글 전체의 근거가 됩니다. 평균이 0인 것을 어떤 상수배로 더하거나 빼도 기댓값이 안 바뀐다는 뜻이고, 그래서 점수에서 무언가를 빼도 참 그래디언트가 그대로라는 결론이 여기서 나옵니다. 평균이 0이니 점수 함수의 흔들림은 곧 그 제곱의 평균이고, 그 크기에는 피셔 정보라는 이름이 붙어 있습니다. 증명을 정리로 못 박고 그 이름까지 다루는 일은 다음 글이 맡습니다.

성립 조건

지지집합

유도의 둘째 걸음, 그러니까 미분을 적분 안으로 옮긴 자리가 공짜가 아닙니다. 조건은 둘이고, 첫째가 지지집합에 관한 것입니다.

지지집합이란 확률이 0이 아닌 값들의 모임입니다. 이것이 θ\theta 에 의존하지 않아야 합니다. 적분 구간의 끝이 θ\theta 에 따라 움직이면 θ\theta 를 흔들 때 구간 자체가 변하므로, 미분이 피적분함수에만 작용한다고 볼 수 없습니다.

깨지는 예를 하나 보면 확실합니다. pθp_\theta 를 구간 [0,θ][0,\theta] 위의 균등분포로 두고 f(x)=xf(x) = x 를 재 봅니다. 왼쪽은 손으로 바로 나옵니다.

E[x]=θ2⟹∇θE[x]=12\mathbb{E}[x] = \frac{\theta}{2} \quad\Longrightarrow\quad \nabla_\theta \mathbb{E}[x] = \frac{1}{2}

오른쪽은 log⁡pθ(x)=−log⁡θ\log p_\theta(x) = -\log\theta 이므로 ∇θlog⁡pθ(x)=−1/θ\nabla_\theta \log p_\theta(x) = -1/\theta 이고,

E[x⋅(−1/θ)]=−1θ⋅θ2=−12\mathbb{E}\big[x\cdot(-1/\theta)\big] = -\frac{1}{\theta}\cdot\frac{\theta}{2} = -\frac{1}{2}

부호까지 반대입니다. 항등식이 성립하지 않는 것이고, 원인은 확률밀도가 x=θx=\theta 에서 뚝 끊기며 그 끊기는 자리가 θ\theta 와 함께 움직인다는 데 있습니다.

지지집합이 θ와 함께 움직이면 항등식이 깨진다

경계항

1/21/2 와 −1/2-1/2 의 차이 1이 어디서 왔는지는 정확히 짚을 수 있습니다. 적분 구간의 끝이 매개변수를 따라 움직일 때 그 적분을 미분하는 공식을 라이프니츠 규칙이라고 하는데, 이 규칙은 미분을 두 몫으로 나눕니다. 하나는 피적분함수 안에서 θ\theta 가 바뀌는 몫이고, 다른 하나는 구간의 끝이 움직이면서 새로 덮이는 넓이의 몫입니다.

ddθ∫0θpθ(x) f(x) dx=pθ(θ) f(θ)⏟경계항+∫0θ∇θpθ(x) f(x) dx\frac{d}{d\theta}\int_0^{\theta} p_\theta(x)\,f(x)\,dx = \underbrace{p_\theta(\theta)\,f(\theta)}_{\text{경계항}} + \int_0^{\theta} \nabla_\theta p_\theta(x)\,f(x)\,dx

뒤쪽 적분이 로그 미분 트릭이 계산해 주는 값이고, 앞쪽 항이 끝이 움직이는 데서 생기는 경계항입니다. 숫자를 넣으면 pθ(θ)=1/θp_\theta(\theta) = 1/\theta, f(θ)=θf(\theta) = \theta 라 경계항은 1/θ⋅θ=11/\theta \cdot \theta = 1 이고, 뒤쪽 적분은 앞에서 구한 −1/2-1/2 입니다. 둘을 더하면 1−1/2=1/21 - 1/2 = 1/2, 왼쪽에서 손으로 구한 참값과 정확히 맞습니다.

참값 1/2이 경계항 1과 안쪽 적분 −1/2로 갈린다

그러니 로그 미분 트릭이 틀린 값을 낸 것이 아니라, 값의 일부만 낸 것입니다. 경계항은 표본을 뽑아서는 영영 보이지 않습니다. 표본은 구간 안쪽에서만 나오고, 끝이 움직인다는 사실은 어느 표본의 ∇log⁡pθ\nabla\log p_\theta 에도 적혀 있지 않기 때문입니다. 지지집합이 고정되어 있다는 조건은 결국 「경계항이 0이다」를 보장하는 조건입니다.

정칙성

둘째 조건은 미분과 적분을 바꿔도 되는 매끄러움입니다. 이런 종류의 조건을 통틀어 정칙성 조건이라고 부릅니다. 엄밀하게는 ∥∇θpθ(x)f(x)∥\|\nabla_\theta p_\theta(x) f(x)\| 를 θ\theta 와 무관하게 위에서 눌러 주는 적분 가능한 함수가 있어야 합니다. 이 조건이 없으면 적분 안쪽의 값은 다 멀쩡한데도 꼬리 쪽에서 무언가가 빠져나가 두 순서의 결과가 갈릴 수 있습니다.

다행히 유한한 집합 위의 합에서는 이 조건이 저절로 채워집니다. 항이 유한 개라면 합의 미분은 언제나 미분의 합이기 때문입니다. 정칙성을 따로 걱정해야 하는 것은 연속 분포나 무한히 많은 값을 갖는 분포를 다룰 때입니다.

소프트맥스와 마스킹

언어모델의 정책은 두 조건을 모두 자동으로 만족합니다. 소프트맥스는 모든 토큰에 0보다 큰 확률을 주므로 지지집합은 어휘 전체이고, θ\theta 가 아무리 변해도 그대로입니다. 유한한 어휘 위의 합이니 정칙성도 문제가 없습니다.

조금 미묘한 자리는 마스킹입니다. 특정 토큰을 고를 수 없게 하려고 그 자리의 로짓을 −∞-\infty 로 덮는 조작인데, 그러면 그 토큰의 확률이 정확히 0이 되어 지지집합에서 빠집니다. 그래도 항등식은 깨지지 않습니다. 어느 토큰을 덮을지가 규칙으로 정해져 있고 θ\theta 와 무관하다면, 지지집합은 작아졌을 뿐 여전히 고정되어 있기 때문입니다. 남은 토큰 위에서 세 걸음이 그대로 성립합니다.

탈이 나는 것은 표본을 뽑은 분포와 로그 확률을 계산한 분포가 다를 때입니다. 예를 들어 답을 생성할 때는 top-p로 후보를 잘라 뽑고, 학습에서는 자르지 않은 소프트맥스의 로그 확률을 쓰면 항등식의 전제인 「pθp_\theta 에서 뽑아 pθp_\theta 를 미분한다」가 어긋납니다. 게다가 top-p로 남는 후보 집합은 로짓에 따라 정해지므로 그 자체가 θ\theta 를 따라 바뀝니다. 뽑는 쪽과 미분하는 쪽을 같은 분포로 맞추는 것이 이 항등식을 쓰는 쪽의 몫입니다.

하나 더 짚어 둘 것이 있습니다. pθ(x)p_\theta(x) 가 0이면 로그 미분 트릭의 분모가 0이 되는데, 그런 xx 는 애초에 표본으로 뽑히지 않으므로 기댓값에 기여하지 않습니다. 다만 연속 분포에서는 확률밀도가 0에 가까운 표본이 뽑히면 ∇log⁡pθ\nabla\log p_\theta 가 매우 커질 수 있습니다. 이것이 아래에서 볼 분산 문제의 씨앗 하나입니다.

불편성

장난감 문제

불편 추정량은 추정값의 기댓값이 참값과 같은 추정량입니다. 위 항등식이 성립하면 g^\widehat g 는 정의상 불편입니다 — 각 항의 기댓값이 ∇θJ\nabla_\theta J 이고 평균의 기댓값도 그대로이니까요. 그래도 숫자로 확인하는 편이 확실합니다. 지난 글에서 유한차분이 무너졌던 그 장난감 문제를 그대로 씁니다.

import numpy as np

R = np.array([1.0, 0.0, -1.0])          # 세 가지 답의 점수
def pi(th):
    e = np.exp(th - th.max()); return e / e.sum()

th = np.array([0.3, 0.1, -0.2])
p = pi(th)
exact = p * (R - p @ R)                 # 답이 셋뿐이라 손으로 구할 수 있다
print("정확한 ∇J =", np.round(exact, 6))

rng = np.random.default_rng(0)
for n in (100, 10_000, 1_000_000):
    y = rng.choice(3, size=n, p=p)      # 정책에서 답을 뽑고
    G = R[y][:, None] * (np.eye(3)[y] - p)   # r(y) · ∇log π(y) 를 계산해
    g = G.mean(0)                            # 평균 낸다
    err = np.linalg.norm(g - exact) / np.linalg.norm(exact)
    print(f"  샘플 {n:>9,}개  추정 ∇J = {np.round(g, 6)}  상대오차 {err:.4f}")

# 정확한 ∇J = [ 0.345432 -0.054769 -0.290663]
#   샘플       100개  추정 ∇J = [ 0.333507 -0.013503 -0.320004]  상대오차 0.1144
#   샘플    10,000개  추정 ∇J = [ 0.34625  -0.05506  -0.291189]  상대오차 0.0022
#   샘플 1,000,000개  추정 ∇J = [ 0.345403 -0.054558 -0.290845]  상대오차 0.0006

소프트맥스의 로그 확률을 로짓으로 미분하면 ∇θklog⁡π(y)=1[y=k]−πk\nabla_{\theta_k}\log\pi(y) = \mathbb{1}[y=k] - \pi_k 라서 코드의 np.eye(3)[y] - p가 그 값입니다.

숫자를 지난 글과 나란히 놓으면 격차가 보입니다. 유한차분은 표본 100만 개를 쓰고도 상대오차 219%였습니다. 점수 함수 추정량은 100개로 11%, 만 개로 0.2%입니다. 그리고 유한차분은 파라미터마다 따로 흔들어야 했지만 여기서는 표본 한 묶음으로 모든 파라미터의 편미분을 한꺼번에 얻습니다 — 역전파가 하는 일이 정확히 그것이기 때문입니다.

오차가 1/n1/\sqrt n 으로 줄어드는 것도 표에서 보입니다. 표본을 100배 늘리면 오차가 10분의 1이 됩니다(11.4% → 0.22%가 대략 그렇습니다). 표본오차에서 본 그 법칙 그대로입니다.

표본 하나의 추정량

불편성은 표본을 많이 모았을 때의 성질이 아닙니다. 표본이 하나여도 그 추정량의 기댓값은 이미 참값입니다. 같은 문제에서 표본 하나짜리 추정량이 낼 수 있는 값은 셋뿐이라 손으로 펼쳐 볼 수 있습니다.

  • 확률 0.4123으로 첫째 답이 나오면 추정값은 1⋅(1−0.4123, −0.3376, −0.2501)=(0.5877, −0.3376, −0.2501)1\cdot(1-0.4123,\ -0.3376,\ -0.2501) = (0.5877,\ -0.3376,\ -0.2501) 입니다.
  • 확률 0.3376으로 둘째 답이 나오면 점수가 0이라 추정값은 (0, 0, 0)(0,\ 0,\ 0) 입니다. 아무 방향도 배우지 않습니다.
  • 확률 0.2501로 셋째 답이 나오면 점수 −1-1 이 곱해져 (0.4123, 0.3376, −0.7499)(0.4123,\ 0.3376,\ -0.7499) 입니다.

세 값을 확률로 가중해 더하면 (0.3454, −0.0548, −0.2907)(0.3454,\ -0.0548,\ -0.2907), 위의 참값과 소수 넷째 자리까지 같습니다. 하나하나는 참값과 전혀 닮지 않았습니다. 둘째 성분만 봐도 −0.34-0.34, 00, +0.34+0.34 로 흩어지는데 참값은 −0.05-0.05 입니다. 그래도 평균은 정확히 맞습니다.

표본 하나짜리 추정량이 낼 수 있는 세 값과 그 평균

RLHF 학습이 기대는 것이 바로 이 성질입니다. PPO 계열의 RLHF는 프롬프트 하나에 답을 하나만 뽑아 쓰는 경우가 흔합니다. 프롬프트 하나에서 보면 표본 하나짜리 추정량이지만 그 기댓값은 그 프롬프트의 참 그래디언트이고, 배치 안의 여러 프롬프트에 걸쳐 평균을 내면 그 평균도 전체 목적의 참 그래디언트에 대해 불편입니다. 편향 없는 추정량들의 평균은 편향이 없으니까요. 잡음은 배치 크기와 걸음 수가 나눠서 줄입니다.

무한 분산

불편이라는 말이 「쓸 만하다」를 보장하지는 않습니다. 기댓값은 맞는데 분산이 무한대일 수도 있기 때문입니다. 확률변수 하나를 두고 그 평균은 유한한데 제곱의 평균이 발산하면 이런 일이 생깁니다.

예를 하나 만들 수 있습니다. xx 를 비율 θ\theta 인 지수분포 pθ(x)=θe−θxp_\theta(x) = \theta e^{-\theta x} 에서 뽑고 f(x)=ex/2f(x) = e^{x/2} 를 잽니다. θ=1\theta = 1 에서 E[f]=θ/(θ−1/2)\mathbb{E}[f] = \theta/(\theta - 1/2) 의 미분은 −2-2 이고, 점수 함수 1/θ−x1/\theta - x 를 써서 구한 추정량의 기댓값도 정확히 −2-2 입니다. 지지집합이 [0,∞)[0, \infty) 로 고정이니 항등식은 성립합니다. 그런데 추정량의 제곱의 평균을 적어 보면 ∫0∞(1−x)2 dx\int_0^\infty (1-x)^2\,dx 가 되어 발산합니다.

rng = np.random.default_rng(1)
for n in (10**3, 10**5, 10**7):
    x = rng.exponential(1.0, n)
    v = np.exp(x / 2) * (1 - x)          # f(x) · ∇log p(x), θ = 1
    print(f"{n:>10,}  평균 {v.mean():7.3f}  표본분산 {v.var():9.1f}")

#      1,000  평균  -2.217  표본분산     332.0
#    100,000  평균  -1.898  표본분산     641.9
# 10,000,000  평균  -2.035  표본분산    7022.8

평균은 −2-2 근처에서 맴돌지만 표본분산은 표본을 늘릴수록 수렴하지 않고 커집니다. 분산이 무한이면 「표본을 100배 늘리면 오차가 10분의 1」이라는 법칙도 성립하지 않습니다. 드물게 아주 큰 xx 가 뽑힐 때마다 평균이 크게 튀고, 그 튐이 표본이 쌓여도 잦아들지 않습니다.

언어모델이 이 극단까지 가지는 않습니다. 로짓에 대한 점수 함수는 위에서 본 대로 성분마다 −1-1 과 11 사이에 갇혀 있고, 보상도 보통 유한한 구간에 있습니다. 그래도 이 예는 「불편」과 「분산이 작다」가 서로 다른 성질이라는 것을 가장 날카롭게 보여 줍니다. 앞의 것은 항등식이 주고, 뒤의 것은 따로 챙겨야 합니다.

분산

세 원천

불편이라는 것은 「평균적으로 맞다」는 말이지 「한 번 재면 맞다」는 말이 아닙니다. 점수 함수 추정량은 불편이지만 분산이 큽니다. 그리고 그 분산이 어디서 오는지 보면, 고칠 자리도 함께 보입니다.

추정량의 한 표본짜리 값은 f(x)∇θlog⁡pθ(x)f(x)\nabla_\theta\log p_\theta(x) 라는 곱입니다. 두 인수 모두 클 수 있습니다.

  • ff 쪽 — 점수의 절댓값이 크면 곱 전체가 그만큼 커집니다. 그런데 아래에서 보듯 점수에 상수를 더해도 참 그래디언트는 바뀌지 않습니다. 즉 분산은 커지는데 신호는 그대로입니다.
  • ∇log⁡pθ\nabla\log p_\theta 쪽 — 드물게 뽑히는 표본일수록 이 값이 큽니다. 소프트맥스에서는 1−πk1 - \pi_k 가 상한이라 폭발하지는 않지만, 드문 답일수록 그 상한에 가까운 크기로 한쪽을 세게 밉니다.
  • 길이 쪽 — 언어모델에서 log⁡πθ(y)=∑tlog⁡πθ(yt∣⋅)\log\pi_\theta(y) = \sum_t \log\pi_\theta(y_t\mid\cdot) 이므로 답이 200토큰이면 200개 항의 합입니다. 항이 늘수록 그 합의 흔들림도 커집니다.

상수 이동

첫 번째가 가장 손대기 쉬운 자리라 확인해 보겠습니다. 세 점수 (1,0,−1)(1, 0, -1) 에 상수 cc 를 똑같이 더하면 어떻게 될까요. JJ 는 cc 만큼 올라가지만 ∇θJ\nabla_\theta J 는 그대로입니다 — 모든 답을 똑같이 올려 주는 것은 답들 사이의 우열을 바꾸지 않으니까요. 앞에서 본 「점수 함수의 평균은 0」이 정확히 이 말입니다. 더한 cc 가 추정량에 보태는 몫은 c ∇log⁡pθc\,\nabla\log p_\theta 이고 그 기댓값이 0이기 때문입니다.

for c in (0.0, 5.0, 50.0):
    G = (R + c)[:, None] * (np.eye(3) - p)   # 각 답에서의 추정량 값
    mean = p @ G
    var = (p @ (G ** 2) - mean ** 2).sum()
    need = var / (0.1 * np.linalg.norm(mean)) ** 2
    print(f"c={c:>5}  ∇J={np.round(mean, 6)}  총분산={var:9.4f}  10%오차에 필요한 표본≈{need:,.0f}")

# c=  0.0  ∇J=[ 0.345432 -0.054769 -0.290663]  총분산=   0.2200  10%오차에 필요한 표본≈106
# c=  5.0  ∇J=[ 0.345432 -0.054769 -0.290663]  총분산=  16.5922  10%오차에 필요한 표본≈8,023
# c= 50.0  ∇J=[ 0.345432 -0.054769 -0.290663]  총분산=1634.2694  10%오차에 필요한 표본≈790,237

∇J 열은 세 줄이 완전히 같습니다. 그런데 필요한 표본 수는 106개에서 79만 개로 7,400배가 되었습니다. 점수를 어디에 맞춰 재느냐는 정보를 하나도 바꾸지 않는데 학습 비용은 네 자릿수로 달라집니다.

점수에 상수를 더하면 그래디언트는 그대로인데 분산만 커진다

걸음 크기

표본을 늘리는 대신 걸음을 줄이면 되지 않느냐고 물을 수 있습니다. 한 번에 조금씩만 움직이면 한 걸음의 잡음도 작아지니까요. 하지만 비용은 사라지지 않고 걸음 수로 옮겨 갈 뿐입니다.

한 걸음에서 파라미터는 학습률 η\eta 에 추정값을 곱한 만큼 움직입니다. 표본 nn 개로 추정하면 그 걸음의 신호는 ηg\eta g 이고 잡음의 표준편차는 ησ/n\eta\sigma/\sqrt{n} 입니다. 여기서 σ2\sigma^2 은 표본 하나짜리 추정량의 분산입니다. 같은 거리 DD 를 가려면 K=D/(ηg)K = D/(\eta g) 걸음이 필요하고, 걸음마다 독립인 잡음은 K\sqrt{K} 배로 쌓입니다. 둘을 엮으면 도착했을 때의 잡음은 이렇게 됩니다.

K⋅ησn=D σgKn\sqrt{K}\cdot\frac{\eta\sigma}{\sqrt n} = \frac{D\,\sigma}{g\sqrt{Kn}}

η\eta 가 식에서 사라졌습니다. 도착점의 잡음을 정하는 것은 학습률이 아니라 쓴 표본의 총수 KnKn 이고, 잡음을 일정하게 지키려면 그 총수가 σ2\sigma^2 에 비례해야 합니다. 분산이 7,400배면 걸음을 아무리 잘게 나눠도 결국 표본을 7,400배 써야 같은 곳에 같은 정확도로 닿습니다. 물론 이것은 그래디언트가 크게 바뀌지 않는 좁은 구간에서 어림한 그림이지만, 분산의 값을 학습률로 피해 갈 수 없다는 요지는 그대로입니다.

분산 감소

그래서 분산은 추정량 쪽에서 줄여야 합니다. 흔히 쓰는 손질이 셋 있고, 앞의 둘은 점수 쪽을, 셋째는 길이 쪽을 겨냥합니다.

  1. 점수에서 기준값을 뺍니다. 이 기준값을 베이스라인이라고 부르고, 빼고 남은 값이 코드의 advantage입니다. 상수 이동의 반대 방향이라 참 그래디언트는 그대로이고 분산만 줄어듭니다.
  2. 토큰마다 그 뒤에 받은 보상만 셉니다. 어떤 토큰을 고른 일은 그보다 앞서 받은 보상에 영향을 줄 수 없으므로, 앞의 보상은 그 토큰의 점수 함수에 곱해져 잡음만 보탭니다. 보상이 답 끝에 한 번만 붙는 RLHF에서는 모든 토큰에 같은 값이 남지만, 토큰마다 벌점이 붙는 설정에서는 차이가 납니다.
  3. 답의 길이로 나눕니다. 200개 항의 합이 흔들리는 폭을 토큰 수로 눌러 줍니다. 다만 앞의 둘과 달리 이것은 목적식 자체를 살짝 바꾸므로 엄밀히는 불편이 아닙니다.

이 가운데 첫째가 가장 널리 쓰이고 이론도 가장 깔끔합니다. 실제 RLHF 코드에서 reward가 아니라 advantage라는 이름의 값이 곱해져 있던 것도 이 때문이고, 무엇을 빼야 하는지가 다음 글의 주제입니다.

재매개변수화 트릭

무작위성 빼내기

기댓값의 그래디언트를 얻는 방법이 이것만 있는 것은 아닙니다. 무작위성을 파라미터 밖으로 빼내는 길도 있습니다. 정규분포에서 뽑는 경우라면

x=μθ+σθ ϵ,ϵ∼N(0,1)x = \mu_\theta + \sigma_\theta\,\epsilon,\qquad \epsilon\sim\mathcal{N}(0,1)

로 적을 수 있습니다. 이제 무작위성은 ϵ\epsilon 에만 있고 θ\theta 와 무관하므로, 기댓값을 취하는 분포가 θ\theta 에 의존하지 않습니다. 지난 글에서 지도학습이 쉬웠던 그 상황으로 돌아온 것이고, 미분이 기댓값 안으로 그냥 들어갑니다.

∇θ Eϵ[f(μθ+σθϵ)]=Eϵ[f′(x) ∇θ(μθ+σθϵ)]\nabla_\theta\,\mathbb{E}_{\epsilon}\big[f(\mu_\theta + \sigma_\theta\epsilon)\big] = \mathbb{E}_{\epsilon}\big[f'(x)\,\nabla_\theta(\mu_\theta + \sigma_\theta\epsilon)\big]

이 방식을 재매개변수화 트릭이라 하고, 여기서는 ff 를 실제로 미분해 그 기울기를 씁니다. 그래서 점수 함수 추정량보다 분산이 훨씬 작은 것이 보통입니다 — 점수 하나만 보는 대신 ff 가 어느 쪽으로 기울어 있는지를 직접 읽기 때문입니다.

두 길의 비교

점수 함수 추정량과 재매개변수화 트릭이 갈리는 자리

점수 함수 추정량 재매개변수화 트릭
쓰는 항등식 ∇p=p ∇log⁡p\nabla p = p\,\nabla\log p x=gθ(ϵ)x = g_\theta(\epsilon)
ff 에 요구하는 것 값만 주면 된다 ff 가 미분 가능해야 한다
xx 의 종류 이산·연속 모두 연속만
분산 크다 대체로 작다
대표적 쓰임 RLHF, 정책 그래디언트 VAE, 확산모델의 순방향 과정

언어모델이 왼쪽 칸에 갇혀 있는 이유는 표의 셋째 줄입니다. 토큰은 이산이라 θ\theta 에 대해 미분 가능한 함수로 적을 수 없습니다 — 「토큰 번호 4128」을 연속적으로 조금 움직인다는 말이 성립하지 않습니다. 그리고 둘째 줄도 있습니다. 보상 모델은 미분 가능하게 만들 수 있지만 단위 테스트 통과 여부나 사람의 판정은 그렇지 않습니다. ff 의 값만 요구하는 쪽이 훨씬 넓은 채점자를 받아들입니다.

재매개변수화 트릭 자체와 확산모델의 순방향 과정에서 그것이 어떻게 쓰이는지는 재매개변수화 트릭과 폐형 forward 과정이 맡습니다.

Gumbel-softmax

이산이라 막혔다면 이산을 연속으로 풀어 버리면 되지 않을까요. 그렇게 만든 우회로가 실제로 있습니다. 로짓에 Gumbel 분포에서 뽑은 잡음을 더해 가장 큰 자리를 고르면 그 자리는 정확히 소프트맥스 확률로 뽑히는데, 이 성질을 Gumbel-max 트릭이라고 부릅니다. 여기서 마지막 단계의 argmax를 온도 τ\tau 의 소프트맥스로 바꿔 끼운 것이 Gumbel-softmax입니다. 온도가 0에 가까우면 결과가 원-핫 벡터에 가까워지고, 온도가 크면 여러 토큰이 섞인 흐릿한 벡터가 됩니다. 이렇게 이산 표본을 매끄러운 근사로 바꾸는 일을 연속 완화라고 합니다.

완화된 표본은 로짓과 잡음의 매끄러운 함수이니 재매개변수화 트릭을 쓸 수 있습니다. 대가는 편향입니다. 채점자가 받는 것이 실제 토큰이 아니라 토큰들의 가중 혼합이므로, 구한 그래디언트는 원래 목적의 그래디언트가 아니라 완화된 목적의 그래디언트입니다. 온도를 낮추면 편향은 줄지만 소프트맥스가 가팔라져 그래디언트의 분산이 커지고, 온도를 높이면 반대가 됩니다. 이 조율은 범주분포에서 뽑기에서 본 그대로입니다.

언어모델 RLHF에서 이 길이 거의 쓰이지 않는 이유는 둘입니다. 첫째, 편향이 토큰마다 쌓입니다. 답 하나가 수백 토큰이고 각 토큰의 흐릿한 혼합이 다음 토큰의 입력으로 들어가므로, 완화된 문장은 길어질수록 모델이 실제로 생성할 문장에서 멀어집니다. 둘째, 채점자가 혼합 벡터를 받을 수 없습니다. 단위 테스트나 사람의 판정은 실제 문자열을 요구하고, 보상 모델조차 학습할 때 본 적 없는 혼합 입력에 낸 점수는 믿기 어렵습니다. 그래서 점수 함수 추정량이 분산이 큰데도 이 자리를 차지하고 있습니다.

다시 그 한 줄로

대리 손실

맨 앞의 두 줄짜리 코드는 이제 유도의 마지막 줄을 그대로 옮겨 적은 것으로 읽힙니다.

∇θJ(θ)=Ey∼πθ[ r(y) ∇θlog⁡πθ(y∣x) ]\nabla_\theta J(\theta) = \mathbb{E}_{y\sim\pi_\theta}\big[\,r(y)\,\nabla_\theta \log \pi_\theta(y\mid x)\,\big]

logp * advantage를 평균 내고 부호를 뒤집어 backward()를 부르면, 자동미분이 ∇θlog⁡πθ\nabla_\theta\log\pi_\theta 를 만들고 점수가 그 앞에 가중치로 붙습니다. 뽑힌 답의 점수가 양수면 그 답의 로그 확률을 올리는 방향으로, 음수면 내리는 방향으로 한 걸음을 냅니다. 「좋았던 것을 더 자주 하게 만든다」는 문장이 식으로는 이렇게 생겼습니다.

여기서 하나 조심할 것이 있습니다. loss는 목적 JJ 가 아닙니다. 그래디언트가 지금 θ\theta 에서 −g^-\widehat g 와 같아지도록 지어 놓은 식일 뿐이고, 이렇게 미분만 맞추려고 세운 손실을 대리 손실이라고 부릅니다. 그 값 자체에는 읽을 만한 뜻이 없습니다. 로그 확률은 답 하나에 수백 토큰이 쌓여 크게 음수이고, advantage는 배치마다 평균이 0 근처로 맞춰지니 둘을 곱한 평균은 부호도 크기도 제멋대로 움직입니다. 손실 곡선이 내려간다고 보상이 올랐다는 뜻이 아니므로, 학습이 되는지는 보상의 평균을 따로 찍어 확인해야 합니다.

detach의 몫

detach()가 빠지면 무슨 일이 생기는지도 이제 말할 수 있습니다. 유도에서 ff 는 θ\theta 와 무관한 함수였고, 자동미분은 그 가정을 모릅니다. advantage가 같은 신경망의 가치 출력처럼 θ\theta 에 딸린 값으로 계산되었는데 끊지 않으면, 곱의 미분 법칙대로 log⁡πθ⋅∇θA\log\pi_\theta \cdot \nabla_\theta A 라는 항이 하나 더 흐릅니다.

이 항은 항등식 어디에도 없는 잘못된 그래디언트입니다. 게다가 크게 음수인 로그 확률이 곱해져 있으니, 손실을 줄이는 쪽은 기대 보상을 올리는 방향이 아니라 로그 확률의 크기만큼 가중된 채 AA 를 끌어내리는 방향이 되고, 모델은 그쪽으로 끌려갑니다. 지금 RLHF 코드처럼 보상 모델의 출력에서 만든 advantage라면 원래 그래디언트가 없어 detach()가 하는 일이 없을 수도 있지만, 그 줄은 ff 가 상수라는 유도의 전제를 코드에 못 박아 두는 자리입니다.

그리고 그 자리에 reward가 아니라 advantage가 들어가 있는 것은 분산 절에서 본 첫째 손질 때문입니다. 무엇을 빼야 편향 없이 분산만 줄어드는지가 다음 글의 주제입니다.

정리

  • 로그 미분 트릭은 ∇θpθ(x)=pθ(x)∇θlog⁡pθ(x)\nabla_\theta p_\theta(x) = p_\theta(x)\nabla_\theta\log p_\theta(x) 라는 항등식이다. 로그의 미분 공식에 pθp_\theta 를 곱한 것뿐이지만, 확률이 곱해진 인수로 되살아난다는 것이 핵심이다.
  • 이것을 목적식에 넣으면 ∇θEpθ[f]=Epθ[f ∇θlog⁡pθ]\nabla_\theta\mathbb{E}_{p_\theta}[f] = \mathbb{E}_{p_\theta}[f\,\nabla_\theta\log p_\theta] 가 되고, 왼쪽과 달리 오른쪽은 표본평균으로 추정할 수 있다. 이 추정량을 점수 함수 추정량(REINFORCE 추정량)이라 부른다. f=1f = 1 을 넣으면 점수 함수의 평균이 0이라는 사실이 나온다.
  • 성립 조건은 둘이다 — 지지집합이 θ\theta 에 의존하지 않을 것, 미분과 적분을 바꿔도 될 것. [0,θ][0,\theta] 균등분포에서는 첫 조건이 깨져 −1/2-1/2 가 나오는데, 참값 1/21/2 와의 차이 1이 정확히 라이프니츠 규칙의 경계항이다. 소프트맥스 정책은 두 조건을 모두 만족하고, 고정된 마스킹도 괜찮다. 뽑는 분포와 미분하는 분포는 같아야 한다.
  • 항등식이 성립하므로 추정량은 불편이고, 표본 하나여도 그렇다. 답이 셋뿐인 문제에서 표본 100개로 상대오차 11%, 만 개로 0.2%였다 — 같은 문제에서 유한차분이 100만 개로도 219%였던 것과 대비된다. 다만 불편이어도 분산이 무한일 수 있다.
  • 대신 분산이 크다. 점수의 절댓값, 드문 표본에서 커지는 ∇log⁡p\nabla\log p, 토큰 수만큼 쌓이는 합이 원인이다. 점수에 상수 50을 더하면 참 그래디언트는 그대로인데 같은 정확도에 필요한 표본이 7,400배가 되고, 학습률을 줄여도 필요한 표본의 총수는 분산에 비례한다. 베이스라인·뒤의 보상만 세기·길이 정규화가 줄이는 손질이다.
  • 재매개변수화 트릭은 무작위성을 θ\theta 밖으로 빼내 ff 를 직접 미분하는 다른 길이고 분산이 훨씬 작다. 다만 xx 가 연속이고 ff 가 미분 가능해야 한다. Gumbel-softmax로 토큰을 연속으로 풀면 편향이 토큰마다 쌓이므로, 언어모델에는 사실상 점수 함수 추정량밖에 없다.
  • RLHF의 손실 값은 대리 손실이라 크기를 읽지 않는다. detach()는 ff 가 상수라는 전제를 지키는 자리다.

읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN