수학

MATH / 중급 58번

중요도 비율과 클리핑: 예전 정책의 샘플을 재사용하는 대가

PPO 로그의 clip_frac과 approx_kl은 왜 나란히 찍힐까요. 중요도 표집이 왜 불편추정량인지, 두 분포가 멀어질 때 유효 표본 수가 왜 지수적으로 무너지는지를 e^(Δ²) 계산으로 확인하고, clip이 목적함수를 조각별 선형으로 바꿔 한 걸음을 막는 방식까지 따라갑니다.

PALDYN Team44 MIN READ

RLHF 학습을 돌리면 로그에 이런 줄이 찍힙니다.

step 420 | policy_loss -0.0231 | clip_frac 0.18 | approx_kl 0.0094 | ratio_max 1.41

여기서 정책은 언어 모델이 다음 토큰에 매기는 확률 분포이고, 학습은 그 분포를 보상이 높은 답 쪽으로 옮기는 일입니다. clip_frac은 이번 미니배치에서 클리핑에 걸린 토큰의 비율이고, approx_kl은 지금 정책이 이 배치를 만든 정책에서 얼마나 멀어졌는지입니다. 실무에서는 이 두 숫자가 각각 0.1~0.3과 0.01 근처에 머무르는지를 봅니다. 넘으면 학습률을 내리거나 배치 재사용 횟수를 줄입니다.

왜 하필 이 두 숫자일까요. 손실값도 보상도 아닌 이것을 보는 이유는, 이 둘이 한 가지 거래의 청구서이기 때문입니다. 거래의 내용은 이렇습니다 — 답을 뽑는 일은 비싸니 한 번 뽑은 배치로 여러 걸음을 걷고 싶다. 그러면 두 번째 걸음부터는 지금 정책이 아니라 예전 정책이 뽑은 샘플로 지금 정책을 평가하게 됩니다.

이 글은 그 대가가 정확히 얼마인지를 계산합니다. 지난 글에서 KL 제약이 붙은 목적식을 닫힌 형태로 풀었다면, 여기서는 그 제약을 강제하는 두 장치 — 비율 클리핑과 KL 조기 중단 — 이 무엇을 막고 있는지를 봅니다. 알고리즘 전체의 구현은 PPO가 다루고, 이 글은 추정량의 성질만 맡습니다.

중요도 표집

중요도 비율

알고 싶은 것은 지금 정책 pp 아래의 기댓값입니다.

J(p)=Ex∼p[f(x)]J(p) = \mathbb{E}_{x \sim p}[f(x)]

그런데 가진 샘플은 예전 정책 qq 에서 나왔습니다. 다시 뽑을 수 없다면 방법은 하나뿐입니다. 적분 안에 qq 를 곱하고 나눕니다.

Ex∼p[f(x)]=∫p(x)f(x) dx=∫q(x)p(x)q(x)f(x) dx=Ex∼q ⁣[p(x)q(x)f(x)]\begin{aligned} \mathbb{E}_{x \sim p}[f(x)] &= \int p(x) f(x)\,dx \\ &= \int q(x) \frac{p(x)}{q(x)} f(x)\,dx \\ &= \mathbb{E}_{x \sim q}\!\left[\frac{p(x)}{q(x)} f(x)\right] \end{aligned}

중요도 표집(importance sampling)은 이렇게 다른 분포에서 뽑은 샘플에 비율을 곱해 원하는 분포의 기댓값을 얻는 방법입니다. 그 비율 w(x)=p(x)/q(x)w(x) = p(x)/q(x) 를 중요도 비율이라 부르고, 샘플 하나하나가 받는 이 값을 그 샘플의 무게라고도 합니다. 지금 정책이 예전보다 더 자주 낼 답이면 무게가 1보다 크고, 덜 낼 답이면 1보다 작습니다.

예전 분포에서 뽑은 표본에 무게를 곱해 새 분포의 기댓값을 얻는 그림

불편추정량

식 변형이 한 줄이므로 성질도 곧바로 나옵니다. J^=1N∑iw(xi)f(xi)\hat{J} = \frac{1}{N}\sum_i w(x_i) f(x_i) 라 두면

Eq[J^]=Ex∼q ⁣[p(x)q(x)f(x)]=J(p)\mathbb{E}_{q}[\hat{J}] = \mathbb{E}_{x \sim q}\!\left[\frac{p(x)}{q(x)} f(x)\right] = J(p)

입니다. 표본 수가 몇이든 기댓값이 참값과 같은 추정량을 불편추정량(unbiased estimator)이라 하고, 중요도 표집 추정량은 불편추정량입니다.

다만 조건이 하나 붙습니다. 앞의 식 변형 둘째 줄에서 q(x)q(x) 로 나눴으므로, p(x)f(x)p(x) f(x) 가 0이 아닌 곳에서는 q(x)q(x) 도 0이 아니어야 합니다. 지금 정책이 확률을 주는 답이라면 예전 정책도 그 답을 뽑을 수 있었어야 한다는 뜻입니다. 예전 정책이 한 번도 뽑을 수 없는 답에 대해서는 어떤 무게를 곱해도 정보를 만들어 낼 수 없습니다.

이 조건은 언어 모델에서 생각보다 쉽게 깨집니다. 샘플을 뽑을 때 top-p로 확률이 낮은 꼬리를 잘라 냈다면 실제로 답을 만든 분포 qq 는 꼬리가 0인 분포이고, 학습 쪽에서 계산하는 전체 소프트맥스와 다릅니다. 분모에 넣는 qq 는 언제나 그 샘플을 실제로 만든 분포여야 합니다.

여기까지만 보면 공짜입니다. 편향이 없으니 샘플을 재사용해도 되는 것처럼 보입니다. 대가는 분산에 있습니다. 분산은 추정값이 참값 둘레에서 얼마나 흔들리는지이고, 편향이 없다는 말은 그 흔들림의 한가운데가 참값이라는 말일 뿐 흔들림의 폭에 대해서는 아무것도 말해 주지 않습니다.

자기 정규화 추정량

무게에는 미리 알 수 있는 성질이 하나 있습니다. Eq[w]=∫q⋅pq=∫p=1\mathbb{E}_q[w] = \int q \cdot \frac{p}{q} = \int p = 1 이므로 무게의 평균은 1이어야 합니다. 그런데 한 배치에서 잰 무게의 평균 1N∑iwi\frac{1}{N}\sum_i w_i 는 정확히 1이 아니고, 그 어긋남은 대개 위의 추정값이 어긋난 방향과 함께 갑니다. 큰 무게가 하나 끼면 둘 다 커지기 때문입니다.

그래서 나눠서 상쇄시키는 추정량을 쓰기도 합니다.

J~=∑iwif(xi)∑iwi\tilde{J} = \frac{\sum_i w_i f(x_i)}{\sum_i w_i}

무게의 합으로 나눠 무게들을 합이 1인 비중으로 바꾼 이 추정량을 자기 정규화 추정량(self-normalized estimator)이라 합니다. 분모도 확률변수라 기댓값이 더 이상 참값과 같지 않으므로 편향이 생깁니다. 다만 표본이 늘면 그 편향은 0으로 갑니다. 대신 분산이 크게 줄어듭니다.

뒤에서 다시 쓸 예로 재 보면 이렇습니다. 예전 분포가 N(0,1)\mathcal{N}(0, 1), 지금 분포가 평균만 2 옮겨 간 N(2,1)\mathcal{N}(2, 1) 일 때 표본 1,000개로 Ep[x]=2\mathbb{E}_p[x] = 2 를 4,000번 추정했더니 보통의 중요도 표집은 평균 2.00에 표준편차 0.91, 자기 정규화는 평균 1.94에 표준편차 0.28이었습니다. 0.06만큼 치우친 대신 흔들림이 3분의 1 아래로 줄었습니다. 보통의 추정값은 모양도 고르지 않습니다. 중앙값은 1.79로 참값보다 작은데, 4,000번 중 한 번은 19.5가 나왔습니다. 대부분은 조금 모자라고 드물게 크게 넘쳐서 평균을 맞추는 모양이고, 이것은 뒤에서 무게 자체의 분포로 다시 만납니다. 편향을 조금 내주고 분산을 크게 사는 이 거래는 뒤에서 클리핑이 똑같은 모양으로 다시 합니다.

보통의 중요도 표집과 자기 정규화 추정량으로 4,000번 잰 추정값의 분포

PPO가 이 추정량을 그대로 쓰지는 않습니다. 그래도 배치 안 무게의 평균이 1에서 얼마나 떨어졌는지는 그 자체로 진단이 됩니다. 평균이 1 근처에 있으면서 최댓값이 튀면 드문 거대한 무게가 하나 들어온 것이고, 평균이 1보다 한참 작으면 거대한 무게가 아직 안 들어왔을 뿐 어딘가에 있다는 뜻입니다.

로그 비율

실제 코드는 확률을 나누지 않습니다. 모델이 내놓는 것은 로짓이고 거기서 곧장 얻는 것은 로그 확률이므로, 비율은 로그 확률의 차를 한 번 지수로 올려 만듭니다.

r=exp⁡(log⁡πθ(a∣s)−log⁡πold(a∣s))r = \exp\big(\log \pi_\theta(a \mid s) - \log \pi_{\text{old}}(a \mid s)\big)

이렇게 하는 까닭은 수의 크기입니다. 토큰마다 로그 확률이 평균 −1.5인 200토큰짜리 답이면 답 전체의 로그 확률은 −300이고, 확률로 바꾸면 e−300≈5×10−131e^{-300} \approx 5 \times 10^{-131} 입니다. float32가 표현하는 가장 작은 양수가 10−4510^{-45} 근처이므로 이 값은 0이 되고, 0을 0으로 나누는 순간 학습이 멈춥니다. 로그끼리 빼면 −300과 −299.7의 차인 0.3만 남아 아무 문제가 없습니다. 같은 이유로 소프트맥스도 로그 공간에서 계산한다는 것은 로그합지수에서 다뤘습니다.

무게의 분산

분산의 적분식

비율 자체의 분산을 봅니다. 앞에서 본 대로 Eq[w]=1\mathbb{E}_q[w] = 1 이므로

Varq(w)=Eq[w2]−1=∫p(x)2q(x)dx−1\mathrm{Var}_q(w) = \mathbb{E}_q[w^2] - 1 = \int \frac{p(x)^2}{q(x)}dx - 1

적분 안이 p2/qp^2/q 라는 것이 핵심입니다. qq 가 분모에 있으므로 qq 가 얇은데 pp 가 두꺼운 자리가 하나라도 있으면 이 값이 크게 튑니다.

극단적으로는 적분이 아예 무한대가 됩니다. 평균이 같고 폭만 다른 두 정규분포, q=N(0,1)q = \mathcal{N}(0, 1) 과 p=N(0,σ2)p = \mathcal{N}(0, \sigma^2) 을 넣으면 적분 안의 지수가 x2(1/2−1/σ2)x^2(1/2 - 1/\sigma^2) 꼴이 되어, σ2<2\sigma^2 < 2 일 때만 유한합니다. 그림의 왼쪽처럼 σ2=1.5\sigma^2 = 1.5 면 적분 안의 곡선이 꼬리로 갈수록 줄어들지만, 오른쪽처럼 σ2=2.5\sigma^2 = 2.5 면 꼬리로 갈수록 오히려 커집니다. pp 의 폭이 qq 의 폭보다 2\sqrt{2} 배 넘게 넓으면 분산이 무한대인 추정량이 됩니다. 평균은 여전히 맞는데 흔들림에 끝이 없다는 뜻입니다.

폭이 다른 두 정규분포에서 적분 안의 곡선 p²/q가 꼬리에서 줄어드는 경우와 커지는 경우

일반적으로 말하면 qq 의 꼬리가 pp 의 꼬리보다 얇으면 안 됩니다. 언어 모델로 옮기면, 낮은 온도로 뾰족하게 뽑은 답으로 온도가 높은 정책을 평가하는 상황이 여기에 해당합니다. 예전 정책이 거의 안 뽑던 토큰에 지금 정책이 확률을 꽤 주면 그 토큰이 드물게 뽑힐 때마다 거대한 무게가 붙습니다.

정규분포 두 개

정규분포 두 개로 계산하면 정확한 값이 나옵니다. 이번에는 폭이 같고 평균만 다른 q=N(0,1)q = \mathcal{N}(0, 1), p=N(Δ,1)p = \mathcal{N}(\Delta, 1) 을 둡니다. 무게는 w(x)=eΔx−Δ2/2w(x) = e^{\Delta x - \Delta^2/2} 이고, 지수를 정리해서

Eq[w2]=eΔ2,Varq(w)=eΔ2−1\mathbb{E}_q[w^2] = e^{\Delta^2}, \qquad \mathrm{Var}_q(w) = e^{\Delta^2} - 1

을 얻습니다. 한편 두 분포의 KL 발산은 KL(p∥q)=Δ2/2\mathrm{KL}(p\|q) = \Delta^2/2 입니다. KL 발산은 한 분포를 다른 분포로 착각했을 때 평균적으로 드는 로그 확률의 손해이고, 폭이 같은 두 정규분포에서는 방향을 바꿔도 값이 같습니다. KL은 Δ2\Delta^2 에 비례해 자라는데 무게의 분산은 그 지수로 자랍니다. 이 두 속도의 차이가 이 글 전체의 뼈대입니다.

유효 표본 수

이 차이를 눈에 보이게 하는 값이 유효 표본 수(effective sample size, ESS)입니다. 무게가 제각각인 NN 개의 표본이 실제로는 몇 개의 균등한 표본만큼 일하는지를 재는 값으로, 이렇게 정의합니다.

ESS=(∑iwi)2∑iwi2\mathrm{ESS} = \frac{\left(\sum_i w_i\right)^2}{\sum_i w_i^2}

무게가 전부 같으면 ESS=N\mathrm{ESS} = N 이고, 한 표본이 무게를 독차지하면 ESS→1\mathrm{ESS} \to 1 입니다. 위의 정규분포 예에서는 ESS/N→1/Eq[w2]=e−Δ2\mathrm{ESS}/N \to 1/\mathbb{E}_q[w^2] = e^{-\Delta^2} 로 갑니다.

평균 차이에 따라 유효 표본 수가 무너지는 표

숫자로 확인해 봅니다. 표본 20만 개로 잰 값입니다.

import numpy as np
np.random.seed(1)
N = 200_000
for D in [0.5, 1.0, 2.0, 3.0]:
    x = np.random.randn(N)              # q = N(0,1)에서 뽑는다
    w = np.exp(D * x - D**2 / 2)        # p = N(D,1)에 대한 비율
    ess = w.sum()**2 / (w**2).sum() / N
    print(f"D={D}  KL={D*D/2:.3f}  Var(w)={w.var():9.2f}  ESS/N={ess:.5f}")
D=0.5  KL=0.125  Var(w)=     0.28  ESS/N=0.77938
D=1.0  KL=0.500  Var(w)=     1.70  ESS/N=0.37055
D=2.0  KL=2.000  Var(w)=    61.25  ESS/N=0.01637
D=3.0  KL=4.500  Var(w)=  1378.60  ESS/N=0.00071

KL이 0.5일 때 이미 표본의 63%가 사라집니다. KL이 2가 되면 1,000개를 뽑아도 실제로 일하는 것은 열여섯 개 남짓입니다(이론값은 열여덟 개).

기댓값 추정의 정확도로 바꿔 보면 이렇습니다. 표본 1,000개로 Ep[x]=Δ\mathbb{E}_p[x] = \Delta 를 추정할 때

평균 차이 중요도 표집 표준편차 직접 뽑았을 때
Δ=1\Delta = 1 0.117 0.032
Δ=2\Delta = 2 0.912 0.032
Δ=3\Delta = 3 5.99 0.032

이 표의 값도 모의실험으로 잰 것입니다. 식으로 구한 이론값은 Δ=1\Delta = 1 에서 0.11, Δ=2\Delta = 2 에서 0.96, Δ=3\Delta = 3 에서 17.3이라, 거리가 멀수록 잰 값이 이론보다 작게 나옵니다. 그 까닭은 이 절의 마지막 소절에서 봅니다.

편향은 없습니다. 다만 Δ=3\Delta = 3 에서 추정값의 흔들림이 참값(3)의 두 배입니다. 불편하다는 말은 무한히 반복하면 맞는다는 뜻이지, 한 번의 미니배치가 쓸 만하다는 뜻이 아닙니다.

그렇다면 학습 로그에 ESS를 바로 찍으면 될 것 같은데, 실제 로그에는 대개 approx_kl이 그 자리에 있습니다. 두 분포가 가까울 때 Eq[w2]−1\mathbb{E}_q[w^2] - 1 은 KL의 두 배와 거의 같아서, 토큰 단위 무게로 잰 ESS/N\mathrm{ESS}/N 은 1−2 KL1 - 2\,\mathrm{KL} 근처에 머뭅니다. 토큰당 KL이 0.01이면 ESS/N≈0.98\mathrm{ESS}/N \approx 0.98 이고, 0.02여도 0.96입니다. 이렇게 1에 붙어 있는 숫자에서는 문턱을 정하기 어렵습니다. 같은 정보를 0.01이라는 예산과 바로 견줄 수 있는 눈금으로 읽는 것이 approx_kl입니다.

분산 추정의 치우침

그리고 앞의 출력 마지막 줄에 함정이 하나 더 있습니다. Δ=3\Delta = 3 에서 이론값은 Var(w)=e9−1≈8,102\mathrm{Var}(w) = e^9 - 1 \approx 8{,}102 인데 표본에서 잰 값은 1,379입니다. 분산이 큰 상황에서는 분산 추정값 자체가 아래로 치우칩니다. 분산을 지배하는 것은 아주 드물게 나오는 거대한 무게인데 20만 개 안에 그것이 안 들어왔기 때문입니다. 실제 학습에서 이것은 "지표가 조용한데 학습이 무너진다"로 나타납니다.

평균이나 분산처럼 모두를 섞어 내는 지표가 이 상황을 놓친다면, 가장 큰 하나를 따로 봐야 합니다. 배치 안에서 가장 큰 무게가 전체 합에서 차지하는 비중 max⁡iwi/∑iwi\max_i w_i / \sum_i w_i 는 그 하나가 추정을 얼마나 혼자 끌고 가는지를 바로 보여 줍니다. 로그의 ratio_max가 같은 일을 하는 값입니다. 평균과 분산이 조용해도 ratio_max가 갑자기 몇 배로 뛰면 드문 토큰 하나가 큰 무게를 받았다는 뜻이고, 그 토큰이 다음 걸음의 방향을 상당 부분 정합니다.

토큰 비율과 시퀀스 비율

비율의 곱

지금까지는 샘플 하나를 점 하나로 다뤘습니다. 언어 모델에서 샘플 하나는 토큰 수백 개짜리 답이고, 답 전체의 확률은 앞 토큰들이 정해진 뒤 다음 토큰이 나올 확률을 차례로 곱한 것입니다. 그러면 답 전체의 비율, 곧 시퀀스 비율도 토큰마다의 비율을 전부 곱한 것이 됩니다.

wseq=∏t=1Tπθ(at∣st)πold(at∣st),log⁡wseq=∑t=1Tlog⁡rtw_{\text{seq}} = \prod_{t=1}^{T} \frac{\pi_\theta(a_t \mid s_t)}{\pi_{\text{old}}(a_t \mid s_t)}, \qquad \log w_{\text{seq}} = \sum_{t=1}^{T} \log r_t

여기서 sts_t 는 tt 번째 토큰을 뽑을 때까지 나온 앞부분이고 ata_t 는 그때 고른 토큰입니다. 로그로 보면 곱이 합이 되고, 합은 길이에 비례해 퍼집니다.

숫자를 넣어 봅니다. 토큰마다 KL이 0.01이고, 토큰 하나의 로그 비율이 앞 절의 정규분포 예처럼 평균 −0.01, 분산 0.02로 흔들린다고 둡니다(정규분포 예에서 로그 비율은 평균 −KL-\mathrm{KL}, 분산 2 KL2\,\mathrm{KL} 입니다). 토큰 200개가 서로 독립이라면 시퀀스의 로그 비율은 평균 −2, 분산 4, 표준편차 2입니다. 이것은 KL이 2인 정규분포 두 개, 곧 앞 표의 Δ=2\Delta = 2 줄과 같은 상황입니다. 토큰 하나로는 거의 티가 안 나던 0.01이 200번 쌓여 유효 표본이 e−4≈1.8%e^{-4} \approx 1.8\% 로 줄어듭니다.

비율 자체도 고르지 않습니다. 중앙값이 e−2≈0.14e^{-2} \approx 0.14 이고 위쪽 5%는 3.6을 넘습니다. 대부분의 답은 무게가 1에 한참 못 미치고, 몇 안 되는 답이 거대한 무게를 받아 평균 1을 맞춥니다. 실제 토큰은 서로 독립이 아니어서 숫자는 달라지지만, 길이에 따라 로그 비율이 퍼진다는 방향은 그대로입니다.

시퀀스 비율은 토큰 비율을 곱으로 쌓고 PPO는 토큰마다 비율을 끊는다는 비교 그림

토큰별 비율

PPO는 시퀀스 비율을 쓰지 않습니다. 토큰마다 rt=πθ(at∣st)/πold(at∣st)r_t = \pi_\theta(a_t \mid s_t) / \pi_{\text{old}}(a_t \mid s_t) 를 따로 두고, 각 토큰의 기여를 그 토큰의 비율 하나로만 고칩니다. 곱하지 않으니 토큰 하나의 비율은 1 근처에 머물고, 위의 폭발이 처음부터 일어나지 않습니다.

대가는 불편성입니다. 토큰 tt 의 앞부분 sts_t 는 예전 정책이 만든 것인데, 토큰 비율 하나만 곱하는 것은 그 앞부분이 지금 정책에서 나왔을 때도 같은 빈도로 나왔으리라고 가정하는 셈입니다. 앞부분이 나올 확률이 바뀐 몫, 곧 앞 토큰들의 비율을 곱한 몫을 통째로 버린 것입니다. 그래서 토큰별 비율로 만든 목적식은 답 전체에 대해서는 불편추정량이 아니라 근사입니다.

이 근사가 언제 괜찮은지는 분명합니다. 두 정책이 가까워 앞부분의 분포가 거의 그대로일 때입니다. 버린 몫이 두 정책 사이의 거리와 함께 커진다는 것이 신뢰 영역 방법의 출발점이고, 이 글의 나머지에 나오는 두 장치가 바로 그 거리를 좁게 붙잡아 이 근사를 성립시키는 역할을 합니다.

길이와 평균

토큰별로 끊으면 손실을 어떻게 평균 내느냐가 새로 문제가 됩니다. 길이가 다른 답이 한 배치에 섞이기 때문입니다. 100토큰짜리 답과 400토큰짜리 답이 하나씩 있다고 해 봅니다.

  • 토큰 단위로 평균 내면 500개 토큰이 똑같이 1/500씩 받습니다. 긴 답이 손실의 80%를 차지하고, 배치의 방향은 긴 답 쪽으로 기웁니다.
  • 답마다 먼저 평균 내고 다시 답끼리 평균 내면 두 답이 반반입니다. 대신 짧은 답의 토큰은 하나가 1/200을, 긴 답의 토큰은 1/800을 받아 긴 답 안의 토큰 하나는 목소리가 4분의 1로 줄어듭니다.

어느 쪽도 틀린 것은 아닙니다. 다만 둘 다 "모든 답을 똑같이 다룬다"와 "모든 토큰을 똑같이 다룬다" 중 하나를 고른 것이고, 둘을 동시에 만족하는 평균은 없습니다. 긴 답에서 보상이 일관되게 높거나 낮으면 이 선택이 그대로 답의 길이를 밀어 올리거나 끌어내리는 힘이 됩니다.

클리핑 목적함수

신뢰 영역

정책 경사법의 목적식을 비율로 다시 씁니다. 이점 함수 AA 는 그 행동이 평균보다 얼마나 나았는지를 재는 값이고, 이것을 붙이면

LIS(θ)=Eq ⁣[r(θ) A],r(θ)=πθ(a∣s)πold(a∣s)L^{\text{IS}}(\theta) = \mathbb{E}_{q}\!\left[r(\theta)\,A\right], \qquad r(\theta) = \frac{\pi_\theta(a \mid s)}{\pi_{\text{old}}(a \mid s)}

입니다. 이 식을 그냥 최대화하면 앞 절이 말한 자리로 걸어 들어갑니다 — A>0A > 0 인 행동의 rr 을 끝없이 키우는 것이 목적식을 계속 키우기 때문입니다. 그런데 그 방향으로 멀리 갈수록 rr 이 근거하는 추정 자체가 못 믿을 것이 됩니다.

신뢰 영역(trust region)은 근사식을 믿을 수 있는 범위를 정해 두고 한 걸음을 그 안에 가두는 발상입니다. 원래는 KL에 명시적인 제약을 걸어 풀었는데, 그러려면 매 걸음 제약 있는 최적화를 풀어야 합니다. PPO의 선택은 제약을 푸는 대신 목적함수의 모양을 바꾸는 것입니다.

LCLIP(θ)=E[min⁡(r(θ)A,  clip(r(θ),1−ϵ,1+ϵ) A)]L^{\text{CLIP}}(\theta) = \mathbb{E}\Big[\min\big(r(\theta)A,\; \mathrm{clip}(r(\theta), 1-\epsilon, 1+\epsilon)\,A\big)\Big]

클리핑(clipping)은 값을 정해진 구간 밖으로 못 나가게 잘라 내는 것이고, clip(r,1−ϵ,1+ϵ)\mathrm{clip}(r, 1-\epsilon, 1+\epsilon) 은 rr 을 [0.8,1.2][0.8, 1.2] 같은 띠 안에 가둡니다. 여기에 min⁡\min 이 하나 더 붙어 있는 것이 이 식의 전부인데, 그 min⁡\min 이 하는 일은 부호에 따라 갈립니다.

이점의 부호

A의 부호에 따라 어느 쪽이 평평해지는지 보이는 두 패널

A>0A > 0 일 때 목적값을 rr 의 함수로 적어 보면

rr 0.5 0.7 0.9 1.1 1.2 1.4 1.8
목적값 0.50 0.70 0.90 1.10 1.20 1.20 1.20
기울기 1 1 1 1 — 0 0

r>1.2r > 1.2 에서 평평합니다. 좋았던 행동의 확률을 이미 20% 넘게 올렸으면 더 올리라는 힘이 사라집니다. 반대로 아래쪽은 자르지 않습니다 — rr 이 0.5로 내려가 있으면 되돌아오라는 힘이 그대로 살아 있어야 하니까요.

A<0A < 0 이면 평평해지는 쪽이 뒤집힙니다.

rr 0.5 0.7 0.8 1.0 1.4 1.8
목적값 −0.80 −0.80 −0.80 −1.00 −1.40 −1.80
기울기 0 0 — −1 −1 −1

나빴던 행동을 이미 20% 넘게 줄였으면 더 줄이라는 힘이 없어지고, 위쪽은 열려 있습니다. 두 경우 모두 한 걸음에 밀어낼 수 있는 거리를 목적함수의 기울기로 막습니다. 제약을 푸는 대신 그래디언트를 0으로 만드는 방식이라 구현이 몇 줄로 끝납니다.

ratio = torch.exp(logp_new - logp_old)          # r(θ)
unclipped = ratio * adv
clipped = torch.clamp(ratio, 1 - eps, 1 + eps) * adv
loss = -torch.min(unclipped, clipped).mean()

clip_frac은 이 두 항 중 clipped 쪽이 선택된 비율입니다. 그 값이 0이면 띠가 너무 넓어 아무것도 막지 못하는 것이고, 0.5를 넘으면 절반이 기울기 0인 자리에 있다는 뜻이라 배치의 절반이 학습에 기여하지 못합니다.

불편성의 포기

이 식이 무엇을 내려놓았는지도 짚어 둡니다. min⁡\min 은 두 항 중 작은 쪽을 고르므로 언제나 LCLIP≤LISL^{\text{CLIP}} \le L^{\text{IS}} 입니다. 클리핑된 목적식은 원래 목적식의 불편추정량이 아니라, 일부러 아래로 깎은 비관적인 하한입니다. 첫 절에서 한 줄짜리 항등식으로 세운 불편성을 여기서 스스로 버린 셈입니다.

버리는 시점은 정해져 있습니다. 배치를 막 모은 첫 반복에서는 θ=θold\theta = \theta_{\text{old}} 라 모든 토큰의 rr 이 정확히 1이고, 클리핑은 아무것도 건드리지 않아 그래디언트가 보통의 정책 경사와 같습니다. 두 번째 반복부터 띠 밖으로 나간 토큰이 생기고, 그 토큰들은 추정에서 빠집니다. 자기 정규화 추정량이 작은 편향을 내주고 분산을 샀던 것처럼, 클리핑은 띠 밖의 기여를 버리는 편향을 내주고 거대한 무게가 걸음을 끌고 가는 위험을 삽니다.

로그 비율의 비대칭

띠 [1−ϵ,1+ϵ][1-\epsilon, 1+\epsilon] 은 비율로 보면 위아래가 똑같이 0.2지만, 로그 확률로 보면 대칭이 아닙니다. log⁡1.2≈0.182\log 1.2 \approx 0.182 이고 log⁡0.8≈−0.223\log 0.8 \approx -0.223 입니다. 한 번 모은 배치 안에서 로그 확률을 내릴 수 있는 여유가 올릴 수 있는 여유보다 처음부터 20%쯤 더 큽니다.

비율의 띠는 확률의 절대량으로도 고르지 않습니다. 예전 확률이 0.5인 토큰은 한 배치에서 0.6까지 오를 수 있지만, 0.01인 토큰은 0.012까지밖에 못 갑니다. 드물게 뽑혔는데 보상이 좋았던 토큰, 곧 정책이 새로 찾아낸 좋은 답일수록 한 배치에서 키울 수 있는 몫이 작습니다. 그래서 일부 구현은 위쪽 ϵ\epsilon 만 따로 넓혀(예를 들어 0.2 대신 0.28) 드문 좋은 토큰이 자랄 여유를 더 줍니다. 위아래를 한 숫자로 묶은 것은 편의였지 원리가 아니었다는 뜻입니다.

KL 조기 중단

걸음의 누적

여기서 두 번째 지표가 필요해집니다. 클리핑은 한 걸음의 크기를 막지 걸음의 횟수를 막지 못합니다.

같은 배치를 K번 다시 쓰는 동안 rr 은 매번 다시 계산됩니다. 한 번 걸을 때마다 띠 안쪽에 머물러도, 걸음이 쌓이면 정책은 계속 밀려 나갑니다. 게다가 클리핑에 걸린 토큰은 그래디언트가 0이지만 걸리지 않은 나머지가 계속 정책을 옮기므로, 걸린 토큰들의 rr 은 다음 반복에서 더 멀어져 있습니다.

한 배치를 여러 번 재사용하는 루프와 조기 중단 위치

그래서 반복마다 KL을 재고 예산을 넘으면 남은 반복을 버립니다. 이것이 KL 조기 중단(early stopping)입니다. 버린다고 해서 이미 쓴 계산이 헛것이 되는 것은 아닙니다. 예산을 넘기기 전까지 걸은 걸음은 정책에 그대로 남고, 버리는 것은 아직 안 걸은 반복뿐입니다. 그 반복들은 표본이 떠받치지 못하는 거리에서 걸을 걸음이라 걸어 봐야 잡음을 따라갈 뿐이고, 그 시간에 새 배치를 모으는 편이 낫습니다.

KL 추정량

반복마다 KL을 재려면 값싼 추정량이 필요합니다. 손에 있는 것은 예전 정책 qq 에서 뽑은 토큰과 각 토큰의 비율 r=p/qr = p/q 뿐이므로, 이것으로 잴 수 있는 것은 KL(q∥p)=Eq[−log⁡r]\mathrm{KL}(q\|p) = \mathbb{E}_q[-\log r] 입니다. 후보가 셋 있습니다.

k1=−log⁡r,k2=12(log⁡r)2,k3=(r−1)−log⁡rk_1 = -\log r, \qquad k_2 = \tfrac{1}{2}(\log r)^2, \qquad k_3 = (r - 1) - \log r

첫째는 정의를 그대로 옮긴 것이라 불편추정량이지만, r>1r > 1 인 토큰마다 음수가 나옵니다. 거리를 재는데 토큰의 절반쯤이 음수를 내니 평균이 맞으려면 큰 양수와 큰 음수가 서로 지워야 하고, 그만큼 흔들립니다. 둘째는 언제나 0 이상이고 흔들림도 작지만 약간 치우쳐 있습니다. 셋째가 둘의 장점을 함께 가집니다. Eq[r−1]=0\mathbb{E}_q[r - 1] = 0 이라 r−1r - 1 을 더해도 기댓값이 그대로이니 불편이고, 로그 곡선이 r=1r = 1 에서의 접선 r−1r - 1 아래에 있으므로(log⁡r≤r−1\log r \le r - 1) 토큰 하나하나에서 0 이상입니다.

q=N(0,1)q = \mathcal{N}(0, 1), p=N(0.1,1)p = \mathcal{N}(0.1, 1) 로 참값이 0.005인 KL을 표본 100만 개로 재면 차이가 분명합니다.

추정량 평균 ÷ 참값 표준편차 ÷ 참값 음수인 표본
k1k_1 0.98 20.0 48%
k2k_2 1.004 1.42 0%
k3k_3 1.001 1.42 0%

k1k_1 은 표본 하나의 흔들림이 참값의 스무 배라, 토큰 수천 개로 평균을 내도 0.01이라는 예산과 견주기에는 거칠습니다. approx_kl로 k3k_3 을 쓰는 구현이 많은 까닭이 이 표에 있습니다. 앞 절에서 KL(p∥q)\mathrm{KL}(p\|q) 로 쓰던 거리와 방향이 반대라는 것도 알아 둡니다. 두 정책이 가까울 때는 두 방향의 값이 거의 같아서, 예산을 지키는 용도로는 차이가 나지 않습니다.

로그 읽기

두 장치가 막으려는 붕괴가 정확히 무엇인지 이제 말할 수 있습니다. 비율이 커지는 것 자체가 문제가 아니라, 비율이 커진 만큼 그 비율을 곱해서 만든 그래디언트 추정이 못 믿을 것이 된다는 것이 문제입니다. 앞 절의 숫자로 하면 KL이 0.01일 때는 유효 표본이 거의 그대로지만 KL이 0.5로 가면 3분의 1로 줍니다. 표본이 그만큼 줄었는데도 걸음 크기는 그대로라면, 정책은 잡음을 신호로 알고 한쪽으로 달려갑니다. 그 뒤로는 뽑히는 답이 한 가지로 몰리고 보상은 올라가는데 문장은 무너지는, 흔히 보상 해킹으로 부르는 모양이 됩니다.

ratio_max가 1.41이었던 앞의 로그로 돌아가 봅니다. ϵ=0.2\epsilon = 0.2 이면 그 토큰은 클리핑에 걸려 기울기가 0입니다. clip_frac 0.18은 배치의 18%가 그 상태라는 뜻이고, approx_kl 0.0094는 아직 예산 0.01 안쪽이라 이번 반복을 마저 돌려도 된다는 뜻입니다. 세 숫자가 한 문장이 됩니다 — 몇몇 토큰은 이미 띠 밖으로 나갔지만 정책 전체는 아직 표본이 떠받칠 수 있는 거리 안에 있다.

clip_frac이 0.5를 넘었다면 무엇을 고칠지는 그 값이 언제 커졌는지로 가립니다. 재사용의 첫 반복에서는 모든 rr 이 1이므로 클리핑이 일어날 수 없고, 두 번째 반복에서 이미 절반이 띠 밖이라면 한 걸음이 너무 큰 것이니 학습률을 내립니다. 앞 반복들은 조용하다가 뒤로 갈수록 커진다면 걸음 하나하나는 괜찮고 쌓인 것이 문제이니 재사용 횟수를 줄입니다.

세 손잡이

정리하면 손잡이가 셋입니다. 재사용 횟수 K, 띠의 폭 ϵ\epsilon, 그리고 KL 예산입니다. 셋은 따로 노는 설정처럼 보이지만 같은 하나를 서로 다른 자리에서 조입니다. 한 배치를 다 쓰고 났을 때 지금 정책이 그 배치를 만든 정책에서 얼마나 멀어져 있는가입니다.

ϵ\epsilon 은 토큰 하나가 한 반복에서 밀려날 수 있는 거리를, K는 그런 반복이 몇 번 쌓일 수 있는지를, KL 예산은 쌓인 결과 전체를 마지막에 한 번 더 막습니다. 셋 중 하나를 크게 풀면 나머지 둘이 그만큼 일을 더 떠맡습니다. KL 예산을 꺼 둔 채 K를 늘리면 ϵ\epsilon 혼자 버텨야 하고, 앞에서 본 대로 ϵ\epsilon 은 걸음의 횟수를 못 막습니다.

연습 문제

분산과 유효 표본 수

  1. 예전 분포가 N(0,1)\mathcal{N}(0, 1), 지금 분포가 N(1.5,1)\mathcal{N}(1.5, 1) 일 때 무게 제곱의 기댓값과 ESS/N\mathrm{ESS}/N 의 이론값을 구하세요. 표본 1,000개면 실제로 몇 개쯤이 일합니까.
    Eq[w2]=e2.25≈9.49\mathbb{E}_q[w^2] = e^{2.25} \approx 9.49 이고 ESS/N=e−2.25≈0.105\mathrm{ESS}/N = e^{-2.25} \approx 0.105 입니다. 1,000개 중 105개쯤이 일합니다. 이때 KL은 1.52/2=1.1251.5^2/2 = 1.125 입니다.
  2. 토큰마다 KL이 0.005인 300토큰짜리 답이 있습니다. 본문과 같은 정규분포 모형(로그 비율의 평균 −KL-\mathrm{KL}, 분산 2 KL2\,\mathrm{KL}, 토큰끼리 독립)으로 시퀀스 비율의 ESS/N\mathrm{ESS}/N 을 어림하세요.
    시퀀스의 로그 비율은 평균 −1.5, 분산 3입니다. 시퀀스 KL이 1.5이므로 Δ2=3\Delta^2 = 3 인 정규분포 두 개와 같고, ESS/N≈e−3≈0.050\mathrm{ESS}/N \approx e^{-3} \approx 0.050 입니다. 토큰 하나로는 1−2×0.005=0.991 - 2 \times 0.005 = 0.99 였던 것이 5%로 줄어듭니다.

클리핑과 KL 추정량

  1. ϵ=0.2\epsilon = 0.2, A=−1A = -1 인 토큰 둘이 있습니다. 하나는 r=0.75r = 0.75, 다른 하나는 r=1.3r = 1.3 입니다. 각각의 목적값과 rr 에 대한 기울기를 구하고, clip_frac에 들어가는 쪽을 고르세요.
    r=0.75r = 0.75 는 min⁡(−0.75,−0.8)=−0.8\min(-0.75, -0.8) = -0.8 로 클리핑된 항이 골라져 기울기가 0이고, clip_frac에 들어갑니다. r=1.3r = 1.3 은 min⁡(−1.3,−1.2)=−1.3\min(-1.3, -1.2) = -1.3 으로 원래 항이 골라져 기울기가 −1입니다. 나쁜 행동의 확률이 오히려 올라간 상태라 되돌아오는 힘이 살아 있어야 합니다.
  2. r=0.9r = 0.9 와 r=1.2r = 1.2 에서 k1k_1 과 k3k_3 을 계산하세요. 음수가 나오는 칸은 어디입니까.
    k1k_1 은 −log⁡0.9≈0.105-\log 0.9 \approx 0.105, −log⁡1.2≈−0.182-\log 1.2 \approx -0.182 이고, k3k_3 은 −0.1+0.105≈0.0054-0.1 + 0.105 \approx 0.0054, 0.2−0.182≈0.01770.2 - 0.182 \approx 0.0177 입니다. 음수는 r=1.2r = 1.2 에서의 k1k_1 하나뿐입니다.

정리

  • 중요도 표집은 Ep[f]=Eq[pqf]\mathbb{E}_p[f] = \mathbb{E}_q[\frac{p}{q}f] 라는 한 줄의 항등식이고, 표본 수와 무관하게 불편추정량이다. p>0p > 0 인 곳에서 q>0q > 0 이어야 하고, 분모의 qq 는 샘플을 실제로 만든 분포여야 한다.
  • 대가는 분산이다. Varq(w)=∫p2/q−1\mathrm{Var}_q(w) = \int p^2/q - 1 이고, 단위 분산 정규분포 두 개가 Δ\Delta 만큼 떨어져 있으면 정확히 eΔ2−1e^{\Delta^2} - 1 이다. qq 의 꼬리가 pp 보다 얇으면 무한대가 될 수도 있다.
  • 유효 표본 수 (∑w)2/∑w2(\sum w)^2 / \sum w^2 는 그 분산을 표본 개수로 번역한 값이다. 같은 예에서 ESS/N=e−Δ2\mathrm{ESS}/N = e^{-\Delta^2} 로, KL이 2일 때 1,000개 중 열여덟 개만 남았다.
  • KL은 Δ2/2\Delta^2/2 로 자라는데 분산은 eΔ2e^{\Delta^2} 로 자란다. KL을 조금 넘겼다는 말과 분산이 조금 늘었다는 말은 같은 뜻이 아니다.
  • 분산이 큰 구간에서는 표본으로 잰 분산이 아래로 치우친다. 평균과 분산이 조용해도 ratio_max처럼 가장 큰 무게를 따로 봐야 한다.
  • 시퀀스 비율은 토큰 비율의 곱이라 토큰당 KL 0.01이 200토큰에서 KL 2가 된다. PPO는 토큰마다 비율을 끊어 이 폭발을 피하고, 대신 앞부분 분포가 바뀐 몫을 버리는 근사를 받아들인다.
  • 클리핑은 목적함수를 조각별 선형인 비관적 하한으로 바꿔 한 걸음의 크기를 막는다. A>0A > 0 이면 위쪽이, A<0A < 0 이면 아래쪽이 기울기 0이 되고, 되돌아오는 방향은 언제나 열려 있다.
  • KL 조기 중단은 걸음의 횟수를 막는다. approx_kl은 대개 (r−1)−log⁡r(r - 1) - \log r 로, 불편이면서 토큰마다 0 이상이다.
  • 두 장치가 막는 붕괴는 "비율이 커진 것"이 아니라 "그 비율로 만든 그래디언트 추정을 떠받칠 표본이 남아 있지 않은 것"이다.

읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN