RLHF 학습을 돌리면 로그에 이런 줄이 찍힙니다.
step 420 | policy_loss -0.0231 | clip_frac 0.18 | approx_kl 0.0094 | ratio_max 1.41
여기서 정책은 언어 모델이 다음 토큰에 매기는 확률 분포이고, 학습은 그 분포를 보상이 높은 답 쪽으로 옮기는 일입니다. clip_frac은 이번 미니배치에서 클리핑에 걸린 토큰의 비율이고, approx_kl은 지금 정책이 이 배치를 만든 정책에서 얼마나 멀어졌는지입니다. 실무에서는 이 두 숫자가 각각 0.1~0.3과 0.01 근처에 머무르는지를 봅니다. 넘으면 학습률을 내리거나 배치 재사용 횟수를 줄입니다.
왜 하필 이 두 숫자일까요. 손실값도 보상도 아닌 이것을 보는 이유는, 이 둘이 한 가지 거래의 청구서이기 때문입니다. 거래의 내용은 이렇습니다 — 답을 뽑는 일은 비싸니 한 번 뽑은 배치로 여러 걸음을 걷고 싶다. 그러면 두 번째 걸음부터는 지금 정책이 아니라 예전 정책이 뽑은 샘플로 지금 정책을 평가하게 됩니다.
이 글은 그 대가가 정확히 얼마인지를 계산합니다. 지난 글에서 KL 제약이 붙은 목적식을 닫힌 형태로 풀었다면, 여기서는 그 제약을 강제하는 두 장치 — 비율 클리핑과 KL 조기 중단 — 이 무엇을 막고 있는지를 봅니다. 알고리즘 전체의 구현은 PPO가 다루고, 이 글은 추정량의 성질만 맡습니다.
중요도 표집
중요도 비율
알고 싶은 것은 지금 정책 아래의 기댓값입니다.
그런데 가진 샘플은 예전 정책 에서 나왔습니다. 다시 뽑을 수 없다면 방법은 하나뿐입니다. 적분 안에 를 곱하고 나눕니다.
중요도 표집(importance sampling)은 이렇게 다른 분포에서 뽑은 샘플에 비율을 곱해 원하는 분포의 기댓값을 얻는 방법입니다. 그 비율 를 중요도 비율이라 부르고, 샘플 하나하나가 받는 이 값을 그 샘플의 무게라고도 합니다. 지금 정책이 예전보다 더 자주 낼 답이면 무게가 1보다 크고, 덜 낼 답이면 1보다 작습니다.
불편추정량
식 변형이 한 줄이므로 성질도 곧바로 나옵니다. 라 두면
입니다. 표본 수가 몇이든 기댓값이 참값과 같은 추정량을 불편추정량(unbiased estimator)이라 하고, 중요도 표집 추정량은 불편추정량입니다.
다만 조건이 하나 붙습니다. 앞의 식 변형 둘째 줄에서 로 나눴으므로, 가 0이 아닌 곳에서는 도 0이 아니어야 합니다. 지금 정책이 확률을 주는 답이라면 예전 정책도 그 답을 뽑을 수 있었어야 한다는 뜻입니다. 예전 정책이 한 번도 뽑을 수 없는 답에 대해서는 어떤 무게를 곱해도 정보를 만들어 낼 수 없습니다.
이 조건은 언어 모델에서 생각보다 쉽게 깨집니다. 샘플을 뽑을 때 top-p로 확률이 낮은 꼬리를 잘라 냈다면 실제로 답을 만든 분포 는 꼬리가 0인 분포이고, 학습 쪽에서 계산하는 전체 소프트맥스와 다릅니다. 분모에 넣는 는 언제나 그 샘플을 실제로 만든 분포여야 합니다.
여기까지만 보면 공짜입니다. 편향이 없으니 샘플을 재사용해도 되는 것처럼 보입니다. 대가는 분산에 있습니다. 분산은 추정값이 참값 둘레에서 얼마나 흔들리는지이고, 편향이 없다는 말은 그 흔들림의 한가운데가 참값이라는 말일 뿐 흔들림의 폭에 대해서는 아무것도 말해 주지 않습니다.
자기 정규화 추정량
무게에는 미리 알 수 있는 성질이 하나 있습니다. 이므로 무게의 평균은 1이어야 합니다. 그런데 한 배치에서 잰 무게의 평균 는 정확히 1이 아니고, 그 어긋남은 대개 위의 추정값이 어긋난 방향과 함께 갑니다. 큰 무게가 하나 끼면 둘 다 커지기 때문입니다.
그래서 나눠서 상쇄시키는 추정량을 쓰기도 합니다.
무게의 합으로 나눠 무게들을 합이 1인 비중으로 바꾼 이 추정량을 자기 정규화 추정량(self-normalized estimator)이라 합니다. 분모도 확률변수라 기댓값이 더 이상 참값과 같지 않으므로 편향이 생깁니다. 다만 표본이 늘면 그 편향은 0으로 갑니다. 대신 분산이 크게 줄어듭니다.
뒤에서 다시 쓸 예로 재 보면 이렇습니다. 예전 분포가 , 지금 분포가 평균만 2 옮겨 간 일 때 표본 1,000개로 를 4,000번 추정했더니 보통의 중요도 표집은 평균 2.00에 표준편차 0.91, 자기 정규화는 평균 1.94에 표준편차 0.28이었습니다. 0.06만큼 치우친 대신 흔들림이 3분의 1 아래로 줄었습니다. 보통의 추정값은 모양도 고르지 않습니다. 중앙값은 1.79로 참값보다 작은데, 4,000번 중 한 번은 19.5가 나왔습니다. 대부분은 조금 모자라고 드물게 크게 넘쳐서 평균을 맞추는 모양이고, 이것은 뒤에서 무게 자체의 분포로 다시 만납니다. 편향을 조금 내주고 분산을 크게 사는 이 거래는 뒤에서 클리핑이 똑같은 모양으로 다시 합니다.
PPO가 이 추정량을 그대로 쓰지는 않습니다. 그래도 배치 안 무게의 평균이 1에서 얼마나 떨어졌는지는 그 자체로 진단이 됩니다. 평균이 1 근처에 있으면서 최댓값이 튀면 드문 거대한 무게가 하나 들어온 것이고, 평균이 1보다 한참 작으면 거대한 무게가 아직 안 들어왔을 뿐 어딘가에 있다는 뜻입니다.
로그 비율
실제 코드는 확률을 나누지 않습니다. 모델이 내놓는 것은 로짓이고 거기서 곧장 얻는 것은 로그 확률이므로, 비율은 로그 확률의 차를 한 번 지수로 올려 만듭니다.
이렇게 하는 까닭은 수의 크기입니다. 토큰마다 로그 확률이 평균 −1.5인 200토큰짜리 답이면 답 전체의 로그 확률은 −300이고, 확률로 바꾸면 입니다. float32가 표현하는 가장 작은 양수가 근처이므로 이 값은 0이 되고, 0을 0으로 나누는 순간 학습이 멈춥니다. 로그끼리 빼면 −300과 −299.7의 차인 0.3만 남아 아무 문제가 없습니다. 같은 이유로 소프트맥스도 로그 공간에서 계산한다는 것은 로그합지수에서 다뤘습니다.
무게의 분산
분산의 적분식
비율 자체의 분산을 봅니다. 앞에서 본 대로 이므로
적분 안이 라는 것이 핵심입니다. 가 분모에 있으므로 가 얇은데 가 두꺼운 자리가 하나라도 있으면 이 값이 크게 튑니다.
극단적으로는 적분이 아예 무한대가 됩니다. 평균이 같고 폭만 다른 두 정규분포, 과 을 넣으면 적분 안의 지수가 꼴이 되어, 일 때만 유한합니다. 그림의 왼쪽처럼 면 적분 안의 곡선이 꼬리로 갈수록 줄어들지만, 오른쪽처럼 면 꼬리로 갈수록 오히려 커집니다. 의 폭이 의 폭보다 배 넘게 넓으면 분산이 무한대인 추정량이 됩니다. 평균은 여전히 맞는데 흔들림에 끝이 없다는 뜻입니다.
일반적으로 말하면 의 꼬리가 의 꼬리보다 얇으면 안 됩니다. 언어 모델로 옮기면, 낮은 온도로 뾰족하게 뽑은 답으로 온도가 높은 정책을 평가하는 상황이 여기에 해당합니다. 예전 정책이 거의 안 뽑던 토큰에 지금 정책이 확률을 꽤 주면 그 토큰이 드물게 뽑힐 때마다 거대한 무게가 붙습니다.
정규분포 두 개
정규분포 두 개로 계산하면 정확한 값이 나옵니다. 이번에는 폭이 같고 평균만 다른 , 을 둡니다. 무게는 이고, 지수를 정리해서
을 얻습니다. 한편 두 분포의 KL 발산은 입니다. KL 발산은 한 분포를 다른 분포로 착각했을 때 평균적으로 드는 로그 확률의 손해이고, 폭이 같은 두 정규분포에서는 방향을 바꿔도 값이 같습니다. KL은 에 비례해 자라는데 무게의 분산은 그 지수로 자랍니다. 이 두 속도의 차이가 이 글 전체의 뼈대입니다.
유효 표본 수
이 차이를 눈에 보이게 하는 값이 유효 표본 수(effective sample size, ESS)입니다. 무게가 제각각인 개의 표본이 실제로는 몇 개의 균등한 표본만큼 일하는지를 재는 값으로, 이렇게 정의합니다.
무게가 전부 같으면 이고, 한 표본이 무게를 독차지하면 입니다. 위의 정규분포 예에서는 로 갑니다.
숫자로 확인해 봅니다. 표본 20만 개로 잰 값입니다.
import numpy as np
np.random.seed(1)
N = 200_000
for D in [0.5, 1.0, 2.0, 3.0]:
x = np.random.randn(N) # q = N(0,1)에서 뽑는다
w = np.exp(D * x - D**2 / 2) # p = N(D,1)에 대한 비율
ess = w.sum()**2 / (w**2).sum() / N
print(f"D={D} KL={D*D/2:.3f} Var(w)={w.var():9.2f} ESS/N={ess:.5f}")
D=0.5 KL=0.125 Var(w)= 0.28 ESS/N=0.77938
D=1.0 KL=0.500 Var(w)= 1.70 ESS/N=0.37055
D=2.0 KL=2.000 Var(w)= 61.25 ESS/N=0.01637
D=3.0 KL=4.500 Var(w)= 1378.60 ESS/N=0.00071
KL이 0.5일 때 이미 표본의 63%가 사라집니다. KL이 2가 되면 1,000개를 뽑아도 실제로 일하는 것은 열여섯 개 남짓입니다(이론값은 열여덟 개).
기댓값 추정의 정확도로 바꿔 보면 이렇습니다. 표본 1,000개로 를 추정할 때
| 평균 차이 | 중요도 표집 표준편차 | 직접 뽑았을 때 |
|---|---|---|
| 0.117 | 0.032 | |
| 0.912 | 0.032 | |
| 5.99 | 0.032 |
이 표의 값도 모의실험으로 잰 것입니다. 식으로 구한 이론값은 에서 0.11, 에서 0.96, 에서 17.3이라, 거리가 멀수록 잰 값이 이론보다 작게 나옵니다. 그 까닭은 이 절의 마지막 소절에서 봅니다.
편향은 없습니다. 다만 에서 추정값의 흔들림이 참값(3)의 두 배입니다. 불편하다는 말은 무한히 반복하면 맞는다는 뜻이지, 한 번의 미니배치가 쓸 만하다는 뜻이 아닙니다.
그렇다면 학습 로그에 ESS를 바로 찍으면 될 것 같은데, 실제 로그에는 대개 approx_kl이 그 자리에 있습니다. 두 분포가 가까울 때 은 KL의 두 배와 거의 같아서, 토큰 단위 무게로 잰 은 근처에 머뭅니다. 토큰당 KL이 0.01이면 이고, 0.02여도 0.96입니다. 이렇게 1에 붙어 있는 숫자에서는 문턱을 정하기 어렵습니다. 같은 정보를 0.01이라는 예산과 바로 견줄 수 있는 눈금으로 읽는 것이 approx_kl입니다.
분산 추정의 치우침
그리고 앞의 출력 마지막 줄에 함정이 하나 더 있습니다. 에서 이론값은 인데 표본에서 잰 값은 1,379입니다. 분산이 큰 상황에서는 분산 추정값 자체가 아래로 치우칩니다. 분산을 지배하는 것은 아주 드물게 나오는 거대한 무게인데 20만 개 안에 그것이 안 들어왔기 때문입니다. 실제 학습에서 이것은 "지표가 조용한데 학습이 무너진다"로 나타납니다.
평균이나 분산처럼 모두를 섞어 내는 지표가 이 상황을 놓친다면, 가장 큰 하나를 따로 봐야 합니다. 배치 안에서 가장 큰 무게가 전체 합에서 차지하는 비중 는 그 하나가 추정을 얼마나 혼자 끌고 가는지를 바로 보여 줍니다. 로그의 ratio_max가 같은 일을 하는 값입니다. 평균과 분산이 조용해도 ratio_max가 갑자기 몇 배로 뛰면 드문 토큰 하나가 큰 무게를 받았다는 뜻이고, 그 토큰이 다음 걸음의 방향을 상당 부분 정합니다.
토큰 비율과 시퀀스 비율
비율의 곱
지금까지는 샘플 하나를 점 하나로 다뤘습니다. 언어 모델에서 샘플 하나는 토큰 수백 개짜리 답이고, 답 전체의 확률은 앞 토큰들이 정해진 뒤 다음 토큰이 나올 확률을 차례로 곱한 것입니다. 그러면 답 전체의 비율, 곧 시퀀스 비율도 토큰마다의 비율을 전부 곱한 것이 됩니다.
여기서 는 번째 토큰을 뽑을 때까지 나온 앞부분이고 는 그때 고른 토큰입니다. 로그로 보면 곱이 합이 되고, 합은 길이에 비례해 퍼집니다.
숫자를 넣어 봅니다. 토큰마다 KL이 0.01이고, 토큰 하나의 로그 비율이 앞 절의 정규분포 예처럼 평균 −0.01, 분산 0.02로 흔들린다고 둡니다(정규분포 예에서 로그 비율은 평균 , 분산 입니다). 토큰 200개가 서로 독립이라면 시퀀스의 로그 비율은 평균 −2, 분산 4, 표준편차 2입니다. 이것은 KL이 2인 정규분포 두 개, 곧 앞 표의 줄과 같은 상황입니다. 토큰 하나로는 거의 티가 안 나던 0.01이 200번 쌓여 유효 표본이 로 줄어듭니다.
비율 자체도 고르지 않습니다. 중앙값이 이고 위쪽 5%는 3.6을 넘습니다. 대부분의 답은 무게가 1에 한참 못 미치고, 몇 안 되는 답이 거대한 무게를 받아 평균 1을 맞춥니다. 실제 토큰은 서로 독립이 아니어서 숫자는 달라지지만, 길이에 따라 로그 비율이 퍼진다는 방향은 그대로입니다.
토큰별 비율
PPO는 시퀀스 비율을 쓰지 않습니다. 토큰마다 를 따로 두고, 각 토큰의 기여를 그 토큰의 비율 하나로만 고칩니다. 곱하지 않으니 토큰 하나의 비율은 1 근처에 머물고, 위의 폭발이 처음부터 일어나지 않습니다.
대가는 불편성입니다. 토큰 의 앞부분 는 예전 정책이 만든 것인데, 토큰 비율 하나만 곱하는 것은 그 앞부분이 지금 정책에서 나왔을 때도 같은 빈도로 나왔으리라고 가정하는 셈입니다. 앞부분이 나올 확률이 바뀐 몫, 곧 앞 토큰들의 비율을 곱한 몫을 통째로 버린 것입니다. 그래서 토큰별 비율로 만든 목적식은 답 전체에 대해서는 불편추정량이 아니라 근사입니다.
이 근사가 언제 괜찮은지는 분명합니다. 두 정책이 가까워 앞부분의 분포가 거의 그대로일 때입니다. 버린 몫이 두 정책 사이의 거리와 함께 커진다는 것이 신뢰 영역 방법의 출발점이고, 이 글의 나머지에 나오는 두 장치가 바로 그 거리를 좁게 붙잡아 이 근사를 성립시키는 역할을 합니다.
길이와 평균
토큰별로 끊으면 손실을 어떻게 평균 내느냐가 새로 문제가 됩니다. 길이가 다른 답이 한 배치에 섞이기 때문입니다. 100토큰짜리 답과 400토큰짜리 답이 하나씩 있다고 해 봅니다.
- 토큰 단위로 평균 내면 500개 토큰이 똑같이 1/500씩 받습니다. 긴 답이 손실의 80%를 차지하고, 배치의 방향은 긴 답 쪽으로 기웁니다.
- 답마다 먼저 평균 내고 다시 답끼리 평균 내면 두 답이 반반입니다. 대신 짧은 답의 토큰은 하나가 1/200을, 긴 답의 토큰은 1/800을 받아 긴 답 안의 토큰 하나는 목소리가 4분의 1로 줄어듭니다.
어느 쪽도 틀린 것은 아닙니다. 다만 둘 다 "모든 답을 똑같이 다룬다"와 "모든 토큰을 똑같이 다룬다" 중 하나를 고른 것이고, 둘을 동시에 만족하는 평균은 없습니다. 긴 답에서 보상이 일관되게 높거나 낮으면 이 선택이 그대로 답의 길이를 밀어 올리거나 끌어내리는 힘이 됩니다.
클리핑 목적함수
신뢰 영역
정책 경사법의 목적식을 비율로 다시 씁니다. 이점 함수 는 그 행동이 평균보다 얼마나 나았는지를 재는 값이고, 이것을 붙이면
입니다. 이 식을 그냥 최대화하면 앞 절이 말한 자리로 걸어 들어갑니다 — 인 행동의 을 끝없이 키우는 것이 목적식을 계속 키우기 때문입니다. 그런데 그 방향으로 멀리 갈수록 이 근거하는 추정 자체가 못 믿을 것이 됩니다.
신뢰 영역(trust region)은 근사식을 믿을 수 있는 범위를 정해 두고 한 걸음을 그 안에 가두는 발상입니다. 원래는 KL에 명시적인 제약을 걸어 풀었는데, 그러려면 매 걸음 제약 있는 최적화를 풀어야 합니다. PPO의 선택은 제약을 푸는 대신 목적함수의 모양을 바꾸는 것입니다.
클리핑(clipping)은 값을 정해진 구간 밖으로 못 나가게 잘라 내는 것이고, 은 을 같은 띠 안에 가둡니다. 여기에 이 하나 더 붙어 있는 것이 이 식의 전부인데, 그 이 하는 일은 부호에 따라 갈립니다.
이점의 부호
일 때 목적값을 의 함수로 적어 보면
| 0.5 | 0.7 | 0.9 | 1.1 | 1.2 | 1.4 | 1.8 | |
|---|---|---|---|---|---|---|---|
| 목적값 | 0.50 | 0.70 | 0.90 | 1.10 | 1.20 | 1.20 | 1.20 |
| 기울기 | 1 | 1 | 1 | 1 | — | 0 | 0 |
에서 평평합니다. 좋았던 행동의 확률을 이미 20% 넘게 올렸으면 더 올리라는 힘이 사라집니다. 반대로 아래쪽은 자르지 않습니다 — 이 0.5로 내려가 있으면 되돌아오라는 힘이 그대로 살아 있어야 하니까요.
이면 평평해지는 쪽이 뒤집힙니다.
| 0.5 | 0.7 | 0.8 | 1.0 | 1.4 | 1.8 | |
|---|---|---|---|---|---|---|
| 목적값 | −0.80 | −0.80 | −0.80 | −1.00 | −1.40 | −1.80 |
| 기울기 | 0 | 0 | — | −1 | −1 | −1 |
나빴던 행동을 이미 20% 넘게 줄였으면 더 줄이라는 힘이 없어지고, 위쪽은 열려 있습니다. 두 경우 모두 한 걸음에 밀어낼 수 있는 거리를 목적함수의 기울기로 막습니다. 제약을 푸는 대신 그래디언트를 0으로 만드는 방식이라 구현이 몇 줄로 끝납니다.
ratio = torch.exp(logp_new - logp_old) # r(θ)
unclipped = ratio * adv
clipped = torch.clamp(ratio, 1 - eps, 1 + eps) * adv
loss = -torch.min(unclipped, clipped).mean()
clip_frac은 이 두 항 중 clipped 쪽이 선택된 비율입니다. 그 값이 0이면 띠가 너무 넓어 아무것도 막지 못하는 것이고, 0.5를 넘으면 절반이 기울기 0인 자리에 있다는 뜻이라 배치의 절반이 학습에 기여하지 못합니다.
불편성의 포기
이 식이 무엇을 내려놓았는지도 짚어 둡니다. 은 두 항 중 작은 쪽을 고르므로 언제나 입니다. 클리핑된 목적식은 원래 목적식의 불편추정량이 아니라, 일부러 아래로 깎은 비관적인 하한입니다. 첫 절에서 한 줄짜리 항등식으로 세운 불편성을 여기서 스스로 버린 셈입니다.
버리는 시점은 정해져 있습니다. 배치를 막 모은 첫 반복에서는 라 모든 토큰의 이 정확히 1이고, 클리핑은 아무것도 건드리지 않아 그래디언트가 보통의 정책 경사와 같습니다. 두 번째 반복부터 띠 밖으로 나간 토큰이 생기고, 그 토큰들은 추정에서 빠집니다. 자기 정규화 추정량이 작은 편향을 내주고 분산을 샀던 것처럼, 클리핑은 띠 밖의 기여를 버리는 편향을 내주고 거대한 무게가 걸음을 끌고 가는 위험을 삽니다.
로그 비율의 비대칭
띠 은 비율로 보면 위아래가 똑같이 0.2지만, 로그 확률로 보면 대칭이 아닙니다. 이고 입니다. 한 번 모은 배치 안에서 로그 확률을 내릴 수 있는 여유가 올릴 수 있는 여유보다 처음부터 20%쯤 더 큽니다.
비율의 띠는 확률의 절대량으로도 고르지 않습니다. 예전 확률이 0.5인 토큰은 한 배치에서 0.6까지 오를 수 있지만, 0.01인 토큰은 0.012까지밖에 못 갑니다. 드물게 뽑혔는데 보상이 좋았던 토큰, 곧 정책이 새로 찾아낸 좋은 답일수록 한 배치에서 키울 수 있는 몫이 작습니다. 그래서 일부 구현은 위쪽 만 따로 넓혀(예를 들어 0.2 대신 0.28) 드문 좋은 토큰이 자랄 여유를 더 줍니다. 위아래를 한 숫자로 묶은 것은 편의였지 원리가 아니었다는 뜻입니다.
KL 조기 중단
걸음의 누적
여기서 두 번째 지표가 필요해집니다. 클리핑은 한 걸음의 크기를 막지 걸음의 횟수를 막지 못합니다.
같은 배치를 K번 다시 쓰는 동안 은 매번 다시 계산됩니다. 한 번 걸을 때마다 띠 안쪽에 머물러도, 걸음이 쌓이면 정책은 계속 밀려 나갑니다. 게다가 클리핑에 걸린 토큰은 그래디언트가 0이지만 걸리지 않은 나머지가 계속 정책을 옮기므로, 걸린 토큰들의 은 다음 반복에서 더 멀어져 있습니다.
그래서 반복마다 KL을 재고 예산을 넘으면 남은 반복을 버립니다. 이것이 KL 조기 중단(early stopping)입니다. 버린다고 해서 이미 쓴 계산이 헛것이 되는 것은 아닙니다. 예산을 넘기기 전까지 걸은 걸음은 정책에 그대로 남고, 버리는 것은 아직 안 걸은 반복뿐입니다. 그 반복들은 표본이 떠받치지 못하는 거리에서 걸을 걸음이라 걸어 봐야 잡음을 따라갈 뿐이고, 그 시간에 새 배치를 모으는 편이 낫습니다.
KL 추정량
반복마다 KL을 재려면 값싼 추정량이 필요합니다. 손에 있는 것은 예전 정책 에서 뽑은 토큰과 각 토큰의 비율 뿐이므로, 이것으로 잴 수 있는 것은 입니다. 후보가 셋 있습니다.
첫째는 정의를 그대로 옮긴 것이라 불편추정량이지만, 인 토큰마다 음수가 나옵니다. 거리를 재는데 토큰의 절반쯤이 음수를 내니 평균이 맞으려면 큰 양수와 큰 음수가 서로 지워야 하고, 그만큼 흔들립니다. 둘째는 언제나 0 이상이고 흔들림도 작지만 약간 치우쳐 있습니다. 셋째가 둘의 장점을 함께 가집니다. 이라 을 더해도 기댓값이 그대로이니 불편이고, 로그 곡선이 에서의 접선 아래에 있으므로() 토큰 하나하나에서 0 이상입니다.
, 로 참값이 0.005인 KL을 표본 100만 개로 재면 차이가 분명합니다.
| 추정량 | 평균 ÷ 참값 | 표준편차 ÷ 참값 | 음수인 표본 |
|---|---|---|---|
| 0.98 | 20.0 | 48% | |
| 1.004 | 1.42 | 0% | |
| 1.001 | 1.42 | 0% |
은 표본 하나의 흔들림이 참값의 스무 배라, 토큰 수천 개로 평균을 내도 0.01이라는 예산과 견주기에는 거칠습니다. approx_kl로 을 쓰는 구현이 많은 까닭이 이 표에 있습니다. 앞 절에서 로 쓰던 거리와 방향이 반대라는 것도 알아 둡니다. 두 정책이 가까울 때는 두 방향의 값이 거의 같아서, 예산을 지키는 용도로는 차이가 나지 않습니다.
로그 읽기
두 장치가 막으려는 붕괴가 정확히 무엇인지 이제 말할 수 있습니다. 비율이 커지는 것 자체가 문제가 아니라, 비율이 커진 만큼 그 비율을 곱해서 만든 그래디언트 추정이 못 믿을 것이 된다는 것이 문제입니다. 앞 절의 숫자로 하면 KL이 0.01일 때는 유효 표본이 거의 그대로지만 KL이 0.5로 가면 3분의 1로 줍니다. 표본이 그만큼 줄었는데도 걸음 크기는 그대로라면, 정책은 잡음을 신호로 알고 한쪽으로 달려갑니다. 그 뒤로는 뽑히는 답이 한 가지로 몰리고 보상은 올라가는데 문장은 무너지는, 흔히 보상 해킹으로 부르는 모양이 됩니다.
ratio_max가 1.41이었던 앞의 로그로 돌아가 봅니다. 이면 그 토큰은 클리핑에 걸려 기울기가 0입니다. clip_frac 0.18은 배치의 18%가 그 상태라는 뜻이고, approx_kl 0.0094는 아직 예산 0.01 안쪽이라 이번 반복을 마저 돌려도 된다는 뜻입니다. 세 숫자가 한 문장이 됩니다 — 몇몇 토큰은 이미 띠 밖으로 나갔지만 정책 전체는 아직 표본이 떠받칠 수 있는 거리 안에 있다.
clip_frac이 0.5를 넘었다면 무엇을 고칠지는 그 값이 언제 커졌는지로 가립니다. 재사용의 첫 반복에서는 모든 이 1이므로 클리핑이 일어날 수 없고, 두 번째 반복에서 이미 절반이 띠 밖이라면 한 걸음이 너무 큰 것이니 학습률을 내립니다. 앞 반복들은 조용하다가 뒤로 갈수록 커진다면 걸음 하나하나는 괜찮고 쌓인 것이 문제이니 재사용 횟수를 줄입니다.
세 손잡이
정리하면 손잡이가 셋입니다. 재사용 횟수 K, 띠의 폭 , 그리고 KL 예산입니다. 셋은 따로 노는 설정처럼 보이지만 같은 하나를 서로 다른 자리에서 조입니다. 한 배치를 다 쓰고 났을 때 지금 정책이 그 배치를 만든 정책에서 얼마나 멀어져 있는가입니다.
은 토큰 하나가 한 반복에서 밀려날 수 있는 거리를, K는 그런 반복이 몇 번 쌓일 수 있는지를, KL 예산은 쌓인 결과 전체를 마지막에 한 번 더 막습니다. 셋 중 하나를 크게 풀면 나머지 둘이 그만큼 일을 더 떠맡습니다. KL 예산을 꺼 둔 채 K를 늘리면 혼자 버텨야 하고, 앞에서 본 대로 은 걸음의 횟수를 못 막습니다.
연습 문제
분산과 유효 표본 수
예전 분포가 , 지금 분포가 일 때 무게 제곱의 기댓값과 의 이론값을 구하세요. 표본 1,000개면 실제로 몇 개쯤이 일합니까.
이고 입니다. 1,000개 중 105개쯤이 일합니다. 이때 KL은 입니다.토큰마다 KL이 0.005인 300토큰짜리 답이 있습니다. 본문과 같은 정규분포 모형(로그 비율의 평균 , 분산 , 토큰끼리 독립)으로 시퀀스 비율의 을 어림하세요.
시퀀스의 로그 비율은 평균 −1.5, 분산 3입니다. 시퀀스 KL이 1.5이므로 인 정규분포 두 개와 같고, 입니다. 토큰 하나로는 였던 것이 5%로 줄어듭니다.
클리핑과 KL 추정량
, 인 토큰 둘이 있습니다. 하나는 , 다른 하나는 입니다. 각각의 목적값과 에 대한 기울기를 구하고,
clip_frac에 들어가는 쪽을 고르세요.는 로 클리핑된 항이 골라져 기울기가 0이고,clip_frac에 들어갑니다. 은 으로 원래 항이 골라져 기울기가 −1입니다. 나쁜 행동의 확률이 오히려 올라간 상태라 되돌아오는 힘이 살아 있어야 합니다.와 에서 과 을 계산하세요. 음수가 나오는 칸은 어디입니까.
은 , 이고, 은 , 입니다. 음수는 에서의 하나뿐입니다.
정리
- 중요도 표집은 라는 한 줄의 항등식이고, 표본 수와 무관하게 불편추정량이다. 인 곳에서 이어야 하고, 분모의 는 샘플을 실제로 만든 분포여야 한다.
- 대가는 분산이다. 이고, 단위 분산 정규분포 두 개가 만큼 떨어져 있으면 정확히 이다. 의 꼬리가 보다 얇으면 무한대가 될 수도 있다.
- 유효 표본 수 는 그 분산을 표본 개수로 번역한 값이다. 같은 예에서 로, KL이 2일 때 1,000개 중 열여덟 개만 남았다.
- KL은 로 자라는데 분산은 로 자란다. KL을 조금 넘겼다는 말과 분산이 조금 늘었다는 말은 같은 뜻이 아니다.
- 분산이 큰 구간에서는 표본으로 잰 분산이 아래로 치우친다. 평균과 분산이 조용해도
ratio_max처럼 가장 큰 무게를 따로 봐야 한다. - 시퀀스 비율은 토큰 비율의 곱이라 토큰당 KL 0.01이 200토큰에서 KL 2가 된다. PPO는 토큰마다 비율을 끊어 이 폭발을 피하고, 대신 앞부분 분포가 바뀐 몫을 버리는 근사를 받아들인다.
- 클리핑은 목적함수를 조각별 선형인 비관적 하한으로 바꿔 한 걸음의 크기를 막는다. 이면 위쪽이, 이면 아래쪽이 기울기 0이 되고, 되돌아오는 방향은 언제나 열려 있다.
- KL 조기 중단은 걸음의 횟수를 막는다.
approx_kl은 대개 로, 불편이면서 토큰마다 0 이상이다. - 두 장치가 막는 붕괴는 "비율이 커진 것"이 아니라 "그 비율로 만든 그래디언트 추정을 떠받칠 표본이 남아 있지 않은 것"이다.
읽어주셔서 감사합니다. 😊

