보상 모델을 학습하는 코드는 짧습니다.
r_w = reward_model(prompt, chosen).squeeze(-1) # 사람이 고른 답
r_l = reward_model(prompt, rejected).squeeze(-1) # 고르지 않은 답
loss = -F.logsigmoid(r_w - r_l).mean()
라벨로 가진 것은 「이 둘 중에서는 왼쪽이 낫다」뿐입니다. 첫 번째 답이 7.2점이라거나 두 번째가 3.1점이라는 정보는 어디에도 없습니다. 그런데 학습이 끝나면 모델은 답 하나를 받아 실수 하나를 내놓습니다. 순서만 알려 주었는데 어떻게 눈금이 생길까요.
지난 글까지 우리는 점수 이 이미 있다고 두고 그것으로 정책을 학습하는 쪽을 봤습니다. 이 글은 그 이 어디서 오는지를 봅니다 — 그리고 저 한 줄이 유도의 결과라는 것을 확인합니다. 손실이 왜 로그 시그모이드인지, 왜 두 점수를 각각이 아니라 차이로만 쓰는지가 같은 유도에서 함께 나옵니다. 그다음에는 이 모형이 담지 못하는 선호가 무엇인지, 비교를 몇 번 모아야 점수차를 믿을 수 있는지까지 셉니다.
Bradley-Terry 모델
강도와 시그모이드
시작은 가정 하나입니다. 답 하나마다 눈에 보이지 않는 실수 강도 이 있고, 사람이 둘을 비교할 때 강도의 차이가 클수록 더 자주 그쪽을 고른다고 둡니다. 보상 모델이 배우려는 점수가 바로 이 강도입니다. 이것을 확률로 적는 가장 단순한 방법이 두 값에 소프트맥스를 씌우는 것입니다.
분자와 분모를 로 나누면 익숙한 꼴이 됩니다.
는 시그모이드 함수이고, 여기가 코드의 logsigmoid가 나온 자리입니다. 이 모델을 Bradley-Terry 모델이라 부릅니다 — 1952년에 쌍 비교 실험을 다루려고 나온 통계 모형이고, 항목마다 강도 하나를 두고 비교 결과를 그 차이의 시그모이드로 설명합니다.
읽어 두면 좋은 값이 몇 개 있습니다. 차이가 0이면 확률은 정확히 0.5입니다 — 우열이 없으면 반반입니다. 차이가 1이면 0.731, 2면 0.881, 3이면 0.953입니다. 그러니까 점수차 1은 「열 번 중 일곱 번쯤 이긴다」는 뜻입니다. 이 대응이 나중에 보상 모델의 출력을 읽을 때 눈금이 됩니다.
여기서 이미 보이는 것이 있습니다. 오른쪽 식에 와 가 차이로만 들어갑니다. 이 성질은 아래에서 다시 붙잡습니다.
로지스틱 회귀와의 대응
이 식은 새 모형처럼 보이지만 사실 이미 아는 모형입니다. 로지스틱 회귀는 입력 특징 와 가중치 의 내적에 시그모이드를 씌워 「예」일 확률을 내는 모형, 곧 입니다. 항목이 개라면 비교 한 번을 길이 짜리 특징 벡터로 적어 봅시다 — A 자리에 , B 자리에 , 나머지는 전부 0입니다. 가중치 벡터를 강도들 로 두면 내적이 정확히 가 됩니다.
그러니 Bradley-Terry 모델은 「특징이 +1과 −1 두 칸뿐인 로지스틱 회귀」이고, 강도는 그 회귀의 가중치입니다. 이 대응 덕분에 로지스틱 회귀에 대해 알려진 것이 그대로 넘어옵니다 — 손실이 볼록하다는 것, 데이터가 완전히 갈리면 가중치가 발산한다는 것이 아래에서 차례로 나옵니다. 한 가지 눈여겨볼 점은 모든 특징 벡터의 성분 합이 0이라는 것입니다. 열들이 서로 독립이 아니라는 뜻이고, 이것이 세 번째 절의 평행이동 문제의 정체입니다.
서스톤 모형
시그모이드가 유일한 선택은 아닙니다. 1927년의 서스톤 모형은 사람이 답을 볼 때마다 강도에 정규분포 잡음이 섞여 느껴진다고 가정합니다. A는 로, B는 로 느껴지고 더 크게 느낀 쪽을 고른다면, 두 잡음의 차이도 정규분포라 선택 확률은 표준정규분포의 누적분포함수 로 적힙니다. 정규 누적분포를 시그모이드 자리에 쓰는 이 꼴을 프로빗이라 부릅니다.
잡음을 정규분포 대신 굼벨 분포로 두면 두 잡음의 차이가 로지스틱 분포가 되어 정확히 Bradley-Terry 모델이 나옵니다. 둘은 잡음의 모양만 다른 형제입니다. 실제로 곡선도 거의 겹칩니다 — 와 는 어느 점에서도 확률이 0.0095 넘게 벌어지지 않습니다. 같은 데이터에 두 모형을 맞추면 순위는 사실상 같고, 점수의 눈금만 약 1.7배 다르게 나옵니다. 보상 모델이 시그모이드를 쓰는 것은 정규분포가 틀려서가 아니라 로그를 씌운 손실과 기울기가 깔끔하기 때문입니다.
무승부
모형에는 두 갈래 결과만 있습니다 — A가 이기거나 B가 이기거나. 그런데 실제 선호 데이터에는 「둘 다 비슷하다」는 라벨이 자주 섞여 있습니다. 평가 화면에 그 단추가 있으면 사람들은 꽤 자주 누릅니다.
흔한 처리는 둘입니다. 무승부를 아예 버리거나, 양쪽이 반 번씩 이긴 것으로 셉니다. 반씩 세면 그 쌍은 「확률 0.5」를 관측한 셈이 되어 두 강도를 서로 끌어당깁니다. 버리면 「비슷하다」는 정보가 사라지고, 남은 쌍들만으로 학습하므로 비교적 뚜렷한 차이만 보게 됩니다. 무승부 확률을 따로 두는 확장(Rao-Kupper, Davidson 모형)도 있지만 보상 모델 학습 코드에서는 드뭅니다. 어느 쪽이든 손실 한 줄이 무승부를 모르는 모형이라는 사실은 알고 데이터를 넣어야 합니다.
최대가능도 손실
가능도와 음의 로그
이제 데이터가 붙습니다. 비교 결과 개가 있고, 번째에서 사람이 를 골랐고 를 버렸다고 합시다. 모델의 파라미터 는 답을 받아 점수를 내는 함수 를 정합니다.
최대가능도의 절차는 늘 같습니다 — 데이터가 나올 확률을 파라미터의 함수로 적고, 그것을 가장 크게 만드는 파라미터를 고릅니다. 비교들이 서로 독립이라고 두면 가능도는 곱입니다.
곱은 다루기 어려우니 로그를 취해 합으로 바꾸고, 최대화 대신 최소화하려고 부호를 뒤집습니다.
맨 앞 코드의 세 번째 줄이 이 식입니다. 유도에서 새로 들어온 것은 없습니다 — Bradley-Terry 모델 하나와 최대가능도 하나뿐입니다.
기울기와 볼록성
손실의 모양도 유도에서 따라옵니다. 로 두면 손실은 이고, 미분하면 이렇습니다.
기울기의 크기가 입니다 — 이미 크게 벌어져 있는 쌍은 거의 밀지 않고, 뒤집혀 있거나 붙어 있는 쌍을 세게 민다는 뜻입니다. 이면 0.5, 이면 0.047로 열 배 넘게 줄어듭니다. 순위가 이미 맞은 쌍에 힘을 쓰지 않는 이 성질은 따로 넣은 것이 아니라 가능도에서 저절로 나온 것입니다.
는 에 대해 볼록합니다 — 두 번 미분하면 로 늘 양수이기 때문입니다. 그리고 는 점수들의 선형 결합이므로, 점수 자체를 파라미터로 두면 이 손실은 골짜기가 하나뿐인 그릇 모양입니다. 다만 실제 보상 모델은 을 신경망으로 만들므로 그 신경망의 가중치에 대해서는 볼록하지 않습니다. 볼록한 것은 점수 위에서이지 가중치 위에서가 아닙니다.
같은 성질에는 그늘도 있습니다. 사람의 라벨은 틀리기도 합니다 — 피곤한 평가자가 버튼을 반대로 누르거나 두 답을 대충 읽고 고릅니다. 모델이 이미 제대로 만큼 벌려 놓은 쌍의 라벨이 뒤집혀 들어왔다고 합시다. 그 라벨의 눈으로 보면 이라 손실은 3.049이고 기울기 크기는 0.953입니다. 라벨이 맞았다면 손실 0.049, 기울기 0.047이었을 쌍입니다. 틀린 라벨 하나가 맞은 라벨 하나보다 스무 배 세게 모델을 끌어당깁니다. 「뒤집힌 쌍을 세게 민다」는 성질이 라벨이 틀렸을 때는 잡음을 가장 열심히 배우는 성질이 되는 것이고, 그래서 선호 데이터에서 평가자 간 일치율을 따로 재고 낮은 쌍을 거르는 작업이 중요합니다.
수치 안정성
코드가 torch.log(torch.sigmoid(d))가 아니라 F.logsigmoid(d)를 쓰는 데에도 이유가 있습니다. 수학적으로는 같은 함수인데 컴퓨터에서는 다릅니다. 32비트 부동소수점에서 는 표현할 수 있는 가장 작은 양수보다 작아 정확히 0이 되고, 거기에 로그를 씌우면 가 됩니다. 이렇게 너무 작은 값이 0으로 뭉개지는 현상을 언더플로라 부릅니다. 손실이 무한대가 되면 기울기는 NaN이 되고, 한 배치의 NaN이 모든 가중치로 퍼집니다.
logsigmoid는 식을 미리 정리해 둡니다.
가 크게 음수이면 가 커지므로 오른쪽은 자신에 가까운 값을 내고, 구현은 이 경우를 갈라 에서 를 그대로 돌려줍니다. 시그모이드를 먼저 계산해 아주 작은 수를 만들고 나서 로그로 되돌리는 대신, 로그 공간에서 바로 계산하는 것입니다. 소프트맥스 뒤에 로그를 씌울 때 log-sum-exp를 쓰는 것과 같은 요령입니다.
마진 항
손실에 상수 하나를 더 넣는 변형이 있습니다.
이 을 마진이라 부릅니다. 평가자가 「약간 낫다」·「훨씬 낫다」처럼 정도까지 적어 주었을 때, 「훨씬 낫다」 쌍에는 큰 을 주는 식으로 씁니다. 확률 모형으로 다시 읽으면 이 쌍에 대해 이라고 선언하는 것이고, 모델이 이 쌍에서 고른 쪽에 0.5보다 큰 확률을 주려면 점수차가 을 넘어야 합니다. 예를 들어 이면 일 때 기울기가 여전히 0.5로, 마진이 없을 때 인 쌍과 같은 힘으로 밀립니다. 정도를 아는 쌍은 더 벌리라고 모델에게 따로 알려 주는 셈입니다.
평행이동 불변
식별 불가능성
앞에서 붙잡아 둔 성질로 돌아옵니다. 모든 답의 점수에 같은 상수 를 더하면 어떻게 될까요.
모든 쌍의 확률이 하나도 바뀌지 않습니다. 그러면 가능도도 그대로이고 손실도 그대로입니다. 즉 데이터는 점수의 절대적인 위치에 대해 아무 말도 하지 않습니다. 최적해가 하나가 아니라 한 줄로 이어져 있는 것이고, 통계에서는 이런 상황을 파라미터가 식별되지 않는다고 말합니다. 로지스틱 회귀로 읽으면 특징 벡터의 성분 합이 늘 0이라 가중치 전체를 같은 만큼 옮겨도 내적이 그대로인 것입니다.
중심화
실무에서 이것이 드러나는 자리가 셋입니다.
- 보상 모델 출력의 절대값을 읽으면 안 됩니다. 「이 답은 4.7점」이라는 말은 같은 모델 안에서 다른 답과 비교할 때만 뜻이 있고, 다른 보상 모델의 4.7과 비교하는 것은 무의미합니다.
- 학습을 안정시키려고 출력을 중심화합니다. 배치 안에서 평균을 0으로 맞추거나 정규화 항을 하나 붙이는 방식인데, 없는 정보를 만들어 내는 것이 아니라 한 줄로 이어진 최적해 중에서 하나를 고르는 것뿐입니다.
- 정책 학습에서는 이 자유도가 저절로 사라집니다. 지난 글의 베이스라인이 정확히 그 일을 합니다 — 그룹 평균을 빼는 순간 공통 상수가 지워집니다. 그래서 보상 모델의 위치가 어긋나 있어도 정책 학습은 영향을 받지 않습니다.
배율과 온도
위치는 자유인데 크기는 자유가 아닙니다. 모든 점수에 2를 곱하면 차이도 두 배가 되어 확률이 달라집니다. 점수차 1이던 쌍은 0.731에서 로, 점수차 3이던 쌍은 0.953에서 0.998로 바뀝니다. 데이터에서 A가 B를 열 번 중 일곱 번 남짓 이겼다면 가능도는 점수차 1 근처에서 가장 크므로, 배율은 데이터가 정해 줍니다. 「점수차 1 = 승률 0.73」이라는 눈금이 의미를 갖는 것도 이 때문입니다.
처럼 차이를 어떤 수 로 나누어 확률의 날카로움을 조절할 때 그 수를 온도라 부릅니다. 보상에 상수 를 곱하는 것은 온도를 로 바꾸는 것과 같습니다. 이 사실은 정책 학습에서 다시 나타납니다. 보상에서 KL 벌점을 빼는 목적식 에서 보상을 두 배로 키우는 것은 를 반으로 줄이는 것과 같은 효과를 냅니다. 보상 모델의 배율을 바꾸었다면 KL 계수도 함께 다시 맞춰야 한다는 뜻입니다.
완전 분리와 발산
같은 성질에 실패 모드도 하나 딸려 옵니다. 어떤 답이 등장한 모든 비교에서 이겼다면, 그 답의 점수를 올릴수록 가능도가 계속 커지므로 최대가능도 해가 무한대로 달아납니다. 데이터가 한 줄로 깔끔하게 갈려 있는 이 상황을 완전 분리라 부르고, 로지스틱 회귀에서 잘 알려진 현상과 같은 것입니다. 두 답을 다섯 번 비교해 A가 다섯 번 다 이겼다면 이라 추정값 자체가 없습니다.
그래서 실제 학습에는 정규화나 조기 종료가 함께 붙습니다. 예를 들어 점수의 제곱에 작은 계수를 곱한 벌점 을 더하면 두 가지가 한꺼번에 고정됩니다. 하나는 위치입니다 — 제곱합은 평균이 0일 때 가장 작으므로 한 줄로 이어진 최적해 가운데 중심이 0인 것을 고릅니다. 다른 하나는 크기입니다 — 점수를 한없이 키우면 벌점이 한없이 커지므로 발산이 멈춥니다. 정규화가 하는 일은 「데이터가 말하지 않는 곳에 기본값을 정해 주는 것」이고, 데이터가 말하는 곳은 거의 건드리지 않습니다.
모형의 한계
순환 선호
Bradley-Terry 모델은 모든 답을 실수 축 하나 위에 세웁니다. 축 위에서는 A가 B보다 오른쪽이고 B가 C보다 오른쪽이면 A는 반드시 C보다 오른쪽입니다. 이런 성질을 이행성이라 합니다. 그런데 사람의 선호가 늘 이행적이지는 않습니다.
세 답을 각각 열 번씩 비교했더니 A가 B를 7번, B가 C를 7번, C가 A를 7번 이겼다고 합시다. 「A가 B보다, B가 C보다, C가 A보다 낫다」가 동시에 성립하는 순환 선호입니다. 예를 들어 A는 정확하지만 길고, B는 짧지만 대충이고, C는 친절하지만 틀린 데가 있어서, 어느 쌍에서 무엇이 눈에 띄느냐에 따라 고르는 기준이 바뀐 경우입니다.
이 데이터를 모형에 넣으면 세 점수차 , , 를 모두 양수로 만들고 싶어집니다. 그런데 셋을 더하면 언제나 0입니다.
셋이 동시에 양수일 수는 없습니다. 최대가능도가 찾아내는 타협점은 대칭 때문에 세 점수가 모두 같은 자리이고, 모형은 세 쌍 모두를 0.5로 예측합니다. 데이터는 「매번 7 대 3으로 뚜렷하게 갈렸다」고 말했는데 모형은 「셋이 다 비슷하다」로 읽은 것입니다. 정보가 어디로 간 것이 아니라 모형의 꼴에 담길 자리가 처음부터 없었습니다.
평가자 불일치
선호 데이터는 여러 사람이 나누어 라벨링합니다. 같은 쌍을 두고 평가자 절반은 늘 A를, 나머지 절반은 늘 B를 고른다고 합시다. 각자는 확신에 차 있는데, 모아 놓은 승률은 0.5이고 모형은 이라고 읽습니다. 「둘이 비슷해서 동전 던지기처럼 갈린다」와 「사람마다 기준이 정반대다」가 모형 안에서는 같은 숫자가 됩니다.
조금 덜 극단적인 경우도 같습니다. 평가자 60%가 A를 좋아하고 40%가 B를 좋아하면 승률 0.6이 관측되고 점수차는 로 추정됩니다. 모형은 이것을 「A가 조금 낫다」는 강도의 차이로 읽지만, 실제로 일어난 일은 집단 둘의 다수결입니다. 보상 모델은 그 다수결을 하나의 점수로 굳히고, 정책은 그 점수를 따라가며 소수 쪽 선호를 지웁니다.
프롬프트별 눈금
마지막 한계는 눈금이 하나라는 것입니다. 보상 모델은 프롬프트와 답을 함께 받아 실수 하나를 내지만, 학습 데이터의 비교는 거의 전부 같은 프롬프트 안에서만 일어납니다. 그러므로 데이터가 정해 주는 것은 프롬프트 안의 차이뿐이고, 프롬프트마다 위치가 따로 떠 있습니다. 「시를 써 달라」에 대한 답의 3점과 「코드를 고쳐 달라」에 대한 답의 3점이 같은 뜻이라는 근거는 데이터 어디에도 없습니다.
차이의 크기도 프롬프트마다 뜻이 다를 수 있습니다. 정답이 분명한 수학 문제에서는 맞고 틀림이 승률 0.99를 만들 테고, 취향이 갈리는 글쓰기에서는 아주 좋은 답도 0.7 남짓에 머뭅니다. 모형은 둘 다 같은 시그모이드로 읽으므로 전자의 점수차를 훨씬 크게 매깁니다. 이렇게 매겨진 보상으로 정책을 학습하면 점수차가 크게 벌어지는 종류의 프롬프트가 기울기를 더 많이 차지합니다. 앞 절의 중심화나 지난 글의 그룹 베이스라인이 프롬프트마다 평균을 빼는 것은 위치를 맞추는 일이고, 크기의 어긋남까지는 고치지 못합니다.
점수차의 표준오차
승률의 로짓
「A가 B보다 낫다」 한 번으로는 아무것도 못 정합니다. 그러면 몇 번이면 될까요. 두 답만 놓고 번 비교했다고 하면, A가 이긴 횟수 는 이항분포를 따르고 점수차의 최대가능도 추정값은 승률의 로짓입니다. 로짓은 시그모이드의 역함수로, 확률 를 로 되돌리는 함수입니다.
이 추정값의 표준오차는 가능도의 곡률에서 나옵니다. 비교 한 번이 에 대해 주는 정보량이 이고 이므로, 번이면
입니다. 모의실험으로 맞춰 보겠습니다.
import numpy as np
rng = np.random.default_rng(0)
sig = lambda x: 1 / (1 + np.exp(-x))
for delta in (0.0, 1.0, 2.0, 3.0):
p = sig(delta)
out = []
for n in (200, 2000):
w = rng.binomial(n, p, size=20_000) # 비교 n번을 2만 번 되풀이
ok = (w > 0) & (w < n)
dh = np.log(w[ok] / (n - w[ok])) # 각 되풀이의 추정 점수차
out.append(f"n={n:>5} 실측 {dh.std():.3f} / 이론 {1/np.sqrt(n*p*(1-p)):.3f}")
print(f"Δ={delta:.0f} P(A≻B)={p:.3f} " + " ".join(out))
# Δ=0 P(A≻B)=0.500 n= 200 실측 0.142 / 이론 0.141 n= 2000 실측 0.045 / 이론 0.045
# Δ=1 P(A≻B)=0.731 n= 200 실측 0.160 / 이론 0.159 n= 2000 실측 0.051 / 이론 0.050
# Δ=2 P(A≻B)=0.881 n= 200 실측 0.225 / 이론 0.218 n= 2000 실측 0.070 / 이론 0.069
# Δ=3 P(A≻B)=0.953 n= 200 실측 0.370 / 이론 0.333 n= 2000 실측 0.106 / 이론 0.105
두 가지가 읽힙니다. 첫째, 오차는 으로 줄어듭니다. 비교를 10배로 늘리면 오차가 약 3분의 1이 됩니다(0.142 → 0.045). 점수차를 소수 둘째 자리까지 믿으려면 그 쌍을 수천 번 비교해야 한다는 뜻이고, 실제 선호 데이터셋에서 같은 두 답을 수천 번 비교하는 일은 없습니다. 개별 답의 점수를 정밀한 값으로 읽으면 안 되는 두 번째 이유입니다.
둘째, 차이가 클수록 오차가 커집니다. 일 때 0.142였던 것이 에서는 0.370으로 2.6배입니다. 뻔한 비교는 정보를 거의 주지 않기 때문입니다 — 95%를 이기는 쌍을 백 번 더 비교해 봐야 「역시 이긴다」만 확인할 뿐이고, 그 결과로 점수차가 3인지 4인지는 여전히 흐릿합니다. 가 0.5에서 최대라는 것이 이 말입니다. 모의실험에서 , 의 실측이 이론보다 큰 것도 같은 이유로, 200번 중 이긴 횟수가 190을 넘나드는 영역이라 로그 안의 작은 분모가 크게 흔들립니다.
0.5 보정
위 코드에는 ok = (w > 0) & (w < n)라는 줄이 숨어 있습니다. 한쪽이 전부 이긴 되풀이를 빼는 줄입니다. 이면 분모가 0이라 로짓이 무한대이고, 이면 음의 무한대입니다. 앞 절의 완전 분리가 두 답짜리 크기로 나타난 것입니다.
실제로 비교 횟수가 적으면 이런 일은 흔합니다. 열 번 비교해서 A가 열 번 다 이기는 것은 인 쌍에서 약 62% 확률로 일어납니다(). 이럴 때 쓰는 관례가 이긴 횟수와 진 횟수에 각각 0.5를 더하는 0.5 보정입니다.
열 번 중 열 번이면 이고 표준오차는 1.45입니다. 아홉 번이면 1.85에 표준오차 0.88, 다섯 번이면 0에 0.60입니다. 무한대 대신 유한한 값이 나오되, 표준오차가 1.45라는 것이 「이 추정은 거의 아무것도 모른다」고 정직하게 말해 줍니다. 오른쪽 식은 앞의 에 을 넣은 것과 같은 식을 횟수로 다시 적고 0.5씩 얹은 것입니다.
라벨링 예산
이 식으로 라벨링 예산을 어디에 쓸지 답할 수 있습니다. 점수차의 표준오차를 0.2까지 줄이고 싶다고 합시다. 이므로 필요한 비교 수는 쌍마다 다릅니다.
- 비슷한 쌍(): 100번
- 열 번 중 일곱 번 이기는 쌍(): 127번
- 스무 번 중 열아홉 번 이기는 쌍(): 553번
같은 정밀도를 얻는 데 뻔한 쌍은 비슷한 쌍보다 5.5배를 씁니다. 그래서 비슷한 답끼리 비교시켜야 정보가 많이 남습니다. 선호 데이터를 모을 때 한쪽이 명백히 나은 쌍을 잔뜩 넣으면 라벨링 비용에 비해 배우는 것이 적고, 아레나 방식의 평가에서 실력이 가까운 상대끼리 붙이는 것도 같은 이유입니다.
「같은 쌍을 더 볼 것인가, 새 쌍을 볼 것인가」도 같은 식이 답합니다. 이미 100번 본 쌍을 100번 더 보면 표준오차가 0.2에서 0.141로 줄어들 뿐입니다. 반면 아직 아무와도 비교되지 않은 답은 표준오차가 무한대이고, 첫 비교 몇 번이 그것을 유한하게 만듭니다. 줄어드는 폭이 비교할 수 없이 크니 예산은 먼저 비교되지 않은 곳을 잇는 데 쓰고, 그다음에 비슷한 쌍을 깊게 보는 데 씁니다. 그 「잇는다」는 말이 다음 절의 주제입니다.
비교 그래프
연결성
항목이 개로 늘어도 모형과 손실은 그대로입니다 — 어떤 쌍이 비교되든 그 쌍의 점수차에 시그모이드를 씌우면 되니까요. 달라지는 것은 어느 쌍이 실제로 비교되었는가입니다.
항목을 점으로, 비교된 쌍을 선으로 그린 그림을 비교 그래프라 부릅니다. 비교가 많이 붙은 항목일수록 그 점수가 촘촘히 묶이고, 몇 번 안 붙은 항목은 헐겁게 매달려 있습니다. 그래프가 두 덩어리로 끊어져 있으면 두 덩어리 사이의 점수차는 데이터가 전혀 정하지 못합니다 — 한쪽 덩어리 전체를 통째로 올려도 비교된 모든 쌍의 차이가 그대로이기 때문입니다. 앞에서 본 평행이동 불변이 덩어리마다 따로 생기는 것이고, 그래서 순위가 하나로 정해지지 않습니다.
어떤 두 점 사이에도 선을 따라 가는 길이 있을 때 그래프가 연결되어 있다고 합니다. 점 개를 잇는 데 필요한 선은 적어도 개입니다. 선 하나를 더할 때마다 덩어리 수가 많아야 하나 줄고, 처음에는 점마다 따로 덩어리이기 때문입니다. 그러니 답 열 개의 순위를 하나로 세우려면 서로 다른 쌍을 적어도 아홉 개는 비교해야 하고, 그것도 아무 아홉 쌍이 아니라 전체를 잇는 아홉 쌍이어야 합니다. 연결은 순위가 정해지기 위한 조건일 뿐이고, 정밀하기 위한 조건은 아닙니다.
순위표의 오차 막대
연결되어 있어도 오차는 항목마다 다릅니다. A와 B를 100번, B와 C를 100번 비교했고 A와 C는 직접 붙인 적이 없다고 합시다. 셋 다 비슷한 수준이라 각 쌍의 표준오차가 0.2입니다. A와 C의 점수차는 B를 거쳐 두 차이를 더한 값이고, 두 추정은 서로 다른 비교에서 왔으므로 분산이 더해집니다.
직접 100번 비교했다면 0.2였을 것이 사슬 한 칸을 건너며 1.4배가 되었습니다. 사슬이 길수록, 그리고 사슬 중간에 비교가 적은 고리가 낄수록 오차가 커집니다. 그래서 순위표에는 점수 옆에 오차 막대가 있어야 합니다. 비교가 몰린 인기 항목과 몇 번 안 붙은 항목은 같은 점수라도 믿을 수 있는 정도가 다르고, 오차 막대가 겹치는 두 항목의 순서는 데이터가 아직 정하지 못한 것입니다. 아레나 순위표가 점수마다 신뢰구간을 함께 싣는 것이 이 때문입니다.
파라미터 공유
선호 데이터셋에서는 답이 대부분 같은 프롬프트 안에서만 비교되므로 비교 그래프는 프롬프트마다 끊어진 수많은 작은 덩어리입니다. 앞 절의 「프롬프트별 눈금」이 그래프로 보면 이 모양입니다. 그런데도 보상 모델이 프롬프트를 가로질러 그럭저럭 쓸 만한 점수를 내는 것은 가 답을 통째로 읽는 신경망이라 서로 다른 프롬프트의 답들이 파라미터를 공유하기 때문입니다. 「장황하면 감점」을 한 덩어리에서 배우면 다른 덩어리에도 그 규칙이 적용됩니다.
끊어진 그래프를 이어 주는 것이 그 공유이고, 대신 이어 준 방식이 맞는지는 데이터가 아니라 모델이 보증합니다. 데이터가 직접 비교한 적 없는 두 답의 점수차는 모델이 배운 규칙의 외삽이므로, 그 차이가 클수록 의심해야 합니다.
정리
- Bradley-Terry 모델은 항목마다 실수 강도 을 두고 로 비교 결과를 설명하는 모형이다. 두 값에 소프트맥스를 씌운 것과 같고, 특징이 +1과 −1인 로지스틱 회귀와 같다.
- 정규 잡음을 가정한 서스톤 모형(프로빗)과는 순위가 사실상 같고 눈금이 약 1.7배 다르다. 무승부는 모형에 자리가 없어 버리거나 반씩 나눈다.
- 점수차 1은 승률 0.731, 2는 0.881, 3은 0.953이다. 보상 모델 출력의 차이는 이 눈금으로 읽는다.
- 비교 개의 가능도에 로그를 취해 부호를 뒤집으면 이다. 보상 모델 손실은 이 모형에 최대가능도를 적용한 결과일 뿐이다.
- 기울기 크기는 라 이미 벌어진 쌍은 거의 밀지 않고, 뒤집힌 라벨은 맞은 라벨보다 스무 배 세게 민다. 수치는 언더플로를 피하려고
logsigmoid로 계산하고, 정도를 아는 쌍에는 마진을 준다. - 보상은 상수 평행이동에 불변이라 절대값을 읽으면 안 된다. 배율은 데이터가 정하며 곧 온도이고, 완전 분리된 데이터에서는 해가 발산해 정규화가 위치와 크기를 함께 고정한다.
- 순환 선호는 실수 축 하나에 담기지 않아 모두 같은 점수로 뭉개지고, 평가자 불일치는 강도 차이로 잘못 읽히며, 프롬프트마다 눈금이 따로 뜬다.
- 두 답을 번 비교한 점수차의 표준오차는 이고, 전승·전패에는 0.5 보정을 쓴다. 비슷한 쌍이 같은 예산에서 더 많은 정보를 준다.
- 개의 순위를 세우려면 비교 그래프가 연결되어야 하고(선 개 이상), 사슬을 건널수록 오차가 커지므로 순위표에는 오차 막대가 필요하다.
이제 맨 앞 코드는 이렇게 읽힙니다. r_w - r_l이 Bradley-Terry 모델의 이고, logsigmoid가 그 차이를 「이 사람이 이렇게 고를 확률」로 바꾸며, 앞의 음수 부호와 mean()이 음의 로그가능도입니다. 순서만 있는 라벨에서 실수 눈금이 나오는 이유도 분명합니다 — 보상 모델은 눈금을 배운 것이 아니라 차이를 배운 것이고, 절대적인 위치는 애초에 데이터에 없었습니다.
이 유도가 다음에 두 곳에서 다시 쓰입니다. 하나는 중급 78번 · Elo와 아레나 순위입니다. Elo 점수는 정확히 이 모델의 강도이고, 경기 결과마다 점수를 갱신하는 그 공식이 위 손실에 대한 확률적 경사하강 한 걸음입니다. 다른 하나가 이 시리즈의 목적지입니다. 위 손실에는 정책이 등장하지 않고 보상 모델만 있는데, 만약 을 정책으로 적을 수 있다면 보상 모델을 따로 두지 않고 이 손실을 정책에 바로 걸 수 있습니다. 그 다리를 놓으려면 「KL 예산 안에서 보상을 최대화한다」는 문제를 실제로 풀어야 하고, 다음 글이 그 제약을 목적식 안으로 넣는 도구를 준비합니다.
읽어주셔서 감사합니다. 😊

