절대연속성과 라돈–니코딤 정리로 dP/dQ를 밀도비의 일반형으로 세우고, 잘린 행동 정책의 중요도 무게를 끝점의 원자까지 계산합니다. KL이 정확히 +∞가 되는 조건과 기브스 부등식을 증명하고, 지지집합이 어긋난 두 분포에서 무엇이 무너지는지 봅니다.
PALDYN Team//55 MIN READ
04MATH
고급
라돈–니코딤 도함수 · 절대연속
연속 행동을 내는 정책을 오프폴리시로 평가하는 팀이 있습니다. 로봇 관절에 줄 토크처럼 행동 a 는 실수 하나이고, 정책은 정규분포에서 값을 뽑은 뒤 장치 한계에 맞춰 [−1,1] 로 자릅니다. 예전 정책은 평균 0, 새 정책은 평균 0.5이고 둘 다 표준편차가 1입니다. 새 정책을 돌려 보지 않고 예전 정책이 남긴 로그로 새 정책의 성능을 재려고, 표본마다 무게 w = norm.pdf(a, 0.5) / norm.pdf(a, 0) 를 곱해 평균을 냅니다. 그런데 무게의 평균이 1이 아니라 0.94로 나옵니다. 참고하던 논문의 가정부에는 이런 줄이 있습니다.
Assume π≪μ, so that the Radon–Nikodym derivative w=dπ/dμ exists, and KL(π∥μ)=Eπ[logw]<∞.
리뷰에서 질문이 셋 나옵니다. 첫째, 잘린 행동은 표본의 3분의 1 가까이가 정확히 ±1 에 찍히는데, 그 자리에서 pdf를 나눈 저 무게가 맞나요. 둘째, 평가 대상을 행동 범위가 [−1.5,1.5] 인 정책으로 바꾸자 KL 로그에 inf 가 찍히는데, 수치 오류인가요 아니면 정확한 값인가요. 셋째, 그런 두 정책은 무엇으로 견줘야 하나요. 이 글은 셋에 답하는 데 필요한 말을 세웁니다. 절대연속과 라돈–니코딤 도함수를 정의하고, 「밀도」라는 말이 무엇을 기준으로 잰 도함수인지를 밝히고, 그것으로 KL을 일반적으로 정의한 뒤 성질을 증명합니다. 「고급 3번 · 측도와 르베그 적분」에서 세운 σ-대수, 측도, 르베그 적분, 단조수렴과 지배수렴 정리를 그대로 받아 씁니다.
절대연속
영집합
지난 글에서 측도는 σ-대수의 집합마다 크기를 주는 함수였고, 확률은 전체 크기가 1인 측도였습니다. 측도 Q 가 크기 0을 주는 가측집합 N, 곧 Q(N)=0 인 집합을 Q 의 영집합이라 부릅니다. 확률로 읽으면 Q 를 따르는 표본이 결코 떨어지지 않는 사건입니다. 「결코」에는 단서가 붙습니다. 정규분포에서 정확히 0.3이 나올 확률은 0이지만 0.3은 표본으로 나올 수 있는 값의 범위 안에 있습니다. 영집합은 「일어날 수 없는 일」이 아니라 「확률 계산에서 무시해도 되는 일」이고, 「Q-거의 어디서나」라는 말이 바로 「Q 의 영집합을 빼고 모든 곳에서」입니다.
영집합은 측도마다 다릅니다. 르베그 측도 λ 에서는 점 하나, 가산 개의 점, 칸토어 집합이 모두 영집합입니다. 잘린 정규분포 Q=clip(N(0,1)) 에서는 Q({1})=P(Z≥1)=0.159 라 점 1이 영집합이 아니고, 대신 (1,1.5] 처럼 [−1,1] 밖의 구간이 전부 영집합입니다. 같은 집합이 어느 측도로 보느냐에 따라 무시해도 되기도 하고 안 되기도 합니다. 이 글의 모든 문제가 이 차이에서 시작합니다.
절대연속성
같은 가측공간 위의 두 측도 P,Q 에 대해, Q 의 영집합이 언제나 P 의 영집합이기도 하면, 곧
Q(A)=0⟹P(A)=0(모든가측집합A)
이면 P 가 Q 에 대해 절대연속이라 하고 P≪Q 로 적습니다. 「Q 가 무시하는 곳은 P 도 무시한다」는 말이고, 확률로는 「Q 에서 결코 안 나오는 사건은 P 에서도 안 나온다」입니다. 오프폴리시 강화학습에서 「행동 정책이 목표 정책을 덮는다」(coverage)고 부르는 가정이 정확히 π≪μ 입니다.
방향이 있다는 점이 중요합니다. 균등분포 U[0,1] 은 U[0,2] 에 대해 절대연속입니다. U[0,2] 가 0을 주는 집합은 [0,2] 안에서 길이가 0이거나 [0,2] 밖에 있으니 U[0,1] 도 0을 줍니다. 거꾸로는 아닙니다. (1,2] 는 U[0,1] 의 영집합인데 U[0,2] 는 거기에 1/2을 줍니다. 서로 절대연속이면 동치라 하고, 두 측도가 정확히 같은 영집합을 가진다는 뜻입니다. 평균이 다른 두 정규분포는 둘 다 르베그 측도와 같은 영집합을 가지므로 동치입니다.
반대 끝도 이름이 있습니다. P(Nc)=0 이고 Q(N)=0 인 집합 N 이 있으면 P 와 Q 는 서로 특이하다 하고 P⊥Q 로 적습니다. 공간을 둘로 갈라 한쪽은 P 가, 다른 쪽은 Q 가 통째로 갖는 경우입니다. 점 하나에 질량을 다 둔 디랙 측도 δ0 와 르베그 측도는 서로 특이합니다. N={0} 으로 잡으면 됩니다.
르베그 분해
대부분의 짝은 두 극단 사이에 있습니다. 평가 대상을 P=clip(N(0.5,1),[−1.5,1.5]) 로 바꾼 장면이 그렇습니다. P 는 (−1,1) 위에서는 Q 와 함께 밀도를 갖지만, (1,1.5) 와 (−1.5,−1) 에 질량 0.150과 0.044를, 끝점 ±1.5 에 0.159와 0.023을 둡니다. 이렇게 한 점에 양의 질량이 놓인 자리를 원자라 부릅니다. 넷 다 Q 의 영집합 위에 놓여 있습니다.
르베그 분해 정리는 이런 짝을 언제나 두 조각으로 자를 수 있다고 말합니다. P,Q 가 σ-유한(바로 다음 절에서 정의합니다)이면
P=Pac+Ps,Pac≪Q,Ps⊥Q
인 두 측도가 유일하게 있습니다. Pac 는 Q 가 보는 곳에 놓인 P 의 몫이고, Ps 는 Q 의 영집합에 놓인 몫입니다. 위 예에서 Ps 의 전체 질량은 0.150+0.044+0.159+0.023=0.375 이고 Pac 는 0.625입니다. P≪Q 는 Ps=0 과 같은 말이고, P⊥Q 는 Pac=0 과 같은 말입니다.
오프폴리시 평가가 할 수 있는 일은 이 그림에서 이미 정해집니다. 예전 정책의 로그에는 붉은 쪽에서 나온 표본이 하나도 없습니다. 표본이 없는 곳의 질량은 어떤 무게를 곱해도 되살릴 수 없으니, 둘째 질문의 답은 결국 「붉은 몫이 0이 아니다」입니다. 다음 절들이 그것을 숫자 하나, 곧 KL의 값으로 옮깁니다.
라돈–니코딤 정리
정리
측도 μ 가 σ-유한하다는 것은 전체 공간을 μ 크기가 유한한 가측집합 가산 개로 덮을 수 있다는 뜻입니다. 확률측도는 전체가 1이니 당연히 σ-유한이고, 실수 위의 르베그 측도는 [−n,n] 들로 덮이니 σ-유한입니다. 정수 위의 셈측도, 곧 집합에 든 원소의 개수를 크기로 주는 측도도 점 하나씩으로 덮이니 σ-유한입니다.
라돈–니코딤 정리는 다음과 같습니다. μ 와 ν 가 같은 가측공간 위의 σ-유한 측도이고 ν≪μ 이면, 음이 아닌 가측함수 f 가 있어 모든 가측집합 A 에서
ν(A)=∫Afdμ
가 성립하고, 그런 f 는 μ-거의 어디서나 하나뿐입니다. 이 f 를 ν 의 μ 에 대한 라돈–니코딤 도함수라 부르고 dν/dμ 로 적습니다. 미분 기호를 빌린 것은 작은 집합 위에서 ν(A)≈f(x)μ(A), 곧 「ν 의 크기를 μ 의 크기로 나눈 비」라는 뜻이기 때문입니다. 정리가 말하는 것은 절대연속이라는 집합 차원의 조건 하나만으로 그런 비가 점마다 정해진다는 것입니다.
유일성은 짧게 확인할 수 있습니다. f,g 가 둘 다 조건을 만족하고 μ,ν 가 유한하다고 하면, A={f>g} 에서 ∫A(f−g)dμ=ν(A)−ν(A)=0 인데 적분하는 함수가 A 에서 양수이므로 μ(A)=0 입니다. 자리를 바꿔 μ({g>f})=0 도 같고, σ-유한이면 유한한 조각마다 같은 논증을 씁니다. 그래서 라돈–니코딤 도함수는 함수 하나가 아니라 「μ-거의 어디서나 같은 함수들의 묶음」입니다. 영집합 위에서 값을 어떻게 바꿔도 같은 도함수입니다.
존재의 증명은 이 글의 몫이 아니라 진술과 사용법만 씁니다. 줄기만 적으면, L2(μ+ν) 위에서 g↦∫gdν 가 유계 선형범함수임을 보이고 리스 표현 정리로 그것을 내적 ∫ghd(μ+ν) 로 적은 뒤 f=h/(1−h) 로 둡니다. 리스 표현 정리는 「고급 2번 · 힐베르트 공간과 무한차원 스펙트럼 정리」가 맡습니다.
σ-유한성
조건 σ-유한은 장식이 아닙니다. [0,1] 위에 르베그 측도 λ 와 셈측도 # 를 함께 놓습니다. 셈측도가 0을 주는 집합은 공집합뿐이므로 λ≪# 입니다. 그런데 도함수 f=dλ/d# 가 있다면 점 하나에서 λ({x})=f(x)⋅#({x})=f(x) 인데 왼쪽이 0이니 f 는 어디서나 0이고, 그러면 λ([0,1])=∫fd#=0 이 되어 모순입니다. 무너진 이유는 [0,1] 의 셈측도가 σ-유한이 아니라는 데 있습니다. 크기가 유한한 집합은 유한집합뿐이고, 가산 개를 모아도 가산집합이라 [0,1] 을 못 덮습니다.
실무에서 이 반례를 밟을 일은 없습니다. 우리가 쓰는 기준 측도는 르베그 측도, 정수나 토큰 어휘 위의 셈측도, 그리고 그 둘에 점 몇 개의 디랙 측도를 더한 것이 전부이고 모두 σ-유한입니다. 다만 이 반례는 정리의 구조를 보여 줍니다. 절대연속이라는 조건은 집합 단위로만 말하고, 그것을 점마다의 함수로 바꾸려면 측도가 가산 개의 유한한 조각으로 쪼개져야 합니다.
측도 변환
라돈–니코딤 도함수의 첫 쓰임은 적분을 다른 측도로 옮기는 일입니다. P≪Q 이고 w=dP/dQ 이면, 음이 아닌 모든 가측함수 g 에 대해
∫gdP=∫gwdQ
입니다. 확률로 적으면 EP[g(X)]=EQ[w(X)g(X)] 이고, 이것이 측도 변환, 곧 기댓값을 재가중으로 읽는 식입니다. 「중급 58번 · 중요도 비율과 클리핑: 예전 정책의 샘플을 재사용하는 대가」가 q 를 곱하고 나눠 얻은 한 줄과 같은 모양인데, 거기서는 두 분포가 밀도를 가질 때만 쓸 수 있었습니다. 여기서는 P≪Q 하나가 조건의 전부입니다.
증명은 「고급 3번」의 르베그 적분을 쌓아 올린 차례를 그대로 따릅니다. g=1A 이면 왼쪽은 P(A), 오른쪽은 ∫AwdQ 이고 둘은 도함수의 정의로 같습니다. 양변이 g 에 대해 선형이므로 음이 아닌 단순함수에서도 같습니다. 음이 아닌 가측함수 g 는 단순함수열 gn↑g 로 아래에서 다가갈 수 있고, 그러면 gnw↑gw 도 성립하므로 양변에 단조수렴 정리를 써서 극한을 넘깁니다. 부호가 있는 g 는 g=g+−g− 로 갈라 각각에 쓰면 되고, 이때 g∈L1(P) 와 gw∈L1(Q) 가 같은 조건이 됩니다.
이 식에서 계산 규칙 둘이 곧바로 나옵니다. 하나는 연쇄법칙입니다. P≪Q≪R 이면 P(A)=∫AdQdPdQ=∫AdQdPdRdQdR 이고, 둘째 등호가 방금 증명한 식에 g=1AdP/dQ 를 넣은 것입니다. 유일성으로
dRdP=dQdP⋅dRdQ(R-거의어디서나)
입니다. 다른 하나는 역수입니다. P 와 Q 가 동치이면 연쇄법칙에 R=P 를 넣어 dQdP⋅dPdQ=1 이니 dQ/dP=1/(dP/dQ) 입니다. 미분의 연쇄법칙과 역함수 미분을 닮은 모양이 이름을 정당화합니다.
밀도와 기준 측도
기준 측도
「확률밀도함수」라는 말을 이제 정확히 적을 수 있습니다. 실수 위의 분포 P 가 르베그 측도에 대해 절대연속이면 p=dP/dλ 가 있고, 그것이 우리가 pdf라고 부르던 함수입니다. 이산 분포라면 기준을 셈측도 # 로 잡아 p(y)=dP/d#(y)=P({y}) 가 되고, 그것이 pmf입니다. 둘은 다른 개념이 아니라 같은 도함수를 다른 측도에 대고 잰 것입니다. 이렇게 도함수의 분모 자리에 놓는 측도를 이 글에서는 기준 측도라 부르겠습니다.
그러니 밀도는 분포 혼자 갖는 성질이 아닙니다. 「이 분포의 밀도는?」이라는 물음에는 「무엇에 대한」이 빠져 있습니다. 잘린 정규분포 Q=clip(N(0,1)) 는 르베그 측도에 대해 절대연속이 아닙니다. 점 1은 λ 의 영집합인데 Q 는 거기에 0.159를 줍니다. 그래서 pdf가 없고, pmf도 없습니다. 대신 기준 측도를 μ=λ+δ−1+δ1 로 잡으면 Q≪μ 이고 도함수가 있습니다.
q(a)=dμdQ(a)=⎩⎨⎧φ(a)0.1590−1<a<1a=±1그밖
여기서 φ 는 표준정규 pdf입니다. 끝점에서 μ({1})=0+0+1=1 이라 Q({1})=q(1)⋅1 이 맞고, 구간에서는 디랙 부분이 끝점 두 개에만 걸리므로 르베그 적분이 그대로 남습니다. 끝점 두 개가 앞에서 본 원자입니다. 원자와 연속 부분을 함께 가진 분포는 기준 측도에 그 원자들의 디랙 측도를 더해 주면 밀도를 갖습니다.
밀도비
기준 측도를 무엇으로 잡느냐에 따라 밀도는 바뀌지만, 두 분포의 비는 바뀌지 않습니다. 정확히는 이렇습니다. P,Q 가 둘 다 σ-유한 측도 μ 에 대해 절대연속이고 밀도가 p=dP/dμ, q=dQ/dμ 라고 합시다. 공통 기준은 언제나 있습니다. μ=(P+Q)/2 로 잡으면 됩니다. 그러면
P≪Q⟺P({q=0})=0
이고, 그때 {q>0} 위에서 Q-거의 어디서나
dQdP=qp
입니다. 첫 줄의 왼쪽에서 오른쪽은 Q({q=0})=∫{q=0}qdμ=0 이니 절대연속의 정의 그대로입니다. 오른쪽에서 왼쪽은, Q(A)=0 이면 ∫Aqdμ=0 이라 A 안에서 q=0 이 μ-거의 어디서나 성립하고, 따라서 A∩{q>0} 은 μ-영집합이라 P 도 0을 주며, 남은 A∩{q=0} 에는 가정으로 P 가 0을 주기 때문입니다.
둘째 줄은 측도 변환으로 확인합니다. 아무 A 에서
∫AqpdQ=∫A∩{q>0}qpqdμ=P(A∩{q>0})=P(A)
이고, 마지막 등호가 첫 줄의 조건 P({q=0})=0 입니다. 유일성으로 p/q 가 dP/dQ 입니다. 기준 측도 μ 가 식에서 사라진 것에 주목합니다. pdf끼리 나누든 pmf끼리 나누든 혼합 밀도끼리 나누든, 같은 기준으로 잰 두 밀도의 비는 하나입니다. 중요도 비율이 「분포의 비」로서 뜻을 갖는 이유가 이것이고, 동시에 두 밀도를 같은 기준으로 재야 한다는 조건이 붙는 이유도 이것입니다.
같은 계산이 르베그 분해를 손에 쥐여 줍니다. Ps(A)=P(A∩{q=0}), Pac(A)=P(A∩{q>0}) 로 두면 앞의 것은 Q 의 영집합 {q=0} 에 몰려 있어 Q 와 특이하고, 뒤의 것은 위 논증 그대로 Q 에 대해 절대연속이며 dPac/dQ=p/q 입니다. 실무의 판정 규칙은 그래서 한 줄입니다. 공통 기준으로 두 밀도를 적고, q=0 인 곳에 p 의 질량이 남는지 봅니다.
잘린 정규분포
첫째 질문으로 돌아갑니다. 목표 정책 P=clip(N(0.5,1)) 와 행동 정책 Q=clip(N(0,1)) 는 둘 다 μ=λ+δ−1+δ1 에 대해 밀도를 갖고, q>0 인 곳이 [−1,1] 전체이며 p 도 그 밖에서는 0이니 P≪Q 입니다. 도함수는 자리마다 다른 식으로 나옵니다.
안쪽 −1<a<1 에서는 르베그 밀도의 비 φ(a−0.5)/φ(a)=e0.5a−0.125 입니다.
a=1 에서는 질량의 비 P({1})/Q({1})=0.309/0.159=1.944 입니다.
a=−1 에서는 P({−1})/Q({−1})=0.067/0.159=0.421 입니다.
팀의 코드는 끝점에서도 안쪽 식을 그대로 써서 e0.375=1.455 와 e−0.625=0.535 를 냈습니다. 그 값은 자르기 전의 두 정규분포 사이의 도함수를 잘린 자리에서 읽은 것이고, 잘린 두 분포의 도함수가 아닙니다. 정규분포에서 1 이상으로 나온 값을 모두 1로 모으면 1에 쌓이는 질량은 꼬리 넓이 전체이고, 꼬리 넓이의 비는 그 경계에서 잰 pdf의 비와 다릅니다.
틀린 무게가 무엇을 망치는지는 측도 변환 식이 바로 알려 줍니다. 맞는 무게라면 g=1 을 넣어 EQ[w]=P(Ω)=1 이어야 합니다. 팀의 무게는 기댓값이 0.940이었습니다. 관측한 0.94는 표본 잡음이 아니라 끝점의 무게가 틀렸다는 신호였습니다. 새 정책의 평균 행동 EP[a] 의 참값은 0.332인데 틀린 무게로는 0.236으로 모입니다. 표본을 아무리 늘려도 줄지 않는 치우침입니다. 안쪽 식과 끝점 식을 갈라 쓰면 무게의 평균이 1로, 추정이 0.332로 돌아옵니다. 아래 코드 절에서 백만 표본으로 확인합니다.
KL 발산
일반 정의
「중급 30번 · KL 발산: 거리가 아닌 거리와 방향의 선택」은 이산 분포에서 DKL(p∥q)=∑ipilog(pi/qi) 로 KL을 정의하고 qi=0<pi 인 칸이 있으면 무한대라고 약속했습니다. 이제 기준 측도에 매이지 않는 정의를 씁니다. 두 확률측도 P,Q 에 대해
DKL(P∥Q)=⎩⎨⎧EP[logdQdP]+∞P≪Q그밖
로 둡니다. 측도 변환으로 같은 값을 ∫wlogwdQ, 곧 EQ[wlogw] 로도 적을 수 있습니다(0log0=0).
먼저 이 기댓값이 언제나 뜻을 갖는지 봅니다. w=dP/dQ 에서 P({w=0})=∫{w=0}wdQ=0 이니 logw 는 P-거의 어디서나 유한합니다. 음수 쪽은 측도 변환으로
∫(logw)−dP=∫w(logw)−dQ≤e1
로 묶입니다. 0<t≤1 에서 tlog(1/t) 의 최댓값이 t=1/e 에서의 1/e 이고 Q 의 전체 질량이 1이기 때문입니다. 음수 부분이 적분 가능하니 기댓값은 (−∞,+∞] 안의 값으로 잘 정해지고, 양수 쪽이 발산하면 +∞ 입니다. 「P≪Q 인데도 KL이 무한대」인 짝도 있다는 뜻입니다. 코시 분포를 표준정규에 대고 재면 서로 동치인데도 로그 비가 a2/2 꼴로 자라고, 코시 분포에서는 a2 의 기댓값이 발산하므로 KL이 +∞ 입니다.
이 정의가 앞의 것들을 다 포함합니다. 유한 집합 위에서 기준을 셈측도로 잡으면 dP/dQ=pi/qi 이고 기댓값이 합으로 바뀌어 중급 30번의 식이 됩니다. 실수 위의 두 pdf라면 ∫plog(p/q)dx 가 됩니다. 분산이 1인 두 정규분포에서 log(dP/dQ)=(μ1−μ0)a−(μ12−μ02)/2 이고 이것을 P 로 평균하면 (μ1−μ0)2/2 이라, 평균 0.5와 0의 짝은 0.125입니다. 잘린 두 분포는 혼합 밀도의 비로 계산해 안쪽 적분 −0.033, 끝점 두 항 0.309log1.944=0.205 와 0.067log0.421=−0.058 을 더해 0.114가 나옵니다. 자르면 KL이 줄어든다는 것은 우연이 아니고, 사상을 거친 두 분포의 KL이 원래 KL을 넘지 않는다는 데이터 처리 부등식의 한 예입니다. 일반형의 증명은 조건부 기댓값이 필요해 여기서는 미룹니다.
LLM의 PPO와 DPO에 나오는 π/πref 도 이 정의의 한 경우입니다. 응답은 토큰 열이라 가산 집합 위의 분포이고, 기준은 셈측도이며, 도함수는 두 모델이 그 응답에 준 확률의 비입니다. 토큰마다 조건부 비를 곱해 시퀀스의 비를 얻는 것은 중급 58번이 이미 쓴 일입니다. 측도론이 덧붙이는 것은 하나입니다. 그 비가 「정책 둘의 확률비」로 뜻을 가지려면 π≪πref, 곧 참조 모델이 확률 0을 주는 응답에 정책도 0을 줘야 한다는 것입니다.
기브스 부등식
KL의 첫 성질은 기브스 부등식입니다. 언제나 DKL(P∥Q)≥0 이고, 등호는 P=Q 일 때만 섭니다. 중급 30번은 이산 분포에서 젠센 부등식으로 이것을 보였습니다. 여기서는 측도를 가리지 않는 증명을 씁니다.
P≪Q 가 아니면 값이 +∞ 라 부등식은 당연하고 등호도 서지 않습니다. P≪Q 이면 w=dP/dQ 로 둡니다. 핵심은 t>0 에서 logt≤t−1 이고 등호가 t=1 에서만 선다는 사실입니다. 로그 곡선이 t=1 에서의 접선 아래에 있다는 것이고, log 가 엄격하게 오목하기 때문입니다. 이것을 t=1/w 에 쓰고 P 로 평균하면
입니다. 둘째 줄의 첫 등호가 측도 변환이고, P({w=0})=0 이라 적분 범위를 {w>0} 로 줄여도 됩니다. 오른쪽 적분이 유한하니 왼쪽 기댓값을 위에서 누르는 데 문제가 없습니다.
등호를 따집니다. 두 부등호가 모두 등호여야 합니다. 첫째에서는 log(1/w)=1/w−1 이 P-거의 어디서나 성립해야 하므로 P({w=1})=0 입니다. 그 집합 가운데 w>0 인 부분은 P 크기가 ∫wdQ 인데 거기서 w 가 양수이니 Q 크기도 0입니다. 둘째에서는 Q({w=0})=0 이어야 합니다. 둘을 합치면 w=1 이 Q-거의 어디서나 성립하고, 그러면 모든 A 에서 P(A)=∫A1dQ=Q(A) 입니다. 둘째 부등호가 따로 하는 일이 있다는 점을 짚어 둡니다. Q 가 P 의 영집합에 질량을 두면, 곧 Q 가 P 보다 넓게 퍼져 있으면 그 몫 Q({w=0}) 만큼 KL이 양수로 밀려납니다.
분할 하한
둘째 성질은 공간을 거칠게 나누면 KL이 줄어든다는 것입니다. 공간을 유한 개의 가측집합 A1,…,Ak 로 나눈 분할이 있으면
DKL(P∥Q)≥∑i=1kP(Ai)logQ(Ai)P(Ai)
입니다. 오른쪽은 두 분포를 「어느 칸에 떨어졌나」만 남긴 이산 분포 둘의 KL입니다. 칸마다 0log(0/⋅)=0, alog(a/0)=+∞ (a>0)으로 약속합니다.
P≪Q 일 때 증명합니다. 왼쪽을 ∑i∫Aiϕ(w)dQ 로 칸마다 나눕니다. 여기서 ϕ(t)=tlogt 이고, ϕ≥−1/e 라 칸마다 적분이 잘 정해집니다. Q(Ai)=0 인 칸은 P(Ai)=0 이라 양쪽이 0입니다. Q(Ai)>0 인 칸에서는 Q 를 그 칸으로 좁혀 다시 정규화한 확률측도 Qi=Q(⋅∩Ai)/Q(Ai) 를 잡습니다. ϕ 가 볼록하므로 젠센 부등식으로
∫ϕ(w)dQi≥ϕ(∫wdQi)=ϕ(Q(Ai)P(Ai))
이고, 양변에 Q(Ai) 를 곱하면 ∫Aiϕ(w)dQ≥P(Ai)log(P(Ai)/Q(Ai)) 입니다. 칸을 다 더하면 끝입니다. 젠센 부등식에서 왼쪽이 +∞ 여도 부등식은 그대로이니 따로 따질 경우가 없습니다.
이 부등식이 KL의 정의에서 +∞ 라는 값을 강제합니다. P≪Q 가 아니면 Q(N)=0<P(N) 인 N 이 있습니다. 두 칸 분할 {N,Nc} 의 이산 KL은 첫 칸에서 P(N)log(P(N)/0)=+∞ 입니다. 거친 쪽의 값이 이미 무한이니, 분할 하한을 지키는 어떤 확장도 원래 값을 유한하게 줄 수 없습니다. 「정의가 그렇게 약속했다」가 아니라 「다른 값을 주면 분할에서 모순이 난다」는 것이 +∞ 의 이유입니다.
다가가는 모습으로도 볼 수 있습니다. 넓힌 평가 대상 P 와 행동 정책 Q 사이에 Q 를 조금 섞은 Qε=(1−ε)Q+εP 를 두면 P≪Qε 이라 KL이 유한합니다. N 을 Q 의 영집합 쪽으로 잡으면 Qε(N)=εs 이고(s=Ps(Ω)=0.375), 분할 하한이
DKL(P∥Qε)≥slogε1+(1−s)log1−εs1−s
를 줍니다. ε→0 이면 첫 항이 끝없이 커집니다. 실제 값은 ε=10−2 에서 1.70, 10−4 에서 3.42, 10−6 에서 5.15로, 하한과 나란히 ε 이 열 배 작아질 때마다 slog10=0.86 씩 오릅니다. 둘째 질문의 답이 여기 있습니다. 로그의 inf 는 부동소수점의 사고가 아니라 정확한 값이고, 그 무한대가 얼마나 빨리 오는지를 정하는 것이 특이 부분의 질량 s 입니다.
곱측도의 가법성
셋째 성질은 독립인 부분의 KL이 더해진다는 것입니다. P=P1⊗P2, Q=Q1⊗Q2 이면
DKL(P1⊗P2∥Q1⊗Q2)=DKL(P1∥Q1)+DKL(P2∥Q2)
입니다. 둘 중 하나가 절대연속이 아니면, 예컨대 Q1(N)=0<P1(N) 이면 N×Ω2 가 곱측도에서 같은 일을 하므로 양쪽이 다 +∞ 입니다. 둘 다 절대연속이면 wi=dPi/dQi 로 두고 d(P1⊗P2)/d(Q1⊗Q2)=w1(x)w2(y) 임을 보입니다. 직사각형 A×B 에서 토넬리 정리로
이니 두 측도가 직사각형에서 같고, 직사각형이 곱 σ-대수를 생성하므로 「고급 3번」의 곱측도 유일성으로 모든 가측집합에서 같습니다. 그러면 log(w1w2)=logw1+logw2 이고, 두 항 모두 음수 부분이 적분 가능하므로 기댓값을 항별로 나눌 수 있어 등식이 섭니다. 같은 정책을 독립인 상황 n 개에서 견주면 KL이 n 배가 되는 이유이고, 오프폴리시 평가에서 궤적이 길어질수록 무게가 극단으로 치닫는 현상을 정보의 언어로 적은 것입니다.
지지집합의 어긋남
분모가 0인 사건
분포 Q 의 지지집합은 그 분포가 질량을 두는 가장 작은 닫힌집합입니다. 잘린 행동 정책의 지지집합은 [−1,1] 이고, 넓힌 평가 대상의 지지집합은 [−1.5,1.5] 입니다. 지지집합이 어긋난다는 말을 측도의 말로 옮기면 「Q 의 영집합에 P 가 질량을 둔다」, 곧 Ps=0 입니다.
중요도 비율 p/q 의 분모가 0이 되는 사건은 {q=0} 이고, 이것은 정의상 Q 의 영집합입니다. 그래서 행동 정책이 남긴 로그에서는 그 사건이 확률 1로 한 번도 일어나지 않습니다. 코드는 0으로 나누는 일을 만나지 않고, 경고도 내지 않습니다. 이론이 말하는 문제는 나눗셈이 아니라 그 사건에 P 가 준 질량입니다. 표본이 그 자리를 영영 방문하지 않으니 추정량이 그 몫을 통째로 빠뜨립니다. 정확히 말하면 무게를 w=dPac/dQ 로 두는 수밖에 없고, 측도 변환으로
EQ[wg]=∫gdPac=EP[g]−∫gdPs
로 모입니다. 넓힌 평가 대상에서 EP[a] 의 참값은 0.425인데 중요도 표집은 0.090으로 모입니다. 1.5 에 놓인 원자를 비롯해 오른쪽 꼬리가 통째로 빠졌기 때문입니다. 무게를 정규화하는 자기 정규화 추정량을 써도 EP[a∣−1<a<1]=0.144 로 모일 뿐 참값에 못 갑니다.
그나마 진단할 길은 있습니다. 위 식에 g=1 을 넣으면 EQ[w]=Pac(Ω)=1−Ps(Ω) 입니다. 무게의 평균이 1보다 뚜렷이 작으면 특이 부분이 있다는 뜻이고, 그 부족분이 바로 빠뜨린 질량입니다. 넓힌 예에서는 0.625로, 앞에서 그림으로 센 Pac 와 같습니다. 다만 첫째 질문의 팀처럼 무게 식 자체가 틀려도 평균이 1에서 벗어나므로, 이 진단은 「무언가 틀렸다」까지만 말해 줍니다.
LLM에서는 같은 일이 참조 모델의 디코딩 설정에서 생깁니다. 참조 분포를 top-p로 잘라 두면 어휘의 꼬리 토큰에 확률 0이 붙고, 정책이 그 토큰을 한 번이라도 낼 수 있으면 π≪πref 가 깨져 KL이 정확히 +∞ 입니다. 그 토큰을 정책에서 뽑아 KL을 추정하면 log(0) 이 바로 드러나지만, 참조 모델에서 뽑아 추정하면 위와 같이 조용히 빠집니다. 같은 사건이 어느 쪽에서 표본을 뽑느냐에 따라 눈에 보이기도 하고 안 보이기도 합니다.
GAN의 지지집합
절대연속이 아예 성립하지 않는 짝은 생성 모델에서 흔합니다. 이미지 데이터의 분포 P 는 픽셀 공간 전체가 아니라 훨씬 낮은 차원의 곡면 근처에 몰려 있다고 여겨집니다. 생성기 분포 Qθ 는 저차원 잡음 z 를 gθ(z) 로 옮긴 상이라 그 자체가 저차원 곡면 위에 있습니다. 고차원 공간에서 저차원 곡면 둘은 일반적으로 높은 차원의 측도로 0인 곳에서만 만나므로, 두 분포는 서로 특이하기 쉽습니다.
가장 작은 그림으로 봅니다. 평면에서 P 는 선분 {0}×[0,1] 위의 균등분포, Qθ 는 선분 {θ}×[0,1] 위의 균등분포입니다. θ=0 이면 두 선분이 안 만나니 P⊥Qθ 이고 양방향 KL이 모두 +∞ 입니다. 중급 30번의 JS 발산은 지지집합이 완전히 갈리면 상한 log2 에 닿습니다. 두 분포가 한 사건에 주는 확률의 차를 모든 사건에서 가장 크게 잰 전변동 거리supA∣P(A)−Q(A)∣ 는 N 하나에서 1−0=1 에 닿습니다. 세 값 모두 θ=0.01 이든 θ=1 이든 같으니 θ 로 미분하면 0입니다. 판별기가 진짜와 가짜를 완벽하게 가르는 순간 원래 GAN의 목적함수가 생성기에 아무 기울기도 주지 못하는 현상을 이 계산이 그대로 보여 줍니다.
f-발산과 바서슈타인 거리
KL, 역방향 KL, 전변동, JS는 한 틀의 다른 선택입니다. 볼록함수 f 가 f(1)=0 이면 P≪Q 일 때 f-발산을
Df(P∥Q)=∫f(dQdP)dQ
로 정의합니다. f(t)=tlogt 이면 KL, f(t)=∣t−1∣/2 이면 전변동입니다. 절대연속이 아닐 때는 특이 부분의 질량에 limt→∞f(t)/t 를 곱해 더하는 것으로 확장하는데, KL은 이 극한이 +∞ 라 위에서 본 대로 무한대가 되고 전변동은 1/2이라 유한하게 남습니다. 어느 f-발산이 지지집합의 어긋남에 유한한 값을 주는지가 이 극한 하나로 갈립니다. 이 틀과 그 변분 표현이 GAN·MINE·InfoNCE를 한 줄로 묶는 이야기는 「고급 A6 · f-발산과 변분 표현」이 맡습니다.
그런데 f-발산은 유한하게 남더라도 위 그림처럼 θ 와 무관한 상수가 됩니다. 모두 dP/dQ 위에서 정의되므로, 두 분포가 「어디에」 있는지는 보지 않고 「같은 곳에 얼마나 겹치는지」만 보기 때문입니다. 지지집합이 갈린 두 분포를 견주려면 비가 아니라 거리를 써야 합니다. 질량을 옮기는 최소 비용으로 정의하는 바서슈타인 거리는 위 예에서 W1(P,Qθ)=∣θ∣ 로, 넷 가운데 유일하게 θ 에 따라 움직입니다. 정의와 쌍대 표현은 「고급 A7 · 최적수송: 몽주–칸토로비치 쌍대성과 브레니에 정리」에서 세웁니다.
다시 잘린 행동으로
세 질문
첫머리의 가정 줄을 이제 한 마디씩 읽을 수 있습니다. π≪μ 는 행동 정책이 0을 주는 사건에 목표 정책도 0을 준다는 것이고, 그것이 성립해야 라돈–니코딤 정리가 무게 w=dπ/dμ 를 점마다 정해 줍니다. 무게는 하나의 함수가 아니라 μ-거의 어디서나 같은 함수들의 묶음이라, 행동 정책이 안 가는 곳의 값은 아무 뜻이 없습니다. 그리고 KL<∞ 는 그다음 단계의 조건으로, 무게가 너무 자주 극단으로 가지 않는다는 요구입니다.
첫째 질문의 답은 「틀렸다」입니다. 잘린 두 분포는 르베그 측도에 대해 밀도가 없으므로 pdf를 나눈 값은 도함수가 아닙니다. 기준 측도에 끝점의 디랙 측도를 더해 밀도를 다시 적으면 안쪽은 pdf의 비, 끝점은 질량의 비 1.944와 0.421이고, 이것만이 무게의 평균을 1로 맞춥니다. 둘째 질문의 답은 「정확한 값이다」입니다. 넓힌 정책은 행동 정책의 영집합에 0.375를 두므로 절대연속이 아니고, 분할 하한이 KL을 +∞ 로 강제합니다. 그 상황의 중요도 표집은 Pac 의 몫 0.625만 보고, 무게의 평균이 그 수를 알려 줍니다. 셋째 질문은 방향만 답할 수 있습니다. 행동 정책을 넓히거나 섞어 덮게 만들거나, 비 대신 거리를 쓰는 비교로 가야 합니다.
코드로 확인하기
행동 정책에서 백만 표본을 뽑아 두 무게를 견주고, KL과 넓힌 정책의 진단을 함께 찍습니다.
import numpy as npfrom scipy.stats import normrng = np.random.default_rng(0)N = 1_000_000a = np.clip(rng.normal(0.0, 1.0, N), -1, 1) # 행동 정책 Q 의 표본def w_rn(a, lo=-1, hi=1): """dP/dQ, P = clip(N(0.5,1), lo, hi), Q = clip(N(0,1), -1, 1)""" w = norm.pdf(a, 0.5) / norm.pdf(a) # 안쪽: 르베그 밀도의 비 if lo == -1 and hi == 1: # 같은 자리의 원자: 질량의 비 w = np.where(a == 1, norm.sf(0.5) / norm.sf(1), w) w = np.where(a == -1, norm.cdf(-1.5) / norm.cdf(-1), w) else: # P 는 ±1 에 원자가 없다 w = np.where(np.abs(a) == 1, 0.0, w) return ww_naive = norm.pdf(a, 0.5) / norm.pdf(a) # pdf 를 그대로 나눈 무게w = w_rn(a)print((np.abs(a) == 1).mean()) # 0.3177 ← 표본의 32% 가 원자에 있다print(w_naive.mean(), w.mean()) # 0.9408... 1.0007...print((w_naive * a).mean(), (w * a).mean()) # 0.2367... 0.3327...p_samples = np.clip(rng.normal(0.5, 1.0, N), -1, 1)print(p_samples.mean()) # 0.3323... ← P 에서 직접 뽑은 값print(np.mean(w * np.log(w))) # 0.1150... ← KL(P‖Q) = E_Q[w log w], 참값 0.1142w_wide = w_rn(a, -1.5, 1.5) # P 의 범위를 [-1.5, 1.5] 로 넓히면print(w_wide.mean()) # 0.6244... ← 1 이 아니다: 특이 부분 0.375 가 빠졌다print((w_wide * a).mean()) # 0.0900... ← 참값 0.4252 와 멀다
pdf를 그대로 나눈 무게는 평균이 0.94에 머물고 평균 행동을 0.237로 내놓습니다. 끝점을 질량의 비로 바꾼 무게는 평균이 1이고 평균 행동이 0.333으로, 새 정책에서 직접 뽑은 0.332와 표본 잡음 안에서 맞습니다. KL은 EQ[wlogw] 로 0.115가 나와 적분으로 계산한 0.114와 맞고, 자르기 전 두 정규분포의 0.125보다 작습니다. 넓힌 정책에서는 무게의 평균 0.624가 르베그 분해로 센 Pac 0.625를 그대로 보여 주고, 추정한 평균 행동 0.090은 참값 0.425에서 멀리 떨어져 있습니다. 표본을 백만에서 일억으로 늘려도 이 간격은 줄지 않습니다.
연습
행동 정책이 clip(N(0,1),[−2,2]), 목표 정책이 clip(N(1,1),[−2,2]) 입니다. a=2 에 찍힌 표본의 무게 dP/dQ(2) 를 구하고, 안쪽 pdf의 비를 그 자리에 그대로 쓴 값과 견주세요. 표준정규의 위 꼬리 넓이는 P(Z≥1)=0.1587, P(Z≥2)=0.02275 를 쓰세요.
P({2})=P(Z≥1)=0.1587, Q({2})=P(Z≥2)=0.02275 라 무게는 6.97입니다. 안쪽 식 φ(a−1)/φ(a)=ea−0.5 를 a=2 에 쓰면 e1.5=4.48 로, 끝점의 무게를 0.64배로 깎습니다.
세 칸 위의 P=(0.5,0.5,0) 과 Q=(0.25,0.25,0.5) 에서 P≪Q 와 Q≪P 가 각각 성립하는지 판정하고, dP/dQ 와 두 방향의 KL을 내트로 구하세요.
Q 는 0을 주는 칸이 없어 P≪Q 이고, dP/dQ=(2,2,0) 입니다. DKL(P∥Q)=0.5log2+0.5log2=log2=0.693 입니다. 셋째 칸은 P 의 영집합인데 Q 가 0.5를 주므로 Q≪P 가 아니고 DKL(Q∥P)=+∞ 입니다. 확인으로 EQ[dP/dQ]=0.25⋅2+0.25⋅2+0=1 입니다.
P=U[0,2], Q=U[0,1] 일 때 P 의 Q 에 대한 르베그 분해를 적고, 두 방향의 KL을 구하세요.
Pac 는 P 를 [0,1] 로 좁힌 것으로 Q 의 절반이라 dPac/dQ=1/2 이고, Ps 는 (1,2] 위의 질량 1/2입니다. 특이 부분이 있으므로 DKL(P∥Q)=+∞ 입니다. 반대로 Q≪P 이고 dQ/dP=2 ([0,1] 위), 0 ((1,2] 위)이라 DKL(Q∥P)=EQ[log2]=log2 입니다.
절대연속이 아닐 수도 있는 두 확률측도에서, 무게를 w=dPac/dQ 로 둘 때 EQ[w]≤1 이고 등호가 P≪Q 와 같은 조건임을 보이세요.
측도 변환으로 EQ[w]=Pac(Ω)=1−Ps(Ω)≤1 입니다. 등호는 Ps(Ω)=0, 곧 Ps=0 일 때이고, 르베그 분해의 유일성으로 이것은 P=Pac≪Q 와 같습니다.
행동 하나는 분산이 1인 정규분포이고 다른 하나는 두 칸짜리 범주입니다. 목표 정책이 N(0.3,1)⊗(0.5,0.5), 행동 정책이 N(0,1)⊗(0.25,0.75) 일 때 KL을 내트로 구하세요.
곱측도의 가법성으로 두 KL을 더합니다. 정규 부분은 0.32/2=0.045 이고, 범주 부분은 0.5log2+0.5log(2/3)=0.347−0.203=0.144 입니다. 합은 0.189입니다.
이 글이 세운 것은 결국 한 기호를 읽는 법입니다. dP/dQ 는 절대연속일 때만 존재하고, Q 의 영집합에서는 값이 없으며, 같은 기준 측도로 잰 두 밀도의 비로 계산합니다. 오프폴리시 평가의 무게, PPO와 DPO의 π/πref, KL의 정의, f-발산의 정의가 전부 이 기호 하나를 돌려씁니다. 표류항을 바꾼 확산 과정의 경로 분포 사이에서 같은 도함수를 계산하는 기르사노프 정리가 「고급 A7 · 기르사노프 정리와 경로 측도」에서 이 기호를 연속시간으로 옮깁니다. 다음 글 「고급 5번 · 조건부 기댓값은 사영이다, 그리고 마팅게일」은 조건부 기댓값을 정의하는데, 그것이 존재한다는 것을 보이는 길 하나가 바로 라돈–니코딤 정리입니다. 이 글에서 미뤄 둔 데이터 처리 부등식도 그 언어로 닫힙니다.
갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.