확산 모델의 손실은 잡음의 MSE 한 줄인데 왜 그것이 분포를 배우는 일이 될까요. 스코어 함수의 정의와 정규화 상수가 미분에서 사라지는 성질, 가우시안 스코어가 −(x−μ)/σ²라는 계산, 그리고 ε 예측과 스코어가 상수배로 이어진다는 denoising score matching의 유도를 수치로 확인합니다.
PALDYN Team//42 MIN READ
61MATH
중급
확산 모델 · 스코어
확산 모델의 손실은 한 줄입니다.
loss = F.mse_loss(model(x_t, t), noise)
모델이 하는 일은 "이 흐릿한 이미지에 섞인 잡음이 무엇이었나"를 맞히는 것뿐입니다. 그런데 학습이 끝나면 이 모델로 새 이미지를 만들어 냅니다. 잡음 맞히기 연습이 어떻게 이미지의 분포를 배우는 일이 되는지가 처음에는 전혀 안 보입니다.
같은 시기에 나온 다른 계보의 모델은 아예 다른 것을 학습한다고 말했습니다. 데이터 분포의 로그밀도의 기울기 ∇xlogp(x) 를 맞히고, 그 기울기를 따라 올라가며 표본을 만든다는 것이었습니다. 그런데 두 계보의 코드를 나란히 놓으면 손실이 상수배만큼만 다릅니다.
이 글은 그 상수배를 유도합니다. 지난 글이 손실의 뼈대를 세웠다면, 여기서는 그 뼈대에서 나온 목적식의 정체가 무엇인지를 봅니다. U-Net 구조와 DDPM 구현은 확산 모델의 기초가 다루고, 이 글은 목적식만 맡습니다.
스코어
1차원 봉우리
스코어 함수(score function)는 로그밀도를 데이터에 대해 미분한 것입니다.
s(x)=∇xlogp(x)
값의 뜻은 그래디언트 그대로입니다 — 그 자리에서 밀도가 가장 빠르게 커지는 방향과 그 가파름입니다.
봉우리에서는 화살표가 0이고, 꼬리에서는 안쪽을 가리키며 길어집니다. 이 화살표장만 알면 어디서 출발하든 밀도가 높은 쪽으로 따라 올라갈 수 있습니다. 표본을 만드는 일이 결국 그것이라, 밀도 자체가 없어도 생성이 됩니다.
1차원에서는 부호와 크기 둘뿐이라 읽기가 쉽습니다. 봉우리 왼쪽이면 양수(오른쪽으로 밀림), 오른쪽이면 음수(왼쪽으로 밀림), 꼭대기에서 0입니다. 밀도의 기울기가 아니라 로그밀도의 기울기라는 점만 조심하면 됩니다 — 로그를 씌우면 꼬리 쪽에서 값이 눌리지 않아, 밀도가 거의 0인 자리에서도 화살표가 살아 있습니다. 생성이 아무 데서나 출발해도 되는 것이 이 성질 덕입니다.
두 봉우리의 화살표장
봉우리가 둘이면 화살표장이 골짜기를 경계로 갈립니다. 왼쪽 영역의 점은 왼쪽 봉우리로, 오른쪽 영역의 점은 오른쪽 봉우리로 밀립니다. 두 봉우리가 대칭이면 정확한 가운데에서 양쪽 힘이 상쇄되어 화살표가 0이 되는데, 이것은 봉우리가 아니라 골짜기의 바닥입니다.
스코어가 0인 자리가 봉우리와 골짜기를 구별하지 못한다는 것은 나중에 표본을 만들 때 실제로 문제가 됩니다 — 뒤에서 랑주뱅 갱신을 세울 때 이 자리로 다시 옵니다.
통계학의 스코어
이름이 같아 헷갈리는 자리가 하나 있습니다. 통계학에서 스코어라 하면 보통 로그가능도를 파라미터로 미분한 ∇θlogpθ(x) 를 가리킵니다. 최대가능도 추정에서 이 값이 0이 되는 θ 를 찾고, 그 분산이 피셔 정보량입니다.
생성 모델에서 쓰는 것은 데이터 x 로 미분한 쪽입니다. 미분하는 변수가 다르니 뜻도 다릅니다 — 파라미터 미분은 "모수를 어느 쪽으로 옮기면 이 표본이 더 그럴듯해지나"이고, 데이터 미분은 "이 자리에서 어느 쪽으로 옮기면 더 그럴듯한 표본이 되나"입니다. 이 글에서 스코어라고 하면 언제나 뒤쪽입니다.
정규화 상수
고차원 적분
스코어를 쓰는 결정적인 이유는 따로 있습니다. 밀도를 신경망으로 모형화하려면 넓이가 1이어야 한다는 제약을 지켜야 합니다. 보통 이렇게 씁니다.
pθ(x)=Zθp~θ(x),Zθ=∫p~θ(x)dx
p~θ 는 넓이를 신경 쓰지 않고 아무렇게나 만든 양수 함수이고, Zθ 는 그것을 1로 맞추는 정규화 상수입니다. 그런데 x 가 이미지면 이 적분은 픽셀 수만큼의 차원에서 도는 적분이라 계산할 방법이 없습니다. 밀도를 직접 다루는 모형이 어려운 이유가 이것입니다.
세 값이 같습니다. 마지막 값은 정규분포의 스코어 공식인데, 지수부만 미분하면 바로 나옵니다.
logp(x)=−2σ2(x−μ)2+상수⟹∇xlogp(x)=−σ2x−μ
정규분포의 스코어는 평균으로 되돌아가는 벡터이고, 크기는 분산에 반비례합니다. 이 한 줄이 뒤에서 전부를 결정합니다.
밀도값의 상실
공짜는 아닙니다. Zθ 를 안 구하고 넘어간 대가는 밀도값 자체를 영영 모른다는 것입니다. 스코어는 기울기라, 적분해서 logp~ 까지는 복원해도 거기서 logZ 만큼의 차이는 끝내 남습니다.
그래서 되는 일과 안 되는 일이 갈립니다.
하고 싶은 것
스코어만으로 되는가
표본 만들기
된다 — 화살표만 있으면 된다
두 표본 중 어느 쪽이 더 그럴듯한지 비교
안 된다 — logp 값이 없다
가능도·bits-per-dim 같은 지표 보고
안 된다 — 상수만큼 어긋난다
이상탐지처럼 "이 표본의 가능도가 얼마인가"를 수로 답해야 하는 일이 특히 걸립니다. 되찾으려면 스코어장을 시간축으로 적분하는 확률흐름 ODE를 따로 풀어야 하고, 그것이 다음 글의 주제 중 하나입니다. 생성만 할 것이라면 치를 필요 없는 값이라, 확산 모델은 기꺼이 이 대가를 냅니다.
디노이징 스코어 매칭
스코어 매칭 목표
목표는 신경망 sθ(x) 가 데이터 분포의 스코어를 맞히게 하는 것입니다. 자연스러운 손실은 이것입니다.
J(θ)=Ex∼pdata[sθ(x)−∇xlogpdata(x)2]
그런데 이 식은 쓸 수 없습니다. 정답인 ∇xlogpdata 를 모르기 때문입니다. 그것을 알면 애초에 학습할 이유가 없습니다.
히베리넨(Hyvärinen)이 2005년에 낸 첫 답은 제곱을 풀어 정답이 든 항을 따로 보는 것이었습니다. 펼치면 ∥sθ∥2, 교차항 −2sθ⋅∇logpdata, 그리고 ∥∇logpdata∥2 셋이 나오고, 마지막 항은 θ 와 무관해 최소화에서 상수로 빠집니다. 남는 것은 교차항입니다. 기대값을 적분으로 적으면 p∇logp=∇p 라 로그가 지워지고, 곱의 미분 공식을 거꾸로 써서 미분을 한 함수에서 다른 함수로 넘기는 부분적분을 할 수 있습니다. 밀도가 먼 곳에서 0으로 가면 경계항이 사라집니다.
Ep[sθ⋅∇logp]=∫sθ⋅∇pdx=−∫(∇⋅sθ)pdx=−Ep[∇⋅sθ]
여기서 ∇⋅sθ=∑i∂sθ,i/∂xi 는 sθ 의 i 번째 성분을 i 번째 좌표로 미분한 값을 모두 더한 것이고, 이 합을 발산이라고 부릅니다. 세 항을 다시 모으면 다음과 같습니다.
J(θ)=2Epdata[21∥sθ(x)∥2+∇⋅sθ(x)]+상수
정답 스코어가 한 번도 안 나오고, 데이터 표본만 있으면 평균을 낼 수 있습니다. 이것이 암묵적 스코어 매칭(implicit score matching)입니다.
대가는 발산 항의 비용입니다. 21∥sθ∥2 는 신경망을 한 번 돌리면 나오지만, 발산은 성분마다 그 성분을 제 좌표로 미분해야 해서 역전파를 차원 수만큼 돌려야 합니다. 64×64 컬러 이미지면 12,288번입니다. 그 비용을 한 번으로 줄이는 것이 슬라이스드 스코어 매칭(sliced score matching)입니다. 무작위 방향 u 를 하나 뽑아 sθ 를 그 방향으로만 투영해 미분하면, u 를 표준정규처럼 공분산이 단위행렬인 분포에서 뽑는 한 그 값의 평균이 발산과 같아집니다. 평균이 참값과 맞는 이런 추정치를 불편 추정치라 하는데, 한 번의 미분으로 그것을 얻는 대신 추정의 흔들림이 생기고, 차원이 크면 여전히 무겁습니다. 확산 모델은 아예 다른 길로 갔습니다.
조건부 스코어
그 다른 길이 디노이징 스코어 매칭(denoising score matching)입니다. 아이디어는 이렇습니다 — 데이터의 스코어는 모르지만, 데이터에 우리가 직접 섞은 가우시안 잡음의 스코어는 정확히 압니다. 앞 절의 한 줄이 그것입니다.
x0 를 고정하면 이것은 평균 αˉtx0, 분산 1−αˉt 인 정규분포이므로 스코어가 공식으로 나옵니다.
∇xtlogq(xt∣x0)=−1−αˉtxt−αˉtx0
그리고 분자는 정의상 1−αˉtε 입니다. 대입하면
∇xtlogq(xt∣x0)=−1−αˉtε
우리가 섞은 그 잡음이, 부호를 뒤집고 상수로 나눈 것이 곧 조건부 스코어입니다. 잡음은 우리가 뽑아서 알고 있으니 정답이 손에 있습니다.
잡음을 섞는 데는 이유가 하나 더 있습니다. 실제 이미지는 픽셀 공간 전체에 고르게 퍼져 있지 않고 훨씬 낮은 차원의 매끄러운 면 근처에만 몰려 있습니다. 고차원 공간 안에 놓인 이런 저차원의 휘어진 면을 다양체(manifold)라고 합니다. 데이터가 다양체 위에만 있으면 그 밖에서는 밀도가 0이라 로그를 취할 수 없고, 스코어가 아예 정의되지 않습니다. 정의된다 해도 학습 표본이 그 밖에 한 번도 떨어지지 않으니 신경망은 그쪽에 대해 아무 신호도 못 받습니다. 그런데 생성은 바로 그 밖, 아무 데서나 출발합니다.
가우시안 잡음을 섞으면 q(xt) 가 공간 전체에서 양수가 됩니다. 스코어가 어디서나 정의되고, 다양체에서 멀리 떨어진 점에서도 화살표가 다양체 쪽을 가리키며 끊김 없이 이어집니다. 잡음이 크면 화살표장이 넓게 닿고 잡음이 작으면 다양체 가까이에서 정밀해지므로, 확산 모델이 잡음 크기를 여러 단계로 두는 것도 이 때문입니다.
주변 스코어
그런데 방금 얻은 것은 x0 를 아는 상태의 스코어입니다. 우리가 원하는 것은 x0 를 모르는 상태, 즉 잡음 낀 데이터 전체의 분포 q(xt) 의 스코어입니다. 둘은 다른 값입니다.
다리를 놓는 것은 MSE의 성질 하나입니다. 어떤 함수 f 로
E[∥f(xt)−Y∥2]
를 최소화하면 답은 언제나 조건부 평균f⋆(xt)=E[Y∣xt] 입니다. 회귀가 하는 일이 원래 그것입니다.
여기에 Y=−ε/1−αˉt 를 넣습니다. 그러면 학습이 수렴한 신경망은
sθ(xt)⟶E[−1−αˉtεxt]
가 되고, 디노이징 스코어 매칭 정리는 이 조건부 평균이 정확히 ∇xtlogq(xt) 라고 말합니다.
말로 하면 이렇습니다. 같은 xt 자리에는 서로 다른 x0 에서 서로 다른 잡음을 타고 온 표본들이 섞여 있습니다. 그중 하나만 보면 그 잡음은 주변 분포의 스코어와 전혀 다른 값입니다. 그런데 그 자리에 모인 것들을 평균하면 개별 사연이 지워지고 주변 분포의 기울기만 남습니다.
수치 확인
직접 재 보면 보입니다. x0 가 −2 또는 +2 인 데이터에 αˉ=0.6 만큼 잡음을 섞고, 같은 xt 자리에 모인 표본들의 −ε/1−αˉ 를 평균했습니다.
xt = np.sqrt(ab)*x0s + np.sqrt(1-ab)*np.random.randn(n) # x0s 는 −2 또는 +2target = -(xt - np.sqrt(ab)*x0s) / (1 - ab) # = −eps / sqrt(1−ab)for xq in [-2.0, -0.5, 0.0, 0.8, 2.0]: m = np.abs(xt - xq) < 0.02 # 그 자리에 모인 표본만 print(f"x_t={xq:>5} 표본평균 {target[m].mean():8.4f} 해석적 {qscore(xq):8.4f}")
봉우리 자리(xt=±2 근처)에서는 안쪽으로 되돌리는 값이 나오고, 두 봉우리 사이 골짜기(xt=−0.5)에서는 가까운 봉우리 쪽으로 강하게 밀어냅니다. xt=0 은 두 봉우리의 정확한 가운데라 힘이 상쇄되어 0입니다. 400만 표본으로 잰 값이 해석적 스코어와 소수 둘째 자리까지 맞습니다.
세 예측 목표의 동치
ε 예측과 손실 가중치
이제 처음의 손실 한 줄로 돌아갑니다.
L=E[∥εθ(xt,t)−ε∥2]
εθ 가 ε 을 맞히도록 학습하는데, 방금 본 것은 −ε/1−αˉt 가 스코어라는 사실이었습니다. t 가 정해지면 1−αˉt 는 그냥 숫자이므로
sθ(xt,t)=−1−αˉtεθ(xt,t)
로 서로 옮겨 갈 수 있습니다. 두 손실은 t 마다 상수를 곱한 것만 다르고, 최적해는 같은 함수입니다.
상수배는 손실 안에서 가중치가 됩니다. 두 손실을 나란히 놓으면 ∥sθ−s∥2=∥εθ−ε∥2/(1−αˉt) 라서
∥εθ−ε∥2=λ(t)∥sθ−s∥2,λ(t)=1−αˉt
입니다. ε 손실을 그대로 평균하는 것은 스코어 손실에 λ(t) 라는 가중치를 붙여 평균하는 것과 같습니다. t 가 0에 가까우면 λ 도 0에 가깝습니다. 잡음이 거의 없는 자리의 정답 스코어는 크기가 1/1−αˉt 로 커서 그대로 두면 손실을 혼자 차지하는데, λ 가 그것을 눌러 t 마다 손실의 크기를 고르게 맞춥니다. 어느 t 에 학습의 노력이 몰리는지를 이 곡선 하나로 읽을 수 있고, 가중치를 바꾸는 논문들이 실제로 고치는 것도 이 곡선입니다.
오른쪽 식에 sθ 대신 참 스코어 ∇logq(xt) 를 넣은 값은 근사가 아니라 정확히 조건부 평균 E[x0∣xt] 이고, 이 등식을 Tweedie 공식이라고 합니다. 읽는 법은 단순합니다. 잡음 낀 점을 스코어 방향으로 1−αˉt 만큼 밀고 αˉt 로 나눠 원래 크기로 되돌리면, 그 자리에 올 수 있었던 원본들의 평균이 나옵니다. 앞 절에서 본 대로 MSE로 x0 를 맞히면 조건부 평균으로 가므로, x0 를 예측하는 신경망은 이 공식을 통째로 배우는 셈입니다.
논문마다 ε 예측, x0 예측, v 예측을 고르는 것은 다른 것을 배우는 것이 아니라, 앞 소절의 λ(t) 처럼 손실에 t 마다 어떤 가중치를 붙일지를 고르는 것입니다. 그 가중치가 학습 초반의 안정성과 어느 t 에 노력이 몰리는지를 바꿉니다.
v-예측
방금 이름만 대고 지나간 네 번째 옷을 적어 둡니다. v-예측은 다음 양을 맞히는 방식입니다.
v=αˉtε−1−αˉtx0
ε 과 x0 를 같은 계수로 섞되 부호를 엇갈리게 둔 것입니다. xt=αˉtx0+1−αˉtε 과 나란히 놓으면 계수 행렬이 회전행렬 꼴이라, xt 와 v 를 알면 x0 와 ε 이 되돌려집니다.
x0=αˉtxt−1−αˉtv,ε=1−αˉtxt+αˉtv
굳이 이 옷을 입히는 이유는 t 의 양 끝에서 안정적이기 때문입니다. t 가 0에 가까우면 αˉt≈1 이라 xt 가 거의 x0 이고, x0 예측은 입력을 그대로 베끼면 되는 시시한 문제가 됩니다. 반대로 t 가 T 에 가까우면 αˉt≈0 이라 xt 가 거의 잡음이고, 이번에는 ε 예측이 베끼기가 됩니다. 한쪽이 시시해지는 구간에서 다른 쪽은 1/αˉt 같은 큰 수로 나뉘어 손실이 폭발합니다.
v 는 두 항을 αˉt 와 1−αˉt 로 섞어 두어 어느 끝에서도 한쪽 항만 남지 않습니다. 계수 제곱합이 1이라 크기도 일정하게 유지됩니다. 증류로 스텝 수를 크게 줄이는 방법들이 v 를 쓰는 것이 이 때문입니다.
랑주뱅 표집
랑주뱅 갱신
여기까지 "화살표장만 있으면 따라 올라가면 된다"고만 하고 방법을 안 줬습니다. 실제 갱신식은 한 줄입니다.
x←x+ϵs(x)+2ϵz,z∼N(0,I)
이것을 랑주뱅 동역학(Langevin dynamics)이라고 합니다. 스코어 방향으로 ϵ 만큼 한 걸음 가고, 거기에 2ϵ 배로 키운 가우시안 잡음을 한 번 더 얹는 것이 전부입니다. ϵ 이 충분히 작고 걸음이 충분히 많으면 이 반복이 만들어 내는 점들의 분포가 p 자체로 수렴합니다. 밀도값은 한 번도 안 쓰고 화살표만 씁니다.
잡음 항의 역할
2ϵz 를 빼면 남는 것은 로그밀도에 대한 경사상승법입니다. 그러면 어디로 가는지는 정해져 있습니다 — 출발점에서 가장 가까운 봉우리로 올라가 멈춥니다.
이것은 표본이 아니라 최빈값입니다. 사람 얼굴을 학습했다면 매번 "가장 평균적인 얼굴" 한 장만 나오고, 봉우리가 둘인 데이터에서는 출발점이 어느 쪽 골짜기에 떨어졌는지가 결과를 다 정합니다. 앞에서 스코어가 0인 자리가 봉우리와 골짜기를 구별 못 한다고 했는데, 잡음이 없으면 골짜기 바닥에 정확히 놓인 점은 영영 거기 머무르기까지 합니다.
잡음 항은 그 두 가지를 한꺼번에 고칩니다. 봉우리에서도 계속 흔들리므로 한 점에 고이지 않고, 이따금 골짜기를 넘어 다른 봉우리로 건너갑니다. 얼마나 자주 건너가는지가 봉우리마다 가진 확률의 비율과 맞아떨어지는 것이 이 갱신식의 요점입니다 — 2ϵ 라는 계수가 정확히 그 비율을 맞추는 값입니다.
풀어 쓰면, 오래 돌린 갱신이 각 봉우리 근처에 머무는 시간의 비가 그 봉우리가 가진 확률의 비와 같아집니다. 잡음 계수를 2ϵτ 로 바꿔 τ 를 1보다 크게 하면 수렴하는 분포가 p 가 아니라 p1/τ 에 비례하는 분포가 되어, 봉우리가 눌리고 골짜기가 올라와 평평해집니다. τ 를 1보다 작게 하면 반대로 봉우리가 뾰족해져 최빈값 쪽으로 쏠리고, τ=0 이 바로 앞의 경사상승법입니다. 계수의 2 는 τ=1, 곧 원래 분포를 고르는 값입니다.
이산화 편향
앞에서 "ϵ 이 충분히 작고"라는 단서를 달았습니다. 랑주뱅 갱신은 원래 시간이 연속으로 흐르는 방정식이고, 그것을 ϵ 간격의 걸음으로 끊어 근사한 것입니다. 이렇게 끊는 일을 이산화라고 합니다. 단서를 어기면 무엇이 어긋나는지는 가장 단순한 경우로 잴 수 있습니다.
p 가 표준정규분포면 스코어가 −x 라 갱신이 x←(1−ϵ)x+2ϵz 가 됩니다. 수렴한 분포의 분산을 σ∞2 이라 하면 한 걸음 뒤에도 같아야 하므로
σ∞2=(1−ϵ)2σ∞2+2ϵ⟹σ∞2=1−ϵ/21
입니다. ϵ=0.1 이면 1.0526으로 목표인 1보다 5% 넓고, ϵ=0.5 면 1.333입니다. 200만 걸음을 직접 돌려 잰 분산도 1.051이었습니다. ϵ 이 0이 아닌 한 갱신이 수렴하는 곳은 p 가 아니라 p 에서 조금 빗나간 분포이고, 이 어긋남을 이산화 편향이라고 합니다.
지우는 방법이 따로 있습니다. 갱신으로 후보점을 하나 만든 뒤 바로 옮겨 가지 않고, 지금 점과 후보점의 밀도 비, 그리고 두 방향으로 옮겨 갈 확률의 비를 견줘 받아들이거나 제자리에 머무는 것입니다. 이 판정을 메트로폴리스 보정이라 하고, 랑주뱅 갱신에 붙인 것을 MALA(Metropolis-adjusted Langevin algorithm)라고 합니다. 다만 판정에는 밀도의 비가 필요합니다. 비라서 Z 는 약분되지만 p~ 값 자체는 있어야 하고, 스코어만 학습한 신경망은 그것을 내놓지 않습니다. 그래서 확산 모델은 보정 대신 ϵ 을 줄이고 걸음을 늘리는 쪽을 택합니다.
역과정과 잡음 스케줄
실제 확산 모델의 역과정은 이 갱신을 그대로 쓰지 않고, t 를 T 에서 0으로 내리면서 잡음 크기를 스케줄에 따라 줄여 가며 돕니다. 처음에는 큰 잡음으로 넓게 훑어 어느 봉우리로 갈지 정하고, 뒤로 갈수록 잡음을 줄여 그 봉우리 안에서 세부를 맞추는 식입니다. 잡음이 처음부터 작으면 가까운 봉우리에 갇히고, 끝까지 크면 세부가 안 잡힙니다.
앞의 이산화 편향이 역과정에서도 그대로 생깁니다. 걸음 하나하나가 연속 시간의 방정식을 이산화한 것이라, ϵ 을 얼마로 두는지와 몇 걸음에 나눠 걷는지가 곧 품질이 됩니다. 다음 글이 그 자리를 맡습니다.
처음의 질문에는 이제 답이 됩니다. 잡음 맞히기가 분포를 배우는 일인 이유는, 맞힌 잡음이 그 자리에서 밀도가 높아지는 방향을 가리키는 화살표와 상수배 관계이기 때문입니다.
연습 문제
답은 문항을 눌러 펼칩니다. 연습 2는 αˉt=0.36 이라 αˉt=0.6, 1−αˉt=0.8 인 자리에서 풉니다.
연습 1 — 스코어를 정의에서 구하기
μ=−1, σ=3 인 정규분포의 로그밀도를 x 로 미분해 스코어를 구하고, x=2 에서의 값을 적으세요.
logp(x)=−log(2πσ)−18(x+1)2 이고 앞항은 x 와 무관하므로 s(x)=−9x+1 입니다. x=2 에서 −93=−0.333 이라, 평균 −1 쪽인 왼쪽으로 밀립니다.
세 함수 p~1=e−x2/2, p~2=5e−x2/2, p~3=0.01e−x2/2 의 스코어를 각각 구해 비교하세요.
logp~i=logci−2x2 이고 logci 는 x 와 무관하므로 셋 다 −x 로 같습니다. 상수배는 로그에서 덧셈 상수가 되고 미분에서 지워집니다 — 정규화 상수가 사라지는 것과 정확히 같은 이유입니다.
연습 2 — 세 예측을 서로 옮겨 적기
xt=1.0 에서 신경망이 εθ=0.5 를 내놓았습니다. 같은 자리의 sθ 는 얼마인가요.
이번에는 sθ=−1.25 가 주어졌습니다. 대응하는 εθ 와 x^0 를 구하고, x^0 를 두 공식으로 각각 구해 값이 같은지 확인하세요.
εθ=−sθ1−αˉt=1.25×0.8=1.0 입니다. 스코어 쪽 공식으로는 x^0=0.61+0.64×(−1.25)=0.60.2=0.333 이고, ε 쪽 공식으로는 0.61−0.8×1.0=0.60.2=0.333 으로 같습니다. 두 공식이 같은 함수의 다른 옷이라는 것이 이렇게 확인됩니다.
이번에는 데이터가 x0∼N(0,1) 이고, 같은 αˉt 에서 xt=1.5 를 관측했습니다. 주변 분포 q(xt) 의 스코어를 구해 Tweedie 공식으로 E[x0∣xt] 를 계산하고, 두 정규변수의 조건부 평균 공식 E[x0∣xt]=Var(xt)Cov(x0,xt)xt 로 구한 값과 견주세요.
xt 의 분산은 0.36×1+0.64=1 이라 q(xt)=N(0,1) 이고 스코어는 −xt=−1.5 입니다. Tweedie 공식으로 0.61.5+0.64×(−1.5)=0.60.54=0.9 입니다. 한편 Cov(x0,xt)=αˉtVar(x0)=0.6 이라 10.6×1.5=0.9 로 같습니다. 참 스코어를 넣으면 근사가 아니라 정확한 값이 나온다는 것이 세 번째 길로 확인됩니다.
연습 3 — MSE의 최소해와 부분적분
E[(f(x)−Y)2] 를 최소로 하는 f 가 f(x)=E[Y∣x] 임을 보이세요. (자리마다 따로 최소화해도 된다는 것부터 씁니다.)
기대값을 x 로 먼저 쪼개면 Ex[E[(f(x)−Y)2∣x]] 이고, 안쪽 값은 자리 x 마다 따로 정해지므로 각 자리에서 따로 최소화하면 전체가 최소가 됩니다. 그 자리에서 f(x) 는 상수 c 이므로 E[(c−Y)2∣x] 를 c 로 미분해 2(c−E[Y∣x])=0, 즉 c=E[Y∣x] 입니다. 두 번 미분하면 2로 양수라 최소가 맞습니다. 본문에서 학습이 수렴한 신경망이 조건부 평균으로 간다고 한 근거가 이 세 줄입니다.
p=N(0,1), sθ(x)=x3 일 때 Ep[sθ∇logp] 와 −Ep[∇⋅sθ] 를 각각 계산해 같은지 확인하세요. 1차원이라 발산은 도함수 하나입니다.
∇logp=−x 이므로 왼쪽은 −E[x4]=−3 입니다(표준정규의 4차 적률이 3). 오른쪽은 −E[3x2]=−3 으로 같습니다. 부분적분으로 쓰면 ∫x3p′dx=[x3p]−∞∞−∫3x2pdx 이고, p 가 x3 보다 훨씬 빨리 줄어 경계항이 0입니다. 400만 표본으로 두 평균을 재면 −3.003 과 −2.999 입니다.
연습 4 — 두 봉우리 스코어의 영점
밀도 p(x)=21N(x;−1.5,1)+21N(x;1.5,1) 의 스코어를 tanh 가 든 한 줄로 정리하세요.
x=0 과 x=1.5tanh(1.5x) 의 두 근 x≈±1.46 으로 셋입니다. 0이 아닌 근은 이분법으로 구하면 1.4632 입니다. 성분의 평균 ±1.5 보다 조금 안쪽인데, 반대편 성분이 끌어당기기 때문입니다.
찾은 자리를 봉우리와 골짜기로 가르세요.
s′(x)=−1+2.25(1−tanh2(1.5x)) 입니다. x=0 에서 1.25>0 이라 스코어가 음에서 양으로 지나갑니다 — 왼쪽은 왼쪽으로, 오른쪽은 오른쪽으로 밀어 그 자리에서 멀어지게 하므로 골짜기 바닥입니다. x≈±1.46 에서는 −0.89<0 이라 양쪽이 그 자리로 모이므로 봉우리입니다. 스코어가 0이라는 사실만으로는 둘이 안 갈린다는 본문의 경고를 기울기의 부호가 풀어 줍니다.
정리
스코어 함수는 ∇xlogp(x), 파라미터가 아니라 데이터로 미분한 로그밀도의 기울기다. 밀도가 커지는 방향을 가리키고 봉우리에서 0이다.
정규화 상수가 미분에서 사라진다. ∇xlog(p~/Z)=∇xlogp~ 이므로 계산 불가능한 고차원 적분을 피할 수 있다. 스코어를 쓰는 결정적 이유다.
정규분포의 스코어는 −(x−μ)/σ2 — 평균으로 되돌아가는 벡터이고 크기는 분산에 반비례한다.
정답 스코어가 든 교차항은 부분적분으로 −E[∇⋅sθ] 가 되어 사라진다(암묵적 스코어 매칭). 대가는 차원 수만큼 드는 발산 계산이고, 무작위 방향 투영(슬라이스드 스코어 매칭)이 그것을 한 번으로 줄인다.
데이터의 스코어는 모르지만 우리가 섞은 잡음의 스코어는 정확히 안다. 그것이 디노이징 스코어 매칭의 출발점이다.
데이터가 저차원 다양체 위에만 있으면 그 밖에서 스코어가 정의되지 않는다. 잡음이 공간을 채워 화살표장을 잇는다.
폐형 forward에서 ∇xtlogq(xt∣x0)=−ε/1−αˉt 다. 정답이 손에 있으므로 회귀 문제가 된다.
MSE의 최소해는 조건부 평균이므로, 수렴한 신경망은 E[−ε/1−αˉt∣xt] 를 내놓는다. 그 값이 주변 분포의 스코어 ∇logq(xt) 다.
표본 하나의 −ε 은 스코어와 전혀 다른 값이다. 같은 xt 에 모인 것들을 평균해야 개별 사연이 지워지고 기울기만 남는다. 두 봉우리 데이터로 재 보니 400만 표본이 해석적 값과 소수 둘째 자리까지 일치했다.
t 를 고정하면 1−αˉt 는 상수이므로 ε 예측·스코어 예측·x0 예측은 같은 함수의 다른 옷이다. 다른 것은 t 마다의 손실 가중치뿐이고, 그것이 안정성을 가른다.
ε 손실은 스코어 손실에 λ(t)=1−αˉt 를 곱한 것이다. x0 예측은 Tweedie 공식 E[x0∣xt]=(xt+(1−αˉt)∇logq)/αˉt 를 배운다.
v-예측 v=αˉtε−1−αˉtx0 는 두 항을 회전행렬 꼴로 섞어, t 의 어느 끝에서도 한쪽이 베끼기가 되거나 손실이 폭발하지 않게 한다.
표본은 랑주뱅 갱신 x←x+ϵs(x)+2ϵz 로 만든다. 잡음 항을 빼면 가장 가까운 봉우리로 올라가 멈추므로 표본이 아니라 최빈값이 나온다. ϵ 이 0이 아니면 이산화 편향이 남고(표준정규에서 분산 1/(1−ϵ/2)), MALA가 그것을 지우려면 밀도값이 필요하다.
정규화 상수를 포기한 대가는 밀도값을 못 준다는 것이다. 생성은 되지만 가능도 비교와 bits-per-dim 보고는 확률흐름 ODE를 따로 풀어야 한다.
갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.