수학

MATH / 중급 64번

흐름 매칭과 최적수송: 확률 경로를 직선으로 펴기

두 분포를 잇는 확률 경로와 그것을 만드는 속도장을 정의하고, 조건부 흐름 매칭 목적식이 왜 주변 속도장을 학습하는지 유도합니다. 바서슈타인 거리를 KL이 못 하는 자리에서 정의하고, 짝짓기를 최적수송으로 바꾸면 오일러 한 스텝이 곧 바닥이 되는 것을 1차원에서 확인합니다.

PALDYN Team48 MIN READ

이미지 생성 모델의 릴리스 노트를 보면 요즘 이런 줄이 자주 있습니다. 「flow matching 기반으로 바꿔 4스텝 샘플링에서도 품질이 유지됩니다.」 지난 글까지 다룬 확산 모델은 스텝을 20~50번 밟아야 했는데, 흐름 매칭이라는 이름이 붙은 모델들은 4번이나 8번에서 쓸 만한 그림을 냅니다.

스텝 수를 줄이는 방법은 여럿입니다. 고차 solver를 쓰는 것도 그중 하나였고, 그건 같은 곡선을 더 정확히 따라가는 접근이었습니다. 흐름 매칭이 하는 것은 다릅니다 — 따라가야 할 곡선 자체를 직선에 가깝게 만듭니다. 곡선이 직선이면 오일러 한 스텝으로도 끝까지 갑니다.

이 글은 그 「직선으로 편다」가 정확히 무슨 뜻인지, 무엇을 학습해야 그게 되는지, 그리고 왜 그 자리에서 KL이 아니라 수송 비용이 필요해지는지를 정리합니다. 끝에서는 같은 1차원 장난감 하나로 스텝 수가 어디서 정해지는지를 숫자로 확인합니다.

확률 경로와 속도장

확률 경로

먼저 낱말 둘을 정의합니다. 확률 경로는 시각 t∈[0,1]t \in [0,1] 마다 하나씩 놓인 분포의 열 {pt}\{p_t\} 입니다. 양끝을 p0p_0 (뽑기 쉬운 것, 보통 표준정규분포)와 p1p_1 (데이터 분포)로 고정합니다. 이 글에서는 t=0t = 0 이 잡음 쪽, t=1t = 1 이 데이터 쪽입니다.

속도장 ut(x)u_t(x) 는 그 경로를 만드는 벡터장입니다. 입자 하나를 p0p_0 에서 뽑아 상미분방정식

dxdt=ut(x),x(0)∼p0\frac{dx}{dt} = u_t(x), \qquad x(0) \sim p_0

를 따라 흘려보냈을 때, 시각 tt 에서 그 입자의 분포가 정확히 ptp_t 가 되면 「utu_t 가 ptp_t 를 만든다」고 합니다. 경로는 분포가 어떻게 변하는지를 적은 것이고 속도장은 입자 하나하나를 어디로 미는지를 적은 것이라, 같은 변화를 한쪽은 군중으로, 한쪽은 개인으로 본 셈입니다. 샘플링은 뒤쪽을 씁니다 — 잡음 하나를 뽑아 속도장을 따라 t=1t = 1 까지 밀면 데이터 하나가 나옵니다.

연속방정식

경로와 속도장의 관계는 연속방정식이 적어 줍니다. 밀도가 사라지지도 생기지도 않고 흐름을 따라 옮겨진다는 보존 법칙입니다.

∂pt∂t+∇⋅(pt ut)=0\frac{\partial p_t}{\partial t} + \nabla \cdot \bigl( p_t \, u_t \bigr) = 0

왼쪽 첫 항은 한 자리에서 밀도가 늘어나는 빠르기이고, 둘째 항은 그 자리에서 흘러 나가는 양입니다. 둘의 합이 0이라는 것은 「늘어난 만큼은 이웃에서 흘러 들어온 것」이라는 뜻입니다. 1차원이면 ∇⋅\nabla \cdot 이 그냥 xx 에 대한 미분이 되고, 밀도 곡선 아래 넓이가 늘 1로 지켜집니다.

이 식은 한 경로에 속도장이 하나만 있다고 말하지 않습니다. 같은 ptp_t 를 만드는 속도장은 여럿일 수 있고, 반대로 속도장을 하나 정하면 경로는 하나로 정해집니다. 그래서 학습할 대상은 속도장이고, 경로는 그 속도장이 만들어 내야 하는 목표가 됩니다.

경로의 선택

양끝 p0p_0 와 p1p_1 을 고정해도 그 사이를 잇는 확률 경로는 무수히 많습니다. 확산 모델이 쓰던 것도 그중 하나입니다 — SDE·ODE와 이산화 오차에서 세운 확률 흐름 ODE는 「데이터에 잡음을 점점 섞는 경로」를 ptp_t 로 골랐을 때의 속도장이었습니다. 예컨대 잡음과 데이터를 xt=cos⁡(πt2) x0+sin⁡(πt2) x1x_t = \cos(\tfrac{\pi t}{2})\,x_0 + \sin(\tfrac{\pi t}{2})\,x_1 처럼 원호를 따라 섞으면 그것도 같은 양끝을 잇는 경로입니다.

흐름 매칭은 이 경로를 우리가 고르고, 그 경로를 만드는 속도장을 신경망이 회귀로 배우게 하는 학습법입니다. 「경로를 고른다」는 말은 실제로는 두 가지를 고르는 일입니다. 하나는 잡음 한 개와 데이터 한 개가 짝지어졌을 때 그 둘을 어떤 곡선으로 이을지이고, 다른 하나는 어느 잡음을 어느 데이터와 짝지을지입니다. 이 절은 앞쪽을 고르고, 뒤쪽은 셋째 절부터 문제가 됩니다.

조건부 속도장

가장 단순한 선택은 두 끝점을 직선으로 잇는 것입니다.

xt=(1−t) x0+t x1,x0∼p0, x1∼p1x_t = (1-t)\,x_0 + t\,x_1, \qquad x_0 \sim p_0,\ x_1 \sim p_1

이 경로에서 한 짝 (x0,x1)(x_0, x_1) 을 고정하면 속도는 시간에 무관한 상수입니다.

ut(xt∣x0,x1)=ddt[(1−t)x0+tx1]=x1−x0u_t(x_t \mid x_0, x_1) = \frac{d}{dt}\bigl[(1-t)x_0 + t x_1\bigr] = x_1 - x_0

이것을 조건부 속도장이라고 부릅니다. 짝을 알고 있을 때의 속도라는 뜻입니다. 앞의 원호 경로였다면 같은 짝의 속도가 π2(cos⁡(πt2) x1−sin⁡(πt2) x0)\tfrac{\pi}{2}\bigl(\cos(\tfrac{\pi t}{2})\,x_1 - \sin(\tfrac{\pi t}{2})\,x_0\bigr) 로 시각마다 방향을 바꿨을 것입니다. 직선을 고르면 짝 하나만 놓고 볼 때는 휘는 곳이 아예 없습니다.

조건부에서 주변으로

주변 속도장

문제는 신경망이 짝을 모른다는 것입니다. 샘플링할 때 가진 것은 지금 위치 xx 와 시각 tt 뿐이고, 그 위치를 지나는 짝은 여럿입니다. 그 자리에서 옳은 속도는 그 여럿의 평균입니다.

ut(x)=E[ x1−x0  ∣  xt=x ]u_t(x) = \mathbb{E}\bigl[\, x_1 - x_0 \;\big|\; x_t = x \,\bigr]

이것이 주변 속도장이고, 우리가 학습하고 싶은 대상입니다. 조건부 속도장이 짝마다 하나씩 있는 개별 속도라면, 주변 속도장은 한 자리를 지나는 짝들의 조건부 속도를 평균한 것 — 위치와 시각만으로 정해지는 속도입니다. 그런데 이 기댓값은 계산할 수 없습니다. 안쪽에 p1p_1 이 들어 있고 그게 바로 모르는 것이니까요.

한 점 x를 지나는 조건부 경로 세 개와 각각의 속도 화살표, 그리고 그 평균인 주변 속도장 화살표

목적식의 동치

흐름 매칭의 핵심은 계산할 수 없는 목적식과 계산할 수 있는 목적식이 같은 최적해를 가진다는 것입니다. 두 손실을 나란히 적습니다.

LFM(θ)=Et,  x∼pt∥vθ(x,t)−ut(x)∥2LCFM(θ)=Et,  x0∼p0,  x1∼p1∥vθ(xt,t)−(x1−x0)∥2\begin{aligned} \mathcal{L}_{\text{FM}}(\theta) &= \mathbb{E}_{t,\; x \sim p_t} \bigl\| v_\theta(x,t) - u_t(x) \bigr\|^2 \\ \mathcal{L}_{\text{CFM}}(\theta) &= \mathbb{E}_{t,\; x_0 \sim p_0,\; x_1 \sim p_1} \bigl\| v_\theta(x_t,t) - (x_1 - x_0) \bigr\|^2 \end{aligned}

vθv_\theta 는 파라미터 θ\theta 를 가진 신경망이 내놓는 속도입니다. 위쪽은 못 구하는 ut(x)u_t(x) 가 들어 있어 계산이 안 되고, 아래쪽은 데이터 한 개와 노이즈 한 개만 뽑으면 바로 계산됩니다. 아래쪽을 조건부 흐름 매칭 목적식이라고 부릅니다.

둘이 같은 최적해를 가진다는 것을 확인해 보겠습니다. 제곱을 펼칩니다.

∥vθ−(x1−x0)∥2=∥vθ∥2−2⟨vθ, x1−x0⟩+∥x1−x0∥2\bigl\| v_\theta - (x_1-x_0) \bigr\|^2 = \|v_\theta\|^2 - 2 \bigl\langle v_\theta,\ x_1-x_0 \bigr\rangle + \|x_1-x_0\|^2

xt=xx_t = x 로 고정하고 짝에 대한 기댓값을 취합니다. vθ(x,t)v_\theta(x,t) 는 짝에 무관하므로 첫 항은 그대로고, 둘째 항의 기댓값은 내적 안으로 들어갑니다.

E[⟨vθ, x1−x0⟩∣xt=x]=⟨vθ(x,t), E[x1−x0∣xt=x]⟩=⟨vθ(x,t), ut(x)⟩\mathbb{E}\bigl[\langle v_\theta,\ x_1-x_0\rangle \bigm| x_t = x\bigr] = \bigl\langle v_\theta(x,t),\ \mathbb{E}[x_1-x_0 \mid x_t=x] \bigr\rangle = \bigl\langle v_\theta(x,t),\ u_t(x) \bigr\rangle

셋째 항 ∥x1−x0∥2\|x_1-x_0\|^2 는 θ\theta 를 포함하지 않으니 상수입니다. 따라서

LCFM(θ)=LFM(θ)+(θ와 무관한 상수)\mathcal{L}_{\text{CFM}}(\theta) = \mathcal{L}_{\text{FM}}(\theta) + \text{(θ와 무관한 상수)}

이고 두 목적식의 기울기가 같습니다. 짝마다 다른 목표로 회귀를 시켜도 최소제곱의 최적해는 목표의 조건부 기댓값이므로, 신경망이 도달하는 곳은 평균 하나입니다. 이것은 확산 모델에서 「노이즈를 예측하라」고 시키면 모델이 스코어를 배우게 되던 것과 정확히 같은 구조입니다.

학습 반복문이 이렇게 짧아집니다.

x1 = next(data_loader)                    # 데이터
x0 = torch.randn_like(x1)                 # 노이즈
t = torch.rand(x1.shape[0], 1)            # [0, 1] 균등
xt = (1 - t) * x0 + t * x1                # 직선 경로 위의 한 점
loss = ((model(xt, t) - (x1 - x0)) ** 2).mean()

시각의 분포

반복문에는 잡음 스케줄도 αˉt\bar{\alpha}_t 도 없고 목표가 그냥 x1−x0x_1 - x_0 입니다. 그래서 흐름 매칭을 「시각별 가중치가 없는 학습」이라고 소개하는 글이 많습니다. 반은 맞습니다. 셋째 줄의 torch.rand가 바로 가중치이기 때문입니다.

손실은 tt 에 대한 기댓값이고, tt 를 어떤 분포에서 뽑느냐는 각 시각의 손실에 얼마만큼 무게를 주느냐와 같은 말입니다. 균등분포는 모든 시각에 같은 무게를 준다는 선택일 뿐 무게가 없다는 뜻이 아닙니다. 실제로 Stable Diffusion 3를 낸 논문은 tt 를 가운데 쪽으로 몰아 뽑는 로짓정규분포가 균등보다 낫다고 보고했습니다. 어느 시각에 무게를 줄지는 데이터마다 다르고, 다음 절에서 이 글의 장난감으로 재 보면 학습이 어려운 시각이 한쪽에 몰려 있습니다.

최적해 자체는 tt 의 분포와 무관합니다 — 시각마다 조건부 기댓값이 답이라는 사실은 무게를 바꿔도 그대로입니다. 바뀌는 것은 신경망의 용량이 모자랄 때 어느 시각의 오차를 먼저 줄이느냐입니다.

예측 대상의 대응

확산 모델의 코드에는 「v-예측」, 「ε-예측」, 「x0x_0-예측」 같은 선택지가 있습니다. 직선 경로에서는 이 셋이 서로 선형변환이라 같은 것을 다르게 적은 것입니다. 이 글의 표기로 잡음은 x0x_0, 데이터는 x1x_1 이고, xt=(1−t)x0+tx1x_t = (1-t)x_0 + t x_1 을 알면 셋 중 하나에서 나머지가 나옵니다.

신경망이 내는 것 속도로 바꾸는 식 속도 손실과의 관계
속도 v^\hat v 그대로 같다
데이터 x^1\hat x_1 v^=(x^1−xt)/(1−t)\hat v = (\hat x_1 - x_t)/(1-t) ∥v^−v∥2=∥x^1−x1∥2/(1−t)2\|\hat v - v\|^2 = \|\hat x_1 - x_1\|^2/(1-t)^2
잡음 x^0\hat x_0 v^=(xt−x^0)/t\hat v = (x_t - \hat x_0)/t ∥v^−v∥2=∥x^0−x0∥2/t2\|\hat v - v\|^2 = \|\hat x_0 - x_0\|^2/t^2

여기서 v=x1−x0v = x_1 - x_0 는 그 짝의 조건부 속도입니다. 세 예측의 최적해는 같은 주변 속도장을 가리키지만, 셋째 열이 보여 주듯 손실의 크기가 시각에 따라 다르게 늘어납니다. 데이터를 예측하게 하면서 그 오차를 그대로 재면 속도 손실에 비해 t→1t \to 1 근처의 무게를 (1−t)2(1-t)^2 배로 깎는 셈이고, 잡음을 예측하게 하면 t→0t \to 0 근처를 t2t^2 배로 깎습니다. 예측 대상을 고르는 일은 앞 소절의 시각 분포를 고르는 일과 같은 손잡이를 다른 자리에서 돌리는 것입니다.

직선 경로가 휘는 자리

직선성 지표

조건부 경로는 직선입니다. 그런데 실제로 샘플러가 따라가는 것은 주변 속도장이고, 그것은 직선이 아닙니다. 한 점을 지나는 짝이 여럿이고 그들의 목표가 서로 다르면, 평균 속도는 각 짝의 속도와 다릅니다. 그 차이의 크기를 재는 값을 이 글에서는 직선성 지표라 부릅니다.

S=Et, x0, x1[∥ut(xt)−(x1−x0)∥2]S = \mathbb{E}_{t,\,x_0,\,x_1}\Bigl[\bigl\| u_t(x_t) - (x_1 - x_0) \bigr\|^2\Bigr]

한 자리를 지나는 짝들의 조건부 속도가 그 평균인 주변 속도 둘레에 얼마나 흩어져 있는지를 시각과 자리 전체에 대해 평균한 것입니다. 앞 절의 셋째 항과 견주면 이 값은 조건부 흐름 매칭 손실이 끝내 내려갈 수 없는 바닥이기도 합니다 — 신경망이 주변 속도장을 완벽하게 배워도 손실은 SS 만큼 남습니다. 그리고 S=0S = 0 이면 모든 자리를 지나는 짝이 사실상 하나라는 뜻이라, 주변 속도가 조건부 속도와 같아지고 샘플링 경로가 조건부 경로처럼 곧게 됩니다.

1차원 장난감으로 재 보겠습니다. p0=N(0,1)p_0 = N(0,1), p1=0.5 N(−4,0.52)+0.5 N(4,0.52)p_1 = 0.5\,N(-4, 0.5^2) + 0.5\,N(4, 0.5^2) 로 두면 주변 속도장을 닫힌 꼴로 적을 수 있습니다. xt∣x1∼N(tx1,(1−t)2)x_t \mid x_1 \sim N(t x_1, (1-t)^2) 이므로 x1−x0=(x1−xt)/(1−t)x_1 - x_0 = (x_1 - x_t)/(1-t) 이고, 따라서

ut(x)=E[x1∣xt=x]−x1−tu_t(x) = \frac{\mathbb{E}[x_1 \mid x_t = x] - x}{1-t}

입니다. 오른쪽의 조건부 기댓값은 정규분포 혼합의 사후확률로 정확히 계산됩니다. 이걸 써서 경로가 얼마나 직선에서 벗어나는가를 두 가지로 쟀습니다.

지표 값
E[∥ut(xt)−(x1−x0)∥2]\mathbb{E}\bigl[\|u_t(x_t) - (x_1-x_0)\|^2\bigr] 4.79
ODE 경로가 양끝을 잇는 직선에서 벗어난 최대 거리 평균 0.56 (이동 거리 평균 3.20의 17%)

비교할 기준이 있어야 4.79가 큰지 작은지 압니다. 조건부 속도 자체의 크기는 E[(x1−x0)2]=1+16.25=17.25\mathbb{E}[(x_1 - x_0)^2] = 1 + 16.25 = 17.25 이니, 개별 목표의 흔들림이 목표 크기의 4분의 1을 넘습니다. 이 흔들림은 시각마다 고르지 않습니다. 시각을 고정하고 같은 값을 수치적분으로 다시 세면 t=0.1t = 0.1 에서 16.7, t=0.3t = 0.3 에서 4.6, t=0.5t = 0.5 에서 0.82, t=0.8t = 0.8 에서 1.25이고, 전체의 81%가 t<0.3t < 0.3 에 있습니다. 앞 절의 균등한 tt 는 그 구간에 표본의 30%만 보냅니다.

곡률이 몰린 시각

흔들림이 큰 시각은 샘플링 경로가 꺾이는 시각이기도 합니다. 주변 속도장을 따라 입자 5,000개를 정밀하게 흘려보내고, 입자마다 속도가 시간에 따라 바뀌는 빠르기, 곧 가속도 x′′(t)x''(t) 를 쟀습니다. 경로가 직선이면 가속도가 0이고, 크면 그 시각에 경로가 크게 휩니다.

왼쪽은 주변 속도장을 따라간 경로 12개가 앞쪽에서 두 봉우리로 갈라지는 그림, 오른쪽은 평균 가속도가 t≈0.13에서 가장 크고 t=0.5에서 1.3까지 내려가는 곡선

평균 ∣x′′∣|x''| 는 t≈0.13t \approx 0.13 에서 16.2로 가장 크고, t=0.5t = 0.5 에서는 1.3까지 내려갑니다. 가속도를 시간으로 적분한 전체 중 81%가 t<0.4t < 0.4 에 있습니다. 경로 가운데가 아니라 앞쪽이 휘는 자리라는 뜻입니다. 이유는 그림 왼쪽에 보입니다 — tt 가 작을 때 입자는 아직 어느 봉우리로 갈지 정하지 않았고, 속도장은 양쪽 봉우리의 평균, 곧 0 쪽을 가리킵니다. 위치가 조금씩 한쪽으로 기울면서 「어느 봉우리인가」가 정해지는 순간 속도가 급히 바뀝니다. 한번 정해진 뒤에는 그 봉우리를 향해 거의 곧게 갑니다.

극단은 오일러 한 스텝입니다. t=0t = 0 에서는 xtx_t 가 곧 잡음이라 데이터에 대해 아무것도 알려 주지 않으므로 E[x1∣x0]=0\mathbb{E}[x_1 \mid x_0] = 0 이고 u0(x)=−xu_0(x) = -x 입니다. 그 속도로 시간 1만큼 가면 x+(−x)=0x + (-x) = 0, 모든 입자가 원점 하나에 모입니다. 그때의 오차는 E[x12]=16.25≈4.03\sqrt{\mathbb{E}[x_1^2]} = \sqrt{16.25} \approx 4.03 이고, 뒤에서 볼 실험의 첫 줄이 정확히 그 값입니다. 고정된 스텝 수를 쓸 수 있다면 휘는 시각에 스텝을 촘촘히 몰아 주는 것이 이득이고, 이 장난감에서는 그 자리가 앞쪽입니다. 휘는 시각은 데이터의 모양이 정하므로, 실제 모델의 스텝 스케줄은 이것을 그대로 옮기지 않고 따로 잽니다.

교차 횟수

휘는 원인은 짝을 무작위로 지었다는 데 있습니다. 왼쪽 봉우리로 갈 입자와 오른쪽 봉우리로 갈 입자가 서로를 스쳐 지나가면, 그 교차점에서 속도장은 양쪽의 평균이라 어느 쪽으로도 안 가는 방향을 가리킵니다. 그러다 갈라져야 하니 경로가 휩니다.

왼쪽은 무작위로 짝지어 경로가 교차하는 그림, 오른쪽은 정렬해 짝지어 교차가 없는 그림

1차원에서는 이 교차를 직접 셀 수 있습니다. 두 짝 (ai,bi)(a_i, b_i) 와 (aj,bj)(a_j, b_j) 의 직선 경로는 출발점의 순서와 도착점의 순서가 뒤집힐 때, 곧 (ai−aj)(bi−bj)<0(a_i - a_j)(b_i - b_j) < 0 일 때 한 번 만납니다. 표본 2만 개로 만든 짝 199,990,000쌍을 전부 세면 무작위 짝짓기에서 49.8%가 교차합니다. 독립으로 뽑은 두 순서가 뒤집힐 확률이 반이니 예상대로입니다. 교차 비율은 직선성 지표보다 거칠지만, 0이 되는 조건이 같습니다 — 교차가 하나도 없으면 어느 시각에도 두 경로가 한 자리를 지나지 않고, 그러면 주변 속도가 조건부 속도와 같아집니다. 그렇다면 교차가 없게 짝을 지으면 됩니다. 여기서 짝을 어떻게 짓느냐가 문제로 올라옵니다.

최적수송과 수송 비용

커플링과 바서슈타인 거리

최적수송은 한 분포를 다른 분포로 옮기는 방법 중 이동 비용의 총합이 가장 작은 것을 찾는 문제입니다. 짝짓기를 형식화한 것이 커플링입니다 — 주변분포가 각각 pp 와 qq 인 결합분포 π(x,y)\pi(x,y) 를 말합니다. 그런 π\pi 전체를 Π(p,q)\Pi(p,q) 라고 쓰면 바서슈타인 거리는 이렇게 정의됩니다.

W2(p,q)2=inf⁡π∈Π(p,q) E(x,y)∼π[ ∥x−y∥2 ]W_2(p, q)^2 = \inf_{\pi \in \Pi(p,q)} \ \mathbb{E}_{(x,y) \sim \pi} \bigl[\, \|x - y\|^2 \,\bigr]

「양끝의 분포를 지키면서 짝을 지을 때, 이동 거리 제곱의 평균을 가장 작게 만들 수 있는 값」입니다. 독립 짝짓기 π=p⊗q\pi = p \otimes q 도 Π(p,q)\Pi(p,q) 의 원소이므로 후보 중 하나일 뿐이고, 보통은 최적이 아닙니다. 장난감에서 독립 짝짓기의 평균 이동 제곱은 앞에서 센 17.25이고, 최적 짝짓기는 표본으로 10.30입니다.

1차원에서는 최적 커플링이 놀랄 만큼 간단합니다 — 양쪽 표본을 정렬해 순서대로 이으면 됩니다. 순서를 지키는 짝짓기는 앞 소절의 부등식이 한 번도 성립하지 않으므로 교차가 0입니다.

몽주와 칸토로비치

최적수송에는 두 가지 꼴이 있습니다. 처음 문제를 낸 몽주는 점마다 갈 곳을 하나씩 정하는 함수 TT 를 찾았습니다. x∼px \sim p 를 T(x)T(x) 로 옮겼을 때 그 분포가 qq 가 되어야 하고, 그런 TT 가운데 E∥x−T(x)∥2\mathbb{E}\|x - T(x)\|^2 를 가장 작게 하는 것을 찾는 것이 몽주 문제입니다. 정렬해 잇는 짝짓기가 바로 이런 함수입니다 — 잡음 하나가 갈 데이터가 하나로 정해집니다.

그런데 이 꼴은 해가 아예 없을 수 있습니다. pp 가 0 한 점에 질량 1이 모인 분포이고 qq 가 −4-4 와 +4+4 에 반씩 놓인 분포라고 해 봅시다. 함수는 0에 값 하나만 줄 수 있으니 질량을 전부 −4-4 로 보내거나 전부 +4+4 로 보낼 수밖에 없고, 어느 쪽이든 qq 가 안 됩니다.

몽주의 사상은 0에 모인 질량을 한쪽으로만 보낼 수 있어 실패하고, 칸토로비치의 커플링은 반씩 나눠 두 곳에 보내는 그림

칸토로비치는 함수 대신 커플링을 찾게 해서 이 막힘을 풀었습니다. 커플링은 한 점의 질량을 여러 곳으로 나눠 보낼 수 있으므로 π(0,−4)=π(0,+4)=12\pi(0, -4) = \pi(0, +4) = \tfrac{1}{2} 이 허용되고, 비용은 42=164^2 = 16 입니다. 이 넓힌 문제를 칸토로비치 완화라 부르고, 위에서 바서슈타인 거리를 정의한 식이 바로 그것입니다. 독립 짝짓기는 언제나 후보에 들어 있으므로 커플링 쪽 문제는 해가 늘 있습니다.

두 꼴이 같은 답을 내는 조건도 알려져 있습니다. pp 가 밀도를 가진 분포이고 비용이 거리의 제곱이면 최적 커플링이 함수 하나로 주어진다는 것이 브레니어 정리입니다. 흐름 매칭의 p0p_0 는 정규분포라 이 조건을 만족하고, 그래서 최적수송으로 짝지으면 잡음마다 갈 곳이 하나로 정해집니다. 1차원 정렬은 그 함수가 단조 증가 함수로 나타난 경우입니다.

KL의 무한대

KL 발산을 이미 다뤘는데, 왜 여기서 새 거리가 필요할까요. KL은 두 분포의 밀도 비를 재기 때문입니다.

DKL(p ∥ q)=∫p(x)log⁡p(x)q(x) dxD_{\mathrm{KL}}(p \,\|\, q) = \int p(x) \log \frac{p(x)}{q(x)} \, dx

pp 가 양수인데 qq 가 0인 자리가 있으면 로그가 발산해 값이 ∞\infty 가 됩니다. 그리고 생성 모델이 다루는 데이터는 대개 그렇습니다 — 이미지는 픽셀 공간 전체에 퍼져 있지 않고 훨씬 낮은 차원의 얇은 집합 위에 있습니다. 모델이 만든 분포와 데이터 분포가 겹치는 곳이 없으면 KL은 두 분포가 얼마나 떨어져 있든 늘 ∞\infty 입니다.

왼쪽은 겹치지 않는 두 좁은 분포, 오른쪽은 벌린 거리 θ에 대해 KL이 상수 ∞이고 W2가 θ에 비례하는 그래프

값이 같으면 기울기가 없습니다. 「지금보다 조금 가까워지는 방향」을 알려 줄 수 없다는 뜻입니다. 반면 W2W_2 는 겹침이 아니라 이동 거리를 재므로 떨어진 만큼의 값을 냅니다. 평균이 aa 만큼 떨어진 두 정규분포로 확인해 보면 차이가 분명합니다.

분포의 폭 ss 1.0 0.5 0.2 0.1 0.05
DKLD_{\mathrm{KL}} (a=3a=3) 4.5 18.0 112.5 450 1800
W2W_2 3.0 3.0 3.0 3.0 3.0

폭을 좁힐수록 KL은 걷잡을 수 없이 커지는데 실제로 두 분포가 더 멀어진 것은 아닙니다. KL은 「겹치는가」를 재고 W2W_2 는 「얼마나 옮겨야 하는가」를 잽니다. 짝짓기를 고르는 문제에서는 뒤쪽이 옳은 질문입니다.

거리의 공리

W2W_2 를 「거리」라고 부르는 데는 근거가 있습니다. 어떤 값이 거리이려면 네 가지를 지켜야 합니다 — 음수가 아니고, 0이면 두 대상이 같고, 순서를 바꿔도 값이 같고(대칭), 중간에 한 곳을 거쳐 가는 길이 곧장 가는 길보다 짧을 수 없습니다(삼각부등식). W2W_2 는 넷을 다 지킵니다. KL은 앞의 둘만 지키고, 그래서 이름도 거리가 아니라 발산입니다.

대칭부터 봅니다. p=N(0,1)p = N(0,1), q=N(0,22)q = N(0, 2^2) 이면 DKL(p∥q)=ln⁡2+18−12≈0.318D_{\mathrm{KL}}(p\|q) = \ln 2 + \tfrac{1}{8} - \tfrac{1}{2} \approx 0.318 이고, 순서를 바꾼 DKL(q∥p)=−ln⁡2+2−12≈0.807D_{\mathrm{KL}}(q\|p) = -\ln 2 + 2 - \tfrac{1}{2} \approx 0.807 입니다. 같은 두 분포를 어느 쪽에서 보느냐에 따라 두 배 넘게 다릅니다. W2W_2 는 폭의 차이 ∣1−2∣=1|1 - 2| = 1 로 양쪽이 같습니다.

삼각부등식은 폭이 1이고 평균이 0, 1, 2인 정규분포 셋으로 깨집니다. 평균 차가 aa 인 같은 폭의 정규분포 사이 KL은 a2/2a^2/2 이므로, 0에서 1로 0.5, 1에서 2로 0.5인데 0에서 2로 곧장 가면 2입니다. 거쳐 간 길의 합 1이 곧장 간 길 2보다 짧습니다. W2W_2 는 1 + 1 = 2로 등호가 맞습니다. 짝짓기의 비용을 재는 값이 이렇게 공간의 거리처럼 움직여야, 「조금 옮기면 조금 줄어든다」는 직관이 그대로 통합니다.

스텝 수와 곡률

오일러 실험

이제 실제로 재 봅니다. 같은 1차원 장난감에서 표본 2만 개를 뽑아 두 방식으로 짝짓고, 오일러로 스텝 수를 바꿔 가며 도착한 표본과 참값 표본 사이의 W2W_2 를 계산했습니다. 1차원이라 W2W_2 도 정렬해서 빼면 나옵니다. 참값 표본은 같은 분포에서 따로 한 번 더 뽑은 2만 개이고, 무작위 짝짓기 쪽은 앞 절의 닫힌 꼴 주변 속도장을 그대로 썼습니다.

import numpy as np
rng = np.random.default_rng(0)

x0 = rng.standard_normal(20000)
x1 = np.array([-4.0, 4.0])[rng.integers(0, 2, 20000)] + 0.5*rng.standard_normal(20000)
target = np.array([-4.0, 4.0])[rng.integers(0, 2, 20000)] + 0.5*rng.standard_normal(20000)
W2 = lambda a, b: np.sqrt(np.mean((np.sort(a) - np.sort(b))**2))

# 최적수송 짝짓기 = 양쪽 정렬
o0, o1 = np.sort(x0), np.sort(x1)
def field_ot(x, t):
    return np.interp(x, (1-t)*o0 + t*o1, o1 - o0)

for N in [1, 2, 4, 8]:
    x, h = x0.copy(), 1.0/N
    for i in range(N):
        x = x + h * field_ot(x, i*h)
    print(f"OT 짝짓기 N={N}  W2={W2(x, target):.4f}")
무작위 짝짓기 N= 1  W2=4.0314
무작위 짝짓기 N= 2  W2=1.2772
무작위 짝짓기 N= 4  W2=0.5968
무작위 짝짓기 N= 8  W2=0.3650
무작위 짝짓기 N=16  W2=0.3013
무작위 짝짓기 N=32  W2=0.2898

OT 짝짓기 N=1  W2=0.2519
OT 짝짓기 N=2  W2=0.2519
OT 짝짓기 N=4  W2=0.2519
OT 짝짓기 N=8  W2=0.2519

표본 오차 바닥      W2=0.2519

스텝 수 1부터 32까지 무작위 짝짓기의 오차 곡선이 서서히 내려오는 반면 최적수송 짝짓기는 스텝 1부터 바닥에 붙어 있는 그래프

최적수송으로 짝지으면 오일러 한 스텝이 곧 바닥입니다. 무작위 짝짓기의 첫 줄 4.0314는 앞 절에서 계산한 「모두 원점에 모이는 한 스텝」의 16.25≈4.03\sqrt{16.25} \approx 4.03 그대로이고, 스텝을 늘리면 2, 4, 8에서 1.28, 0.60, 0.37로 내려옵니다.

표본 오차 바닥

0.2519가 왜 스텝 수와 상관없이 똑같은지는 코드를 따라가면 보입니다. field_ot는 정렬된 짝 (o0,o1)(o_0, o_1) 의 직선 위 어디서나 그 짝의 속도 o1−o0o_1 - o_0 를 돌려줍니다. 짝마다 직선이 하나이고 서로 안 만나니, 입자는 스텝을 몇 번에 나눠 밟든 o0+(o1−o0)=o1o_0 + (o_1 - o_0) = o_1 에 정확히 도착합니다. 도착한 표본은 학습에 쓴 x1x_1 2만 개 그 자체이고, 출력은 W2(x1,target)W_2(x_1, \text{target}) — 같은 분포에서 따로 뽑은 두 표본 사이의 거리입니다. 코드를 다시 돌려 그 값이 0.2519임을 확인했습니다.

그 값이 어디서 오는지 쪼개 봤습니다. 학습용 x1x_1 에는 왼쪽 봉우리 점이 10,026개, 참값 표본에는 9,977개라 49개가 차이 납니다. 정렬해 순위끼리 이으면 순위 9,978부터 10,026까지 49쌍은 왼쪽 봉우리의 점이 오른쪽 봉우리의 점과 짝이 되고, 그 49쌍이 평균 5.1씩 떨어져 W22=0.0635W_2^2 = 0.0635 의 99%를 냅니다. 나머지 19,951쌍만 세면 W2W_2 는 0.0247입니다.

학습용 표본과 참값 표본의 봉우리별 개수가 49개 어긋나 그 49쌍이 봉우리를 건너 짝지어지는 그림

봉우리별 개수는 각각 동전 2만 번을 던진 결과이고, 두 표본의 차이는 표준편차가 2⋅20000⋅14=100\sqrt{2 \cdot 20000 \cdot \tfrac{1}{4}} = 100 인 수입니다. 그래서 바닥은 뽑을 때마다 달라집니다 — 다른 시드 200개로 두 표본을 새로 뽑아 재면 평균 0.287, 가장 작을 때 0.043, 가장 클 때 0.720입니다. 0.2519는 이 실험의 표본 한 벌에서 더 내려갈 수 없는 값이지 분포가 정한 상수가 아닙니다.

무작위 짝짓기 쪽도 같은 틀로 봐야 합니다. 그쪽 ODE는 x1x_1 을 그대로 옮기지 않고 새 표본을 만들어 내므로 바닥이 따로 있습니다. 스텝을 512번까지 늘려도 0.2933에서 멈추고, 그때 도착한 표본의 오른쪽 봉우리 개수는 9,960개로 참값 표본의 10,023개와 63개 어긋납니다. 32스텝의 0.2898은 이미 제 바닥에 닿은 값이고, 최적수송의 0.2519와의 차이는 표본의 운입니다. 두 방식을 가르는 것은 바닥의 높이가 아니라 거기에 닿는 데 드는 스텝 수 — 무작위는 16~32번, 최적수송은 한 번입니다.

테일러 오차

이유는 앞의 직선성 지표에 있습니다. 최적수송 짝짓기에서는 경로가 교차하지 않으므로 한 점을 지나는 짝이 하나뿐이고, 따라서 주변 속도장이 조건부 속도와 같습니다. 무작위 짝짓기에서 4.79였던 지표가 정확히 0이 됩니다.

SDE·ODE와 이산화 오차에서 오일러 한 걸음의 국소 오차를 테일러 전개로 셌습니다. 참 해를 x(t+h)=x(t)+h x′(t)+h22 x′′(ξ)x(t+h) = x(t) + h\,x'(t) + \tfrac{h^2}{2}\,x''(\xi) 로 펼치면 오일러는 앞의 두 항만 쓰므로, 한 걸음에 h22 x′′\tfrac{h^2}{2}\,x'' 만큼 틀립니다. x′′x'' 은 경로 위에서 속도가 바뀌는 빠르기, 곧 앞 절에서 그린 가속도입니다. 속도가 경로를 따라 상수이면 x′′=0x'' = 0 이고 국소 오차도 0이라, 걸음 폭을 h=1h = 1 로 통째로 잡아도 틀리지 않습니다. 무작위 짝짓기는 t≈0.13t \approx 0.13 에서 평균 ∣x′′∣|x''| 가 16을 넘었으니 한 걸음에 오차가 크게 쌓이고, 걸음을 잘게 쪼개야 h2h^2 가 그것을 눌러 줍니다.

고차원에서의 근사

미니배치 최적수송

1차원의 정렬은 마법 같지만 고차원에서는 그대로 쓸 수 없습니다. 고차원 점에는 「순서」가 없고, 전체 데이터셋에 대한 최적수송을 푸는 것은 표본 수의 세제곱에 가까운 비용이 듭니다. 실무에서 쓰는 첫 우회는 미니배치 최적수송입니다. 배치 안에서만 최적 짝짓기를 풉니다. 배치가 256이면 256×256 할당 문제라 풀 만합니다.

대가는 편향입니다. 배치 안의 최적은 전역 최적과 다르고, 배치가 작을수록 어긋남이 큽니다. 같은 장난감에서 2만 개를 배치로 잘라 배치마다 정렬해 잇고, 교차 비율과 평균 이동 제곱을 쟀습니다.

배치 크기 교차 비율 평균 이동 제곱
무작위 49.8% 17.21
4 29.3% 12.92
16 15.5% 11.06
64 8.3% 10.53
256 3.9% 10.35
1,024 2.1% 10.32
전체 2만 0% 10.30

배치 안에서는 교차가 0이지만 배치 사이에서는 남습니다. 전역으로는 왼쪽 봉우리로 가야 할 잡음이라도, 그것이 든 배치에 오른쪽 봉우리 점이 많이 들어 있으면 오른쪽 점과 짝지어집니다. 배치 16에서는 짝의 14.5%가 전역 최적과 다른 봉우리로 갑니다. 그런 짝이 경로를 가로질러 교차를 만들고, 교차가 남으면 주변 속도장이 다시 휩니다. 256에서도 짝 26쌍 중 하나꼴로 교차가 남으므로, 무작위보다는 훨씬 곧지만 1스텝까지는 못 갑니다.

재정류

둘째 우회는 재정류(rectification)입니다. 한 번 학습한 모델로 잡음 x0x_0 를 ODE에 넣어 도착점을 얻고, 그 (x0,x^1)(x_0, \hat x_1) 짝으로 다시 학습합니다. ODE 경로는 서로 교차하지 않으므로 — 한 자리에서 속도가 하나로 정해지니 두 경로가 만날 수 없습니다 — 그 짝을 직선으로 이으면 교차가 적고, 이 과정을 반복하면 경로가 점점 곧아집니다. 「1스텝 생성」을 내세우는 모델들이 이 절차를 씁니다.

대가는 데이터에서 멀어지는 것입니다. 두 번째 학습의 목표 x^1\hat x_1 은 진짜 데이터가 아니라 첫 모델이 만든 표본이고, 첫 모델의 오차가 그 안에 그대로 들어 있습니다. 재정류를 거듭하면 그 오차가 차례로 쌓여 도착 분포가 조금씩 밀립니다. 경로를 곧게 펴는 대신 무엇을 향해 펴는지가 데이터에서 멀어지는 거래이고, 그래서 실무에서는 한두 번에서 멈춥니다.

최소 잡음

조건부 경로를 꼭 순수한 직선으로 둘 필요도 없습니다. 흐름 매칭을 처음 제안한 논문은 도착점에 작은 잡음을 남기는 경로를 썼습니다.

xt=(1−(1−σmin⁡) t) x0+t x1x_t = \bigl(1 - (1 - \sigma_{\min})\,t\bigr)\,x_0 + t\,x_1

t=1t = 1 에서 xt=σmin⁡x0+x1x_t = \sigma_{\min} x_0 + x_1 이라 도착점이 한 점이 아니라 폭 σmin⁡\sigma_{\min} 의 작은 정규분포가 되고, 조건부 속도는 x1−(1−σmin⁡)x0x_1 - (1 - \sigma_{\min})x_0 입니다. σmin⁡\sigma_{\min} 을 최소 잡음이라 부릅니다. 경로는 여전히 직선이고 기울기만 조금 바뀝니다. 끝점을 살짝 퍼뜨리는 것은 데이터가 얇은 집합 위에 있을 때 끝에서 밀도가 한 점으로 무너지지 않게 하려는 장치이고, σmin⁡=0\sigma_{\min} = 0 이면 이 글의 직선 경로로 돌아갑니다. 첫 절의 원호 경로처럼 짝 하나의 경로부터 휘게 고르는 것도 가능하지만, 그러면 짝짓기를 아무리 잘해도 곡률이 남습니다. 직선은 짝짓기만 고치면 곡률이 0까지 갈 수 있는 유일한 출발점입니다.

이 세 장치 모두 완전한 직선을 주지는 않습니다. 그래서 4스텝이지 1스텝이 아닙니다. 그리고 짝짓기를 아무리 잘해도 속도장을 학습한 신경망 자체의 오차는 스텝으로 줄지 않습니다 — 확산 모델의 이산화 오차를 다룰 때 적었던 것과 같은 한계가 여기에도 그대로 있습니다.

정리

  • 확률 경로 {pt}\{p_t\} 와 그것을 만드는 속도장 utu_t 는 연속방정식 ∂tpt+∇⋅(ptut)=0\partial_t p_t + \nabla \cdot (p_t u_t) = 0 으로 묶인다. 같은 양끝을 잇는 경로는 무수히 많고, 확산의 확률 흐름 ODE도 그중 하나다.
  • 직선 경로 xt=(1−t)x0+tx1x_t = (1-t)x_0 + t x_1 의 조건부 속도는 상수 x1−x0x_1 - x_0 이고, 주변 속도장은 그 조건부 기댓값 E[x1−x0∣xt=x]\mathbb{E}[x_1 - x_0 \mid x_t = x] 다.
  • 조건부 흐름 매칭 목적식은 못 구하는 목적식과 상수만큼만 다르다. 제곱을 펼치면 교차항의 기댓값이 조건부 기댓값과의 내적이 되고, 나머지 항은 θ\theta 에 무관하다. tt 의 분포와 예측 대상(속도·데이터·잡음)은 최적해를 안 바꾸고 시각별 무게만 바꾼다.
  • 직선성 지표는 조건부 속도가 주변 속도 둘레에 흩어진 정도이자 학습 손실의 바닥이다. 무작위 짝짓기의 장난감에서 4.79였고, 경로는 직선에서 이동 거리의 17%만큼 벗어났으며, 휘는 곳은 봉우리를 고르는 앞쪽 t≈0.13t \approx 0.13 이었다.
  • 바서슈타인 거리는 커플링 위의 최소 이동 비용이다. 몽주의 사상은 해가 없을 수 있어 커플링으로 넓히고, 밀도가 있으면 브레니어 정리로 다시 사상이 된다. KL은 겹침이 없으면 ∞\infty 이고 대칭도 삼각부등식도 없지만, W2W_2 는 거리의 공리를 다 지킨다.
  • 1차원 최적 커플링은 양쪽을 정렬해 잇는 것이다. 그렇게 짝지으니 교차가 0, 직선성 지표가 0이 되고 오일러 1스텝이 바닥 0.2519에 닿았다. 그 바닥은 두 표본의 봉우리별 개수가 49개 어긋난 표본 오차다. 무작위 짝짓기는 16~32스텝이 걸려 제 바닥 0.29 근처에 닿았다.
  • 고차원에서는 미니배치 최적수송·재정류·최소 잡음 경로로 근사한다. 배치가 작을수록 교차가 남고(256에서 3.9%), 재정류는 모델 오차를 쌓으며, 신경망 자체의 오차는 스텝으로 줄지 않는다.

「flow matching 기반으로 바꿔 4스텝에서도 품질이 유지됩니다」라는 릴리스 노트로 돌아가면, 이제 그 4가 어디서 왔는지 말할 수 있습니다. 고차 solver를 붙여 얻은 것이 아닙니다. 경로를 다시 고른 것입니다. 조건부 경로를 직선으로 두고, 짝짓기를 최적수송 쪽으로 밀어 주변 속도장이 그 직선을 그대로 물려받게 만든 결과입니다. 속도가 경로 위에서 변하지 않으면 스텝을 잘게 쪼갤 이유가 없어집니다. 스텝 수는 곡률에 대한 값이지 품질에 대한 값이 아니었고, 그 곡률을 0으로 만들지 못하게 막는 것은 고차원에서 짝을 정렬로 지을 수 없다는 사실 하나입니다. 다음 글은 그 고차원 공간이 3차원의 직관과 어떻게 다르게 생겼는지를 봅니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN