수학

MATH / 중급 62번

SDE·ODE와 이산화 오차: 스텝 수가 품질을 정한다

num_inference_steps를 20에서 50으로 올리면 왜 그림이 나아질까요. 확산을 연속시간 SDE로 적고 대응하는 확률 흐름 ODE를 세운 뒤, 오일러 이산화의 국소·전역 오차 차수를 유도하고 DDIM이 왜 결정적인지, 고차 solver가 무엇을 벌고 무엇을 치르는지를 계산으로 답합니다.

PALDYN Team45 MIN READ

이미지 생성 코드에서 매번 고르게 되는 값이 하나 있습니다.

image = pipe(prompt, num_inference_steps=20).images[0]   # 20? 50? 1000?
scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)

20이면 몇 초 만에 나오고 50이면 두 배 반이 걸립니다. 그런데 1,000으로 올려도 50과 눈에 띄게 달라지지 않습니다. 그리고 스케줄러를 DDIM에서 DPM-Solver로 바꾸면 20스텝에서도 50스텝처럼 보입니다.

이 세 관찰은 전부 하나의 수치해석 사실에서 나옵니다. 샘플링은 미분방정식을 푸는 일이고, 스텝 수는 그 방정식을 얼마나 잘게 쪼개 푸는가입니다. 스텝을 줄이면 빨라지는 대신 오차가 생기고, 그 오차가 얼마나 빨리 줄어드는지는 푸는 방법마다 정해진 숫자가 있습니다.

지난 글에서 모델이 배우는 것이 스코어 ∇xlog⁡pt(x)\nabla_x \log p_t(x), 곧 시각 tt 의 로그밀도를 xx 로 미분한 기울기라는 것을 확인했습니다. 이 글은 그 스코어를 손에 쥔 뒤 그것으로 무엇을 어떻게 푸는지를 봅니다. 실제 파이프라인 사용법은 확산 모델과 Stable Diffusion이 다루고, 여기서는 방정식과 그 방정식을 자르는 방법만 봅니다.

이산 사슬에서 SDE로

브라운 운동의 증분

앞서 세운 폐형 forward 과정의 출발점은 이산 사슬이었습니다.

xk=1−βk xk−1+βk zkx_k = \sqrt{1 - \beta_k}\,x_{k-1} + \sqrt{\beta_k}\,z_k

βk\beta_k 가 작을 때 1−βk≈1−βk/2\sqrt{1-\beta_k} \approx 1 - \beta_k/2 이므로 차이를 적어 보면

xk−xk−1≈−12βk xk−1+βk zkx_k - x_{k-1} \approx -\tfrac{1}{2}\beta_k\, x_{k-1} + \sqrt{\beta_k}\, z_k

입니다. 스텝 간격을 Δt\Delta t, βk=β(t)Δt\beta_k = \beta(t)\Delta t 로 두면 둘째 항은 β(t) Δt zk\sqrt{\beta(t)}\,\sqrt{\Delta t}\,z_k 가 됩니다. 여기서 Δt zk\sqrt{\Delta t}\,z_k 를 한 덩어리로 묶어 Δw\Delta w 라 부릅니다. zkz_k 가 표준정규이므로 Δw\Delta w 는 평균 0, 분산 Δt\Delta t 인 정규분포를 따르고, 스텝마다 새로 뽑으므로 서로 독립입니다.

이 조각들을 이어 붙인 것이 브라운 운동 w(t)w(t) 입니다. 겹치지 않는 구간의 증분이 서로 독립이고, 길이 Δt\Delta t 인 구간의 증분이 평균 0·분산 Δt\Delta t 인 정규분포를 따르는 연속 경로입니다. Δt→0\Delta t \to 0 의 극한에서 그 무한히 작은 증분을 dwdw 로 적으면 사슬이 확률미분방정식(SDE)이 됩니다.

dx=−12β(t) x dt+β(t) dwdx = -\tfrac{1}{2}\beta(t)\,x\,dt + \sqrt{\beta(t)}\,dw

dtdt 에 붙은 앞 항이 드리프트, 곧 매 순간 xx 를 정해진 방향으로 미는 결정적인 부분이고, dwdw 에 붙은 뒤 항이 확산 항, 곧 매 순간 새 잡음을 섞는 부분입니다. 이 방정식의 드리프트는 xx 를 원점 쪽으로 당기고 확산 항은 흩뜨리므로, 오래 돌리면 데이터가 무엇이었든 표준정규분포로 갑니다.

√Δt의 크기

왜 잡음의 크기가 Δt\Delta t 가 아니라 Δt\sqrt{\Delta t} 인지는 구간 하나를 통째로 보면 나옵니다. [0,1][0, 1] 을 nn 칸으로 자르면 칸 하나가 Δt=1/n\Delta t = 1/n 이고, 증분 nn 개를 더한 것이 w(1)w(1) 입니다. 가우시안 글에서 본 재생성성 — 독립인 정규분포의 합은 다시 정규분포이고 분산은 더해진다 — 을 그대로 쓰면

Var⁡[w(1)]=n⋅Δt=n⋅1n=1\operatorname{Var}\big[w(1)\big] = n \cdot \Delta t = n \cdot \frac{1}{n} = 1

입니다. 칸을 몇 개로 자르든 1초 동안 쌓인 잡음의 분산은 1로 같고, 표준편차는 칸 수의 제곱근으로 자랍니다. 분산이 더해지는 것이지 표준편차가 더해지는 것이 아니기 때문입니다.

다른 지수를 넣어 보면 이것이 유일한 선택임이 보입니다. 1,000칸으로 자르고 칸마다 표준편차를 Δt=0.001\Delta t = 0.001 로 주면, 합의 표준편차는 1000×0.001≈0.032\sqrt{1000} \times 0.001 \approx 0.032 입니다. 칸을 더 잘게 자를수록 이 값은 0으로 가고 잡음이 사라집니다. 반대로 표준편차를 Δt≈0.032\sqrt{\Delta t} \approx 0.032 로 주면 합의 표준편차가 정확히 1이고, 칸을 아무리 늘려도 그대로입니다. 잡음 항이 극한에서 살아남되 폭발하지 않는 지수는 12\tfrac{1}{2} 하나입니다. 보통의 미분방정식과 갈리는 자리가 여기입니다 — 거기서는 모든 항이 Δt\Delta t 에 비례해 작아졌습니다.

이 차이는 계산법에도 남습니다. 증분의 제곱 (Δw)2(\Delta w)^2 은 평균이 Δt\Delta t 이므로, 칸 1,000개의 제곱을 모두 더하면 1 근처에 모입니다. 씨앗 0으로 다섯 번 뽑아 보니 0.956·1.046·0.966·1.019·0.967이었고, 2만 번 뽑았을 때 퍼짐(표준편차)은 0.045로 이론값 2/1000≈0.0447\sqrt{2/1000} \approx 0.0447 과 맞았습니다. 칸을 늘리면 그 퍼짐도 0으로 가므로 극한에서는 dw2=dtdw^2 = dt 로 셉니다. 보통 미적분에서는 dt2dt^2 처럼 버리던 이차항이 여기서는 1차 크기로 남고, 그래서 확률 과정의 미분 규칙(이토 계산)이 보통 미분과 갈립니다. 이 글에서는 이름만 짚고 넘어갑니다.

역방향 SDE

거꾸로 가는 방정식도 있습니다. 확률 과정의 시간을 뒤집으면 이런 모양이 된다는 것이 알려져 있습니다.

dx=[−12β(t)x−β(t) ∇xlog⁡pt(x)]dt+β(t) dwˉdx = \left[-\tfrac{1}{2}\beta(t)x - \beta(t)\,\nabla_x \log p_t(x)\right]dt + \sqrt{\beta(t)}\,d\bar{w}

dwˉd\bar{w} 는 시간을 거꾸로 흐르는 브라운 운동이고, tt 를 1에서 0으로 줄이며 적분합니다. 드리프트에 스코어가 들어 있다는 점이 핵심입니다. 잡음을 푸는 방정식을 적으려면 각 시각의 로그밀도 기울기가 필요하고, 신경망이 학습한 것이 정확히 그것입니다. DDPM 샘플러가 매 스텝 신경망을 부르고 새 잡음을 한 번 더 뽑는 것이 이 방정식을 한 칸씩 푸는 모습입니다.

확률 흐름 ODE

연속방정식

역방향 SDE 말고 하나가 더 있습니다. 잡음 항을 없애고 드리프트를 조금 고치면 모든 시각에서 주변분포, 곧 시각 tt 하나를 고정했을 때 xx 가 따르는 분포가 SDE와 똑같은 보통의 미분방정식이 나옵니다.

dxdt=−12β(t)[x+∇xlog⁡pt(x)]\frac{dx}{dt} = -\tfrac{1}{2}\beta(t)\left[x + \nabla_x \log p_t(x)\right]

이것을 확률 흐름 ODE(probability flow ODE)라 부릅니다. 잡음을 뺐는데 분포가 같은 까닭은 밀도가 시간에 따라 어떻게 변하는지를 적어 보면 보입니다. 잡음 없는 흐름 dx/dt=u(t,x)dx/dt = u(t, x) 를 따라 점들이 움직이면 밀도는 연속방정식

∂pt∂t=−∇⋅(u pt)\frac{\partial p_t}{\partial t} = -\nabla \cdot \big(u\, p_t\big)

을 따릅니다. 어떤 자리의 밀도가 줄어드는 양은 그 자리에서 흘러 나가는 양과 같다는, 질량 보존의 식입니다. 여기에 잡음이 끼면 퍼지는 항이 하나 붙습니다. 드리프트 f=−12βxf = -\tfrac{1}{2}\beta x, 잡음 계수 g=βg = \sqrt{\beta} 인 SDE의 밀도는

∂pt∂t=−∇⋅(f pt)+12g2 Δpt\frac{\partial p_t}{\partial t} = -\nabla \cdot \big(f\, p_t\big) + \tfrac{1}{2} g^2\, \Delta p_t

를 따르는데(포커-플랑크 방정식), Δpt=∇⋅(∇pt)=∇⋅(pt∇log⁡pt)\Delta p_t = \nabla \cdot (\nabla p_t) = \nabla \cdot (p_t \nabla \log p_t) 라는 항등식으로 둘째 항을 첫째 항 안에 넣을 수 있습니다.

∂pt∂t=−∇⋅([f−12g2∇log⁡pt] pt)\frac{\partial p_t}{\partial t} = -\nabla \cdot \Big(\big[f - \tfrac{1}{2} g^2 \nabla \log p_t\big]\, p_t\Big)

이것은 속도가 u=f−12g2∇log⁡ptu = f - \tfrac{1}{2}g^2 \nabla \log p_t 인 흐름의 연속방정식과 글자 그대로 같습니다. 같은 식을 따르는 밀도는 같은 출발에서 같은 길로 가므로, 이 속도로 점들을 결정적으로 옮겨도 시각마다의 분포가 SDE와 일치합니다. ff 와 g2=βg^2 = \beta 를 넣으면 위의 확률 흐름 ODE가 나옵니다. 퍼짐을 「밀도가 낮은 쪽으로 미는 바람」으로 바꿔 적은 셈이고, 역방향 SDE의 스코어 계수가 β\beta 인데 여기서 12β\tfrac{1}{2}\beta 로 줄어든 것도 그 때문입니다.

결정적 경로의 쓰임

여러 갈래로 흩어지는 SDE 경로와 하나로 정해진 ODE 경로

두 길의 차이는 경로이지 분포가 아닙니다. SDE는 매 스텝 새 잡음을 넣으므로 같은 출발점에서도 매번 다른 그림이 나오고, ODE는 출발점이 같으면 결과가 완전히 같습니다. 그런데 출발점을 표준정규분포에서 뽑아 모으면 두 방법이 만드는 이미지 분포는 같습니다.

이 성질이 실무에서 셋을 줍니다.

  • 재현성. 같은 씨앗이면 같은 그림이 나옵니다.
  • 되돌리기. ODE는 시간을 거꾸로 적분해 이미지에서 잠재 벡터로 되돌아갈 수 있습니다. 이미지 편집이 이 위에 섭니다.
  • 적은 스텝. 잡음이 없으니 매끄러운 곡선이고, 매끄러운 곡선은 큰 걸음으로도 따라갈 수 있습니다.

세 번째가 이 글의 본론입니다.

SDE 쪽의 이점

그렇다고 SDE가 늘 지는 것은 아닙니다. 위의 「분포가 같다」는 스코어가 정확할 때의 이야기이고, 실제로는 신경망의 스코어에도, 스텝을 자른 것에도 오차가 있습니다. ODE는 결정적이라 한 스텝에서 생긴 어긋남이 그대로 다음 스텝의 출발점이 되어 끝까지 실려 갑니다. SDE는 매 스텝 잡음을 더하고 드리프트가 그것을 다시 밀도 높은 쪽으로 끌어당기므로, 앞에서 생긴 어긋남의 일부가 그 과정에서 섞여 지워집니다.

그래서 확산 샘플러를 비교한 실험들(대표적으로 Karras 등의 2022년 EDM 논문)에서 되풀이된 관찰은 이렇습니다. 스텝이 적으면 ODE 쪽이 낫고, 스텝을 넉넉히 쓰면 잡음을 적당히 섞는 쪽이 최종 품질에서 앞서는 경우가 많습니다. 다만 잡음을 섞는 것은 오차를 지우는 동시에 새로 만드는 일이라, 얼마나 섞을지는 모델마다 맞춰야 하는 손잡이로 남습니다. 이 글의 나머지는 ODE 쪽을 따라갑니다. 스텝 수와 오차의 관계가 가장 깨끗하게 보이는 곳이기 때문입니다.

이산화 오차의 차수

오일러 방법

ODE dxdt=F(t,x)\frac{dx}{dt} = F(t, x) 를 컴퓨터로 푸는 가장 단순한 방법은 오일러 방법입니다 — 지금 자리의 기울기로 직선을 그어 hh 만큼 갑니다.

xn+1=xn+h F(tn,xn)x_{n+1} = x_n + h\,F(t_n, x_n)

연속인 시간을 hh 간격의 점들로 바꿔 그 점에서만 값을 구하는 이 일을 이산화라 하고, 그 대가로 생기는 참 해와의 차이를 이산화 오차라 부릅니다. 확산 샘플링에서는 FF 를 한 번 계산할 때마다 신경망을 한 번 부르고, hh 를 정하는 것이 곧 num_inference_steps를 정하는 일입니다. 시간을 1에서 0으로 거꾸로 가므로 실제로는 hh 가 음수이지만, 오차를 세는 데는 크기만 중요합니다.

국소 오차와 전역 오차

한 걸음에서 생기는 오차를 테일러 전개로 셉니다. 참 해는

x(tn+h)=x(tn)+h x′(tn)+h22x′′(tn)+O(h3)x(t_n + h) = x(t_n) + h\,x'(t_n) + \frac{h^2}{2}x''(t_n) + O(h^3)

인데 오일러는 앞의 두 항만 씁니다. 그러니 한 걸음의 오차 — 국소 절단 오차(local truncation error)는 h22x′′\frac{h^2}{2}x'', 즉 O(h2)O(h^2) 입니다. x′′x'' 이 크다는 것은 곡선이 많이 휜다는 뜻이므로, 같은 hh 라도 휜 자리에서 오차가 더 큽니다. 이것이 뒤에서 격자를 고를 때 다시 나옵니다.

이제 그 걸음을 구간 전체에 걸쳐 1/h1/h 번 합니다. 오차가 단순히 더해진다고 보면

O(h2)⏟한 걸음×1h⏟걸음 수=O(h)\underbrace{O(h^2)}_{\text{한 걸음}} \times \underbrace{\frac{1}{h}}_{\text{걸음 수}} = O(h)

가 되어 전역 오차(global error)는 O(h)O(h) 입니다. 국소 차수보다 하나 낮아집니다.

국소 오차가 걸음 수만큼 쌓여 전역 오차가 되는 그림

전역 오차가 O(hp)O(h^p) 인 방법을 pp차 방법이라 하고, 오일러는 1차입니다. 뜻은 이렇습니다 — 스텝을 열 배 늘리면 오차가 10분의 1이 됩니다. 2차 방법이면 같은 열 배로 오차가 100분의 1이 됩니다.

하이운 방법

한 걸음 안에서 기울기를 두 번 재면 차수가 오릅니다. 하이운 방법(Heun's method)은 일단 오일러로 가 보고, 도착지의 기울기를 다시 잰 뒤 두 기울기의 평균으로 다시 갑니다.

x~=xn+hF(tn,xn),xn+1=xn+h2[F(tn,xn)+F(tn+1,x~)]\tilde{x} = x_n + h F(t_n, x_n), \qquad x_{n+1} = x_n + \frac{h}{2}\big[F(t_n, x_n) + F(t_{n+1}, \tilde{x})\big]

평균을 쓰면 테일러의 이차항까지 맞아떨어져 국소 오차가 O(h3)O(h^3), 전역 오차가 O(h2)O(h^2) 가 됩니다. 대신 한 스텝에 함수를 두 번 부릅니다. diffusers의 HeunDiscreteScheduler가 이것이고, Karras 등이 EDM에서 기본 solver로 쓴 것도 이 방법입니다.

안정성 조건

차수는 hh 가 충분히 작을 때 오차가 줄어드는 속도이고, hh 가 크면 그와 별개로 다른 일이 생깁니다. 가장 단순한 dx/dt=−λxdx/dt = -\lambda x 에 오일러를 쓰면 한 스텝이 xn+1=(1−hλ) xnx_{n+1} = (1 - h\lambda)\,x_n 입니다. 참 해는 단조롭게 줄어드는데, hλ>1h\lambda > 1 이면 곱하는 수가 음수가 되어 부호가 매 스텝 뒤집히고, hλ>2h\lambda > 2 면 그 크기가 1을 넘어 스텝마다 커집니다. 오차가 줄기는커녕 발산합니다. 그래서 오일러에는 차수와 따로 h<2/λh < 2/\lambda 라는 안정성 조건이 붙습니다.

확산의 forward SDE에서 λ\lambda 자리는 12β(t)\tfrac{1}{2}\beta(t) 입니다. 이 글의 장난감처럼 β\beta 를 0.1에서 20까지 선형으로 올리면 끝자리에서 λ=10\lambda = 10 이고, 그 근처에서는 한 칸이 0.2보다 짧아야 합니다. 다섯 칸보다 성기게 자르면 잡음을 섞는 쪽부터 무너진다는 뜻입니다.

거꾸로 푸는 확률 흐름 ODE에서는 사정이 다릅니다. 아래 장난감에서 계수는 12β(t) (1/vt−1)\tfrac{1}{2}\beta(t)\,(1/v_t - 1) 이 되는데(vtv_t 는 시각 tt 의 분산), t=1t = 1 근처에서는 vt≈1v_t \approx 1 이라 스코어 항이 드리프트를 거의 지워 β=20\beta = 20 이어도 계수가 0에 가깝습니다. 직접 세어 보면 구간 전체에서 가장 큰 값이 t=0.133t = 0.133 의 2.25라, 열 스텝(h=0.1h = 0.1)의 곱하는 수는 가장 작아도 0.79로 안전합니다. 대신 데이터가 좁게 모일수록 t→0t \to 0 에서 vtv_t 가 작아져 계수가 치솟습니다. 표준편차 0.01짜리 데이터면 t=0t = 0 에서 500이고, 스무 스텝의 마지막 칸은 곱하는 수가 0.10이라 한 칸에 값을 90% 깎아 냅니다. 발산하지는 않지만 그 한 칸이 오차의 대부분을 만듭니다. 이 문제가 다음 절의 주제입니다.

시간 격자 고르기

차수의 실측

차수는 이론이니 직접 확인합니다. 데이터 분포가 N(0,0.25)\mathcal{N}(0, 0.25) 인 1차원 장난감을 씁니다. 이러면 모든 시각의 주변분포가 정규분포이고 스코어가 손으로 나오므로, 확률 흐름 ODE의 정확한 해를 적을 수 있습니다.

vt=0.25 αˉt+(1−αˉt),x(0)=x(T)v0vTv_t = 0.25\,\bar{\alpha}_t + (1 - \bar{\alpha}_t), \qquad x(0) = x(T)\sqrt{\frac{v_0}{v_T}}

αˉt\bar{\alpha}_t 는 시각 tt 까지 신호가 살아남은 비율이고, vtv_t 는 줄어든 데이터 분산과 섞인 잡음 분산의 합입니다. β\beta 를 0.1에서 20까지 선형으로 늘리고 x(1)=1.7x(1) = 1.7 에서 출발하면 정확한 답이 x(0)=0.85001377x(0) = 0.85001377 입니다. 이제 tt 를 균등하게 잘라 오일러와 하이운으로 풀어 오차를 잽니다.

스텝 오일러 오차 하이운 오차
10 2.38e−02 1.89e−02
20 1.60e−02 5.28e−03
40 9.00e−03 1.41e−03
80 4.75e−03 3.63e−04
160 2.44e−03 9.21e−05
320 1.24e−03 2.32e−05
1000 3.99e−04 2.39e−06

이웃한 두 줄로 차수를 역산해 보면

구간 오일러 차수 하이운 차수
40 → 80 0.92 1.96
80 → 160 0.96 1.98
160 → 320 0.98 1.99
320 → 1000 0.99 2.00

이론값 1과 2로 수렴합니다.

스텝 수와 오차의 로그-로그 그래프

처음의 관찰이 여기서 답을 얻습니다. 오일러로 20스텝을 쓰면 오차가 1.6e−02, 1,000스텝이면 4.0e−04입니다. 50배를 더 쓰고 40배 정확해집니다. 20에서 50으로 올릴 때는 오차가 2.5배 줄어 눈에 보이지만, 200에서 1,000으로 올릴 때도 똑같이 2.5배 줄어드는데 그때는 이미 오차가 화면에서 안 보이는 크기입니다. 개선의 비율은 같은데 절대 크기가 작아지므로 어느 지점부터 스텝을 늘려도 그림이 안 변합니다.

격자의 모양

위 실측은 tt 를 균등하게 잘랐습니다. 스텝 수가 같아도 어디를 촘촘히 자를지는 고를 수 있고, 이렇게 고른 점들의 배치를 시간 격자라 부릅니다. diffusers 스케줄러의 timestep_spacing이나 use_karras_sigmas 같은 옵션이 바로 이것을 바꿉니다.

격자를 가늠하는 잣대로 잡음 크기 σt=1−αˉt/αˉt\sigma_t = \sqrt{1-\bar{\alpha}_t}/\sqrt{\bar{\alpha}_t} 를 씁니다. 신호 하나에 잡음이 몇 배 섞였는지를 재는 값이고, 이 장난감에서는 t=1t = 1 에서 152, t=0t = 0 에서 0입니다. 균등한 tt 열 칸은 σ\sigma 로 보면 152 → 58.8 → 25.1 → 11.8 → 6.1 → 3.4 → 2.0 → 1.2 → 0.72 → 0.34 → 0이라, 칸마다 대략 두 배씩 줄어드는 배치입니다.

세 가지를 견줍니다. tt 균등, σ\sigma 를 152에서 0까지 같은 간격으로 자르는 σ\sigma 균등, 그리고 log⁡σ\log\sigma 를 같은 간격으로 자르되(σ\sigma 가 152에서 0.002까지 일정한 비율로 줄고) 마지막에 0으로 한 칸 가는 log⁡σ\log\sigma 균등입니다. 데이터 표준편차를 0.5(지금까지의 장난감)와 0.01 둘로 놓고, tt 좌표의 오일러로 풀어 상대 오차를 쟀습니다.

격자 표준편차 0.5, 10스텝 0.5, 20스텝 0.01, 10스텝 0.01, 20스텝
tt 균등 2.8% 1.9% 301% 98.5%
σ\sigma 균등 96.3% 88.9% 9,655% 9,157%
log⁡σ\log\sigma 균등 14.7% 6.0% 119% 40.8%

σ\sigma 균등이 가장 나쁩니다. 152를 열 칸으로 나누면 칸이 15.2씩이라 기울기를 재는 열 점이 전부 σ≥15.2\sigma \ge 15.2, 곧 t≥0.735t \ge 0.735 에 몰리고, 마지막 한 걸음이 t=0.735t = 0.735 에서 0까지를 통째로 건넙니다. 잡음이 신호의 열다섯 배가 넘는 구간에서는 경로가 거의 안 움직이므로 점 아홉 개를 버린 셈입니다.

스텝을 몰 자리

어디에 몰아야 하는지는 국소 오차 h22x′′\tfrac{h^2}{2}x'' 가 말해 줍니다. 곡선이 휘는 자리에 점이 촘촘해야 합니다. 확산의 경로는 σ\sigma 가 데이터의 폭보다 훨씬 클 때는 거의 곧고, σ\sigma 가 데이터 표준편차와 비슷해지는 자리에서 휩니다. 그 전까지는 잡음이 데이터의 모양을 덮고 있다가, 잡음이 그만큼 작아져야 비로소 「어느 데이터 쪽으로 갈지」가 정해지기 때문입니다. 시각으로는 tt 가 0에 가까운 끝입니다.

같은 10스텝을 세 가지 격자로 놓았을 때 참 경로 위의 점 배치

그림은 데이터 표준편차 0.01일 때의 참 경로 위에 세 격자의 열 점을 올린 것입니다. xx 는 t=0.1t = 0.1 에서 0.548인데 t=0t = 0 에서 0.017로, 마지막 10% 구간에서 값의 대부분이 바뀝니다. tt 균등은 그 구간에 0.1 한 점만 두고 한 걸음에 건너뛰어 301%가 틀립니다. log⁡σ\log\sigma 균등은 σ\sigma 를 0.085·0.024·0.007·0.002로 차례로 줄이며 그 구간에 다섯 점을 두므로 같은 열 스텝으로 오차가 119%까지 내려옵니다.

그러니 최선의 격자는 데이터에 달려 있습니다. 표준편차 0.5인 넓은 데이터에서는 tt 균등이 이미 휘는 자리(σ\sigma 가 0.3~2)에 점 서너 개를 두고 있어 log⁡σ\log\sigma 균등보다 낫고, 0.01인 좁은 데이터에서는 거꾸로입니다. 실제 이미지는 고차원 공간에서 아주 좁게 모여 있는 쪽에 가깝고, 그래서 실무 스케줄러들은 끝으로 갈수록 촘촘해지는 격자(Karras 격자는 σ1/7\sigma^{1/7} 을 균등하게 자릅니다)를 기본으로 씁니다. 상대 오차 40%가 여전히 크다는 것도 눈여겨볼 만합니다 — 좁은 데이터는 격자를 잘 골라도 tt 좌표의 오일러로는 버겁고, 그 답이 다음 절의 좌표 바꾸기입니다.

DDIM 갱신식

σ 좌표의 오일러

DDIM 샘플러의 갱신식은 이렇게 생겼습니다.

xs=αˉs(xt−1−αˉt εθαˉt)⏟x^0+1−αˉs εθx_{s} = \sqrt{\bar{\alpha}_{s}}\underbrace{\left(\frac{x_t - \sqrt{1-\bar{\alpha}_t}\,\varepsilon_\theta}{\sqrt{\bar{\alpha}_t}}\right)}_{\hat{x}_0} + \sqrt{1 - \bar{\alpha}_{s}}\,\varepsilon_\theta

εθ\varepsilon_\theta 는 신경망이 예측한 잡음이고, 괄호 안 x^0\hat{x}_0 은 그 잡음을 빼서 거꾸로 짐작한 원본입니다. 잡음을 새로 뽑는 자리가 없습니다 — 그래서 결정적입니다. 그런데 왜 이 모양인지는 식만 봐서는 안 보입니다.

변수를 바꾸면 보입니다. xˉ=x/αˉt\bar{x} = x/\sqrt{\bar{\alpha}_t}, σ=1−αˉt/αˉt\sigma = \sqrt{1-\bar{\alpha}_t}/\sqrt{\bar{\alpha}_t} 로 두면 확률 흐름 ODE가 이렇게 단순해집니다.

dxˉdσ=εθ\frac{d\bar{x}}{d\sigma} = \varepsilon_\theta

그리고 이 식에 오일러를 적용하면 xˉs=xˉt+(σs−σt)εθ\bar{x}_{s} = \bar{x}_t + (\sigma_s - \sigma_t)\varepsilon_\theta 이고, 원래 변수로 되돌리면 위의 DDIM 갱신식과 글자 그대로 같아집니다. 확인해 봤습니다.

DDIM     = 0.733056595090
σ-오일러 = 0.733056595090
차이     = 0.00e+00

20스텝에서 마지막 자리까지 일치합니다. 그러니 DDIM은 새로운 샘플링 기법이 아니라 확률 흐름 ODE를 잘 고른 좌표계에서 오일러로 푼 것입니다. 결정적인 것은 ODE를 풀기 때문이고, 스텝을 줄일 수 있는 것도 잡음 없는 매끄러운 곡선이기 때문입니다.

η와 확률성

DDIM 논문의 원래 식에는 손잡이가 하나 더 있습니다. 스텝마다 섞는 새 잡음의 표준편차를

σt→s(η)=η1−αˉs1−αˉt1−αˉtαˉs\sigma_{t \to s}(\eta) = \eta \sqrt{\frac{1-\bar{\alpha}_s}{1-\bar{\alpha}_t}}\sqrt{1 - \frac{\bar{\alpha}_t}{\bar{\alpha}_s}}

로 두고, 그만큼 위 식의 마지막 항 계수를 줄입니다. 기호가 겹치지만 이 σt→s\sigma_{t\to s} 는 한 스텝에 새로 섞는 잡음의 크기이고, 좌표로 쓰던 σ\sigma 와는 다른 값입니다. η(에타)가 0이면 새 잡음이 없어 위의 결정적 갱신, 곧 확률 흐름 ODE의 오일러가 되고, 1이면 DDPM의 조상 샘플링과 같은 분산이 되어 역방향 SDE를 한 칸씩 푸는 쪽이 됩니다. 그 사이의 값은 잡음을 일부만 섞는 중간입니다.

두 방법이 별개의 발명이 아니라 한 손잡이의 양 끝이라는 뜻이고, 앞 절의 「SDE 쪽의 이점」이 바로 이 손잡이를 0에서 얼마나 올릴지의 문제입니다. diffusers의 DDIM 파이프라인이 받는 eta 인자가 이 값입니다.

좌표 바꾸기의 이득

좌표를 바꾸면 왜 이득일까요. 오일러는 곡선을 접선으로 대신하므로, 따라갈 곡선이 곧을수록 국소 오차 h22x′′\tfrac{h^2}{2}x'' 가 작습니다. 같은 경로라도 어느 변수로 그리느냐에 따라 휘는 정도가 다르고, 휘지 않게 그려지는 변수를 고르면 같은 걸음 수로 더 정확합니다. 이것이 수치해석의 일반 원리입니다.

장난감에서는 손으로 확인됩니다. 데이터 분산을 s2s^2 이라 하면 xˉ\bar{x} 의 참 경로는 xˉ(σ)=1.7s2+σ2\bar{x}(\sigma) = 1.7\sqrt{s^2 + \sigma^2} 이고, σ\sigma 가 ss 보다 훨씬 크면 직선 1.7σ1.7\sigma 와 거의 같습니다. 직선은 오일러가 오차 없이 따라가므로, (σ,xˉ)(\sigma, \bar{x}) 좌표에서 오차가 생기는 곳은 σ\sigma 가 ss 근처로 내려와 곡선이 휘는 짧은 구간뿐입니다.

t 좌표와 σ 좌표에서 그린 같은 ODE 경로

그런데 실측은 한 방향으로만 나오지 않았습니다. 앞 절의 두 데이터에 20스텝을 주고 tt 좌표 오일러와 DDIM을 견주면 이렇습니다.

데이터 표준편차 · 격자 tt 좌표 오일러 DDIM
0.5 · tt 균등 1.9% 13.8%
0.5 · log⁡σ\log\sigma 균등 6.0% 13.7%
0.01 · tt 균등 98.5% 94.3%
0.01 · log⁡σ\log\sigma 균등 40.8% 15.0%

데이터가 넓으면(0.5) DDIM이 오히려 집니다. 그림 왼쪽의 파란 곡선처럼 이 경우는 tt 좌표에서도 꽤 완만하고, 오른쪽에서는 σ\sigma 가 0.5 아래로 내려올 때 휘는 구간이 남기 때문입니다. 데이터가 좁으면(0.01) (σ,xˉ)(\sigma, \bar{x}) 좌표의 경로가 거의 끝까지 직선이라, 격자까지 log⁡σ\log\sigma 로 맞추면 오차가 40.8%에서 15.0%로 떨어집니다. 좌표의 이득은 공짜가 아니라 데이터가 좁을수록 커지는 것이고, 이미지가 그 끝에 있으므로 DDIM과 그 위에 선 DPM-Solver 같은 방법들이 실무에서 이깁니다. DPM-Solver는 이 좌표에서 εθ\varepsilon_\theta 의 변화까지 몇 차로 근사해 차수를 올린 것입니다.

비용을 맞춘 비교

신경망 호출 수

그러면 항상 하이운을 쓰면 될까요. 계산 비용을 맞춰 비교하면 답이 갈립니다.

확산 샘플링의 비용은 스텝 수가 아니라 신경망 호출 수(NFE)입니다. 한 번 부르는 데 수십 밀리초가 드는 신경망에 비하면 갱신식의 덧셈·곱셈은 공짜에 가까워서, 실제로 걸리는 시간은 거의 호출 횟수에 비례합니다. 하이운은 한 스텝에 두 번 부르므로, 같은 비용이면 스텝 수가 절반입니다.

이 두 가지 세는 법을 섞으면 결론이 뒤집힙니다. 같은 hh 로 놓으면 하이운은 오일러보다 두 배 비싸고 오차가 훨씬 작습니다 — 위 실측의 같은 줄 비교가 그것입니다. 같은 비용으로 놓으면 하이운은 hh 가 두 배인 상태에서 오일러와 겨룹니다. 논문의 표가 「스텝」으로 적혀 있는지 「NFE」로 적혀 있는지부터 봐야 하는 이유입니다.

같은 신경망 호출 수에서 두 방법을 비교한 표

호출 수 오일러 하이운(절반 스텝) 비
20 1.60e−02 1.89e−02 오일러 우세
40 9.00e−03 5.28e−03 1.7배
80 4.75e−03 1.41e−03 3.4배
160 2.44e−03 3.63e−04 6.7배
320 1.24e−03 9.21e−05 13.4배

호출 20번에서는 오일러가 이깁니다. 차수의 이득은 hh 가 충분히 작아진 뒤에야 나타나는데, 스텝이 아주 성기면 아직 그 영역이 아닙니다. 앞의 로그-로그 그래프에서도 왼쪽 끝에서 두 직선이 붙어 있었습니다.

교차점

어디서 뒤집히는지는 차수만으로 어림할 수 있습니다. 1,000스텝 값으로 상수를 맞추면 오일러 오차는 호출 수 MM 에 대해 0.399/M0.399/M, 하이운은 스텝이 M/2M/2 이므로 2.39/(M/2)2=9.55/M22.39/(M/2)^2 = 9.55/M^2 입니다. 둘이 같아지는 곳은

0.399M=9.55M2⇒M≈24\frac{0.399}{M} = \frac{9.55}{M^2} \quad\Rightarrow\quad M \approx 24

입니다. 표에서 20번은 오일러, 40번은 하이운이 이긴 것과 맞습니다. 이 어림은 hh 가 작을 때의 직선을 왼쪽으로 늘린 것이라 20번 근처에서는 실측과 2~3할 어긋나지만(오일러 예측 0.020, 실측 0.016), 뒤집히는 자리를 짚기에는 충분합니다.

여기서 실무의 두 갈래가 갈립니다.

  • 호출 수를 아주 적게(10~20) 쓰려면 차수를 올리는 것으로는 부족합니다. 한 호출을 낭비하지 않는 쪽이 유리하고, 그래서 이전 스텝의 값을 재활용해 한 스텝에 한 번만 부르고도 차수를 올리는 다단계 방법(DPM-Solver++ 같은 것)이나 스코어의 구조를 식에 반영한 지수 적분기가 쓰입니다.
  • 호출 수가 40 이상이면 차수의 이득이 곧바로 나옵니다. 같은 비용에 오차가 몇 배 작아집니다.

CFG와 호출 수

실제 텍스트-이미지 파이프라인에서는 셈이 한 번 더 달라집니다. 다음 글에서 다룰 classifier-free guidance(CFG)를 켜면 매 스텝 프롬프트를 넣은 예측과 빈 프롬프트의 예측을 둘 다 구해 섞으므로, 한 스텝에 신경망을 두 번 부릅니다. 배치로 묶어 한 번에 돌려도 계산량은 두 배입니다.

그러면 num_inference_steps=20인 오일러·DDIM·DPM-Solver++는 호출 40번, 같은 20스텝의 하이운은 80번입니다. 스텝 수만 보고 「둘 다 20스텝」이라고 비교하면 하이운에 두 배의 예산을 준 셈이 되고, 공정하게 맞추려면 하이운을 10스텝으로 줄여야 합니다. 앞의 교차점 어림은 호출 수 기준이므로 CFG가 있어도 그대로이지만, 사용자가 손에 쥔 「스텝」이라는 숫자와 비용 사이의 환산이 통째로 두 배가 됩니다.

오차의 잣대

여기까지 잰 오차는 마지막 xx 가 참 해에서 얼마나 떨어졌는가, 곧 L2 거리입니다. 사람이 보는 그림의 품질과는 다른 잣대입니다. 같은 L2 오차라도 화면 전체에 고르게 퍼진 밝기 차이는 눈에 거의 안 띄고, 가장자리 몇 픽셀이 뭉개진 것은 바로 보입니다. 반대로 SDE 샘플러는 같은 출발점에서 ODE와 전혀 다른 그림을 내므로 L2로 재면 오차가 엄청나지만, 그림으로는 똑같이 좋을 수 있습니다.

같은 L2라도 크기를 무엇에 견주느냐에 따라 뜻이 바뀝니다. 표준편차 0.01 데이터의 tt 균등 20스텝은 절대 오차가 0.0167이라 넓은 데이터의 오차(0.016)와 거의 같은 크기인데, 답 자체가 0.017이라 상대로는 98.5%가 틀렸습니다. 그래서 확산 논문들은 이산화 오차보다 생성 분포 전체를 견주는 FID 같은 지표를 스텝 수에 맞춰 그립니다. 이 글의 오차는 「방정식을 얼마나 정확히 풀었나」만 재고, 「그림이 좋은가」는 그 위에 한 겹이 더 있습니다.

그리고 차수 이론이 말하지 않는 것도 있습니다. 위 계산은 전부 스코어가 정확할 때의 이산화 오차입니다. 실제로는 신경망이 배운 스코어 자체에 오차가 있고, 그것은 스텝을 아무리 늘려도 줄지 않습니다. 1,000스텝이 50스텝보다 눈에 띄게 낫지 않은 진짜 이유가 여기 있습니다 — 이산화 오차가 모델 오차 아래로 내려간 뒤에는 더 정확히 풀어 봐야 이미 틀린 방정식을 더 정확히 푸는 것이기 때문입니다.

num_inference_steps=20으로 돌아가면 그 숫자가 무엇을 정하는지 말할 수 있습니다. 그것은 화질 손잡이가 아니라 적분의 격자 간격이고, 20이 충분한지는 쓰는 solver의 차수, 스케줄러가 고른 격자의 모양, 그리고 그 모델의 스코어가 얼마나 정확한지가 함께 정합니다. 다음 글에서는 방정식을 푸는 법이 아니라 방정식 자체를 바꿉니다 — 드리프트의 스코어 자리에 무엇을 대신 넣는지, 그리고 guidance_scale이 그 자리에서 무엇을 곱하는지를 봅니다.

정리

  • 이산 forward 사슬을 Δt→0\Delta t \to 0 으로 보내면 dx=−12β(t)x dt+β(t) dwdx = -\frac{1}{2}\beta(t)x\,dt + \sqrt{\beta(t)}\,dw 라는 SDE가 된다. dwdw 는 평균 0·분산 dtdt 인 브라운 운동의 증분이다.
  • 독립 증분의 분산이 더해지므로 표준편차는 Δt\sqrt{\Delta t} 로 줄어야 극한에서 잡음이 사라지지도 폭발하지도 않는다. dw2=dtdw^2 = dt 로 세는 것이 보통 미분과 갈리는 자리다.
  • 시간을 뒤집은 역방향 SDE의 드리프트에 스코어가 들어 있다. 신경망이 배운 것이 그 자리에 그대로 들어간다.
  • 포커-플랑크 방정식의 확산항을 ∇⋅(p∇log⁡p)\nabla \cdot (p\nabla\log p) 로 바꿔 드리프트에 넣으면 연속방정식이 되고, 그 속도로 잡음 없이 옮긴 것이 확률 흐름 ODE다. 주변분포는 SDE와 같고 다른 것은 경로뿐이다.
  • 오일러의 국소 오차는 테일러 이차항이라 O(h2)O(h^2), 그것을 1/h1/h 번 쌓아 전역 오차가 O(h)O(h) 다. 하이운은 기울기를 두 번 재 평균하고 전역 오차가 O(h2)O(h^2) 다.
  • 차수와 별개로 hλ<2h\lambda < 2 라는 안정성 조건이 있다. forward 쪽은 β=20\beta = 20 근처에서 h<0.2h < 0.2 를 요구하고, 확률 흐름 ODE는 데이터가 좁을수록 t→0t \to 0 끝에서 계수가 치솟는다.
  • 가우시안 장난감의 정확한 해와 비교해 재 보니 차수가 0.99와 2.00으로 수렴했다. 개선의 비율은 어디서나 같으므로 절대 오차가 작아진 뒤에는 스텝을 늘려도 그림이 변하지 않는다.
  • 같은 스텝 수라도 격자가 오차를 가른다. σ\sigma 균등은 점을 잡음 많은 쪽에 버려 가장 나쁘고, 점은 경로가 휘는 σ≈\sigma \approx 데이터 폭, 곧 tt 가 0에 가까운 쪽에 몰아야 한다.
  • DDIM은 확률 흐름 ODE를 (xˉ,σ)(\bar{x}, \sigma) 좌표에서 오일러로 푼 것과 마지막 자리까지 같다. η가 0이면 이 ODE, 1이면 DDPM이다. 좌표의 이득은 그 좌표에서 경로가 곧을수록, 곧 데이터가 좁을수록 크다.
  • 비용은 신경망 호출 수로 센다. 호출 수를 맞추면 교차점이 약 24번이라 20번에서는 오일러가 이기고 40번부터 하이운이 앞선다. CFG를 켜면 스텝당 호출이 두 배가 된다.
  • 여기서 잰 것은 스코어가 정확할 때의 L2 오차다. 그림의 품질은 다른 잣대이고, 모델 자체의 오차는 스텝으로 줄지 않는다.

읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN