수학

MATH / 중급 71번

수치적으로 안정한 계산 패턴 모음

최댓값 빼기, 로그 공간, log1p·expm1, 분산의 두 공식, 정규화의 ε, fp32 누산, 역행렬 대신 solve — 프레임워크가 몰래 해 주는 일곱 가지를 하나씩 꺼내 각각 어떤 고장을 막는지 직접 재 봤습니다. 수식을 그대로 옮긴 코드가 왜 라이브러리보다 나쁜지에 대한 목록입니다.

PALDYN Team44 MIN READ

교차 엔트로피 손실을 직접 짰습니다. 식이 −log⁡py-\log p_y 이고 pp 는 softmax이니 두 줄이면 끝납니다. 그런데 몇백 스텝 뒤에 손실이 inf가 되고, F.cross_entropy로 바꾸니 똑같은 데이터에서 멀쩡히 돕니다. 코드는 수식 그대로였습니다.

p = np.exp(z) / np.exp(z).sum()
loss = -np.log(p[y])

로짓이 [1000, 3, 5]일 때 이 코드는 inf를 내놓습니다. [-800, -900, -1000]이면 nan입니다. 안정한 구현은 각각 995.0과 200.0을 정확히 돌려줍니다. 수학적으로 같은 식이 계산으로는 다른 식이고, 프레임워크는 그 차이를 알고 다른 쪽을 씁니다.

지난 글에서 그 차이가 어디서 나오는지 — 반올림, 파괴적 상쇄, 흡수 — 를 셋으로 갈랐습니다. 이 글은 그 셋을 막는 처방 일곱 개를 「좌표를 옮긴다 · 식을 바꾼다 · 분모에 천장을 씌운다 · 정밀도를 둘 곳에 둔다 · 역행렬을 안 만든다」의 다섯 절로 세우고, 각각이 무엇을 막는지 하나씩 재 봅니다.

좌표 옮기기

최댓값 빼기

softmax는 로짓 전체를 같은 상수만큼 밀어도 값이 안 변합니다.

ezi−c∑jezj−c=e−cezie−c∑jezj=ezi∑jezj\frac{e^{z_i - c}}{\sum_j e^{z_j - c}} = \frac{e^{-c}e^{z_i}}{e^{-c}\sum_j e^{z_j}} = \frac{e^{z_i}}{\sum_j e^{z_j}}

분자와 분모에 똑같이 e−ce^{-c} 가 곱해져 약분됩니다. 이 자유를 써서 c=max⁡jzjc = \max_j z_j 로 두면 모든 지수가 0 이하가 되어 ezi−c≤1e^{z_i-c} \le 1 이고, 값이 형식이 담을 수 있는 최대치를 넘어 inf가 되는 오버플로가 원천적으로 사라집니다.

최댓값을 빼기 전후의 softmax 계산 흐름

아래쪽도 같이 고쳐집니다. 로짓이 전부 −1000-1000 근처면 그대로 계산했을 때 모든 지수가 0으로 잘리는 언더플로가 일어나 0/00/0 이 되는데, 최댓값을 빼면 적어도 하나는 e0=1e^0 = 1 이라 분모가 절대 0이 아닙니다.

같은 트릭이 log-sum-exp에도 그대로 붙습니다.

log⁡∑jezj=c+log⁡∑jezj−c,c=max⁡jzj\log\sum_j e^{z_j} = c + \log\sum_j e^{z_j - c}, \qquad c = \max_j z_j

log-sum-exp를 다룬 글에서 유도한 그대로입니다. 그리고 교차 엔트로피는 softmax를 거치지 않고 이것 하나로 바로 씁니다.

−log⁡py=−(zy−log⁡∑jezj)-\log p_y = -\left(z_y - \log\sum_j e^{z_j}\right)

나눗셈도 로그도 사라졌습니다. 서두의 inf와 nan이 이 한 줄로 없어집니다. F.cross_entropy가 softmax를 따로 계산하지 않고 log_softmax와 nll_loss를 묶어 쓰는 이유가 이것입니다. 막는 고장은 오버플로, 언더플로, 0/00/0 입니다.

로그 공간

확률을 여러 개 곱하면 값이 지수적으로 작아집니다. 0.7을 2,000번 곱하면

>>> np.prod(np.full(2000, 0.7))
1.57065220561795e-310

fp64의 최소 정규수가 2.2×10−3082.2\times10^{-308} 이라 이미 비정규 영역에 들어갔고, 항이 조금만 더 많으면 그냥 0입니다. 0이 되고 나면 되돌릴 방법이 없습니다.

로그를 취하면 곱셈이 덧셈이 됩니다.

log⁡∏ipi=∑ilog⁡pi\log\prod_i p_i = \sum_i \log p_i

같은 계산이 −713.35-713.35 로 나옵니다. fp64가 ±1.8×10308\pm1.8\times10^{308} 까지 담으니 항이 수백만 개여도 여유가 있습니다. 확률 대신 그 로그를 들고 계산하는 이 방식을 로그 공간 계산이라 부르고, 하는 일은 곱셈을 덧셈으로 바꾸는 것보다 지수적으로 퍼지는 값의 범위를 선형으로 눌러 담는 쪽에 가깝습니다.

곱셈은 덧셈이 되고 나눗셈은 뺄셈이 되는데, 덧셈만 곤란합니다. log⁡(a+b)\log(a+b) 를 log⁡a\log a 와 log⁡b\log b 로 구해야 하는데 그것이 정확히 log-sum-exp입니다. 그래서 로그 공간으로 옮기면 최댓값 빼기가 반드시 따라옵니다. 뺄셈 log⁡(a−b)\log(a-b) 는 더 까다로운데, 그것은 다음 절에서 식을 바꾸는 쪽으로 다룹니다.

노름 스케일링

같은 조작이 세 번째로 나타나는 자리가 벡터의 길이입니다. 그래디언트 클리핑은 매 스텝 그래디언트 전체의 길이 ∥g∥=∑igi2\|\mathbf{g}\| = \sqrt{\sum_i g_i^2} 를 재는데, fp16은 65,504까지만 담습니다. 성분이 [300, 400]이기만 해도 제곱이 90,000과 160,000이라 둘 다 inf가 되고, 답이 500인 길이가 inf로 나옵니다.

고치는 법은 가장 큰 성분의 절댓값 mm 으로 먼저 나눠 두는 것입니다.

∥g∥=m∑i(gim)2,m=max⁡i∣gi∣\|\mathbf{g}\| = m\sqrt{\sum_i \left(\frac{g_i}{m}\right)^2}, \qquad m = \max_i |g_i|

나눈 성분은 전부 1 이하라 제곱해도 넘칠 수 없고, 바깥에서 mm 을 다시 곱하니 값은 그대로입니다. [300, 400]은 [0.75, 1]이 되고, 제곱합 1.5625의 제곱근 1.25에 400을 곱해 정확히 500이 나옵니다. 이렇게 최댓값으로 나눈 뒤 제곱하는 계산을 노름 스케일링이라 부릅니다. 반대쪽도 막힙니다 — fp64에서 [3e-200, 4e-200]의 길이를 그대로 재면 제곱이 언더플로해 0이 나오는데, math.hypot은 5×10−2005\times10^{-200} 을 돌려줍니다.

fp16 벡터 길이를 그대로 잴 때와 최댓값으로 나눠 잴 때

이것도 최댓값 빼기와 같은 일입니다. softmax는 덧셈으로 밀어도 값이 안 변하고 노름은 곱셈으로 늘리고 줄여도 비율만큼만 변하니, 그 자유를 써서 값을 안전한 구간으로 옮긴 뒤 계산하고 되돌립니다. 다만 모든 라이브러리가 이렇게 하지는 않습니다. [3e200, 4e200]에 np.linalg.norm을 쓰면 inf가 나오고, math.hypot과 BLAS의 nrm2는 5×102005\times10^{200} 을 돌려줍니다. 같은 이름의 함수라도 이 단계가 있는지는 문서를 봐야 압니다.

온라인 softmax

옮기는 데도 값이 있습니다. 최댓값을 알아야 빼거나 나눌 수 있으니 데이터를 한 번 더 훑어야 합니다. 안정한 softmax는 최댓값을 찾는 한 번, 지수의 합을 구하는 한 번, 나누는 한 번으로 세 번 읽고, 그대로 계산하면 두 번이면 됩니다. 길이가 수만인 어텐션 행에서는 메모리를 한 번 더 읽는 비용이 계산보다 큽니다.

그 비용을 다시 줄인 것이 온라인 softmax입니다. 지금까지 본 최댓값 mm 과 그 기준의 합 ss 를 들고 가다가 더 큰 값이 나오면 ss 에 emold−mnewe^{m_{\text{old}} - m_{\text{new}}} 를 곱해 기준만 고쳐 줍니다. 최댓값 찾기와 합 구하기가 한 번에 끝나 세 번이 두 번이 되고, FlashAttention이 블록 단위로 어텐션을 계산할 수 있는 바탕이 이 갱신 규칙입니다. 유도는 앞의 log-sum-exp 글에 있습니다. 좌표를 옮기는 처방은 정확성을 공짜로 주지 않고 패스 하나를 요구하며, 그 패스를 줄이는 것이 별도의 설계 문제라는 점만 기억하면 됩니다.

식 바꾸기

log1p와 expm1

xx 가 아주 작을 때 log⁡(1+x)\log(1+x) 를 그대로 계산하면 두 번 손해를 봅니다. 먼저 1+x1+x 를 만들면서 xx 의 아랫자리가 1의 눈금에 흡수되고, 그다음 log⁡\log 가 1 근처에서 00 을 돌려줍니다.

xx log(1 + x) log1p(x) 참값
10⁻⁸ 1.000000 × 10⁻⁸ 1.000000 × 10⁻⁸ 1.0 × 10⁻⁸
10⁻¹² 1.000089 × 10⁻¹² 1.000000 × 10⁻¹² 1.0 × 10⁻¹²
10⁻¹⁶ 0 1.000000 × 10⁻¹⁶ 1.0 × 10⁻¹⁶

log1p는 1+x1+x 를 만들지 않고 급수 log⁡(1+x)=x−x2/2+x3/3−⋯\log(1+x) = x - x^2/2 + x^3/3 - \cdots 를 직접 씁니다. 중간에 1이 등장하지 않으니 흡수될 것이 없습니다. expm1(x)는 ex−1e^x - 1 의 짝으로, exe^x 가 1에 가까울 때 1을 빼면서 일어나는 상쇄를 피합니다.

쓰는 자리가 생각보다 많습니다. 로지스틱 손실 log⁡(1+e−z)\log(1+e^{-z}) 가 그렇고, 작은 확률의 로그 오즈, 이자·성장률 계산이 그렇습니다. 막는 고장은 흡수와 파괴적 상쇄입니다.

분산과 Welford

분산 공식은 두 가지로 씁니다.

s2=1n−1∑i(xi−xˉ)2또는s2=1n−1(∑ixi2−(∑ixi)2n)s^2 = \frac{1}{n-1}\sum_i (x_i - \bar{x})^2 \qquad\text{또는}\qquad s^2 = \frac{1}{n-1}\left(\sum_i x_i^2 - \frac{(\sum_i x_i)^2}{n}\right)

오른쪽이 매력적입니다. ∑xi\sum x_i 와 ∑xi2\sum x_i^2 만 들고 다니면 되니 데이터를 한 번만 훑고 스트리밍으로도 됩니다. 왼쪽은 평균을 먼저 구해야 해서 두 번 훑습니다.

그런데 오른쪽은 파괴적 상쇄를 정면으로 밟습니다. ∑xi2\sum x_i^2 와 (∑xi)2/n(\sum x_i)^2/n 은 둘 다 크고 거의 같은데, 답인 분산은 그 차이라서 작습니다. 데이터 1,2,3,4,51,2,3,4,5 에 상수를 더해 가며 fp64로 재 보면 이렇습니다.

데이터 한 번 훑기 두 번 훑기 Welford 참값
1~5 2.5 2.5 2.5 2.5
+10⁴ 2.5 2.5 2.5 2.5
+10⁸ 2.0 2.5 2.5 2.5
+10⁹ 0.0 2.5 2.5 2.5

값 자체는 안 변하고 평균만 옮겼는데 한 번 훑기 공식은 10910^9 근처에서 0을 내놓습니다. fp64인데도 그렇습니다. 데이터가 평균에서 조금씩 떨어져 있는 형태 — 온도, 센서 값, 타임스탬프, 큰 상수가 실린 특성 — 가 정확히 이 모양입니다.

한 번 훑기와 정확성을 둘 다 가지려면 Welford 알고리즘을 씁니다. 평균과 편차 제곱합을 매 항마다 갱신하되, 큰 값끼리 빼서 그 차를 키우는 자리를 만들지 않는 방법입니다.

def welford(xs):
    n = 0
    mean = 0.0
    M2 = 0.0
    for x in xs:
        n += 1
        d = x - mean          # 평균에서의 편차 — 크기가 작다
        mean += d / n
        M2 += d * (x - mean)  # 갱신 전 편차 × 갱신 후 편차
    return M2 / (n - 1)

핵심은 d = x - mean입니다. 큰 수 둘을 빼는 것은 여기서도 마찬가지지만, 그 결과를 제곱해서 쌓기 전에 빼기 때문에 상쇄가 한 번만 일어나고 확대되지 않습니다. 위 표의 Welford 열이 그 결과이고, 10910^9 에서도 2.5입니다. numpy와 pandas의 분산은 두 번 훑기를, 스트리밍 통계 라이브러리는 Welford를 씁니다.

로그 공간의 뺄셈

로그 공간에서 덧셈은 log-sum-exp로 풀렸지만 뺄셈이 남아 있습니다. 혼합 모델에서 한 성분을 빼거나, 누적 확률 둘의 차로 구간 확률을 구할 때 log⁡a\log a 와 log⁡b\log b 만 들고 log⁡(a−b)\log(a-b) 를 구해야 합니다. 그대로 log(exp(la) - exp(lb))라 쓰면 log⁡a=1000\log a = 1000, log⁡b=999\log b = 999 에서 inf - inf가 되어 nan이 나옵니다.

큰 쪽을 묶어 내면 지수가 사라집니다.

log⁡(a−b)=log⁡a+log⁡(1−elog⁡b−log⁡a)=log⁡a+log1p⁡(−elog⁡b−log⁡a)\log(a-b) = \log a + \log\left(1 - e^{\log b - \log a}\right) = \log a + \operatorname{log1p}\left(-e^{\log b - \log a}\right)

이 식은 1000과 999에서 999.5413을 정확히 돌려줍니다. 그런데 두 값이 가까우면 여기서도 상쇄가 남습니다. log⁡b−log⁡a=−10−17\log b - \log a = -10^{-17} 이면 e−10−17e^{-10^{-17}} 이 fp64에서 정확히 1로 반올림되어 괄호 안이 log1p⁡(−1)=−∞\operatorname{log1p}(-1) = -\infty 가 됩니다. 참값은 −39.14-39.14 입니다. 지수를 먼저 계산하면서 1에 흡수된 것이니, 이 자리는 expm1로 바꿔 log⁡(−expm1⁡(log⁡b−log⁡a))\log\left(-\operatorname{expm1}(\log b - \log a)\right) 로 적어야 −39.14-39.14 가 나옵니다.

반대로 두 값이 멀면 expm1 쪽이 틀립니다. 차가 −30-30 이면 −expm1⁡(−30)-\operatorname{expm1}(-30) 이 1에 아주 가까운 수라 그 로그에서 자릿수를 잃고, 이번에는 log1p 쪽이 맞습니다. 그래서 안정한 구현은 차가 −log⁡2-\log 2 보다 크면 expm1 식을, 작으면 log1p 식을 고르는 두 갈래로 짭니다. 이 두 갈래 규칙을 흔히 log-diff-exp라 부르고, 확률 프로그래밍 라이브러리가 log1mexp 같은 이름으로 따로 들고 있습니다.

0·log 0

엔트로피 H(p)=−∑ipilog⁡piH(p) = -\sum_i p_i \log p_i 와 KL 발산 ∑ipilog⁡(pi/qi)\sum_i p_i \log(p_i / q_i) 에는 확률이 정확히 0인 항이 자주 섞입니다. 마스킹된 토큰, 원-핫 정답, 한 번도 안 나온 클래스가 그렇습니다. 수학에서는 극한 lim⁡p→0+plog⁡p=0\lim_{p\to0^+} p\log p = 0 이라 그 항을 0으로 두기로 약속하지만, 계산에서는 log⁡0=−∞\log 0 = -\infty 이고 0×(−∞)0 \times (-\infty) 가 nan입니다. p = [0.5, 0.5, 0]의 엔트로피를 식 그대로 계산하면 nan이 나오고, 참값은 log⁡2=0.6931\log 2 = 0.6931 입니다.

nan은 합 전체를, 다음 스텝에는 그래디언트를 타고 가중치 전체를 오염시키므로 한 항의 문제로 끝나지 않습니다. 그래서 이 약속만 담당하는 전용 함수가 따로 있습니다. xlogy는 xlog⁡yx\log y 를 계산하되 x=0x = 0 이면 yy 와 상관없이 0을 돌려주는 함수이고, scipy.special.xlogy와 torch.special.xlogy가 그것입니다. scipy.special.entr와 rel_entr는 엔트로피와 KL의 한 항을 같은 규칙으로 계산해, 위 예에서 각각 0.6931을 돌려줍니다. p * log(p + 1e-12)처럼 작은 수를 더해 피하는 코드도 흔한데, 이는 답을 조금씩 틀리게 만들고 pp 가 1e-12보다 작은 자리에서 더 크게 틀립니다. 예외를 예외로 처리하는 함수가 있으면 그쪽이 낫습니다.

정규화의 ε

증폭의 천장

LayerNorm이나 BatchNorm의 서명에는 eps=1e-5 같은 인자가 있습니다.

x^i=xi−μσ2+ε\hat{x}_i = \frac{x_i - \mu}{\sqrt{\sigma^2 + \varepsilon}}

분모가 0이 되는 것을 막는 값이라고 설명되는데, 그것은 절반입니다. 실제로 두 가지를 막습니다.

입력 ε=0\varepsilon = 0 ε=10−5\varepsilon = 10^{-5}
[3, 3, 3, 3] (완전히 같음) [nan, nan, nan, nan] [0, 0, 0, 0]
[1.0000001, 1, 1, 1] (거의 같음) [2, 0, 0, 0] [0, 0, 0, 0]

첫 줄이 알려진 쪽입니다 — 분산이 정확히 0이라 0/00/0 이 됩니다.

둘째 줄이 진짜 문제입니다. nan이 아니라 그럴듯한 숫자가 나옵니다. 입력의 차이는 10−710^{-7} 밖에 안 되는데 출력은 2가 됐습니다. 분산이 아주 작으면 σ2\sqrt{\sigma^2} 도 아주 작고, 그 작은 수로 나누면 입력에 실려 있던 반올림 오차가 그대로 확대됩니다. 10−710^{-7} 짜리 잡음이 2가 되는 증폭입니다. nan은 눈에 띄어 잡히기라도 하는데, 이쪽은 그냥 잘못된 값으로 흘러 다음 층으로 갑니다.

ε\varepsilon 은 분모에 하한을 두어 이 증폭에 천장을 씌웁니다. 분산이 ε\varepsilon 보다 훨씬 크면 아무 일도 안 하고, 작아지면 나눗셈이 ε\sqrt{\varepsilon} 으로 나누는 것에 수렴합니다. 작은 상수를 더해 두는 것처럼 보여도 실제로는 나눗셈의 이득에 상한을 거는 장치이고, 막는 고장은 0/00/0 과 작은 분모에 의한 오차 증폭입니다.

ε의 자리

정규화는 ε\varepsilon 을 제곱근 안에 넣습니다. 제곱근 안에 있어야 σ2\sigma^2 와 같은 단위에서 비교되고, ε\varepsilon 을 「분산의 하한」으로 읽을 수 있습니다. eps=1e-5이면 분모가 10−5≈3.16×10−3\sqrt{10^{-5}} \approx 3.16\times10^{-3} 밑으로 안 내려가니 나눗셈의 이득은 최대 316배입니다.

Adam은 같은 이름의 값을 제곱근 밖에 붙입니다. 2차 모멘트 vv 의 제곱근으로 1차 모멘트 mm 을 나누는 갱신이 m/(v+ε)m / (\sqrt{v} + \varepsilon) 이고, 기본값 eps=1e-8이면 분모의 하한이 그대로 10−810^{-8} 이라 이득의 상한은 10810^8 배입니다. 같은 기호지만 앞은 분산의 하한이고 뒤는 표준편차 크기의 하한, 곧 나눗셈 이득을 직접 자르는 상한이라 같은 수를 넣어도 뜻이 다릅니다. 같은 1e-5라도 제곱근 안이면 분모의 하한이 3.16×10−33.16\times10^{-3}, 밖이면 10−510^{-5} 로 316배 차이 나고, Adam의 1e-8을 정규화의 제곱근 안에 넣으면 하한이 10−410^{-4} 가 되어 이득 상한이 10410^4 배가 됩니다.

ε을 제곱근 안에 둘 때와 밖에 둘 때 분모의 하한과 이득의 상한

라이브러리를 옮길 때 이 자리가 바뀌기도 합니다. TensorFlow의 Adam 문서는 자기 ε\varepsilon 이 논문 알고리즘의 것이 아니라 편향 보정 전의 vv 에 붙는 「ε^\hat{\varepsilon}」이라고 따로 밝히는데, 붙는 자리가 달라 같은 숫자로도 같은 학습이 안 나온다는 뜻입니다. 하이퍼파라미터를 옮길 때는 값과 함께 식 안의 자리를 확인해야 합니다.

ε의 크기

값은 두 경계 사이에서 고릅니다. 너무 크면 정규화가 약해집니다. 한 층 활성값의 표준편차가 10−310^{-3} (분산 10−610^{-6}) 인데 eps=1e-5면 출력의 표준편차가 1이 아니라 10−3/1.1×10−5≈0.3010^{-3}/\sqrt{1.1\times10^{-5}} \approx 0.30 으로 나옵니다. 정규화가 하라는 일을 30%만 한 셈입니다. 너무 작으면 위에서 본 증폭이 되살아납니다. 그러니 위쪽 경계는 그 층 활성값 분산이 실제로 내려가는 범위이고, 아래쪽 경계는 그 형식이 분산을 계산하면서 남기는 반올림 오차의 크기입니다.

그 반올림 오차의 눈금이 머신 엡실론입니다. 1과 그다음으로 표현 가능한 수 사이의 간격이고, 상대 반올림 오차가 대략 그 절반을 넘지 않습니다. fp32는 2−23≈1.19×10−72^{-23} \approx 1.19\times10^{-7}, fp16은 2−10≈9.77×10−42^{-10} \approx 9.77\times10^{-4}, bf16은 2−7≈7.81×10−32^{-7} \approx 7.81\times10^{-3} 입니다. fp16에서는 더 직접적인 경계도 있습니다. fp16이 담을 수 있는 가장 작은 양수가 약 6×10−86\times10^{-8} 이라 np.float16(1e-8)은 0입니다. Adam의 eps=1e-8을 fp16 상태로 들고 있으면 천장이 통째로 사라지므로, fp16 학습에서 옵티마이저 상태를 fp32로 두거나 ε\varepsilon 을 키우는 이유가 이것입니다.

정밀도 배치

누산과 저장

지난 글에서 확인한 대로, 정밀도가 필요한 곳은 값을 담는 자리가 아니라 값이 쌓이는 자리입니다. 한 번 곱하고 버릴 값은 bf16으로 충분하고, 수천 개를 더하거나 작은 갱신을 오래 쌓는 자리는 fp32여야 합니다.

가장 단적인 예가 가중치 갱신입니다. 크기 1인 가중치에 학습률 10−410^{-4} 짜리 갱신을 천 번 더해 봤습니다.

w32 = np.float32(1.0)
w16 = bf16(np.float32(1.0))
for _ in range(1000):
    w32 = np.float32(w32 - lr * g)
    w16 = bf16(np.float32(w16 - lr * g))
# w32 → 0.89998,  w16 → 1.0  (참값 0.9)

bf16 가중치는 천 스텝 동안 한 번도 안 움직였습니다. 머신 엡실론이 7.8×10−37.8\times10^{-3} 이고 1 바로 아래 눈금 간격은 그 절반인 2−8≈3.9×10−32^{-8} \approx 3.9\times10^{-3} 이라, 10−410^{-4} 짜리 갱신은 간격의 반에도 못 미쳐 매번 1.0으로 되돌아가 흡수됩니다. 학습이 진행되는 것처럼 보이면서 실제로는 아무 일도 안 일어나는 고장이고, 손실 곡선만 봐서는 안 보입니다.

그래서 여러 형식을 섞어 쓰는 혼합정밀도 학습은 「무엇을 쓰나」가 아니라 「무엇을 어디에 두나」의 문제입니다.

혼합정밀도에서 무엇을 어디에 두는지 정리한 표

마스터 가중치를 fp32로 따로 들고 다니면서 순전파용 bf16 사본을 매 스텝 만드는 것이 표준 구성입니다. 메모리를 더 쓰는 것처럼 보이지만, 활성값이 차지하는 양이 가중치보다 훨씬 크기 때문에 전체로는 여전히 이득입니다. 막는 고장은 흡수와 오버플로입니다.

확률적 반올림

fp32 사본을 둘 메모리가 없을 때 쓰는 다른 길이 있습니다. 보통의 반올림은 가장 가까운 눈금으로 보내므로, 간격보다 훨씬 작은 갱신은 매번 같은 쪽으로 버려집니다. 확률적 반올림은 값을 두 이웃 눈금 중 하나로 보내되, 가까운 쪽일수록 높은 확률로 고르는 방식입니다. 아래 눈금으로 갈 확률은 위 눈금까지의 거리를 눈금 간격으로 나눈 값입니다.

1에서 10−410^{-4} 를 뺀 0.99990.9999 는 bf16 눈금 0.996093750.99609375 와 11 사이에 있고 1에서 간격의 10−4/2−8≈2.56%10^{-4}/2^{-8} \approx 2.56\% 만큼 떨어져 있습니다. 확률적 반올림은 이 값을 2.56%의 확률로 아래 눈금에, 나머지 확률로 1에 보냅니다. 한 번 한 번은 여전히 눈금 위의 값이지만 기댓값을 계산하면 1−0.0256×2−8=0.99991 - 0.0256 \times 2^{-8} = 0.9999 로 갱신 전의 값과 같습니다. 기댓값이 보존되므로, 작은 갱신이 매번 0이 되는 대신 가끔 한 칸씩 움직여 평균으로 따라갑니다.

가장 가까운 눈금 반올림과 확률적 반올림이 0.9999를 보내는 곳

위의 천 스텝 실험을 확률적 반올림으로 다시 돌리면 bf16 가중치가 1.0에 멈추지 않고 0.910까지 내려옵니다(시드 0). 시드 스무 개의 평균은 0.905, 범위는 0.855~0.938이었습니다. fp32의 0.89998만큼 정확하지는 않고 실행마다 흔들리지만, 통째로 멈추는 고장은 사라졌습니다. 잡음을 대가로 기댓값을 산 셈이고, 일부 학습 가속기가 이 반올림을 하드웨어로 제공하는 이유입니다.

누산기 폭

합이나 평균처럼 많은 값을 차례로 더해 담아 두는 변수를 누산기라 하고, 넓혀야 할 것은 대개 이 누산기 하나입니다. 입력은 bf16이어도 누산기만 fp32이면 흡수가 거의 사라집니다. 학습 코드에서 누산기를 넓혀야 하는 자리는 넷으로 꼽힙니다.

  1. 손실의 합 — 배치와 스텝에 걸쳐 수만 개의 작은 값을 더한다.
  2. 정규화의 평균과 분산 — 은닉 차원 수천 개를 한 번에 더하고, 분산은 위에서 본 상쇄까지 겹친다.
  3. 어텐션 점수의 합 — softmax 분모가 시퀀스 길이만큼의 항을 더한다.
  4. 옵티마이저의 모멘트 — Adam의 vv 는 그래디언트의 제곱을 쌓는데, 10−410^{-4} 짜리 그래디언트의 제곱 10−810^{-8} 은 fp16에서 0이 된다.

넷 모두 프레임워크가 기본으로 fp32 누산을 하지만, 직접 짠 커널이나 torch.sum(x)에 dtype을 안 준 자리에서는 입력 형식을 그대로 따라갈 수 있습니다. 텐서 코어가 bf16 곱의 합을 fp32로 쌓는 것도 같은 설계입니다.

선형계 풀이

조건수

Ax=bA\mathbf{x} = \mathbf{b} 를 풀 때 수식은 x=A−1b\mathbf{x} = A^{-1}\mathbf{b} 지만, 코드에서 inv(A) @ b를 쓰지 않고 solve(A, b)를 씁니다. 이유는 속도만이 아닙니다.

먼저 얼마나 나빠질 수 있는지를 재는 값이 필요합니다. 조건수는 입력의 상대오차가 출력에서 최대 몇 배로 커지는지를 나타내는 수이고, 행렬의 가장 큰 특잇값과 가장 작은 특잇값의 비입니다.

κ(A)=σmax⁡σmin⁡\kappa(A) = \frac{\sigma_{\max}}{\sigma_{\min}}

특잇값 분해를 다룬 글에서 본 대로, AA 를 곱하는 것은 단위원을 타원으로 만드는 일입니다. 조건수는 그 타원이 얼마나 납작한지입니다.

단위원이 타원이 되는 정도로 조건수를 그린 그림

조건수가 10k10^k 이면 답에서 십진 kk 자리를 잃습니다. fp64가 가진 것이 16자리이므로, 조건수 101410^{14} 짜리 문제를 fp64로 풀면 두 자리만 남습니다.

solve와 콜레스키

힐베르트 행렬로 두 방법을 비교했습니다. 답이 전부 1이 되도록 b=A1\mathbf{b} = A\mathbf{1} 로 만들어 두고 풀었습니다.

크기 조건수 inv(A) @ b 최대오차 solve(A, b) 최대오차
6 × 6 1.5 × 10⁷ 1.98 × 10⁻⁹ 6.65 × 10⁻¹¹
10 × 10 1.6 × 10¹³ 8.13 × 10⁻³ 4.42 × 10⁻⁵
14 × 14 3.2 × 10¹⁷ 1.17 × 10³ 7.49

solve가 매번 30배에서 180배 정확합니다. 이유는 inv가 계산을 두 번 하기 때문입니다 — 먼저 A−1A^{-1} 을 구하면서 반올림 오차를 쌓고, 그다음 곱하면서 또 쌓습니다. solve는 행렬을 아래삼각과 위삼각 두 행렬의 곱으로 쪼개는 LU 분해를 한 번 해서 바로 답으로 갑니다. 중간 결과인 A−1A^{-1} 을 만들지 않으므로 거기서 생길 오차도 없습니다.

행렬이 대칭이고 모든 고윳값이 양수, 곧 양의 정부호이면 한 단계 더 쌉니다. 공분산 행렬, 커널 행렬, X⊤XX^\top X 가 전부 이 모양입니다. 이때는 A=LL⊤A = LL^\top 처럼 아래삼각 행렬 하나와 그 전치의 곱으로 쪼갤 수 있고, 이것이 콜레스키 분해입니다. 삼각 행렬을 하나만 구하면 되니 연산량이 약 n3/3n^3/3 으로 LU의 2n3/32n^3/3 의 절반이고, 피벗을 고를 필요도 없어 안정합니다. 가우시안 과정의 로그 가능도처럼 log⁡det⁡A\log\det A 가 필요한 자리에서는 2∑ilog⁡Lii2\sum_i \log L_{ii} 로 바로 나오니, 행렬식을 직접 계산해 오버플로시키는 일도 같이 피합니다. cholesky_solve가 그 함수입니다.

정규방정식

같은 원리의 더 큰 사례가 최소제곱입니다. 정규방정식 X⊤Xw=X⊤yX^\top X\mathbf{w} = X^\top\mathbf{y} 를 만들어 푸는 것이 교과서 유도인데, X⊤XX^\top X 를 만드는 순간 조건수가 제곱됩니다.

κ(X⊤X)=κ(X)2\kappa(X^\top X) = \kappa(X)^2

특잇값이 제곱되기 때문입니다. σmax⁡/σmin⁡\sigma_{\max}/\sigma_{\min} 이 σmax⁡2/σmin⁡2\sigma_{\max}^2/\sigma_{\min}^2 이 됩니다.

정규방정식과 QR 분해의 조건수 비교

거의 같은 열 두 개가 있는 50×850\times8 설계행렬로 재 보니 κ(X)=1.78×107\kappa(X) = 1.78\times10^7 인데 κ(X⊤X)=3.31×1014\kappa(X^\top X) = 3.31\times10^{14} 이었고, 계수 오차가 4.5×10−34.5\times10^{-3} 대 6.9×10−106.9\times10^{-10} 으로 650만 배 갈렸습니다. numpy.linalg.lstsq가 정규방정식을 만들지 않고 XX 를 그대로 QR 분해하는 이유입니다. 막는 고장은 조건수에 의한 오차 확대입니다.

대각 더하기

분해를 바꿔도 행렬 자체가 거의 특이하면 답이 안 나옵니다. 14×14 힐베르트 행렬은 solve로도 오차가 7.49였습니다. 이때 쓰는 마지막 처방은 대각선에 작은 상수 λ\lambda 를 더하는 것입니다. 대칭 양의 정부호 행렬 AA 의 고윳값이 σi\sigma_i 이면 A+λIA + \lambda I 의 고윳값은 σi+λ\sigma_i + \lambda 라, 조건수가 이렇게 눌립니다.

κ(A+λI)=σmax⁡+λσmin⁡+λ\kappa(A + \lambda I) = \frac{\sigma_{\max} + \lambda}{\sigma_{\min} + \lambda}

가장 작은 고윳값이 0에 가까워도 분모가 λ\lambda 밑으로 안 내려가니, 정규화의 ε\varepsilon 과 같은 천장입니다. 같은 힐베르트 행렬에 λ=10−10\lambda = 10^{-10} 을 더하자 조건수가 3.2×10173.2\times10^{17} 에서 1.8×10101.8\times10^{10} 으로 내려갔고, 1로부터의 최대오차가 7.49에서 1.2×10−51.2\times10^{-5} 가 됐습니다. λ\lambda 를 10−810^{-8} 로 키우면 조건수는 더 낮아지지만 오차는 1.2×10−41.2\times10^{-4} 로 다시 커집니다. 푸는 문제가 원래 문제에서 그만큼 멀어지기 때문이고, 그래서 λ\lambda 도 ε\varepsilon 처럼 두 경계 사이에서 고릅니다.

X⊤X+λIX^\top X + \lambda I 로 적으면 이것은 리지 회귀이고, 가중치에 L2 벌점을 거는 것과 같은 식입니다. 통계에서는 과적합을 막는 정규화로, 수치해석에서는 조건수를 누르는 방어로 같은 한 줄을 씁니다. 가우시안 과정 코드에 흔히 붙는 jitter=1e-6도 콜레스키 분해가 반올림 오차로 실패하지 않게 대각선에 더하는 이 값입니다.

세 갈래

일곱 패턴

일곱 개를 한자리에 놓으면 이렇습니다.

패턴 막는 고장 프레임워크에서
최댓값 빼기 오버플로 · 언더플로 · 0/00/0 log_softmax, logsumexp, cross_entropy
로그 공간 계산 언더플로 log_prob, HMM·CRF의 전방 알고리즘
log1p · expm1 흡수 · 상쇄 softplus, logsigmoid
두 번 훑기 또는 Welford 파괴적 상쇄 var, std, 러닝 통계
정규화의 ε\varepsilon 0/00/0 · 오차 증폭 LayerNorm(eps=1e-5), RMSNorm
fp32 누산 흡수 텐서 코어, GradScaler, 마스터 가중치
solve · QR 조건수 확대 linalg.solve, lstsq, cholesky_solve

세 갈래로 다시 묶으면 더 짧아집니다.

범위가 모자란 것은 좌표를 옮겨 고칩니다. 최댓값 빼기, 로그 공간, 노름 스케일링이 그렇고, 셋 다 「값 자체를 바꾸지 않는 변환을 골라 안전한 구간으로 옮긴다」는 같은 일입니다.

상쇄가 있는 것은 식을 바꿔 고칩니다. log1p, Welford, log-diff-exp, solve가 그렇고, 정밀도를 올려서는 안 고쳐집니다. 분산 표의 한 번 훑기 공식이 fp64에서도 0을 냈던 것이 그 증거입니다.

쌓이는 것은 누산기를 키워 고칩니다. fp32 누산과 확률적 반올림이 그렇습니다. 정규화의 ε\varepsilon 과 대각 더하기는 나눗셈의 이득에 천장을 씌운다는 점에서 조금 다른 갈래로, 둘 다 값을 조금 바꾸는 대가로 증폭을 막습니다.

점검 물음

서두의 교차 엔트로피로 돌아갑니다. 코드가 틀린 것이 아니라, 수식을 그대로 옮기면 좌표를 옮기는 단계가 빠집니다. 수학에는 e1000e^{1000} 이라는 값이 문제없이 존재하고, 계산에는 없습니다.

그래서 직접 짜지 말라는 뜻은 아닙니다. 짤 때 확인할 목록이 있다는 뜻입니다.

  • 지수를 계산하는가 → 지수가 양수가 되지 않도록 상수를 뺄 수 있는가
  • 확률을 여러 개 곱하는가 → 로그 공간으로 옮길 수 있는가
  • 비슷한 크기의 두 수를 빼는가 → 그 뺄셈을 없앤 동치 식이 있는가
  • 작은 값으로 나누는가 → 분모에 하한이 있는가
  • 많은 항을 더하는가 → 누산기가 입력보다 넓은가
  • 행렬의 역을 만드는가 → 그것 없이 푸는 함수가 있는가
  • 값을 비교하거나 문턱을 넘는지 보는가 → == 대신 허용치를 두었는가

일곱째는 앞의 처방과 결이 다릅니다. 고장이 값이 아니라 판단에서 납니다. fp64에서 0.1 + 0.2 == 0.3은 False이고, 「손실이 0이 되면 멈춘다」 같은 조건은 영영 참이 안 될 수 있습니다. 상대 허용치만 두면 비교 대상이 0일 때 허용 범위도 0이 되어 같은 고장이 나므로, np.isclose처럼 상대 허용치(기본 1e-5)와 절대 허용치(기본 1e-8)를 함께 두는 쪽을 씁니다.

일곱 줄이고, 대부분의 자리에서는 「없다」가 답이라 그냥 지나갑니다. 걸리는 자리가 정확히 프레임워크가 몰래 다르게 계산하고 있던 자리입니다.

의심할 세 자리

프레임워크의 내장 연산을 조합하는 한 이 목록은 대부분 이미 지켜져 있습니다. 믿을 수 없는 자리는 셋으로 좁혀집니다.

첫째는 직접 짠 커널입니다. Triton이나 CUDA로 어텐션이나 정규화를 새로 쓰면 최댓값 빼기, fp32 누산, ε\varepsilon 이 전부 내 손에 넘어옵니다. 프레임워크가 해 주던 일을 그대로 다시 해야 하는데, 빠르게 만드는 데 집중하다 보면 누산기 폭이 가장 먼저 빠집니다.

둘째는 손실에 덧붙인 항입니다. 엔트로피 보너스, KL 패널티, 대조 학습의 온도 나눗셈처럼 기본 손실 옆에 한 줄 더한 항은 cross_entropy 같은 안정한 함수를 거치지 않는 경우가 많습니다. 0⋅log⁡00\cdot\log 0 의 nan과 작은 온도로 나눈 로짓의 오버플로가 이 자리에서 납니다.

셋째는 논문 수식을 그대로 옮긴 한 줄입니다. 논문은 수학의 언어로 적혀 있어 log⁡∑e\log\sum e 를 그대로 쓰고, A−1A^{-1} 을 그대로 쓰고, v+ε\sqrt{v}+\varepsilon 과 v+ε\sqrt{v+\varepsilon} 을 구별 없이 씁니다. 서두의 두 줄이 정확히 이 경우였습니다. 수식은 맞았고, 계산으로 옮기는 단계가 빠졌을 뿐입니다.

정리

  • 최댓값 빼기는 softmax가 로짓 전체를 밀어도 값이 안 변한다는 성질을 쓴다. 오버플로와 0/00/0 을 동시에 막고, 교차 엔트로피는 아예 −(zy−logsumexp⁡(z))-(z_y - \operatorname{logsumexp}(z)) 로 써서 나눗셈과 로그를 없앤다.
  • 로그 공간은 0.7을 2,000번 곱해 1.6×10−3101.6\times10^{-310} 이 되는 것을 −713.35-713.35 로 바꾼다. 대신 덧셈이 log-sum-exp가 되므로 최댓값 빼기가 따라온다.
  • 노름 스케일링은 최댓값으로 나눈 뒤 제곱해, fp16에서 inf가 되던 [300, 400]의 길이를 500으로 되돌린다. 좌표를 옮기는 처방은 패스 하나를 요구하고, 온라인 softmax가 그 패스를 줄인다.
  • log1p·expm1은 1 근처에서 흡수와 상쇄를 피한다. 로그 공간의 뺄셈은 두 값의 거리에 따라 둘 중 하나를 골라 쓴다.
  • 분산의 한 번 훑기 공식은 데이터에 10910^9 을 더하기만 해도 fp64에서 0이 나온다. 스트리밍이 필요하면 Welford를 쓴다.
  • 0⋅log⁡00\cdot\log 0 은 xlogy·entr·rel_entr가 맡는다. 작은 수를 더해 피하면 답이 조금씩 틀린다.
  • 정규화의 ε\varepsilon 은 10−710^{-7} 짜리 잡음이 2로 증폭되는 것을 막는다. 제곱근 안이면 분산의 하한, Adam처럼 밖이면 이득의 상한이라 같은 값을 옮겨 쓰면 안 된다.
  • 정밀도는 쌓이는 곳에 둔다. bf16 가중치에 10−410^{-4} 갱신을 천 번 더해도 1.0에서 안 움직이고, 확률적 반올림은 기댓값을 지켜 0.905 안팎까지 따라간다.
  • inv(A) @ b 대신 solve(A, b), 양의 정부호면 콜레스키. 정규방정식은 조건수를 제곱하니 lstsq는 QR을 쓴다. 그래도 안 풀리면 대각선에 λ\lambda 를 더해 조건수를 (σmax⁡+λ)/(σmin⁡+λ)(\sigma_{\max}+\lambda)/(\sigma_{\min}+\lambda) 로 누른다.
  • 셋으로 묶으면 — 범위가 모자라면 좌표를 옮기고, 상쇄가 있으면 식을 바꾸고, 쌓이는 것은 누산기를 키운다. 직접 짠 커널, 덧붙인 손실 항, 논문에서 옮긴 한 줄이 이 목록을 다시 꺼낼 자리다.

읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN