교차 엔트로피 손실을 직접 짰습니다. 식이 이고 는 softmax이니 두 줄이면 끝납니다. 그런데 몇백 스텝 뒤에 손실이 inf가 되고, F.cross_entropy로 바꾸니 똑같은 데이터에서 멀쩡히 돕니다. 코드는 수식 그대로였습니다.
p = np.exp(z) / np.exp(z).sum()
loss = -np.log(p[y])
로짓이 [1000, 3, 5]일 때 이 코드는 inf를 내놓습니다. [-800, -900, -1000]이면 nan입니다. 안정한 구현은 각각 995.0과 200.0을 정확히 돌려줍니다. 수학적으로 같은 식이 계산으로는 다른 식이고, 프레임워크는 그 차이를 알고 다른 쪽을 씁니다.
지난 글에서 그 차이가 어디서 나오는지 — 반올림, 파괴적 상쇄, 흡수 — 를 셋으로 갈랐습니다. 이 글은 그 셋을 막는 처방 일곱 개를 「좌표를 옮긴다 · 식을 바꾼다 · 분모에 천장을 씌운다 · 정밀도를 둘 곳에 둔다 · 역행렬을 안 만든다」의 다섯 절로 세우고, 각각이 무엇을 막는지 하나씩 재 봅니다.
좌표 옮기기
최댓값 빼기
softmax는 로짓 전체를 같은 상수만큼 밀어도 값이 안 변합니다.
분자와 분모에 똑같이 가 곱해져 약분됩니다. 이 자유를 써서 로 두면 모든 지수가 0 이하가 되어 이고, 값이 형식이 담을 수 있는 최대치를 넘어 inf가 되는 오버플로가 원천적으로 사라집니다.
아래쪽도 같이 고쳐집니다. 로짓이 전부 근처면 그대로 계산했을 때 모든 지수가 0으로 잘리는 언더플로가 일어나 이 되는데, 최댓값을 빼면 적어도 하나는 이라 분모가 절대 0이 아닙니다.
같은 트릭이 log-sum-exp에도 그대로 붙습니다.
log-sum-exp를 다룬 글에서 유도한 그대로입니다. 그리고 교차 엔트로피는 softmax를 거치지 않고 이것 하나로 바로 씁니다.
나눗셈도 로그도 사라졌습니다. 서두의 inf와 nan이 이 한 줄로 없어집니다. F.cross_entropy가 softmax를 따로 계산하지 않고 log_softmax와 nll_loss를 묶어 쓰는 이유가 이것입니다. 막는 고장은 오버플로, 언더플로, 입니다.
로그 공간
확률을 여러 개 곱하면 값이 지수적으로 작아집니다. 0.7을 2,000번 곱하면
>>> np.prod(np.full(2000, 0.7))
1.57065220561795e-310
fp64의 최소 정규수가 이라 이미 비정규 영역에 들어갔고, 항이 조금만 더 많으면 그냥 0입니다. 0이 되고 나면 되돌릴 방법이 없습니다.
로그를 취하면 곱셈이 덧셈이 됩니다.
같은 계산이 로 나옵니다. fp64가 까지 담으니 항이 수백만 개여도 여유가 있습니다. 확률 대신 그 로그를 들고 계산하는 이 방식을 로그 공간 계산이라 부르고, 하는 일은 곱셈을 덧셈으로 바꾸는 것보다 지수적으로 퍼지는 값의 범위를 선형으로 눌러 담는 쪽에 가깝습니다.
곱셈은 덧셈이 되고 나눗셈은 뺄셈이 되는데, 덧셈만 곤란합니다. 를 와 로 구해야 하는데 그것이 정확히 log-sum-exp입니다. 그래서 로그 공간으로 옮기면 최댓값 빼기가 반드시 따라옵니다. 뺄셈 는 더 까다로운데, 그것은 다음 절에서 식을 바꾸는 쪽으로 다룹니다.
노름 스케일링
같은 조작이 세 번째로 나타나는 자리가 벡터의 길이입니다. 그래디언트 클리핑은 매 스텝 그래디언트 전체의 길이 를 재는데, fp16은 65,504까지만 담습니다. 성분이 [300, 400]이기만 해도 제곱이 90,000과 160,000이라 둘 다 inf가 되고, 답이 500인 길이가 inf로 나옵니다.
고치는 법은 가장 큰 성분의 절댓값 으로 먼저 나눠 두는 것입니다.
나눈 성분은 전부 1 이하라 제곱해도 넘칠 수 없고, 바깥에서 을 다시 곱하니 값은 그대로입니다. [300, 400]은 [0.75, 1]이 되고, 제곱합 1.5625의 제곱근 1.25에 400을 곱해 정확히 500이 나옵니다. 이렇게 최댓값으로 나눈 뒤 제곱하는 계산을 노름 스케일링이라 부릅니다. 반대쪽도 막힙니다 — fp64에서 [3e-200, 4e-200]의 길이를 그대로 재면 제곱이 언더플로해 0이 나오는데, math.hypot은 을 돌려줍니다.
이것도 최댓값 빼기와 같은 일입니다. softmax는 덧셈으로 밀어도 값이 안 변하고 노름은 곱셈으로 늘리고 줄여도 비율만큼만 변하니, 그 자유를 써서 값을 안전한 구간으로 옮긴 뒤 계산하고 되돌립니다. 다만 모든 라이브러리가 이렇게 하지는 않습니다. [3e200, 4e200]에 np.linalg.norm을 쓰면 inf가 나오고, math.hypot과 BLAS의 nrm2는 을 돌려줍니다. 같은 이름의 함수라도 이 단계가 있는지는 문서를 봐야 압니다.
온라인 softmax
옮기는 데도 값이 있습니다. 최댓값을 알아야 빼거나 나눌 수 있으니 데이터를 한 번 더 훑어야 합니다. 안정한 softmax는 최댓값을 찾는 한 번, 지수의 합을 구하는 한 번, 나누는 한 번으로 세 번 읽고, 그대로 계산하면 두 번이면 됩니다. 길이가 수만인 어텐션 행에서는 메모리를 한 번 더 읽는 비용이 계산보다 큽니다.
그 비용을 다시 줄인 것이 온라인 softmax입니다. 지금까지 본 최댓값 과 그 기준의 합 를 들고 가다가 더 큰 값이 나오면 에 를 곱해 기준만 고쳐 줍니다. 최댓값 찾기와 합 구하기가 한 번에 끝나 세 번이 두 번이 되고, FlashAttention이 블록 단위로 어텐션을 계산할 수 있는 바탕이 이 갱신 규칙입니다. 유도는 앞의 log-sum-exp 글에 있습니다. 좌표를 옮기는 처방은 정확성을 공짜로 주지 않고 패스 하나를 요구하며, 그 패스를 줄이는 것이 별도의 설계 문제라는 점만 기억하면 됩니다.
식 바꾸기
log1p와 expm1
가 아주 작을 때 를 그대로 계산하면 두 번 손해를 봅니다. 먼저 를 만들면서 의 아랫자리가 1의 눈금에 흡수되고, 그다음 가 1 근처에서 을 돌려줍니다.
log(1 + x) |
log1p(x) |
참값 | |
|---|---|---|---|
| 10⁻⁸ | 1.000000 × 10⁻⁸ | 1.000000 × 10⁻⁸ | 1.0 × 10⁻⁸ |
| 10⁻¹² | 1.000089 × 10⁻¹² | 1.000000 × 10⁻¹² | 1.0 × 10⁻¹² |
| 10⁻¹⁶ | 0 | 1.000000 × 10⁻¹⁶ | 1.0 × 10⁻¹⁶ |
log1p는 를 만들지 않고 급수 를 직접 씁니다. 중간에 1이 등장하지 않으니 흡수될 것이 없습니다. expm1(x)는 의 짝으로, 가 1에 가까울 때 1을 빼면서 일어나는 상쇄를 피합니다.
쓰는 자리가 생각보다 많습니다. 로지스틱 손실 가 그렇고, 작은 확률의 로그 오즈, 이자·성장률 계산이 그렇습니다. 막는 고장은 흡수와 파괴적 상쇄입니다.
분산과 Welford
분산 공식은 두 가지로 씁니다.
오른쪽이 매력적입니다. 와 만 들고 다니면 되니 데이터를 한 번만 훑고 스트리밍으로도 됩니다. 왼쪽은 평균을 먼저 구해야 해서 두 번 훑습니다.
그런데 오른쪽은 파괴적 상쇄를 정면으로 밟습니다. 와 은 둘 다 크고 거의 같은데, 답인 분산은 그 차이라서 작습니다. 데이터 에 상수를 더해 가며 fp64로 재 보면 이렇습니다.
| 데이터 | 한 번 훑기 | 두 번 훑기 | Welford | 참값 |
|---|---|---|---|---|
| 1~5 | 2.5 | 2.5 | 2.5 | 2.5 |
| +10⁴ | 2.5 | 2.5 | 2.5 | 2.5 |
| +10⁸ | 2.0 | 2.5 | 2.5 | 2.5 |
| +10⁹ | 0.0 | 2.5 | 2.5 | 2.5 |
값 자체는 안 변하고 평균만 옮겼는데 한 번 훑기 공식은 근처에서 0을 내놓습니다. fp64인데도 그렇습니다. 데이터가 평균에서 조금씩 떨어져 있는 형태 — 온도, 센서 값, 타임스탬프, 큰 상수가 실린 특성 — 가 정확히 이 모양입니다.
한 번 훑기와 정확성을 둘 다 가지려면 Welford 알고리즘을 씁니다. 평균과 편차 제곱합을 매 항마다 갱신하되, 큰 값끼리 빼서 그 차를 키우는 자리를 만들지 않는 방법입니다.
def welford(xs):
n = 0
mean = 0.0
M2 = 0.0
for x in xs:
n += 1
d = x - mean # 평균에서의 편차 — 크기가 작다
mean += d / n
M2 += d * (x - mean) # 갱신 전 편차 × 갱신 후 편차
return M2 / (n - 1)
핵심은 d = x - mean입니다. 큰 수 둘을 빼는 것은 여기서도 마찬가지지만, 그 결과를 제곱해서 쌓기 전에 빼기 때문에 상쇄가 한 번만 일어나고 확대되지 않습니다. 위 표의 Welford 열이 그 결과이고, 에서도 2.5입니다. numpy와 pandas의 분산은 두 번 훑기를, 스트리밍 통계 라이브러리는 Welford를 씁니다.
로그 공간의 뺄셈
로그 공간에서 덧셈은 log-sum-exp로 풀렸지만 뺄셈이 남아 있습니다. 혼합 모델에서 한 성분을 빼거나, 누적 확률 둘의 차로 구간 확률을 구할 때 와 만 들고 를 구해야 합니다. 그대로 log(exp(la) - exp(lb))라 쓰면 , 에서 inf - inf가 되어 nan이 나옵니다.
큰 쪽을 묶어 내면 지수가 사라집니다.
이 식은 1000과 999에서 999.5413을 정확히 돌려줍니다. 그런데 두 값이 가까우면 여기서도 상쇄가 남습니다. 이면 이 fp64에서 정확히 1로 반올림되어 괄호 안이 가 됩니다. 참값은 입니다. 지수를 먼저 계산하면서 1에 흡수된 것이니, 이 자리는 expm1로 바꿔 로 적어야 가 나옵니다.
반대로 두 값이 멀면 expm1 쪽이 틀립니다. 차가 이면 이 1에 아주 가까운 수라 그 로그에서 자릿수를 잃고, 이번에는 log1p 쪽이 맞습니다. 그래서 안정한 구현은 차가 보다 크면 expm1 식을, 작으면 log1p 식을 고르는 두 갈래로 짭니다. 이 두 갈래 규칙을 흔히 log-diff-exp라 부르고, 확률 프로그래밍 라이브러리가 log1mexp 같은 이름으로 따로 들고 있습니다.
0·log 0
엔트로피 와 KL 발산 에는 확률이 정확히 0인 항이 자주 섞입니다. 마스킹된 토큰, 원-핫 정답, 한 번도 안 나온 클래스가 그렇습니다. 수학에서는 극한 이라 그 항을 0으로 두기로 약속하지만, 계산에서는 이고 가 nan입니다. p = [0.5, 0.5, 0]의 엔트로피를 식 그대로 계산하면 nan이 나오고, 참값은 입니다.
nan은 합 전체를, 다음 스텝에는 그래디언트를 타고 가중치 전체를 오염시키므로 한 항의 문제로 끝나지 않습니다. 그래서 이 약속만 담당하는 전용 함수가 따로 있습니다. xlogy는 를 계산하되 이면 와 상관없이 0을 돌려주는 함수이고, scipy.special.xlogy와 torch.special.xlogy가 그것입니다. scipy.special.entr와 rel_entr는 엔트로피와 KL의 한 항을 같은 규칙으로 계산해, 위 예에서 각각 0.6931을 돌려줍니다. p * log(p + 1e-12)처럼 작은 수를 더해 피하는 코드도 흔한데, 이는 답을 조금씩 틀리게 만들고 가 1e-12보다 작은 자리에서 더 크게 틀립니다. 예외를 예외로 처리하는 함수가 있으면 그쪽이 낫습니다.
정규화의 ε
증폭의 천장
LayerNorm이나 BatchNorm의 서명에는 eps=1e-5 같은 인자가 있습니다.
분모가 0이 되는 것을 막는 값이라고 설명되는데, 그것은 절반입니다. 실제로 두 가지를 막습니다.
| 입력 | ||
|---|---|---|
[3, 3, 3, 3] (완전히 같음) |
[nan, nan, nan, nan] |
[0, 0, 0, 0] |
[1.0000001, 1, 1, 1] (거의 같음) |
[2, 0, 0, 0] |
[0, 0, 0, 0] |
첫 줄이 알려진 쪽입니다 — 분산이 정확히 0이라 이 됩니다.
둘째 줄이 진짜 문제입니다. nan이 아니라 그럴듯한 숫자가 나옵니다. 입력의 차이는 밖에 안 되는데 출력은 2가 됐습니다. 분산이 아주 작으면 도 아주 작고, 그 작은 수로 나누면 입력에 실려 있던 반올림 오차가 그대로 확대됩니다. 짜리 잡음이 2가 되는 증폭입니다. nan은 눈에 띄어 잡히기라도 하는데, 이쪽은 그냥 잘못된 값으로 흘러 다음 층으로 갑니다.
은 분모에 하한을 두어 이 증폭에 천장을 씌웁니다. 분산이 보다 훨씬 크면 아무 일도 안 하고, 작아지면 나눗셈이 으로 나누는 것에 수렴합니다. 작은 상수를 더해 두는 것처럼 보여도 실제로는 나눗셈의 이득에 상한을 거는 장치이고, 막는 고장은 과 작은 분모에 의한 오차 증폭입니다.
ε의 자리
정규화는 을 제곱근 안에 넣습니다. 제곱근 안에 있어야 와 같은 단위에서 비교되고, 을 「분산의 하한」으로 읽을 수 있습니다. eps=1e-5이면 분모가 밑으로 안 내려가니 나눗셈의 이득은 최대 316배입니다.
Adam은 같은 이름의 값을 제곱근 밖에 붙입니다. 2차 모멘트 의 제곱근으로 1차 모멘트 을 나누는 갱신이 이고, 기본값 eps=1e-8이면 분모의 하한이 그대로 이라 이득의 상한은 배입니다. 같은 기호지만 앞은 분산의 하한이고 뒤는 표준편차 크기의 하한, 곧 나눗셈 이득을 직접 자르는 상한이라 같은 수를 넣어도 뜻이 다릅니다. 같은 1e-5라도 제곱근 안이면 분모의 하한이 , 밖이면 로 316배 차이 나고, Adam의 1e-8을 정규화의 제곱근 안에 넣으면 하한이 가 되어 이득 상한이 배가 됩니다.
라이브러리를 옮길 때 이 자리가 바뀌기도 합니다. TensorFlow의 Adam 문서는 자기 이 논문 알고리즘의 것이 아니라 편향 보정 전의 에 붙는 「」이라고 따로 밝히는데, 붙는 자리가 달라 같은 숫자로도 같은 학습이 안 나온다는 뜻입니다. 하이퍼파라미터를 옮길 때는 값과 함께 식 안의 자리를 확인해야 합니다.
ε의 크기
값은 두 경계 사이에서 고릅니다. 너무 크면 정규화가 약해집니다. 한 층 활성값의 표준편차가 (분산 ) 인데 eps=1e-5면 출력의 표준편차가 1이 아니라 으로 나옵니다. 정규화가 하라는 일을 30%만 한 셈입니다. 너무 작으면 위에서 본 증폭이 되살아납니다. 그러니 위쪽 경계는 그 층 활성값 분산이 실제로 내려가는 범위이고, 아래쪽 경계는 그 형식이 분산을 계산하면서 남기는 반올림 오차의 크기입니다.
그 반올림 오차의 눈금이 머신 엡실론입니다. 1과 그다음으로 표현 가능한 수 사이의 간격이고, 상대 반올림 오차가 대략 그 절반을 넘지 않습니다. fp32는 , fp16은 , bf16은 입니다. fp16에서는 더 직접적인 경계도 있습니다. fp16이 담을 수 있는 가장 작은 양수가 약 이라 np.float16(1e-8)은 0입니다. Adam의 eps=1e-8을 fp16 상태로 들고 있으면 천장이 통째로 사라지므로, fp16 학습에서 옵티마이저 상태를 fp32로 두거나 을 키우는 이유가 이것입니다.
정밀도 배치
누산과 저장
지난 글에서 확인한 대로, 정밀도가 필요한 곳은 값을 담는 자리가 아니라 값이 쌓이는 자리입니다. 한 번 곱하고 버릴 값은 bf16으로 충분하고, 수천 개를 더하거나 작은 갱신을 오래 쌓는 자리는 fp32여야 합니다.
가장 단적인 예가 가중치 갱신입니다. 크기 1인 가중치에 학습률 짜리 갱신을 천 번 더해 봤습니다.
w32 = np.float32(1.0)
w16 = bf16(np.float32(1.0))
for _ in range(1000):
w32 = np.float32(w32 - lr * g)
w16 = bf16(np.float32(w16 - lr * g))
# w32 → 0.89998, w16 → 1.0 (참값 0.9)
bf16 가중치는 천 스텝 동안 한 번도 안 움직였습니다. 머신 엡실론이 이고 1 바로 아래 눈금 간격은 그 절반인 이라, 짜리 갱신은 간격의 반에도 못 미쳐 매번 1.0으로 되돌아가 흡수됩니다. 학습이 진행되는 것처럼 보이면서 실제로는 아무 일도 안 일어나는 고장이고, 손실 곡선만 봐서는 안 보입니다.
그래서 여러 형식을 섞어 쓰는 혼합정밀도 학습은 「무엇을 쓰나」가 아니라 「무엇을 어디에 두나」의 문제입니다.
마스터 가중치를 fp32로 따로 들고 다니면서 순전파용 bf16 사본을 매 스텝 만드는 것이 표준 구성입니다. 메모리를 더 쓰는 것처럼 보이지만, 활성값이 차지하는 양이 가중치보다 훨씬 크기 때문에 전체로는 여전히 이득입니다. 막는 고장은 흡수와 오버플로입니다.
확률적 반올림
fp32 사본을 둘 메모리가 없을 때 쓰는 다른 길이 있습니다. 보통의 반올림은 가장 가까운 눈금으로 보내므로, 간격보다 훨씬 작은 갱신은 매번 같은 쪽으로 버려집니다. 확률적 반올림은 값을 두 이웃 눈금 중 하나로 보내되, 가까운 쪽일수록 높은 확률로 고르는 방식입니다. 아래 눈금으로 갈 확률은 위 눈금까지의 거리를 눈금 간격으로 나눈 값입니다.
1에서 를 뺀 는 bf16 눈금 와 사이에 있고 1에서 간격의 만큼 떨어져 있습니다. 확률적 반올림은 이 값을 2.56%의 확률로 아래 눈금에, 나머지 확률로 1에 보냅니다. 한 번 한 번은 여전히 눈금 위의 값이지만 기댓값을 계산하면 로 갱신 전의 값과 같습니다. 기댓값이 보존되므로, 작은 갱신이 매번 0이 되는 대신 가끔 한 칸씩 움직여 평균으로 따라갑니다.
위의 천 스텝 실험을 확률적 반올림으로 다시 돌리면 bf16 가중치가 1.0에 멈추지 않고 0.910까지 내려옵니다(시드 0). 시드 스무 개의 평균은 0.905, 범위는 0.855~0.938이었습니다. fp32의 0.89998만큼 정확하지는 않고 실행마다 흔들리지만, 통째로 멈추는 고장은 사라졌습니다. 잡음을 대가로 기댓값을 산 셈이고, 일부 학습 가속기가 이 반올림을 하드웨어로 제공하는 이유입니다.
누산기 폭
합이나 평균처럼 많은 값을 차례로 더해 담아 두는 변수를 누산기라 하고, 넓혀야 할 것은 대개 이 누산기 하나입니다. 입력은 bf16이어도 누산기만 fp32이면 흡수가 거의 사라집니다. 학습 코드에서 누산기를 넓혀야 하는 자리는 넷으로 꼽힙니다.
- 손실의 합 — 배치와 스텝에 걸쳐 수만 개의 작은 값을 더한다.
- 정규화의 평균과 분산 — 은닉 차원 수천 개를 한 번에 더하고, 분산은 위에서 본 상쇄까지 겹친다.
- 어텐션 점수의 합 — softmax 분모가 시퀀스 길이만큼의 항을 더한다.
- 옵티마이저의 모멘트 — Adam의 는 그래디언트의 제곱을 쌓는데, 짜리 그래디언트의 제곱 은 fp16에서 0이 된다.
넷 모두 프레임워크가 기본으로 fp32 누산을 하지만, 직접 짠 커널이나 torch.sum(x)에 dtype을 안 준 자리에서는 입력 형식을 그대로 따라갈 수 있습니다. 텐서 코어가 bf16 곱의 합을 fp32로 쌓는 것도 같은 설계입니다.
선형계 풀이
조건수
를 풀 때 수식은 지만, 코드에서 inv(A) @ b를 쓰지 않고 solve(A, b)를 씁니다. 이유는 속도만이 아닙니다.
먼저 얼마나 나빠질 수 있는지를 재는 값이 필요합니다. 조건수는 입력의 상대오차가 출력에서 최대 몇 배로 커지는지를 나타내는 수이고, 행렬의 가장 큰 특잇값과 가장 작은 특잇값의 비입니다.
특잇값 분해를 다룬 글에서 본 대로, 를 곱하는 것은 단위원을 타원으로 만드는 일입니다. 조건수는 그 타원이 얼마나 납작한지입니다.
조건수가 이면 답에서 십진 자리를 잃습니다. fp64가 가진 것이 16자리이므로, 조건수 짜리 문제를 fp64로 풀면 두 자리만 남습니다.
solve와 콜레스키
힐베르트 행렬로 두 방법을 비교했습니다. 답이 전부 1이 되도록 로 만들어 두고 풀었습니다.
| 크기 | 조건수 | inv(A) @ b 최대오차 |
solve(A, b) 최대오차 |
|---|---|---|---|
| 6 × 6 | 1.5 × 10⁷ | 1.98 × 10⁻⁹ | 6.65 × 10⁻¹¹ |
| 10 × 10 | 1.6 × 10¹³ | 8.13 × 10⁻³ | 4.42 × 10⁻⁵ |
| 14 × 14 | 3.2 × 10¹⁷ | 1.17 × 10³ | 7.49 |
solve가 매번 30배에서 180배 정확합니다. 이유는 inv가 계산을 두 번 하기 때문입니다 — 먼저 을 구하면서 반올림 오차를 쌓고, 그다음 곱하면서 또 쌓습니다. solve는 행렬을 아래삼각과 위삼각 두 행렬의 곱으로 쪼개는 LU 분해를 한 번 해서 바로 답으로 갑니다. 중간 결과인 을 만들지 않으므로 거기서 생길 오차도 없습니다.
행렬이 대칭이고 모든 고윳값이 양수, 곧 양의 정부호이면 한 단계 더 쌉니다. 공분산 행렬, 커널 행렬, 가 전부 이 모양입니다. 이때는 처럼 아래삼각 행렬 하나와 그 전치의 곱으로 쪼갤 수 있고, 이것이 콜레스키 분해입니다. 삼각 행렬을 하나만 구하면 되니 연산량이 약 으로 LU의 의 절반이고, 피벗을 고를 필요도 없어 안정합니다. 가우시안 과정의 로그 가능도처럼 가 필요한 자리에서는 로 바로 나오니, 행렬식을 직접 계산해 오버플로시키는 일도 같이 피합니다. cholesky_solve가 그 함수입니다.
정규방정식
같은 원리의 더 큰 사례가 최소제곱입니다. 정규방정식 를 만들어 푸는 것이 교과서 유도인데, 를 만드는 순간 조건수가 제곱됩니다.
특잇값이 제곱되기 때문입니다. 이 이 됩니다.
거의 같은 열 두 개가 있는 설계행렬로 재 보니 인데 이었고, 계수 오차가 대 으로 650만 배 갈렸습니다. numpy.linalg.lstsq가 정규방정식을 만들지 않고 를 그대로 QR 분해하는 이유입니다. 막는 고장은 조건수에 의한 오차 확대입니다.
대각 더하기
분해를 바꿔도 행렬 자체가 거의 특이하면 답이 안 나옵니다. 14×14 힐베르트 행렬은 solve로도 오차가 7.49였습니다. 이때 쓰는 마지막 처방은 대각선에 작은 상수 를 더하는 것입니다. 대칭 양의 정부호 행렬 의 고윳값이 이면 의 고윳값은 라, 조건수가 이렇게 눌립니다.
가장 작은 고윳값이 0에 가까워도 분모가 밑으로 안 내려가니, 정규화의 과 같은 천장입니다. 같은 힐베르트 행렬에 을 더하자 조건수가 에서 으로 내려갔고, 1로부터의 최대오차가 7.49에서 가 됐습니다. 를 로 키우면 조건수는 더 낮아지지만 오차는 로 다시 커집니다. 푸는 문제가 원래 문제에서 그만큼 멀어지기 때문이고, 그래서 도 처럼 두 경계 사이에서 고릅니다.
로 적으면 이것은 리지 회귀이고, 가중치에 L2 벌점을 거는 것과 같은 식입니다. 통계에서는 과적합을 막는 정규화로, 수치해석에서는 조건수를 누르는 방어로 같은 한 줄을 씁니다. 가우시안 과정 코드에 흔히 붙는 jitter=1e-6도 콜레스키 분해가 반올림 오차로 실패하지 않게 대각선에 더하는 이 값입니다.
세 갈래
일곱 패턴
일곱 개를 한자리에 놓으면 이렇습니다.
| 패턴 | 막는 고장 | 프레임워크에서 |
|---|---|---|
| 최댓값 빼기 | 오버플로 · 언더플로 · | log_softmax, logsumexp, cross_entropy |
| 로그 공간 계산 | 언더플로 | log_prob, HMM·CRF의 전방 알고리즘 |
log1p · expm1 |
흡수 · 상쇄 | softplus, logsigmoid |
| 두 번 훑기 또는 Welford | 파괴적 상쇄 | var, std, 러닝 통계 |
| 정규화의 | · 오차 증폭 | LayerNorm(eps=1e-5), RMSNorm |
| fp32 누산 | 흡수 | 텐서 코어, GradScaler, 마스터 가중치 |
solve · QR |
조건수 확대 | linalg.solve, lstsq, cholesky_solve |
세 갈래로 다시 묶으면 더 짧아집니다.
범위가 모자란 것은 좌표를 옮겨 고칩니다. 최댓값 빼기, 로그 공간, 노름 스케일링이 그렇고, 셋 다 「값 자체를 바꾸지 않는 변환을 골라 안전한 구간으로 옮긴다」는 같은 일입니다.
상쇄가 있는 것은 식을 바꿔 고칩니다. log1p, Welford, log-diff-exp, solve가 그렇고, 정밀도를 올려서는 안 고쳐집니다. 분산 표의 한 번 훑기 공식이 fp64에서도 0을 냈던 것이 그 증거입니다.
쌓이는 것은 누산기를 키워 고칩니다. fp32 누산과 확률적 반올림이 그렇습니다. 정규화의 과 대각 더하기는 나눗셈의 이득에 천장을 씌운다는 점에서 조금 다른 갈래로, 둘 다 값을 조금 바꾸는 대가로 증폭을 막습니다.
점검 물음
서두의 교차 엔트로피로 돌아갑니다. 코드가 틀린 것이 아니라, 수식을 그대로 옮기면 좌표를 옮기는 단계가 빠집니다. 수학에는 이라는 값이 문제없이 존재하고, 계산에는 없습니다.
그래서 직접 짜지 말라는 뜻은 아닙니다. 짤 때 확인할 목록이 있다는 뜻입니다.
- 지수를 계산하는가 → 지수가 양수가 되지 않도록 상수를 뺄 수 있는가
- 확률을 여러 개 곱하는가 → 로그 공간으로 옮길 수 있는가
- 비슷한 크기의 두 수를 빼는가 → 그 뺄셈을 없앤 동치 식이 있는가
- 작은 값으로 나누는가 → 분모에 하한이 있는가
- 많은 항을 더하는가 → 누산기가 입력보다 넓은가
- 행렬의 역을 만드는가 → 그것 없이 푸는 함수가 있는가
- 값을 비교하거나 문턱을 넘는지 보는가 →
==대신 허용치를 두었는가
일곱째는 앞의 처방과 결이 다릅니다. 고장이 값이 아니라 판단에서 납니다. fp64에서 0.1 + 0.2 == 0.3은 False이고, 「손실이 0이 되면 멈춘다」 같은 조건은 영영 참이 안 될 수 있습니다. 상대 허용치만 두면 비교 대상이 0일 때 허용 범위도 0이 되어 같은 고장이 나므로, np.isclose처럼 상대 허용치(기본 1e-5)와 절대 허용치(기본 1e-8)를 함께 두는 쪽을 씁니다.
일곱 줄이고, 대부분의 자리에서는 「없다」가 답이라 그냥 지나갑니다. 걸리는 자리가 정확히 프레임워크가 몰래 다르게 계산하고 있던 자리입니다.
의심할 세 자리
프레임워크의 내장 연산을 조합하는 한 이 목록은 대부분 이미 지켜져 있습니다. 믿을 수 없는 자리는 셋으로 좁혀집니다.
첫째는 직접 짠 커널입니다. Triton이나 CUDA로 어텐션이나 정규화를 새로 쓰면 최댓값 빼기, fp32 누산, 이 전부 내 손에 넘어옵니다. 프레임워크가 해 주던 일을 그대로 다시 해야 하는데, 빠르게 만드는 데 집중하다 보면 누산기 폭이 가장 먼저 빠집니다.
둘째는 손실에 덧붙인 항입니다. 엔트로피 보너스, KL 패널티, 대조 학습의 온도 나눗셈처럼 기본 손실 옆에 한 줄 더한 항은 cross_entropy 같은 안정한 함수를 거치지 않는 경우가 많습니다. 의 nan과 작은 온도로 나눈 로짓의 오버플로가 이 자리에서 납니다.
셋째는 논문 수식을 그대로 옮긴 한 줄입니다. 논문은 수학의 언어로 적혀 있어 를 그대로 쓰고, 을 그대로 쓰고, 과 을 구별 없이 씁니다. 서두의 두 줄이 정확히 이 경우였습니다. 수식은 맞았고, 계산으로 옮기는 단계가 빠졌을 뿐입니다.
정리
- 최댓값 빼기는 softmax가 로짓 전체를 밀어도 값이 안 변한다는 성질을 쓴다. 오버플로와 을 동시에 막고, 교차 엔트로피는 아예 로 써서 나눗셈과 로그를 없앤다.
- 로그 공간은 0.7을 2,000번 곱해 이 되는 것을 로 바꾼다. 대신 덧셈이 log-sum-exp가 되므로 최댓값 빼기가 따라온다.
- 노름 스케일링은 최댓값으로 나눈 뒤 제곱해, fp16에서
inf가 되던[300, 400]의 길이를 500으로 되돌린다. 좌표를 옮기는 처방은 패스 하나를 요구하고, 온라인 softmax가 그 패스를 줄인다. - log1p·expm1은 1 근처에서 흡수와 상쇄를 피한다. 로그 공간의 뺄셈은 두 값의 거리에 따라 둘 중 하나를 골라 쓴다.
- 분산의 한 번 훑기 공식은 데이터에 을 더하기만 해도 fp64에서 0이 나온다. 스트리밍이 필요하면 Welford를 쓴다.
- 은
xlogy·entr·rel_entr가 맡는다. 작은 수를 더해 피하면 답이 조금씩 틀린다. - 정규화의 은 짜리 잡음이 2로 증폭되는 것을 막는다. 제곱근 안이면 분산의 하한, Adam처럼 밖이면 이득의 상한이라 같은 값을 옮겨 쓰면 안 된다.
- 정밀도는 쌓이는 곳에 둔다. bf16 가중치에 갱신을 천 번 더해도 1.0에서 안 움직이고, 확률적 반올림은 기댓값을 지켜 0.905 안팎까지 따라간다.
inv(A) @ b대신solve(A, b), 양의 정부호면 콜레스키. 정규방정식은 조건수를 제곱하니lstsq는 QR을 쓴다. 그래도 안 풀리면 대각선에 를 더해 조건수를 로 누른다.- 셋으로 묶으면 — 범위가 모자라면 좌표를 옮기고, 상쇄가 있으면 식을 바꾸고, 쌓이는 것은 누산기를 키운다. 직접 짠 커널, 덧붙인 손실 항, 논문에서 옮긴 한 줄이 이 목록을 다시 꺼낼 자리다.
읽어주셔서 감사합니다. 😊

