수학

MATH / 중급 18번

지수와 로그: AI 코드에 log가 도처에 있는 이유

확률 수백 개를 곱하면 fp32에서 65토큰 만에 0이 됩니다. 곱을 합으로 바꾸는 로그의 성질과 순서를 보존하는 단조성이 이 문제를 어떻게 없애는지, 그리고 log-sum-exp 트릭이 왜 필요한지를 실제 수치로 확인합니다.

PALDYN Team42 MIN READ

추론 API에서 logprobs 옵션을 켜면 토큰마다 -0.0004, -2.31, -7.85 같은 음수가 딸려 옵니다. 학습 코드를 열면 log_softmax가 있고 그 뒤에 nll_loss가 붙어 있고, 어딘가에는 logsumexp가 있습니다. 이름에 전부 log가 박혀 있습니다.

확률을 다루는데 왜 확률이 아니라 로그 확률이 돌아다니는가 — 이 글은 그 질문 하나에 답합니다. 답은 로그의 성질 두 개로 끝나고, 그 두 개는 이미 배운 것입니다. 다만 그 둘을 컴퓨터의 부동소수점 위에 올리면 교과서에 없던 자리가 몇 군데 생기고, 이 글의 뒤쪽 절반은 그 자리를 하나씩 짚습니다.

지수와 로그의 법칙 자체, ee 의 정의, 자연로그가 왜 «자연»인지는 지수함수와 로그에서 세웠습니다. 여기서는 그 결과를 도구로 받아 씁니다.

받아 쓰는 두 성질

곱과 합

첫째, 로그는 곱셈을 덧셈으로 보냅니다.

log⁡(ab)=log⁡a+log⁡b,log⁡an=nlog⁡a\log(ab) = \log a + \log b, \qquad \log a^n = n\log a

둘째 식은 첫째 식을 nn 번 되풀이한 것입니다. 곱이 아무리 길어도 로그를 씌우면 항마다 따로 떼어 더하는 문제가 됩니다. 반대 방향으로 가는 것이 지수함수 exp⁡\exp 이고, 로그 공간에서 더한 값을 exp⁡\exp 에 넣으면 원래의 곱이 돌아옵니다. 곱셈의 세계와 덧셈의 세계 사이에 다리가 하나 놓여 있고, 로그와 지수가 그 다리의 두 방향이라고 보면 됩니다.

로그가 곱셈의 세계를 덧셈의 세계로 옮기고 exp가 되돌리는 그림

단조증가

둘째, 로그는 순서를 지킵니다. a<ba < b 이면 언제나 log⁡a<log⁡b\log a < \log b 입니다. 이 성질을 단조증가라고 합니다 — 입력이 커지면 출력도 반드시 커지고, 절대 뒤집히지 않는다는 뜻입니다.

이 성질은 도함수로 확인됩니다. log⁡x\log x 의 도함수가 1/x1/x 이고 로그에 넣는 값은 언제나 양수이므로 기울기가 정의역 전체에서 양수입니다. 한 번도 내려가지 않는 곡선이라 두 값의 대소가 뒤집힐 자리가 없습니다. 다만 기울기 1/x1/x 는 xx 가 작을수록 가팔라집니다. 순서는 지키되 간격은 자리마다 다르게 늘이고 줄인다는 뜻이고, 이 점이 뒤의 「단조성과 순서 보존」 절에서 다시 나옵니다.

밑 바꾸기

이 글에서 쓰는 로그는 전부 밑이 ee 인 자연로그이고 log⁡\log 로 적습니다. 다른 밑이 필요하면 한 줄로 옮겨 갑니다.

log⁡bx=ln⁡xln⁡b\log_b x = \frac{\ln x}{\ln b}

여기서 ln⁡\ln 은 자연로그를 밑을 드러내 적은 이름입니다. 밑을 바꾸는 일은 상수 1/ln⁡b1/\ln b 를 곱하는 것뿐이라, 밑이 무엇이든 로그는 서로의 상수배입니다. 곱을 합으로 바꾸는 성질도, 순서를 지키는 성질도 밑과 상관없이 그대로입니다.

이 상수가 실제로 눈에 띄는 곳이 정보량의 단위입니다. 자연로그로 잰 정보량의 단위를 내트라 하고, 밑이 2인 로그로 잰 단위를 비트라 합니다. 같은 양을 두 자로 잰 것이라 환산은 1 nat=1/ln⁡2≈1.4427 bit1\ \text{nat} = 1/\ln 2 \approx 1.4427\ \text{bit} 입니다. 언어모델의 토큰당 손실이 2.0으로 찍혀 있다면 그것은 내트이고, 비트로는 2×1.4427=2.8852 \times 1.4427 = 2.885 입니다. 같은 모델을 두고 한 논문은 내트로, 다른 논문은 비트로 적으면 숫자가 1.44배 벌어져 보이므로 비교하기 전에 단위부터 맞춥니다.

라이브러리의 log

딥러닝 라이브러리의 log는 전부 자연로그입니다. 파이썬의 math.log, NumPy의 np.log, PyTorch의 torch.log가 모두 그렇고, 밑이 2나 10인 로그는 log2·log10이라는 이름으로 따로 있습니다. 학교에서 log⁡\log 를 상용로그로 배운 사람이 가장 자주 걸리는 자리입니다 — np.log(100)은 2가 아니라 4.605입니다.

로그 확률·손실·logsumexp가 전부 자연로그로 계산되는 것은 미분이 가장 깔끔하기 때문입니다. ln⁡x\ln x 의 도함수만 정확히 1/x1/x 이고, 밑이 2이면 1/(xln⁡2)1/(x\ln 2) 처럼 상수가 하나 더 붙습니다. 학습은 미분을 수없이 되풀이하는 일이라 그 상수를 매번 끌고 다닐 이유가 없습니다.

곱의 언더플로

확률의 곱

자기회귀 언어모델은 문장의 확률을 토큰 확률의 곱으로 정의합니다.

p(x1,x2,…,xT)=p(x1) p(x2∣x1)⋯p(xT∣x<T)p(x_1, x_2, \dots, x_T) = p(x_1)\,p(x_2 \mid x_1)\cdots p(x_T \mid x_{<T})

이 분해가 왜 성립하는지는 다음 글이 맡습니다. 지금 볼 것은 모양입니다 — 0과 1 사이의 수를 TT 번 곱합니다.

토큰 하나의 확률이 평균 0.20.2 라고 해 봅시다. 길이 500짜리 문장의 확률은

0.2500=10500×log⁡100.2=10−349.50.2^{500} = 10^{500 \times \log_{10} 0.2} = 10^{-349.5}

입니다. fp32가 표현할 수 있는 가장 작은 양수는 대략 1.2×10−381.2 \times 10^{-38} 입니다(정규수 기준). 10−349.510^{-349.5} 는 그 근처에도 못 갑니다. 컴퓨터는 이 값을 그냥 0.0으로 만들어 버리고, 이렇게 표현 범위 아래로 떨어져 0이 되는 것을 언더플로라고 합니다.

몇 토큰에서 터지는지 세어 봅시다. 0.2n<1.2×10−380.2^n < 1.2\times10^{-38} 이 되는 nn 을 찾으면 되고, 양변에 상용로그를 씌우면

n×0.699>37.9⟹n>54.2n \times 0.699 > 37.9 \quad\Longrightarrow\quad n > 54.2

55토큰입니다. 문장 한 줄도 못 갑니다. 여기서 로그를 씌운 것 자체가 이 글의 해법을 미리 쓴 셈입니다 — 곱으로는 다룰 수 없는 수를 지수만 꺼내 덧셈과 곱셈으로 다뤘습니다.

지수부와 하한

이 한계가 왜 하필 10−3810^{-38} 인지는 fp32의 생김새에서 나옵니다. 부동소수점 수는 1.xxx×2e1.\text{xxx} \times 2^{e} 꼴로 저장되고, 32비트가 부호 1비트, 지수부 8비트, 가수부 23비트로 나뉩니다. 지수부는 2e2^e 의 ee 를 담아 수의 크기 자릿수를 정하고, 가수부는 그 앞의 1.xxx1.\text{xxx} 를 담아 유효숫자를 정합니다. 그러니 표현할 수 있는 범위는 지수부가, 그 범위 안에서 얼마나 촘촘히 적을 수 있는지는 가수부가 맡습니다.

지수부 8비트에 담기는 ee 의 하한이 −126-126 이고, 그래서 2−126≈1.18×10−382^{-126} \approx 1.18\times10^{-38} 이 fp32의 바닥입니다. 가수부를 23비트에서 30비트로 늘려도 이 바닥은 한 칸도 안 내려갑니다. 언더플로는 정밀도가 아니라 범위의 문제이고, 범위는 지수부만 정합니다.

비정규수

정확히는 n=55n = 55 에서 곧장 0이 되지는 않고 비정규수 구간으로 떨어집니다. 지수부가 더는 못 내려가면 앞자리 1.1. 을 포기하고 0.000xxx0.000\text{xxx} 처럼 가수부를 깎아 가며 1.4×10−451.4\times10^{-45} 까지 버티는 마지막 여유 구간입니다. 앞의 1.1. 로 정해 두었던 수를 정규수라 부르고, 그 규칙을 버린 수라서 비정규수입니다.

대신 한 칸 내려갈 때마다 유효숫자가 한 자리씩 사라지므로 값은 이미 못 믿습니다. 그 여유마저 다 쓰면 n=65n = 65 에서 진짜 0.0이 됩니다. fp64로 바꿔도 구조는 같습니다. 정규수 하한이 2.2×10−3082.2\times10^{-308} 이라 441토큰에서 비정규수로 내려가고 463토큰에서 0이 됩니다 — 미루는 것이지 푸는 것이 아닙니다.

토큰 수가 늘수록 확률의 곱이 fp32와 fp64의 표현 한계 아래로 떨어지는 그래프

import numpy as np

p = np.float32(0.2)
for n in [10, 40, 55, 64, 65]:
    print(n, np.float32(p ** n))
# 10 1.02400016e-07
# 40 1.0995123e-28
# 55 3.602883e-39   ← 정규수 아래. 유효숫자가 깎이기 시작한다
# 64 1e-45          ← 남은 자릿수가 한 자리뿐
# 65 0.0            ← 여기서 죽는다

네 형식의 하한

학습과 추론에는 fp32보다 짧은 형식이 흔히 쓰입니다. 대표가 fp16과 bf16이고, 둘 다 16비트이지만 비트를 나누는 방식이 정반대입니다.

형식 지수부 가수부 정규수 하한 비정규수 하한 0.2ⁿ이 정규수를 벗어나는 n 0이 되는 n
fp16 5비트 10비트 6.1×10⁻⁵ 6.0×10⁻⁸ 7 11
bf16 8비트 7비트 1.2×10⁻³⁸ 9.2×10⁻⁴¹ 55 58
fp32 8비트 23비트 1.2×10⁻³⁸ 1.4×10⁻⁴⁵ 55 65
fp64 11비트 52비트 2.2×10⁻³⁰⁸ 4.9×10⁻³²⁴ 441 463

bf16은 fp32의 지수부 8비트를 그대로 두고 가수부만 23비트에서 7비트로 잘라 낸 형식입니다. 그래서 범위는 fp32와 같고 정밀도만 낮습니다. 언더플로라는 관점에서 bf16은 fp32와 똑같은 55토큰에서 정규수를 벗어납니다. 비정규수 여유가 가수부 7비트만큼밖에 없어 0이 되는 자리가 65가 아니라 58로 당겨질 뿐입니다(비정규수를 지원하는 하드웨어를 가정한 값입니다).

fp16은 반대입니다. 가수부를 10비트로 넉넉히 두는 대신 지수부가 5비트라, 정규수 하한이 2−14≈6.1×10−52^{-14} \approx 6.1\times10^{-5} 에서 끝납니다. 확률 0.20.2 를 일곱 번만 곱해도 1.3×10−51.3\times10^{-5} 라 이미 그 아래이고, 열한 번째에 0이 됩니다. fp16으로 확률을 곱하는 코드는 문장이 아니라 단어 몇 개에서 죽습니다. 같은 16비트인데 bf16이 학습에 널리 쓰이게 된 까닭이 이 표의 정규수 하한 열에 있습니다.

로그 공간의 덧셈

로그가능도

곱이 문제였으니 곱을 없앱니다. 양변에 로그를 씌우면 첫 번째 성질이 곱을 합으로 바꿔 줍니다.

log⁡p(x1,…,xT)=∑t=1Tlog⁡p(xt∣x<t)\log p(x_1,\dots,x_T) = \sum_{t=1}^{T} \log p(x_t \mid x_{<t})

가능도(likelihood)는 «주어진 데이터가 이 모델에서 나올 확률»이고, 위 식처럼 거기에 로그를 씌운 값을 로그가능도라고 부릅니다. 아까 그 문장이라면

log⁡(0.2500)=500×log⁡0.2=500×(−1.609)=−804.7\log(0.2^{500}) = 500 \times \log 0.2 = 500 \times (-1.609) = -804.7

입니다. −804.7-804.7 은 fp32가 아무 문제 없이 담는 수입니다. 확률의 유효 자릿수가 아니라 지수만 남기는 것 — 로그가 하는 일이 정확히 이것입니다. 앞 절의 표에서 fp16이 11토큰을 못 넘겼지만, −804.7-804.7 은 fp16의 최댓값 65504 안쪽이라 범위로는 fp16에도 담깁니다. 다만 800 근처에서 fp16이 적을 수 있는 간격은 0.5라 정밀도는 거칩니다.

토큰 확률이 전부 1보다 작으니 로그는 전부 음수이고, 그래서 API가 돌려주는 logprobs가 항상 음수입니다. 00 에 가까울수록 확률 11 에 가깝고, −7.85-7.85 는 e−7.85≈0.00039e^{-7.85} \approx 0.00039 를 뜻합니다.

짧은 예로 한 번 손으로 따라가 봅니다. 다섯 토큰짜리 응답에 API가 이런 logprobs를 돌려주었다고 합시다.

−0.11,−2.31,−0.02,−1.20,−3.50-0.11,\quad -2.31,\quad -0.02,\quad -1.20,\quad -3.50

문장 전체의 로그가능도는 그냥 더한 값입니다.

−0.11−2.31−0.02−1.20−3.50=−7.14-0.11 - 2.31 - 0.02 - 1.20 - 3.50 = -7.14

확률로 되돌리면 e−7.14≈0.00079e^{-7.14} \approx 0.00079 입니다. 곱으로 했다면 0.896×0.099×0.980×0.301×0.0300.896 \times 0.099 \times 0.980 \times 0.301 \times 0.030 을 계산해야 했고, 값은 같지만 자릿수가 매 단계 줄어듭니다. 다섯 토큰에서는 둘 다 되지만 500토큰에서는 한쪽만 됩니다.

로그 공간에서는 산술 자체가 한 단계씩 내려앉습니다.

확률 공간 로그 공간
p×qp \times q log⁡p+log⁡q\log p + \log q
p/qp / q log⁡p−log⁡q\log p - \log q
pnp^n nlog⁡pn \log p
p+qp + q 대응하는 간단한 식이 없다

마지막 줄은 「log-sum-exp 트릭」 절이 맡습니다.

합의 반올림 오차

로그 공간으로 옮겼다고 오차가 사라지는 것은 아닙니다. 부동소수점 덧셈은 매번 결과를 가장 가까운 표현 가능한 수로 맞추는데, 이때 생기는 차이를 반올림 오차라 합니다. 문제는 그 오차의 크기가 더하는 값이 아니라 결과의 크기를 따른다는 점입니다. fp32에서 0.50.5 근처의 이웃한 두 수는 6×10−86\times10^{-8} 간격이지만 800800 근처에서는 6.1×10−56.1\times10^{-5} 간격입니다.

로그 확률 500개를 앞에서부터 하나씩 더하면, 누적합이 −100-100·−400-400·−800-800 으로 커지는 동안 매 덧셈이 그 큰 수의 간격에서 반올림됩니다. log⁡0.2\log 0.2 를 fp32로 500번 차례로 더해 보면 −804.7181-804.7181 이 나오는데, 같은 fp32 값 500개의 정확한 합은 −804.7190-804.7190 입니다. 차이가 0.00090.0009 이고, 확률로 되돌리면 e0.0009≈1.0009e^{0.0009} \approx 1.0009 배, 곧 0.09%가 어긋난 셈입니다. 0이 되어 버리던 곱에 비하면 사소하지만 0은 아닙니다. 무작위 로그 확률 500개로 200번 되풀이해도 차례 합의 오차는 평균 1×10−41\times10^{-4}, 최대 4×10−44\times10^{-4} 안팎이었습니다.

짝지어 더하기

오차를 줄이는 방법은 크기가 비슷한 것끼리 먼저 더하는 것입니다. 500개를 둘씩 짝지어 250개로 만들고, 그것을 다시 둘씩 짝지어 125개로 만드는 식으로 반씩 접어 가는 방법을 쌍별 합산(pairwise summation)이라 합니다.

차례 합에서는 첫 항이 499번의 덧셈을 지나며 매번 반올림을 당하지만, 쌍별 합산에서는 어느 항이든 log⁡2500≈9\log_2 500 \approx 9 번만 덧셈을 지납니다. 게다가 각 단계에서 더하는 두 수의 크기가 비슷해서 반올림이 그 크기에 맞는 촘촘한 간격에서 일어납니다. 위의 log⁡0.2\log 0.2 500개를 쌍별로 더하면 −804.719-804.719 가 나와 fp32로 적을 수 있는 가장 가까운 값과 일치하고, 무작위 실험의 평균 오차도 1.2×10−51.2\times10^{-5} 로 열 배쯤 줄었습니다. NumPy의 sum은 문서상 이 방식을 부분적으로 쓰므로, 손으로 짠 for 루프 합보다 대개 정확합니다.

차례로 더할 때와 둘씩 짝지어 더할 때 한 항이 지나는 덧셈 횟수를 비교한 그림

기하평균

로그 확률의 합은 길이가 길수록 작아집니다. 빔서치처럼 길이가 다른 후보를 견주는 자리에서는 이것이 긴 문장을 불리하게 만들기 때문에, 합을 길이로 나눈 평균을 점수로 쓰는 경우가 많습니다. 이것을 길이 정규화라 하고, 길이의 거듭제곱으로 나누는 변형도 쓰입니다.

평균이 무엇을 뜻하는지는 로그의 성질로 바로 읽힙니다.

1T∑t=1Tlog⁡pt=log⁡(∏t=1Tpt)1/T\frac{1}{T}\sum_{t=1}^{T}\log p_t = \log\left(\prod_{t=1}^{T} p_t\right)^{1/T}

오른쪽 괄호 안은 확률들의 기하평균입니다 — TT 개를 곱한 뒤 TT 제곱근을 씌운 값이라, 같은 값을 TT 번 곱했을 때 원래 곱과 같아지는 하나의 확률입니다. 그러니 로그 확률의 평균은 «토큰 하나당 전형적인 확률»의 로그이고, 길이가 달라도 같은 잣대에 놓입니다. 산술평균이 아니라 기하평균인 이유는 문장 확률이 합이 아니라 곱으로 만들어지기 때문입니다.

앞의 다섯 토큰이면 −7.14/5=−1.428-7.14 / 5 = -1.428 이고 e−1.428≈0.240e^{-1.428} \approx 0.240 입니다. 다섯 토큰 각각이 확률 0.2400.240 이었다면 같은 문장 확률이 나온다는 뜻입니다. 이 값의 역수 1/0.240≈4.171/0.240 \approx 4.17 이 언어모델 평가에서 흔히 보는 퍼플렉서티이고, 모델이 토큰마다 평균 네 개 남짓의 후보 사이에서 망설인다는 감각으로 읽습니다.

단조성과 순서 보존

argmax 보존

로그 공간으로 옮기면 값이 완전히 달라집니다. 그런데도 대부분의 코드가 로그값을 끝까지 되돌리지 않고 그대로 씁니다. 두 번째 성질 덕분입니다.

p1<p2  ⟺  log⁡p1<log⁡p2p_1 < p_2 \iff \log p_1 < \log p_2

순서가 통째로 보존되므로

arg⁡max⁡ipi=arg⁡max⁡ilog⁡pi\arg\max_i p_i = \arg\max_i \log p_i

입니다. 가장 그럴듯한 후보를 고르는 일에는 확률이 필요 없습니다. 로그값만 비교해도 똑같은 답이 나옵니다.

토큰 확률 로그 확률
있 0.42 −0.868
없 0.35 −1.050
같 0.23 −1.470

세 값의 순서가 왼쪽과 오른쪽에서 같습니다. 그리디 디코딩도, 빔서치의 후보 정렬도, 분류기의 예측 라벨도 전부 로그 공간에서 그대로 결정됩니다. 빔서치가 후보 문장의 점수를 더해서 비교하는 것도 같은 이유입니다 — 확률이었다면 곱해야 했고, 그러면 언더플로가 돌아옵니다.

확률 막대와 로그 확률 막대에서 세 후보의 순서가 같게 유지되는 그림

차이와 비율

순서는 지키지만 차이는 지키지 않습니다. 위 표에서 있과 없의 확률 차이는 0.42−0.35=0.070.42 - 0.35 = 0.07 인데, 로그 확률의 차이는 −0.868−(−1.050)=0.182-0.868 - (-1.050) = 0.182 입니다. 차이가 두 배 반으로 늘었습니다.

이 0.1820.182 는 아무렇게나 나온 수가 아닙니다. 로그의 차는 비율의 로그이므로

log⁡0.42−log⁡0.35=log⁡0.420.35=log⁡1.2=0.182\log 0.42 - \log 0.35 = \log\frac{0.42}{0.35} = \log 1.2 = 0.182

입니다. 로그 공간의 간격은 확률의 차가 아니라 비가 정합니다. 그래서 같은 0.070.07 차이라도 자리마다 로그 간격이 달라집니다. 0.090.09 와 0.020.02 는 확률로는 똑같이 0.070.07 떨어져 있지만 비가 4.54.5 라서 로그로는 1.5041.504 만큼 떨어집니다. 앞에서 본 기울기 1/x1/x 가 작은 확률 쪽을 크게 늘이는 모양 그대로입니다.

옮기면 안 되는 판단

그래서 확률의 차이로 하던 판단을 로그값에 그대로 옮기면 안 됩니다. 「1위와 2위의 확률 차이가 0.05보다 작으면 모델이 망설인다고 본다」는 규칙을 로그 확률의 차이에 그대로 걸면, 같은 0.05가 이제는 «1위가 2위의 약 1.05배보다 작으면»이라는 전혀 다른 조건이 됩니다. 확률이 0.0420.042 와 0.0350.035 인 두 후보는 차이가 0.0070.007 이라 확률 기준으로는 망설임인데, 로그 차이는 위와 똑같이 0.1820.182 라서 로그 기준으로는 망설임이 아닙니다. 같은 문턱이 정반대 판정을 내립니다.

평균도 같은 함정을 품고 있습니다. 로그 확률을 평균한 뒤 되돌리면 기하평균이 나오고, 이것은 확률의 산술평균보다 언제나 작거나 같습니다. 두 확률 0.90.9 와 0.10.1 의 산술평균은 0.50.5 이지만 기하평균은 0.30.3 입니다. 확률을 더해야 하는 판단, 예컨대 누적 확률이 0.90.9 를 넘을 때까지 후보를 모으는 top-p 샘플링은 로그값을 더해서는 할 수 없고, 확률로 되돌리거나 다음 절의 방법으로 로그 공간에서 합을 구해야 합니다. 정리하면 대소 비교와 최댓값 찾기는 로그 공간에서 그대로 해도 되고, 차이·평균·합은 무엇을 재는지 다시 따져야 합니다.

log-sum-exp 트릭

최댓값 빼기

곱은 로그가 합으로 바꿔 주는데, 합은 로그가 어떻게 해 주지 못합니다. log⁡(a+b)\log(a+b) 를 log⁡a\log a 와 log⁡b\log b 로 예쁘게 푸는 법은 없습니다.

문제는 합이 자주 필요하다는 것입니다. softmax의 분모가 그렇습니다.

log⁡∑iexi\log \sum_i e^{x_i}

여기서 xix_i 는 모델이 softmax에 넣기 전에 내놓는 실수 점수이고, 이것을 로짓이라 부릅니다. 로짓이 커지면 exie^{x_i} 가 폭발합니다 — fp32에서 e89e^{89} 부터 무한대가 됩니다. 로짓이 1000쯤 되는 상황은 드물지만, 학습이 불안정한 구간이나 온도를 낮게 잡은 자리에서는 실제로 나옵니다.

빠져나가는 방법이 하나 있고 이름이 붙어 있습니다. 가장 큰 값 m=max⁡ixim = \max_i x_i 를 뽑아 밖으로 빼는 것입니다.

∑iexi=em∑iexi−m⟹log⁡∑iexi=m+log⁡∑iexi−m\sum_i e^{x_i} = e^{m}\sum_i e^{x_i - m} \quad\Longrightarrow\quad \log\sum_i e^{x_i} = m + \log\sum_i e^{x_i - m}

첫 등호는 지수법칙 exi=emexi−me^{x_i} = e^m e^{x_i-m} 을 항마다 쓴 것이고, 두 번째는 거기에 로그를 씌워 곱을 합으로 푼 것입니다. 이것을 log-sum-exp 트릭이라고 합니다.

이제 지수의 어깨에 올라가는 값 xi−mx_i - m 은 전부 0 이하이므로 exi−me^{x_i-m} 은 전부 (0,1](0, 1] 안에 들어옵니다. 폭발할 자리가 사라졌습니다. 그리고 i=arg⁡max⁡i = \arg\max 인 항은 정확히 e0=1e^0 = 1 이라 합이 1보다 작아질 일도 없으니 0이 되지도 않습니다.

결과값 자체는 바뀌지 않는다는 점을 짚어 둡니다. 위 유도는 등식이지 근사가 아닙니다. 나머지 항 중 일부가 e−800e^{-800} 처럼 작아 0으로 내려앉을 수는 있지만, 그런 항은 원래도 합에 아무 기여를 못 하던 항입니다.

x=(1000,1001,1002)x = (1000, 1001, 1002) 로 확인합니다. m=1002m = 1002 이므로

1002+log⁡(e−2+e−1+e0)=1002+log⁡(1.5032)=1002.4081002 + \log(e^{-2} + e^{-1} + e^{0}) = 1002 + \log(1.5032) = 1002.408

최댓값을 빼서 지수를 0 이하로 눌러 두는 log-sum-exp 트릭의 세 단계

x = np.array([1000., 1001., 1002.], dtype=np.float32)

print(np.log(np.exp(x).sum()))   # inf   ← 그대로 하면 폭발
m = x.max()
print(m + np.log(np.exp(x - m).sum()))   # 1002.4076

torch.logsumexp, scipy.special.logsumexp가 안에서 하는 일이 이 세 줄입니다.

log_softmax

log_softmax는

log⁡exk∑iexi=xk−log⁡∑iexi\log \frac{e^{x_k}}{\sum_i e^{x_i}} = x_k - \log\sum_i e^{x_i}

이므로, 로짓에서 log-sum-exp 한 번을 빼는 것이 전부입니다. softmax 뒤에 log를 따로 붙이지 말고 log_softmax를 쓰라는 조언이 여기서 나옵니다 — 앞 순서는 확률이 한 번 0으로 내려앉은 뒤 로그를 씌워 −∞-\infty 를 만들지만, 뒤 순서는 뺄셈 하나라 그럴 자리가 없습니다.

차이가 실제로 보이는 값을 하나 넣어 봅니다. 로짓이 (0,−100,−200)(0, -100, -200) 이면 세 확률은 11, e−100e^{-100}, e−200e^{-200} 인데 e−200≈10−87e^{-200} \approx 10^{-87} 은 fp32 밖입니다.

x = np.array([0., -100., -200.], dtype=np.float32)

p = np.exp(x) / np.exp(x).sum()
print(np.log(p))          # [ 0.  -99.98309  -inf]  ← 둘째는 흐려지고 셋째는 무너진다
print(x - (x.max() + np.log(np.exp(x - x.max()).sum())))
                          # [ 0. -100. -200.]       ← 정확하다

둘째 값의 참값은 −100-100 인데 앞 순서는 소수점 아래가 이미 어긋났고, 셋째는 참값 −200-200 대신 −∞-\infty 를 내놓습니다. 이 값이 손실에 들어가면 그 자리부터 nan이 번집니다. 표현할 수 없었던 것은 확률이지 로그 확률이 아니었습니다 — 로그 공간을 떠나지 않는 것만으로 없던 문제가 됩니다.

logaddexp

항이 둘뿐인 log-sum-exp에는 따로 이름이 있습니다. 로그 확률 aa 와 bb 를 받아 log⁡(ea+eb)\log(e^a + e^b) 를 돌려주는 함수를 logaddexp라 부르고, 로그 공간의 덧셈 그 자체입니다. 위 트릭을 두 항에 적용하면 이렇게 됩니다.

log⁡(ea+eb)=max⁡(a,b)+log⁡(1+e−∣a−b∣)\log(e^a + e^b) = \max(a,b) + \log\left(1 + e^{-|a-b|}\right)

큰 쪽을 밖으로 빼면 남는 것은 11 과 작은 쪽의 비율 e−∣a−b∣e^{-|a-b|} 뿐입니다. 두 값의 차이가 크면 이 비율은 아주 작은 수가 되고, 이제 문제는 log⁡(1+아주 작은 수)\log(1 + \text{아주 작은 수}) 를 정확히 구하는 일로 옮겨 갑니다.

예를 들어 a=0a = 0, b=−40b = -40 이면 e−40≈4.25×10−18e^{-40} \approx 4.25\times10^{-18} 이고 참값은 4.25×10−184.25\times10^{-18} 입니다. 그런데 1+4.25×10−181 + 4.25\times10^{-18} 을 먼저 계산하면 fp64에서도 정확히 11 이 됩니다 — fp64가 11 근처에서 적을 수 있는 간격이 2.2×10−162.2\times10^{-16} 이라 그보다 작은 덧셈은 흔적 없이 사라지고, log⁡1=0\log 1 = 0 이 나옵니다. 가진 정보가 전부 그 작은 수에 있었는데 11 에 더하는 순간 자릿수가 깎여 나간 것입니다.

log1p와 expm1

그래서 log⁡(1+x)\log(1+x) 를 1+x1+x 를 거치지 않고 바로 계산하는 함수가 따로 있습니다. log1p는 log⁡(1+x)\log(1+x) 를, expm1은 그 역인 ex−1e^x - 1 을 계산하되, xx 가 작을 때 x−x2/2+⋯x - x^2/2 + \cdots 같은 전개를 써서 작은 xx 의 자릿수를 그대로 살립니다. math.log(1 + 1e-16)은 00 이고 math.log1p(1e-16)은 1×10−161\times10^{-16} 입니다. 앞쪽은 상대오차 100%, 곧 답을 통째로 잃었습니다.

xx 를 줄여 가며 둘의 상대오차를 재면 그 차이가 서서히 벌어집니다. x=10−4x = 10^{-4} 에서 그냥 계산한 log⁡(1+x)\log(1+x) 의 상대오차는 10−1310^{-13} 쯤이고, 10−810^{-8} 에서 6×10−96\times10^{-9}, 10−1210^{-12} 에서 9×10−59\times10^{-5}, 10−1510^{-15} 에서 0.110.11, 10−1610^{-16} 에서 11 입니다. 대략 xx 가 한 자리 작아질 때마다 오차도 한 자리 커지고, log1p는 그동안 내내 기계 정밀도 근처에 머뭅니다. logaddexp를 max⁡+log1p(e−∣a−b∣)\max + \text{log1p}(e^{-|a-b|}) 로 적는 이유가 이것입니다 — 차이가 커서 비율이 작아질수록 그냥 쓴 로그가 정보를 더 많이 버리는데, log1p는 그 자리를 그대로 지킵니다.

x가 작아질 때 log(1+x)와 log1p(x)의 상대오차를 나란히 그린 그래프

이 차이가 실제 코드에서 드러나는 대표 자리가 이진 분류의 로그 확률입니다. 로짓이 4040 인 샘플의 양성 확률 σ(40)=1/(1+e−40)\sigma(40) = 1/(1+e^{-40}) 의 로그는 −log1p(e−40)=−4.25×10−18-\text{log1p}(e^{-40}) = -4.25\times10^{-18} 이고, 음성 확률은 그 값을 expm1로 되돌린 4.25×10−184.25\times10^{-18} 입니다. 확률로 먼저 계산하면 σ(40)\sigma(40) 은 그냥 1.01.0 이 되고 음성 확률은 00 이 되어 그 로그는 −∞-\infty 입니다.

코드에서 만나는 이름

이름 대조표

이름 무엇인가 로그가 하는 일
logits softmax 이전의 실수 점수 아직 로그가 아니지만, 상수 차이를 빼면 로그 확률이다
log_softmax 로짓을 로그 확률로 나눗셈을 뺄셈으로, 언더플로 제거
logprobs 뽑힌 토큰의 로그 확률 문장 점수를 곱이 아니라 합으로
nll_loss 음의 로그가능도 곱의 최대화를 합의 최소화로
logsumexp log⁡∑exi\log\sum e^{x_i} 오버플로 없이 분모 계산
log1p · expm1 log⁡(1+x)\log(1+x) · ex−1e^x-1 1 근처에서 자릿수를 지킨다

nll_loss의 부호 하나만 덧붙입니다. 학습은 가능도를 가장 크게 만드는 일인데 최적화기는 최소화만 할 줄 압니다. 단조성이 여기서 한 번 더 쓰입니다 — log⁡\log 가 순서를 지키므로 가능도를 최대화하는 것과 로그가능도를 최대화하는 것은 같은 일이고, 부호를 뒤집으면 최소화 문제가 됩니다. 그래서 손실 이름이 «음의 로그가능도»입니다.

엡실론 더하기

확률을 직접 손에 쥔 코드에서는 torch.log(p + 1e-8) 같은 줄을 자주 봅니다. 확률에 아주 작은 수, 흔히 엡실론이라 부르는 값을 더해 log⁡0=−∞\log 0 = -\infty 를 막는 관행입니다. 막는 것은 분명합니다. 확률이 정확히 0이어도 로그가 log⁡(10−8)=−18.42\log(10^{-8}) = -18.42 에서 멈추니 손실에 −∞-\infty 나 nan이 들어가지 않습니다.

대신 망치는 것이 셋 있습니다. 첫째, 값이 바뀝니다. 참 확률이 10−1010^{-10} 이면 로그는 −23.03-23.03 이어야 하는데 엡실론을 더하면 −18.41-18.41 이 됩니다. 엡실론보다 작은 확률은 전부 −18.42-18.42 근처로 뭉개져, 아주 틀린 것과 조금 틀린 것이 구별되지 않습니다. 둘째, 형식에 따라 아무것도 안 합니다. 10−810^{-8} 은 fp16의 비정규수 하한 6×10−86\times10^{-8} 보다 작아서, fp16으로 계산하면 1e-8 자체가 0으로 반올림됩니다. 앞 표의 하한 열이 여기서 다시 쓰입니다. 셋째는 기울기이고, 다음 소절의 주제입니다.

clamp와 기울기

엡실론 대신 torch.clamp(p, min=1e-8)처럼 확률에 바닥을 까는 코드도 있습니다. 값으로는 비슷해 보이지만 기울기에서 갈립니다. 여기서 기울기는 손실을 로짓으로 미분한 값이고, 학습은 이 값만큼 로짓을 옮깁니다. 정답 클래스의 로짓 zz 에 대해 각 방식의 기울기 크기는 이렇습니다.

  • log_softmax로 손실을 구하면 1−p1 - p 이다. 확률이 작을수록, 곧 많이 틀릴수록 1에 가깝게 커진다.
  • log(p + 1e-8)이면 p(1−p)/(p+10−8)p(1-p)/(p+10^{-8}) 이다. pp 가 엡실론보다 한참 작아지면 이 값이 p/10−8p/10^{-8} 처럼 줄어, p=10−12p = 10^{-12} 에서 10−410^{-4} 이다.
  • clamp이면 pp 가 바닥 아래로 잘린 자리에서 정확히 0이다. 잘린 값은 상수라 미분하면 0이고, PyTorch의 clamp도 범위 밖으로 잘린 원소에는 기울기를 흘리지 않는다.

가장 크게 틀린 예제, 곧 정답 확률을 10−1210^{-12} 로 준 예제가 가장 많이 배워야 하는데, clamp는 그 예제에서 학습을 아예 멈추고 엡실론은 만 분의 일로 줄입니다. 손실 값은 18.4218.42 로 크게 찍히는데 모델은 그 예제에서 움직이지 않으니, 로그를 보면 손실이 높은 채로 줄지 않는 것처럼 보입니다.

정답 확률이 작아질 때 log_softmax·엡실론·clamp 세 방식의 기울기 크기를 비교한 그래프

로그 공간에 머물기

답은 확률에 바닥을 까는 것이 아니라 확률로 내려가지 않는 것입니다. 다중 분류라면 로짓을 곧바로 log_softmax에 넣고 nll_loss로 받거나, 그 둘을 합친 cross_entropy에 로짓을 넘깁니다. 이진 분류라면 sigmoid 뒤에 로그를 씌우는 대신 로짓을 받는 손실(PyTorch의 BCEWithLogitsLoss 같은 것)을 씁니다. 안에서 하는 일이 앞 절의 log1p 꼴이라 σ(40)\sigma(40) 이 1로 뭉개지는 일이 없습니다.

손실 함수가 확률이 아니라 로짓을 받도록 설계된 데에는 이렇게 이유가 있습니다. 한 번 확률 공간으로 내려가면 그 순간 언더플로가 일어날 수 있고, 거기서 잃은 자릿수는 뒤에서 어떤 엡실론으로도 되살리지 못합니다. 로그 공간에서 시작해 로그 공간에서 끝나면 그런 자리가 처음부터 없습니다.

정리

  • 로그는 곱을 합으로 보낸다. 확률의 곱이 언더플로하는 자리가 로그 공간에서는 그냥 덧셈이 된다. 밑은 상수배 차이일 뿐이고, 라이브러리의 log는 자연로그다.
  • fp32에서 확률 곱은 55토큰이면 정규수 밖으로 나가고 65토큰이면 0이 된다(토큰 확률 0.2 기준). 범위는 지수부가 정하므로 bf16도 55토큰이고, 지수부가 5비트인 fp16은 7토큰에서 이미 정규수를 벗어난다.
  • 로그 공간의 덧셈에도 반올림 오차가 쌓인다. 크기는 작지만, 비슷한 것끼리 짝지어 더하면 열 배쯤 더 줄어든다. 로그 확률의 평균은 기하평균의 로그다.
  • 로그는 순서를 지키지만 차이는 지키지 않는다. 로그의 차는 비율의 로그라서, 확률의 차로 하던 판단을 그대로 옮기면 다른 판단이 된다.
  • 합에는 로그가 무력하다. log⁡∑exi\log\sum e^{x_i} 는 최댓값을 밖으로 빼는 log-sum-exp 트릭으로, 두 항의 합은 log1p를 쓴 logaddexp로 다룬다.
  • log(p + 1e-8)과 clamp는 −∞-\infty 를 막는 대신 가장 틀린 예제의 기울기를 줄이거나 지운다. 손실은 로짓을 받는 쪽으로 쓴다.

logprobs가 음수인 것, 손실 이름에 «음의»가 붙는 것, 빔서치가 점수를 더하는 것, log_softmax를 따로 쓰라는 것, 손실 함수가 확률이 아니라 로짓을 받는 것 — 처음의 그 log들이 전부 두 성질과, 그 성질을 유한한 자릿수 위에서 지키려는 노력에서 나왔습니다. 다음 글은 이 글이 모양만 빌려 쓴 곱, 즉 p(x1)p(x2∣x1)⋯p(x_1)p(x_2\mid x_1)\cdots 라는 분해가 어디서 오는지를 확률의 규칙에서 세웁니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN