연구팀이 같은 데이터와 같은 레시피로 크기만 다른 언어 모델 다섯 개를 학습했습니다. 파라미터 수는 1천만(10M)부터 10억(1B)까지 반 자릿수씩 키웠고, 학습이 끝난 뒤 같은 검증 세트에서 손실을 쟀습니다.
| 파라미터 수 | 10M | 30M | 100M | 300M | 1B |
|---|---|---|---|---|---|
| 검증 손실 | 4.294 | 3.546 | 3.010 | 2.641 | 2.358 |
다음 분기 예산으로는 1B보다 백 배 큰 100B 모델을 한 번 학습할 수 있습니다. 회의에서 두 사람이 예측을 내놓습니다. 한 사람은 다섯 점을 로그-로그 종이에 찍고 자를 대어 직선을 그은 뒤 「100B에서 손실 1.26」이라고 말합니다. 다른 사람은 곡선에 바닥을 하나 더 넣어 맞추고 「1.87」이라고 말합니다. 같은 다섯 점에서 나온 두 숫자가 0.6이나 벌어지고, 그 차이가 이 투자가 해볼 만한지를 가릅니다.
스케일링 곡선이 어떤 모양이라고 알려져 있는지, 데이터와 파라미터를 어떻게 나눠야 하는지는 스케일링 법칙 글이 다룹니다. 이 글은 그 앞 단계, 곧 점 몇 개에 곡선을 맞추고 그 곡선을 읽는 통계만 맡습니다. 로그-로그 직선의 기울기가 왜 지수인지, 로그를 취하고 최소제곱을 하면 오차에 대해 무엇을 가정하게 되는지, 바닥값 하나가 기울기와 예측을 얼마나 바꾸는지, 그리고 적합한 구간 밖으로 두 자릿수를 나갔을 때 무엇이 깨지는지를 차례로 계산합니다.
위 표는 정답 곡선을 정해 두고 1% 잡음을 섞어 만든 모의 실험입니다. 그래서 두 사람 가운데 누가 맞았는지를 마지막에 정답과 견줄 수 있습니다.
멱법칙
멱법칙의 꼴
어떤 양 가 다른 양 의 거듭제곱에 비례할 때, 곧
꼴일 때 둘 사이의 관계를 멱법칙이라 부릅니다. 여기서 는 눈금을 정하는 계수이고, 는 가 커질 때 가 얼마나 빨리 줄어드는지를 정하는 지수입니다. 스케일링 곡선에서는 가 파라미터 수나 데이터 양이나 연산량이고 가 손실이므로, 늘리면 줄어드는 방향을 나타내려고 지수 앞에 음의 부호를 붙여 씁니다. 그러면 가 양수일 때 곡선이 내려갑니다.
멱법칙의 성질 가운데 가장 쓸모 있는 것은 비율로 말할 수 있다는 점입니다. 를 배로 늘리면
이고, 이 값에는 도 도 남지 않습니다. 10M에서 100M로 가든 10B에서 100B로 가든, 열 배를 키우면 는 언제나 같은 비율 로 줄어듭니다. 이렇게 어디서 재도 같은 비율로 변한다는 성질을 척도 불변성이라 합니다. 지수함수 는 이렇지 않습니다. 그쪽은 에 같은 수를 더할 때마다 같은 비율로 줄어들고, 멱법칙은 에 같은 수를 곱할 때마다 같은 비율로 줄어듭니다. 모델 크기를 늘 「몇 배」로 말하는 이유가 여기에 있습니다.
로그-로그 직선
양변에 로그를 취하면 곱이 합이 되고 거듭제곱이 곱이 됩니다. 지수와 로그에서 본 두 법칙을 그대로 쓰면
입니다. , 로 이름을 바꾸면 이니, 와 사이는 기울기 , 절편 인 직선입니다. 가로축과 세로축을 둘 다 로그 눈금으로 그린 그림을 로그-로그 그래프라 부르는데, 그 종이 위에서는 와 를 그리는 셈이므로 멱법칙이 곧은 직선으로 섭니다. 로그의 밑은 무엇이든 상관없습니다. 밑을 바꾸면 양쪽 축이 같은 비율로 늘거나 줄 뿐이라 기울기 는 그대로이고, 절편만 바뀝니다. 이 글에서는 자릿수로 읽기 편한 상용로그를 씁니다.
그러니까 로그-로그 그래프의 기울기는 「그래프에서 읽은 어떤 값」이 아니라 지수 그 자체입니다. 보통 눈금에서 휜 곡선을 보고 지수를 어림하기는 어렵지만, 로그-로그 눈금에서는 자를 대어 기울기를 재면 끝납니다.
자릿수당 배율
기울기를 실제 배율로 읽는 법을 정해 둡니다. 상용로그에서 가로로 1만큼 가는 것은 를 열 배 하는 것, 곧 한 자릿수를 오르는 것입니다. 그 사이 세로로 만큼 내려가므로 는 배가 됩니다. 그림의 라면 한 자릿수마다 배, 거의 절반이 됩니다. 두 자릿수, 곧 백 배를 키우면 배입니다.
반대 방향으로도 읽습니다. 를 절반으로 줄이려면 를 풀어 배가 필요합니다. 면 8.72배이고, 가 0.13이면 약 210배입니다. 지수가 0.32에서 0.13으로 바뀌는 것이 작은 차이처럼 보여도, 같은 개선을 얻는 데 드는 크기가 스물네 배로 벌어집니다. 지수를 소수 둘째 자리까지 제대로 읽어야 하는 이유입니다. 그리고 곧 보겠지만, 처음 장면의 첫 번째 사람이 자로 잰 기울기가 바로 0.13이었습니다.
로그 공간의 최소제곱
직선 적합
점이 정확히 직선 위에 있으면 두 점만으로 기울기가 정해지지만, 실제 측정에는 잡음이 섞입니다. 그래서 다섯 점 모두에 가장 가까운 직선 하나를 고릅니다. 각 점에서 직선까지의 세로 거리를 잔차라 하고, 잔차의 제곱을 모두 더한 값이 가장 작은 직선을 고르는 방법이 최소제곱입니다. 직교와 사영에서는 이것을 관측 벡터를 열공간 위로 사영하는 일로 보았고, 거기서 남은 잔차가 열공간에 직교한다는 조건이 해를 정했습니다. 직선 하나를 맞출 때는 그 조건을 풀어 쓴 식이 짧습니다. 평균에서의 편차로
를 계산하면 기울기는 이고, 직선은 평균점 를 지납니다.
로그-로그 직선을 맞춘다는 것은 이 식을 , 에 적용한다는 뜻입니다. 처음 표의 다섯 점이면 는 1, 1.477, 2, 2.477, 3이고 평균은 입니다. , , 이 나오므로
이고 입니다. 이 직선을 100B, 곧 까지 연장하면 입니다. 첫 번째 사람의 1.26이 이렇게 나왔습니다.
import numpy as np
x = np.array([10, 30, 100, 300, 1000.]) # 파라미터 수(백만)
y = np.array([4.294, 3.546, 3.010, 2.641, 2.358]) # 검증 손실
u, v = np.log10(x), np.log10(y)
Suu = ((u - u.mean()) ** 2).sum()
Suv = ((u - u.mean()) * (v - v.mean())).sum()
slope = Suv / Suu
icpt = v.mean() - slope * u.mean()
resid = v - (icpt + slope * u)
print(f"기울기 {slope:.4f} → b = {-slope:.4f}, a = {10**icpt:.3f}")
print("로그 잔차 ×1000:", np.round(resid * 1000, 1))
print("이웃 두 점의 기울기:", np.round(np.diff(v) / np.diff(u), 3))
for X in [1e4, 1e5]:
print(f"x = {X:>8.0f} 예측 손실 {10 ** (icpt + slope * np.log10(X)):.3f}")
기울기 -0.1296 → b = 0.1296, a = 5.612
로그 잔차 ×1000: [ 13.4 -7.9 -11.3 -6.3 12.2]
이웃 두 점의 기울기: [-0.174 -0.136 -0.119 -0.094]
x = 10000 예측 손실 1.701
x = 100000 예측 손실 1.262
잔차의 무늬
적합이 좋았는지를 결정계수 하나로 판단하면 속습니다. 이 직선의 결정계수는 0.987로, 세로 방향 흩어짐의 98.7%를 직선이 설명한다는 뜻이라 거의 완벽해 보입니다. 그런데 잔차를 차례로 늘어놓으면 양, 음, 음, 음, 양입니다. 양 끝은 직선보다 위에 있고 가운데 셋은 아래에 있습니다. 잡음이라면 부호가 제멋대로 섞여야 하는데, 이 무늬는 점들이 직선이 아니라 아래로 볼록하게 휜 곡선 위에 놓여 있다는 신호입니다.
이웃한 두 점마다 기울기를 따로 재면 더 분명합니다. −0.174, −0.136, −0.119, −0.094로, 작은 모델 쪽에서 큰 모델 쪽으로 갈수록 기울기가 꾸준히 얕아집니다. 멱법칙이라면 어디서 재도 같은 기울기여야 하므로, 이 다섯 점은 순수한 멱법칙이 아닙니다. 하나의 직선은 이 네 기울기의 평균쯤인 −0.130을 고르고, 그 값을 100B까지 그대로 끌고 갑니다. 다섯 점 안에서는 그 정도면 충분히 맞아 보이지만, 오른쪽 끝에서 이미 기울기가 −0.094까지 얕아져 있다는 사실을 버린 것입니다.
잔차의 크기도 단서입니다. 잔차 제곱합은 입니다. 측정 잡음이 1% 남짓이라는 것을 반복 측정에서 알고 있다면, 1%는 상용로그로 이고, 모수 둘을 맞춘 다섯 점에 그 잡음이 남기는 제곱합의 기댓값은 자유도 셋을 곱한 쯤입니다. 실제 잔차가 그 열 배라면 남은 것은 잡음이 아니라 모형이 놓친 모양입니다.
곱셈 오차와 덧셈 오차
로그를 취한 뒤 최소제곱을 하는 것은 계산을 쉽게 하려는 손질처럼 보이지만, 사실은 오차에 대한 가정 하나를 고르는 일입니다. 로그 공간의 최소제곱은 로그 잔차를 같은 무게로 다룹니다. 자연로그 잔차 0.01은 원래 값의 1%이므로, 이것은 「잡음이 값의 몇 퍼센트로 붙는다」는 가정과 짝입니다. 관측값이 참값에 을 곱한 꼴, 곧 으로 나오는 것을 곱셈 오차라 하고, 참값에 을 더한 꼴 을 덧셈 오차라 합니다.
덧셈 오차에 로그를 취하면 일이 꼬입니다. 같은 크기의 이 가 클 때는 작은 비율이고 가 작을 때는 큰 비율이라, 로그 잔차의 폭이 가 작아지는 쪽으로 벌어집니다. 그러면 로그 공간 최소제곱은 잡음이 큰 점과 작은 점을 같은 무게로 믿게 되고, 추정이 그만큼 흔들립니다. 반대로 곱셈 오차를 원래 공간에서 그대로 최소제곱으로 맞추면, 값이 큰 점의 잡음이 절대 크기로는 커서 그 점들이 적합을 끌고 다닙니다.
모의 실험으로 확인합니다. 참곡선은 이고, 를 1부터 1000까지 로그 간격으로 열 점 잡으면 는 3에서 0.378까지 내려갑니다. 한 번은 5% 곱셈 오차를, 한 번은 크기 0.05의 덧셈 오차를 섞습니다. 덧셈 오차 0.05는 에서 1.7%이지만 에서는 13%입니다. 각각 4,000번 다시 뽑아, 로그 공간 직선 적합과 원래 공간 비선형 최소제곱(scipy의 curve_fit)으로 지수를 추정합니다.
import numpy as np
from scipy.optimize import curve_fit
g = lambda x, a, b: a * x ** -b
x = np.logspace(0, 3, 10) # 1부터 1000까지 열 점
truth = g(x, 3.0, 0.3)
rng = np.random.default_rng(1)
for kind in ["곱셈", "덧셈"]:
b_log, b_nls = [], []
for _ in range(4000):
if kind == "곱셈":
y = truth * np.exp(rng.normal(0, 0.05, x.size))
else:
y = truth + rng.normal(0, 0.05, x.size)
b_log.append(-np.polyfit(np.log10(x), np.log10(y), 1)[0])
b_nls.append(curve_fit(g, x, y, p0=(3, 0.3))[0][1])
for name, est in [("로그 OLS", b_log), ("비선형", b_nls)]:
est = np.array(est)
print(f"{kind} 오차 · {name}: 평균 {est.mean():.4f} SD {est.std():.4f}")
곱셈 오차 · 로그 OLS: 평균 0.2998 SD 0.0071
곱셈 오차 · 비선형: 평균 0.2998 SD 0.0122
덧셈 오차 · 로그 OLS: 평균 0.3009 SD 0.0121
덧셈 오차 · 비선형: 평균 0.3000 SD 0.0069
네 경우 모두 평균은 0.30 언저리라 어느 방법도 크게 치우치지는 않습니다. 갈리는 것은 흔들림입니다. 오차의 꼴과 방법이 짝이 맞으면 표준편차가 0.007이고, 엇갈리면 0.012로 1.7배가 됩니다. 같은 데이터로 지수를 두 배 가까이 흐리게 읽는 셈입니다. 그러니 로그를 취할지 말지는 취향이 아니라 「잡음이 값에 비례하는가」라는 질문의 답으로 정합니다. 그림에서 왼쪽은 곱셈 오차라 로그 잔차가 어디서나 같은 폭의 띠 안에 있고, 오른쪽은 덧셈 오차라 가 커지고 가 작아질수록 띠가 나팔처럼 벌어집니다.
학습 손실의 잡음은 대개 곱셈 쪽에 가깝습니다. 같은 설정을 시드만 바꿔 다시 돌리면 손실이 몇 퍼센트씩 흔들리는데, 그 흔들림은 손실이 4일 때나 2일 때나 비슷한 비율로 나타나는 일이 많습니다. 처음 장면의 다섯 점도 1% 곱셈 오차로 만들었으므로 로그 공간 적합이 짝이 맞습니다. 로그 공간 적합을 원래 값으로 되돌릴 때 생기는 작은 어긋남도 적어 둡니다. 로그의 평균을 지수로 되돌리면 중앙값이 나오고 평균은 그보다 배 큽니다. 가 5%면 1.0013배, 30%면 1.046배라, 이런 곡선에서는 무시해도 되지만 잡음이 큰 지표에서는 몇 퍼센트의 차이가 됩니다.
환원 불가 항
바닥값
잔차의 무늬가 말한 휘어짐은 어디서 올까요. 순수한 멱법칙 은 를 끝없이 키우면 0으로 갑니다. 그런데 언어 모델의 손실은 교차 엔트로피라, 모델이 아무리 커져도 데이터 자체에 든 불확실성 아래로는 내려갈 수 없습니다. 다음 낱말이 원래 여러 갈래로 열려 있는 문장이라면 완벽한 모델도 그 갈래를 맞혀 줄 뿐 없애지는 못합니다. 그래서 곡선에 상수 하나를 더합니다.
이 를 환원 불가 항이라 부릅니다. 크기를 키워서 줄일 수 있는 몫은 쪽뿐이고, 는 어떤 크기에서도 남는 바닥입니다. 환원 불가 항이 들어가면 멱법칙을 따르는 것은 가 아니라 바닥 위로 남은 몫 입니다. 그래서 와 는 직선이지만, 와 는 더 이상 직선이 아닙니다. 로그-로그 그래프에 를 그리면 처음에는 직선처럼 내려가다가 에 가까워질수록 평평하게 눕습니다. 다섯 점의 이웃 기울기가 점점 얕아진 것이 바로 그 눕기의 시작입니다.
모의 실험의 정답은 , , 이었습니다. 1B에서 정답 손실은 2.370이고 그중 바닥이 1.8, 줄일 수 있는 몫이 0.570입니다. 손실의 4분의 3이 이미 바닥입니다.
국소 기울기
곡선이 휘면 기울기가 자리마다 다릅니다. 로그-로그 그래프 위의 한 점에서 잰 접선의 기울기, 곧 를 그 자리의 국소 기울기라 부르고, 부호를 뒤집은 값을 그 자리의 국소 지수라 읽습니다. 순수한 멱법칙에서는 국소 기울기가 어디서나 입니다. 환원 불가 항이 있으면 사슬 법칙으로
입니다. 밑을 바꿔도 분자와 분모가 같은 비율로 바뀌므로 상용로그로 재도 같은 값입니다. 국소 기울기는 진짜 지수 에 「손실 가운데 줄일 수 있는 몫의 비율」 을 곱한 것입니다. 그 비율이 1에 가까운 작은 모델에서는 기울기가 에 가깝고, 바닥에 다가갈수록 비율이 0으로 가며 기울기도 0으로 갑니다.
정답 곡선에 넣어 봅니다. 에서 이고 몫의 비율이 이라 국소 기울기는 −0.186입니다. 100에서는 −0.127, 1000에서는 −0.077, 10B인 에서는 −0.042, 100B에서는 −0.022입니다. 다섯 점 구간 안에서만 국소 기울기가 −0.186에서 −0.077까지 두 배 넘게 바뀝니다.
그림에서 순수 멱법칙 적합이 고른 0.130은 다섯 점 구간의 국소 지수를 대충 평균 낸 값입니다. 진짜 지수 0.32와도 다르고, 오른쪽 끝의 국소 지수와도 다릅니다. 첫 번째 사람의 직선이 무엇을 놓쳤는지가 여기서 정확히 보입니다. 그 직선은 구간 가운데쯤의 국소 기울기를 바깥 전체에 붙였고, 실제 곡선은 바깥으로 갈수록 그보다 훨씬 얕아집니다. 그래서 순수 멱법칙으로 찍은 기울기를 「이 모델 계열의 지수」라고 부르면 안 됩니다. 그것은 지수가 아니라 그 구간에서 잰 국소 기울기의 평균일 뿐이고, 어느 구간을 재느냐에 따라 값이 바뀝니다.
c의 추정
모수가 셋이 되면 직선 하나로는 못 맞춥니다. 그래도 간단한 길이 있습니다. 를 하나 정해 고정하면 는 직선이므로 앞의 공식으로 와 가 바로 나옵니다. 그러니 를 0부터 가장 작은 관측값 바로 아래까지 촘촘히 훑으면서, 마다 직선을 맞추고 잔차 제곱합을 적은 뒤 그 값이 가장 작은 를 고르면 됩니다. 이렇게 한 모수를 고정한 채 나머지를 최적화해 얻은 최솟값을 그 모수의 함수로 보는 것을 프로파일이라 부릅니다. 엄밀히 하자면 잡음이 에 곱해졌으므로 의 잔차를 재야 하지만, 계산이 직선 하나로 끝나는 이 방법도 같은 결론을 줍니다.
import numpy as np
x = np.array([10, 30, 100, 300, 1000.])
y = np.array([4.294, 3.546, 3.010, 2.641, 2.358])
u = np.log10(x)
def fit_given_c(c): # c를 고정하면 log(y − c)는 직선
w = np.log10(y - c)
p = np.polyfit(u, w, 1)
sse = ((w - np.polyval(p, u)) ** 2).sum()
return -p[0], 10 ** p[1], sse
def predict(X, c, b, a):
return a * X ** -b + c
grid = np.linspace(0, y.min() - 1e-3, 4001)
sse = np.array([fit_given_c(c)[2] for c in grid])
c_hat = grid[sse.argmin()]
b_hat, a_hat, _ = fit_given_c(c_hat)
print(f"c = {c_hat:.3f} b = {b_hat:.3f} a = {a_hat:.3f}")
for c in [0.0, 1.5, 1.6, c_hat, 1.8, 1.9, 2.0]:
b, a, s = fit_given_c(c)
print(f"c 고정 {c:.3f}: b = {b:.3f} SSE ×1e5 = {s * 1e5:6.1f}"
f" x=1e5 예측 {predict(1e5, c, b, a):.3f}")
c = 1.704 b = 0.298 a = 5.119
c 고정 0.000: b = 0.130 SSE ×1e5 = 55.9 x=1e5 예측 1.262
c 고정 1.500: b = 0.256 SSE ×1e5 = 15.8 x=1e5 예측 1.761
c 고정 1.600: b = 0.275 SSE ×1e5 = 7.2 x=1e5 예측 1.812
c 고정 1.704: b = 0.298 SSE ×1e5 = 2.5 x=1e5 예측 1.870
c 고정 1.800: b = 0.324 SSE ×1e5 = 10.6 x=1e5 예측 1.927
c 고정 1.900: b = 0.357 SSE ×1e5 = 54.1 x=1e5 예측 1.991
c 고정 2.000: b = 0.399 SSE ×1e5 = 196.0 x=1e5 예측 2.060
가장 잘 맞는 바닥은 1.704이고 그때 지수는 0.298, 100B 예측은 1.870입니다. 두 번째 사람의 숫자입니다. 을 넣으면 첫 번째 사람의 직선이 그대로 돌아옵니다. 순수 멱법칙은 환원 불가 항 모형에서 를 0으로 못 박은 특수한 경우일 뿐입니다.
표에서 두 가지를 더 읽어야 합니다. 하나는 와 가 함께 움직인다는 것입니다. 바닥을 높이 잡을수록 바닥 위의 몫이 작아지고, 그 작은 몫이 같은 관측을 설명하려면 더 빨리 줄어야 하므로 지수가 커집니다. 가 0에서 2.0으로 가는 동안 는 0.130에서 0.399로 세 배가 됩니다. 그래서 「지수가 얼마냐」는 질문은 「바닥을 어디로 잡았느냐」와 떼어서 답할 수 없습니다.
다른 하나는 골짜기가 얕다는 것입니다. 모수 셋을 맞춘 다섯 점에서 1% 잡음이 남기는 제곱합의 기댓값은 자유도 둘을 곱한 입니다. 최소 2.5는 그 아래이고, 의 7.2와 의 10.6은 최소의 서너 배이지만 잡음 기댓값의 두세 배라 다섯 점으로는 단호히 배제하기 어렵습니다. 바로 그 범위에 정답 1.8이 있고, 그 범위의 100B 예측은 1.812에서 1.927까지 퍼집니다. 반면 의 55.9는 잡음으로 설명할 수 없는 크기라 분명히 기각됩니다. 다섯 점은 「바닥이 있다」는 것은 단호하게 말하지만 「바닥이 정확히 어디냐」는 흐릿하게만 말합니다.
외삽
두 자릿수 밖
적합에 쓴 구간 안의 값을 읽는 일을 내삽이라 하고, 구간 밖으로 곡선을 연장해 읽는 일을 외삽이라 합니다. 처음 장면의 다섯 점은 10M에서 1B까지 두 자릿수를 덮고, 100B는 그 오른쪽 끝에서 다시 두 자릿수를 나간 자리입니다. 두 적합을 정답과 견줍니다.
| 지점 | 정답 | 순수 멱법칙 | c 포함 |
|---|---|---|---|
| 1B (구간 끝) | 2.370 | 2.293 (−3.3%) | 2.358 (−0.5%) |
| 10B | 2.073 | 1.701 (−17.9%) | 2.034 (−1.9%) |
| 100B | 1.931 | 1.262 (−34.6%) | 1.870 (−3.1%) |
순수 멱법칙은 구간 끝에서 이미 3.3% 낮고, 한 자릿수 밖에서 18%, 두 자릿수 밖에서 35% 낮습니다. 오차가 자릿수를 따라 불어나는 것은 앞 절의 국소 기울기 그림 그대로입니다. 고정된 기울기 −0.130이 실제 국소 기울기보다 점점 더 가팔라지므로, 그 차이가 자릿수마다 쌓입니다.
더 나쁜 일도 있습니다. 순수 멱법칙 직선은 바닥을 모릅니다. 을 풀면 , 곧 약 6.5B에서 직선이 정답 바닥 아래로 내려갑니다. 적합한 구간의 오른쪽 끝에서 한 자릿수도 채 안 나간 자리입니다. 그 너머에서 이 직선이 내놓는 손실은 어떤 모델로도 도달할 수 없는 값이고, 100B의 1.262는 바닥보다 0.54 아래입니다. 「예측이 조금 낙관적이다」가 아니라 「물리적으로 불가능한 숫자를 낸다」가 이 직선이 깨지는 방식입니다.
예측 분산
모형이 맞아도 외삽은 불확실해집니다. 로그 공간에서 직선을 맞췄다면, 한 점 에서 직선이 내놓는 예측의 분산은 추정량과 표준오차에서 본 방식대로 계산할 수 있고
입니다. 첫째 항은 직선의 높이를 정하는 불확실성이고, 둘째 항은 기울기의 불확실성이 평균점에서 멀어질수록 팔 길이만큼 커지는 몫입니다. 둘째 항에 거리의 제곱이 들어 있다는 것이 핵심입니다.
처음 장면의 , , 을 넣고 괄호 안의 제곱근, 곧 잡음 한 단위당 예측 표준오차를 잽니다. 구간 가운데인 에서 0.447, 구간 끝인 1B에서 0.779, 10B에서 1.347, 100B에서 1.955입니다. 100B 예측의 표준오차는 구간 끝의 2.5배, 가운데의 4.4배입니다. 다섯 점이 두 자릿수만 덮고 있으니 기울기가 조금만 흔들려도 두 자릿수 밖에서는 그 흔들림이 두 배 넘게 불어납니다.
이것은 모형이 맞다는 가정 아래의 몫입니다. 외삽 오차는 두 덩어리의 합입니다. 하나는 이 분산이고, 다른 하나는 모형 자체가 틀려서 생기는 치우침입니다. 순수 멱법칙의 35%는 거의 전부 치우침이고, 그 치우침은 표준오차 공식 어디에도 나타나지 않습니다.
반복 실험과 부트스트랩
모의 실험이라 할 수 있는 일이 하나 있습니다. 같은 다섯 run을 처음부터 다시, 잡음만 새로 뽑아 천 번 돌리고 매번 두 방법으로 100B를 예측합니다. 그 천 개의 예측이 퍼진 폭이 「이 실험 설계로 얻을 수 있는 예측」의 진짜 분포입니다. 현실의 팀은 이것을 할 수 없으니, 손에 쥔 다섯 점만으로 부트스트랩도 해 봅니다. 적합한 곡선의 잔차를 복원추출로 다시 붙여 가짜 데이터를 만들고 다시 맞추는 잔차 부트스트랩입니다.
import numpy as np
x = np.array([10, 30, 100, 300, 1000.]); u = np.log10(x)
true = lambda X: 5.2 * X ** -0.32 + 1.8 # 모의 실험의 정답
y_obs = np.array([4.294, 3.546, 3.010, 2.641, 2.358])
def fit(y, with_c=True):
grid = np.linspace(0, y.min() - 1e-3, 1201) if with_c else [0.0]
best = None
for c in grid:
w = np.log10(y - c)
p = np.polyfit(u, w, 1)
sse = ((w - np.polyval(p, u)) ** 2).sum()
if best is None or sse < best[0]:
best = (sse, c, p)
_, c, p = best
return c, lambda X: 10 ** np.polyval(p, np.log10(X)) + c
q = lambda z: np.round(np.percentile(z, [2.5, 50, 97.5]), 3)
rng = np.random.default_rng(11)
runs = [] # 같은 다섯 run을 처음부터 다시
for _ in range(1000):
y = true(x) * np.exp(rng.normal(0, 0.01, 5))
c, fc = fit(y)
_, fp = fit(y, with_c=False)
runs.append((fp(1e4), fp(1e5), fc(1e4), fc(1e5), c))
runs = np.array(runs)
print("정답 ", round(true(1e4), 3), round(true(1e5), 3))
print("순수 멱법칙 1e4", q(runs[:, 0]), " 1e5", q(runs[:, 1]))
print("c 포함 1e4", q(runs[:, 2]), " 1e5", q(runs[:, 3]))
print("c 추정", q(runs[:, 4]), " c = 0으로 붙은 비율", (runs[:, 4] == 0).mean())
c, fc = fit(y_obs) # 손에 쥔 다섯 점만으로 하는 재표집
fitted = fc(x)
r = np.log(y_obs / fitted)
print("잔차 SD", round(r.std(ddof=0), 4))
boot = []
for _ in range(1000):
yb = fitted * np.exp(rng.choice(r, 5, replace=True))
cb, fb = fit(yb)
boot.append((cb, fb(1e5)))
boot = np.array(boot)
print("부트스트랩 c", q(boot[:, 0]), " 1e5", q(boot[:, 1]))
정답 2.073 1.931
순수 멱법칙 1e4 [1.664 1.708 1.751] 1e5 [1.223 1.27 1.317]
c 포함 1e4 [1.718 2.058 2.176] 1e5 [1.28 1.908 2.083]
c 추정 [0. 1.761 2.02 ] c = 0으로 붙은 비율 0.046
잔차 SD 0.0027
부트스트랩 c [1.609 1.707 1.769] 1e5 [1.815 1.873 1.908]
세 줄이 서로 다른 교훈을 줍니다. 순수 멱법칙의 100B 예측은 천 번 다시 해도 1.223에서 1.317 사이로, 구간이 좁고 단단합니다. 그런데 그 좁은 구간 전체가 정답 1.931에서 멀리 떨어져 있습니다. 구간이 좁다는 것은 같은 실수를 매번 똑같이 한다는 뜻일 수 있습니다.
c 포함 적합은 중앙값이 1.908로 정답에 가깝지만 95% 범위가 1.28에서 2.08까지 넓습니다. 천 번 가운데 46번은 바닥을 0으로 잡아 순수 멱법칙과 같은 답을 냈습니다. 1% 잡음 아래 다섯 점으로는 바닥이 있는지조차 스무 번에 한 번꼴로 놓친다는 뜻입니다. 정직한 모형은 정직한 만큼 불확실성을 드러냅니다.
부트스트랩은 1.815에서 1.908 사이를 내놓았고, 정답 1.931이 그 바깥에 있습니다. 원인은 잔차입니다. 모수 셋을 다섯 점에 맞추고 남은 잔차의 표준편차는 0.0027로, 실제 잡음 0.01의 4분의 1에 불과합니다. 모수가 자유도 셋을 가져가며 잔차를 줄여 놓았고, 부트스트랩은 그 줄어든 잔차를 잡음이라고 믿고 다시 뿌렸습니다. 점이 수십 개면 이 차이가 미미하지만, 다섯 점에 모수 셋이면 부트스트랩 구간이 크게 좁아집니다. 이런 자리에서는 반복 측정에서 얻은 잡음 크기를 따로 쓰거나 run을 더 늘리는 수밖에 없습니다.
구간 밖의 꺾임
지금까지는 정답이 정말 꼴이라는 행운을 누렸습니다. 현실에는 그런 보장이 없습니다. 적합한 구간 밖에서 곡선이 한 번 꺾여 다른 기울기로 넘어갈 수도 있고, 데이터가 바닥나 같은 데이터를 여러 번 보는 순간부터 다른 법칙이 시작될 수도 있고, 학습률 같은 설정이 큰 모델에 맞지 않아 곡선이 도중에 들려 올라갈 수도 있습니다. 그런 꺾임이 적합 구간 바깥에서 일어난다면, 구간 안의 다섯 점에는 그 흔적이 하나도 없습니다. 어떤 통계 기법도 데이터가 보지 못한 곳의 모양을 알려 주지 않습니다.
그래서 외삽에는 통계가 줄 수 있는 것과 줄 수 없는 것을 갈라 적는 습관이 필요합니다. 통계가 주는 것은 「이 모형이 맞다면 예측이 이 범위에 있다」는 조건부 진술입니다. 「이 모형이 구간 밖에서도 맞다」는 데이터가 아니라 가정이고, 그 가정은 구간을 넓혀야만 시험할 수 있습니다. 실무에서 자주 쓰는 방어는 두 가지입니다. 하나는 가장 큰 점 하나를 빼고 맞춘 뒤 그 점을 예측해 보는 것으로, 한 걸음짜리 외삽이 맞는지를 데이터 안에서 시험합니다. 다른 하나는 목표로 가는 길 중간, 예컨대 10B에 run 하나를 더 두어 외삽 거리를 두 자릿수에서 한 자릿수로 줄이는 것입니다. 앞의 공식에서 거리가 절반이 되면 둘째 항은 4분의 1이 됩니다.
연습 문제
지수 읽기
어떤 지표가 를 따릅니다. 를 열 배로 늘리면 는 몇 배가 되나요?
배입니다. 은 배율에 들어가지 않습니다.순수 멱법칙을 따르는 두 점 과 이 있습니다. 지수 를 구하세요.
로그-로그 기울기가 이므로 입니다. 두 자릿수 동안 절반이 되었으니 한 자릿수마다 배입니다.측정 잡음이 값과 상관없이 늘 ±0.02 정도로 붙는다는 것을 반복 측정으로 알았습니다. 로그 공간 직선 적합과 원래 공간 비선형 최소제곱 가운데 어느 쪽이 짝이 맞나요?
원래 공간 비선형 최소제곱입니다. 잡음이 절대 크기로 일정한 덧셈 오차라, 로그를 취하면 값이 작은 점의 로그 잔차가 커지는데 로그 공간 적합은 그 점들을 다른 점과 같은 무게로 믿습니다.
바닥값과 외삽
의 에서 국소 기울기 를 구하세요.
이고 줄일 수 있는 몫이 1이라 비율이 입니다. 국소 기울기는 입니다.바닥이 임을 알고 있고, 에서 , 에서 를 관측했습니다. 의 예측값을 구하세요.
바닥 위의 몫이 2.0에서 0.5로 두 자릿수 동안 4분의 1이 되었으므로 입니다. 다시 두 자릿수를 가면 몫이 또 4분의 1이 되어 이고, 예측값은 입니다.위 문제에서 바닥을 모른다고 보고 두 점에 순수 멱법칙을 맞추면, 에서 무엇을 예측하나요? 그 값을 바닥 1.0과 견주세요.
두 자릿수 동안 3.0에서 1.5로 절반이 되었으니 다시 두 자릿수를 가면 또 절반인 0.75입니다. 바닥 1.0보다 낮은, 도달할 수 없는 값입니다.
정리
처음 장면
회의로 돌아갑니다. 첫 번째 사람의 1.26은 다섯 점의 로그-로그 직선에서 나왔고, 그 직선의 기울기 0.130은 지수가 아니라 10M~1B 구간의 국소 기울기를 평균 낸 값이었습니다. 잔차가 양·음·음·음·양으로 휘어 있었고, 이웃 기울기가 −0.174에서 −0.094로 얕아지고 있었으며, 잔차 제곱합이 잡음으로 설명할 수 있는 크기의 열 배였습니다. 그 직선은 약 6.5B에서 이미 바닥 아래로 내려가므로, 100B의 1.26은 낙관적인 예측이 아니라 불가능한 숫자입니다.
두 번째 사람의 1.87은 정답 1.931에 3.1% 차이로 가까웠습니다. 다만 그것은 운이 따른 한 번의 숫자입니다. 같은 실험을 천 번 다시 하면 이 방법의 100B 예측은 1.28에서 2.08까지 퍼지고, 다섯 점만으로 한 부트스트랩은 그 폭을 9분의 1 남짓으로 좁혀 버립니다. 회의에서 할 말은 「1.87」이 아니라 「바닥이 있다는 것은 분명하고, 100B 손실은 1.8~2.0 근처일 가능성이 높지만 다섯 점으로는 그 폭을 믿을 만하게 좁힐 수 없다」입니다. 그리고 그 폭을 좁히는 가장 싼 방법은 100B를 바로 돌리기 전에 3B나 10B run 하나를 더 두어 외삽 거리를 줄이는 것입니다.
핵심 정리
- 멱법칙 은 를 배 하면 가 배가 되는 척도 불변 관계다. 로그를 취하면 라, 로그-로그 그래프의 기울기가 곧 다. 한 자릿수마다 배, 절반으로 줄이려면 배가 든다. 가 0.32면 8.7배, 0.13이면 약 210배다.
- 로그 공간 최소제곱은 곱셈 오차를 가정한다. 오차의 꼴과 방법이 짝이 맞으면 지수의 표준편차가 0.007, 엇갈리면 0.012였다. 결정계수가 0.987이어도 잔차의 부호 무늬와 이웃 기울기의 흐름이 휘어짐을 드러낸다.
- 환원 불가 항을 넣은 에서 멱법칙을 따르는 것은 이고, 국소 기울기는 다. 정답 곡선에서 그 값은 10M의 −0.186에서 100B의 −0.022까지 줄어든다. 순수 멱법칙의 기울기는 구간에 따라 바뀌는 국소 기울기의 평균일 뿐이다.
- 를 고정하면 가 직선이므로, 를 훑으며 맞추는 프로파일로 세 모수를 찾을 수 있다. 와 는 함께 움직여서 를 0에서 2.0으로 올리면 가 0.130에서 0.399가 되고, 다섯 점의 골짜기는 1.6~1.8에 걸쳐 얕다.
- 외삽 오차는 분산과 치우침의 합이다. 직선 예측의 표준오차는 평균점에서의 거리 제곱을 따라 커져 100B에서 구간 끝의 2.5배였다. 순수 멱법칙의 35% 오차는 거의 전부 치우침이고, 6.5B에서 바닥 아래로 내려갔다.
- 좁은 구간은 맞는 구간이 아니다. 순수 멱법칙의 반복 실험 구간은 좁았지만 정답을 비켜 갔고, 모수 셋에 점 다섯인 부트스트랩은 잔차가 실제 잡음의 4분의 1로 줄어 구간이 정답을 놓쳤다.
- 구간 밖의 꺾임은 구간 안의 데이터가 알려 주지 않는다. 외삽 거리를 줄이는 중간 run이 가장 확실한 방어다.
중급 과정의 끝
이 글로 중급 여든 편이 끝납니다. 벡터와 행렬에서 출발해 미분과 최적화, 확률과 정보, 그리고 마지막 열 편 남짓에서는 평가 점수와 순위와 곡선에 오차막대를 붙이는 통계까지 왔습니다. 돌아보면 마지막 묶음은 늘 같은 질문을 다른 자리에서 던졌습니다. 숫자 하나가 나왔을 때, 그 숫자가 얼마나 흔들리고 무엇을 가정하고 있는가입니다.
다음 글 고급 1번 · 거리공간·노름공간·축약사상에서는 방향을 바꿔, 지금까지 당연하게 써 온 「가깝다」와 「수렴한다」를 공리에서부터 다시 세웁니다. 반복해서 적용하면 한 점으로 모이는 사상이 왜 반드시 고정점을 갖는지가 그 첫 번째 정리입니다.
읽어주셔서 감사합니다. 😊

