torch.randn은 딥러닝 코드에서 가장 자주 보는 난수 함수입니다. 가중치를 초기화할 때 나오고, 확산 모델이 이미지에 노이즈를 얹을 때 나오고, VAE의 잠재변수를 뽑을 때 나옵니다. 활성함수인 GELU조차 정규분포의 누적분포함수로 정의됩니다.
왜 하필 정규분포일까요. 균등분포도 있고 라플라스 분포도 있는데 말입니다.
답이 둘입니다. 하나는 정규분포가 다뤄야 할 연산에 닫혀 있다는 것 — 상수배를 하고 더해도 여전히 정규분포입니다. 다른 하나는 많이 더하면 무엇이든 정규분포에 가까워진다는 것, 즉 중심극한정리입니다. 지난 글에서 표본평균이 얼마나 흔들리는지까지 왔으니, 이제 어떤 모양으로 흔들리는지를 볼 차례입니다. 그리고 그 답이 통하지 않는 자리 — 표본이 서로 독립이 아닐 때 — 까지 함께 봅니다. 평가 점수를 해석할 때 가장 자주 틀리는 곳이 거기입니다.
밀도와 두 손잡이
정규분포의 밀도
정의. 평균 , 분산 인 정규분포 의 밀도는
기호가 많아 보이지만 손잡이는 두 개뿐입니다. 는 종의 중심을 좌우로 옮기고, 는 폭을 정합니다. 앞의 는 폭을 바꿔도 곡선 아래 넓이가 1로 유지되도록 높이를 맞추는 정규화 상수입니다 — 폭이 넓어지면 높이가 그만큼 낮아집니다.
지수 안의 이 모양의 전부입니다. 중심에서 벗어난 거리를 제곱해 음의 부호를 붙였으니, 중심에서 멀어질수록 지수적으로 빠르게 작아집니다. 정규분포가 «이상치가 드문» 분포인 이유가 이 제곱입니다. 라플라스 분포는 같은 자리에 거리의 절댓값 를 쓰는데, 제곱보다 천천히 커지므로 꼬리가 더 두껍습니다.
라는 어색한 상수가 붙은 것도 여기서 나옵니다. 를 실수 전체에서 적분하면 정확히 가 되기 때문에 — 이 결과를 가우스 적분이라고 합니다 — 넓이를 1로 맞추려면 그 값으로 나누어야 합니다. 원주율이 확률분포에 등장하는 것이 뜬금없어 보이지만, 그 적분을 계산하는 표준적인 방법이 평면 위의 극좌표를 쓰는 것이라 각도가 한 바퀴 도는 자리에서 가 나옵니다.
, 인 것을 표준정규분포라 하고 보통 로 적습니다. torch.randn이 뽑아 주는 것이 정확히 이것입니다.
밀도와 확률
는 확률이 아니라 확률밀도입니다. 확률밀도는 그 근처의 좁은 구간에 확률이 얼마나 빽빽하게 몰려 있는지를 나타내는 값이고, 확률은 그 밀도를 구간 위에서 적분한 넓이로만 나옵니다. 둘을 섞으면 이상한 결론이 나옵니다.
로 잡아 봅시다. 중심에서의 높이는
로, 1을 훌쩍 넘습니다. 확률이 1을 넘을 수는 없으니 이 값은 확률일 수 없습니다. 실제로 확률을 물으려면 폭을 정해야 합니다. 중심에서 안에 들어갈 확률은 높이 3.99에 폭 0.02를 곱한 0.0798 정도이고, 정확히 계산해도 0.0797입니다. 폭이 좁으니 넓이는 작습니다.
반대로 폭을 0으로 보내면 넓이도 0이 됩니다. 연속분포에서 «정확히 가 나올 확률»은 0입니다. 가장 높은 곳에서도 그렇습니다. 그래서 torch.randn이 같은 값을 두 번 뽑는 일은 (부동소수점의 유한한 자릿수를 빼면) 일어나지 않고, 우도를 계산하는 모델이 «로그 확률»이라고 부르는 값이 사실은 로그 밀도라 양수가 될 수도 있습니다.
평균·중앙값·최빈값
분포의 «가운데»를 가리키는 말이 셋 있습니다. 평균은 값에 확률을 곱해 더한 무게중심이고, 중앙값은 그 값보다 작을 확률과 클 확률이 반반으로 갈리는 자리이며, 최빈값은 밀도가 가장 높은 자리입니다. 셋은 보통 다른 곳에 섭니다.
평균이 1인 지수분포를 보면 차이가 뚜렷합니다. 밀도 는 0에서 가장 높으니 최빈값이 0이고, 반으로 가르는 자리는 이고, 평균은 1입니다. 오른쪽 긴 꼬리가 평균을 끌고 나간 것입니다.
정규분포에서는 셋이 전부 에 겹칩니다. 밀도가 를 중심으로 좌우 대칭이니 반으로 가르는 자리도 무게중심도 이고, 지수 안의 제곱이 에서 0이 되니 높이도 그 자리가 가장 높습니다. 좌우 대칭이면서 봉우리가 하나인 분포라면 어느 것이든 이렇게 되므로 정규분포만의 성질은 아니지만, 덕분에 «가운데»를 어느 뜻으로 물어도 같은 답이 나옵니다. 평균만 알면 나머지 둘도 안다는 뜻이고, 이것이 손잡이가 둘로 충분한 첫 번째 이유입니다.
최대 엔트로피
손잡이가 둘뿐이라는 말에는 다른 얼굴이 있습니다. 엔트로피는 분포가 얼마나 예측하기 어려운지를 재는 값으로, 밀도에 대해서는 로 정의합니다. 같은 분산을 가진 분포라도 엔트로피는 다릅니다. 분산을 1로 맞춘 세 분포를 견주면
| 분포 (분산 1) | 엔트로피 (nat) |
|---|---|
| 균등분포 (폭 ) | 1.242 |
| 라플라스 분포 | 1.347 |
| 정규분포 | 1.419 |
로 정규분포가 가장 큽니다. 이것은 우연이 아니라 정리입니다 — 실수 전체 위에서 분산이 정해진 분포 가운데 엔트로피가 가장 큰 것이 정규분포입니다.
뜻을 풀면 이렇습니다. 평균과 분산 말고는 아무것도 모를 때, 그 둘만 맞추고 나머지는 가장 덜 가정하는 분포가 정규분포입니다. 정규분포를 고르는 것은 «평균과 분산 외에 다른 구조는 없다»고 말하는 것과 같습니다. 노이즈를 모를 때 정규로 두고, VAE가 잠재공간의 사전분포로 를 두는 것이 이 의미에서 가장 무난한 선택입니다.
표준화와 68-95-99.7
표준화
정규분포는 손잡이가 둘뿐이므로 어떤 정규분포든 표준정규분포로 옮길 수 있습니다.
빼서 중심을 0으로 옮기고, 나눠서 폭을 1로 맞춘 것입니다. 이 조작을 표준화라고 합니다. 값 하나를 표준화하면 «평균에서 표준편차 몇 개만큼 떨어져 있는가»라는 뜻이 됩니다. 이렇게 얻은 수를 흔히 z값이라 부릅니다.
반대 방향도 됩니다.
여기서 첫 번째 성질이 나옵니다. 정규분포는 선형변환에 닫혀 있습니다 — 이면 입니다. 평균은 그대로 따라가고 분산은 지난 글대로 이 곱해집니다. 그리고 결과가 다시 정규분포라는 것이 이 성질의 알맹이입니다.
실용적인 결과가 큽니다. 표준정규분포 난수 하나만 뽑을 줄 알면 모든 정규분포를 만들 수 있습니다. randn(...) * sigma + mu 한 줄이 그것이고, 라이브러리가 normal(mu, sigma)를 그렇게 구현합니다.
VAE의 재파라미터화 트릭도 같은 식입니다. 에서 직접 뽑으면 와 로 미분할 길이 없는데, 으로 적으면 무작위한 부분이 하나로 밀려나고 나머지는 그냥 사칙연산이라 그래디언트가 통과합니다. 선형변환에 닫혀 있다는 성질이 없었다면 이 재작성이 같은 분포를 주지 않았을 것입니다.
표준화와 모양
표준화는 선형변환이라 분포를 옮기고 늘일 뿐 모양은 건드리지 않습니다. 정규분포를 표준화하면 표준정규분포가 되는 것은, 처음부터 정규분포였기 때문입니다. 정규가 아닌 것을 표준화하면 평균 0·분산 1인 «같은 모양의 다른 분포»가 나옵니다.
평균 1·분산 1인 지수분포로 확인해 봅시다. 로 표준화하면 값의 범위가 가 됩니다. 왼쪽은 −1에서 칼같이 끊기고 오른쪽 꼬리는 그대로 길며, 치우침을 재는 값은 표준화 전과 같습니다. 평균과 분산만 표준정규분포와 같아졌을 뿐입니다.
딥러닝에서 이 오해가 가장 자주 서는 곳이 층 정규화(LayerNorm)입니다. 층 정규화는 한 토큰의 활성값 벡터에서 평균을 빼고 표준편차로 나눈 뒤 학습된 배율과 이동을 곱하고 더하는 연산입니다. 곧 벡터 하나를 표준화하는 계산이고, 그래서 출력은 차원 방향으로 평균 0·분산 1(배율과 이동을 곱하기 전)이 됩니다. 그러나 그 값들이 정규분포를 따르게 되는 것은 아닙니다. 몇몇 차원에 다른 차원보다 수십 배 큰 값이 몰리는 현상이 LLM의 활성값에서 보고되어 있는데, 표준화는 모든 값을 같은 수로 빼고 나누므로 그 튀는 차원은 표준화 뒤에도 똑같이 튑니다. 양자화가 이런 차원 때문에 따로 처리를 요구하는 것이 그 결과입니다.
68-95-99.7 규칙
표준화가 되니 «몇 안에 얼마나 들어 있는가»를 한 번만 외우면 모든 정규분포에 쓸 수 있습니다. 거꾸로 «확률이 얼마가 되려면 몇 인가»를 묻는 값을 분위수라 합니다. 표준정규분포에서 아래쪽 넓이가 0.975가 되는 자리가 1.96이고, 그래서 사이가 정확히 95%입니다.
| 구간 | 안에 들어갈 확률 |
|---|---|
| 68.3% | |
| 95.0% | |
| 95.4% | |
| 99.0% | |
| 99.7% |
앞뒤 세 줄이 이 규칙의 이름이 된 수이고, 사이의 두 줄이 신뢰구간을 적을 때 실제로 쓰는 분위수입니다. 2와 1.96은 거의 같아 어림셈에서는 2를 써도 됩니다.
지난 글의 평가 예에 붙여 봅니다. 문제 200개에서 정답률 0.7을 쟀을 때 표준오차가 3.24%p였으니, 참 정답률은 대략 95% 확률로 , 곧 63.5%에서 76.5% 사이입니다. 2 대신 1.96을 곱하면 63.6%에서 76.4%로 양끝이 0.1%p씩 안으로 들어올 뿐입니다. 두 모델이 5%p 차이라면 이 폭 안에 파묻힙니다. 99%로 더 조심스럽게 말하려면 2.58을 곱해 %p가 됩니다.
이 «95%»가 정규분포를 가정하고 나온 수라는 점을 짚어 둡니다. 정답 개수는 이항분포를 따르는 이산값이지 정규분포가 아닙니다. 그런데도 그렇게 계산하는 근거가 이 글의 뒤쪽에 있습니다 — 정답률은 0과 1을 200번 더해 나눈 값, 즉 표본평균이기 때문입니다.
독립 합의 재생성
재생성성
두 번째 성질입니다. 과 가 독립이면
입니다. 평균과 분산이 각각 더해지는 것은 지난 글에서 이미 안 것이고 — 새로운 것은 결과가 다시 정규분포라는 사실입니다. 같은 종류의 분포끼리 더했을 때 다시 그 종류가 되는 이 성질을 재생성성이라고 합니다. 대부분의 분포는 이렇지 않습니다. 균등분포 둘을 더하면 삼각형이 되고, 더 더하면 균등분포에서 점점 멀어집니다.
여기서 딥러닝의 두 자리가 곧장 설명됩니다.
가중치 초기화부터 봅시다. 뉴런의 출력은 라는 합입니다. 입력을 고정하고 가중치를 정규분포에서 독립으로 뽑으면 이 합도 정규분포이고, 분산은 항의 개수 에 비례해 커집니다. 그래서 층을 지날 때 신호가 커지거나 죽지 않게 하려면 가중치의 분산을 정도에 비례하도록 미리 줄여 둬야 합니다 — Xavier와 He 초기화의 같은 수가 이 계산에서 나옵니다.
다음은 확산 모델입니다. 노이즈를 한 스텝씩 얹는 과정이 독립인 정규분포의 합이므로, 여러 스텝을 합쳐도 여전히 정규분포입니다. 그래서 스텝을 하나씩 밟지 않고
로 한 번에 건너뜁니다. 학습에서 임의의 를 뽑아 바로 그 시점의 이미지를 만들 수 있는 것이 재생성성 덕분이고, 이 성질이 없었다면 스텝 수만큼 순차 계산을 해야 했습니다.
선형결합
두 성질을 겹치면 한 줄로 정리됩니다. 는 에 을 곱한 선형변환이라 이고, 그것을 에 더하면
입니다. 평균은 빼지만 분산은 여전히 더해집니다. 두 모델의 점수 차이가 각 점수보다 더 흔들리는 이유가 이것입니다 — 표준오차가 각각 3.24%p인 두 독립 평가의 차이는 표준오차가 %p입니다.
일반형은 이렇습니다. 상수 에 대해 각 항에 상수를 곱해 더한 를 선형결합이라 하고, 가 서로 독립이면
입니다. 계수가 분산에는 제곱으로 들어갑니다.
어텐션의 가중합 가 이 꼴입니다. 값 벡터의 한 성분 가 서로 독립으로 를 따르고 가중치 가 값과 무관하게 정해진 수라면, 출력은 입니다. 가중치의 합이 1이므로 는 에서 1 사이에 놓입니다. 고르게 퍼진 어텐션은 분산을 로 줄이고, 한 토큰에 몰린 어텐션은 그 토큰의 분산을 그대로 넘깁니다. 다만 실제 어텐션의 가중치는 같은 입력에서 계산되므로 «계수가 정해진 수»라는 조건은 가중치를 먼저 고정해 놓고 본 근사입니다.
독립 조건
재생성성에는 «독립이면»이 붙어 있었습니다. 이 조건을 빼면 성립하지 않습니다.
가장 짧은 반례는 과 입니다. 도 표준정규분포이지만, 둘을 더하면 언제나 정확히 0입니다. 공식대로라면 분산이 2인 정규분포여야 할 자리에 분산 0인 상수가 섭니다. 두 값이 완전히 반대로 움직여 서로를 지운 것입니다.
더 짓궂은 반례도 있습니다. 동전을 던져 을 반반으로 뽑고 로 두면, 역시 표준정규분포이고 와 상관도 0입니다. 그런데 는 절반의 확률로 정확히 0이고 나머지 절반은 입니다. 0에 확률 절반이 몰린 분포는 정규분포가 아닙니다. 둘 다 정규이고 상관이 없어도, 독립이 아니면 합이 정규라는 보장이 없습니다.
중심극한정리
정리의 진술
이제 «왜 하필 정규분포인가»의 나머지 절반입니다.
중심극한정리. 평균 , 분산 인 같은 분포에서 서로 독립으로 뽑은 의 표본평균 를 표준화한 값은, 이 커질수록 그 분포가 표준정규분포로 다가간다.
화살표의 뜻을 정확히 해 둡니다. 모든 에서 «표준화한 값이 이하일 확률»이 로 다가간다는 것입니다. 여기서 는 표준정규분포의 누적분포함수, 곧 밀도를 왼쪽 끝부터 까지 쌓은 넓이입니다. 확률이 이렇게 다가가는 것을 분포 수렴이라 합니다.
정리가 말하는 것은 표준화한 값입니다. 자체가 정규분포로 «가는» 것이 아닙니다. 지난 글이 보여 준 대로 이라 이 커지면 의 분포는 폭이 0으로 줄어 한 점에 쌓입니다. 이것이 큰 수의 법칙이고, 그 상태에는 모양이랄 것이 없습니다. 줄어드는 폭 으로 계속 나눠 확대해 볼 때에만 종 모양이 보입니다. 그래서 실무에서 쓰는 꼴
은 «유한한 에서 이렇게 어림해도 된다»는 근사입니다. 지난 글이 중심과 폭을 알려 주었고, 이 정리가 더해 주는 것은 모양입니다.
그리고 이 정리의 놀라운 점은 조건이 거의 없다는 것입니다. 원래 분포가 무엇이든 상관없습니다 — 균등이든, 한쪽으로 심하게 치우쳤든, 0과 1만 나오는 이산분포든, 평균과 분산만 유한하면 됩니다.
딥러닝이 정규분포로 뒤덮인 이유가 이것입니다. 손실의 미니배치 평균, 활성값의 합, 여러 실행의 평가 점수 — 전부 «많은 것을 더한 값»이고, 더한 값은 원래 무엇이었든 정규분포에 가까워집니다.
앞의 평가 예를 이 정리로 마저 닫아 봅시다. 문제 하나의 채점 결과는 맞으면 1, 틀리면 0인 베르누이 확률변수이고 — 종 모양과는 거리가 먼, 막대 두 개짜리 분포입니다. 그런데 측정한 정답률은 그것을 200개 평균 낸 값입니다. 중심극한정리가 그 평균을 정규분포로 만들어 주고, 그래서 « 표준오차가 95%»라는 계산이 성립합니다. 원래 분포가 정규분포일 필요가 없다는 것이 이 정리의 전부입니다.
두 성질과 이 정리의 관계도 짚어 둘 만합니다. 재생성성은 «정규분포끼리 독립으로 더하면 정확히 정규분포»라는 등식이고, 중심극한정리는 «무엇이든 독립으로 많이 더하면 가까워진다»는 근사입니다. 앞은 이 2여도 참이고, 뒤는 이 커져야 쓸 만해집니다.
합과 평균
같은 정리를 합으로 읽을 수도 있습니다. 합 은 이므로 평균이 , 표준편차가 입니다. 표준화하면 앞의 식과 똑같은 값이 나오므로, 합도 로 어림됩니다.
두 읽기는 방향이 반대처럼 보입니다. 평균이 1인 지수분포에서 개를 뽑으면, 합은 중심 100에 표준편차 10으로 퍼지고, 평균은 중심 1에 표준편차 0.1로 좁아집니다. 합은 으로 퍼지고 평균은 으로 좁아지는 것입니다. 그러나 둘은 같은 사실입니다. 합의 흔들림 10을 중심 100에 견주면 10%이고, 평균의 흔들림 0.1을 중심 1에 견주어도 10%입니다. 중심에 대한 상대적인 흔들림은 어느 쪽으로 읽어도 입니다.
초기화의 분산 규칙이 합의 읽기이고, 미니배치 손실이 평균의 읽기입니다. 뉴런 출력처럼 항을 계속 더하기만 하는 곳은 으로 커지는 것을 막아야 하므로 가중치를 줄여 두고, 손실처럼 나눠서 평균을 내는 곳은 배치를 키울수록 그래디언트 추정이 으로 차분해집니다.
수렴 속도와 왜도
« 이 커지면»이 실무에서는 « 이 얼마면»이라는 질문이 됩니다. 흔히 30을 기준으로 말하지만, 실제로는 원래 분포가 얼마나 치우쳤는가에 달려 있습니다.
치우침을 재는 값이 왜도입니다 — 표준화한 편차의 세제곱을 평균 낸 값이고, 좌우 대칭이면 0, 오른쪽으로 꼬리가 길면 양수입니다. 표본평균의 왜도에는 깔끔한 결과가 있습니다.
이 또 나왔습니다. 지수분포는 왜도가 2로 꽤 치우쳐 있는데, 실제로 재 보면 예측과 맞습니다.
import numpy as np
rng = np.random.default_rng(3)
def skew(a):
return float((((a - a.mean()) / a.std()) ** 3).mean())
for n in [1, 2, 5, 30, 100]:
m = rng.exponential(1.0, size=(200_000, n)).mean(axis=1)
print(n, round(skew(m), 3), round(2 / np.sqrt(n), 3))
# 1 1.995 2.0
# 2 1.417 1.414
# 5 0.902 0.894
# 30 0.37 0.365
# 100 0.202 0.2
왼쪽이 실제로 잰 왜도, 오른쪽이 입니다. 에서도 왜도가 0.37이라 완전한 종 모양은 아닙니다. 30이라는 관습적인 기준은 원래 분포가 크게 치우치지 않았을 때의 이야기입니다. 거꾸로 왜도를 0.1 아래로 내리려면 , 곧 이 필요합니다.
반대로 균등분포처럼 대칭인 분포는 왜도가 처음부터 0이라 훨씬 빨리 종 모양이 됩니다. 셋만 더해도 눈으로는 거의 구별이 안 됩니다.
첨도
그렇다고 왜도가 0이면 정규분포라는 뜻은 아닙니다. 좌우 대칭이면서 꼬리가 두꺼운 분포가 있습니다.
t분포가 그 대표입니다. 정규분포처럼 0을 중심으로 대칭인 종 모양이지만 꼬리가 거듭제곱으로만 줄어들어, 자유도라는 수 가 작을수록 꼬리가 두껍고 클수록 정규분포에 가까워집니다. 자유도 5인 t분포는 왜도가 0이지만, 표준편차로 나눠 정규분포와 폭을 맞춘 뒤 꼬리를 견주면 차이가 뚜렷합니다.
| 바깥 구간 | 정규분포 | 자유도 5인 t분포 |
|---|---|---|
| 바깥 | 4.6% | 4.9% |
| 바깥 | 0.27% | 1.17% |
| 바깥 | 0.0063% | 0.36% |
까지는 거의 같다가 바깥에서는 56배가 됩니다. 이 차이를 잡는 값이 첨도로, 표준화한 편차의 네제곱을 평균 낸 것입니다. 정규분포의 첨도가 3이라 보통은 3을 뺀 초과 첨도를 씁니다. 자유도 5인 t분포의 초과 첨도는 6이고, 라플라스 분포는 3입니다.
표본평균의 초과 첨도는 원래 값을 으로 나눈 것이 됩니다. 왜도가 으로 줄 때 첨도는 로 더 빨리 줄어드는 셈이고, 그래서 치우친 분포에서는 왜도가 먼저 문제가 됩니다. 자유도 5인 t분포라면 에서 초과 첨도가 0.2까지 내려옵니다. 분포가 정규에서 얼마나 먼지를 말하려면 왜도와 첨도를 함께 봐야 합니다.
적용의 한계
독립이 아닌 표본
중심극한정리에는 «서로 독립으로 뽑은»이 붙어 있었습니다. 앞의 재생성성에서 독립이 빠지면 합이 0에 몰리는 것을 봤듯이, 여기서도 독립이 깨지면 정리가 약속한 폭이 맞지 않습니다. AI를 다루면서 이 조건이 조용히 깨지는 곳이 셋 있습니다.
- 같은 프롬프트에서 뽑은 여러 답. 샘플링 온도를 켜고 한 문제에 답을 열 번 받으면, 열 개가 같은 문제의 난이도를 공유하므로 서로 닮아 있습니다.
- 시계열. 학습 손실을 스텝마다 기록한 값은 바로 앞 스텝과 거의 같은 파라미터에서 나왔으므로 이웃끼리 비슷합니다.
- 같은 문서에서 온 토큰들. 한 문서의 토큰 손실 만 개는 그 문서가 쉬운지 어려운지를 함께 물려받습니다.
이런 표본으로 평균을 내도 평균 자체는 여전히 참값을 겨눕니다. 틀리는 것은 폭입니다. 을 그대로 쓰면 실제보다 훨씬 좁은 구간을 적게 되고, 그 좁은 구간을 믿고 «유의한 차이»를 선언하게 됩니다.
유효 표본 수
얼마나 틀리는지를 계산해 봅시다. 두 값이 함께 움직이는 정도를 −1에서 1 사이로 잰 값을 상관계수라 하고 로 적습니다. 표본 개의 분산이 모두 이고 어느 두 개를 골라도 상관계수가 라고 하면, 합의 분산은 자기 자신 개의 분산에 서로 다른 짝 개의 공분산 를 더한 것입니다.
독립이면 이라 지난 글의 이 그대로 나오고, 상관이 있으면 괄호만큼 부풉니다. 이 분산을 독립 표본 몇 개의 분산과 같다고 놓아 얻는 수를 유효 표본 수라 합니다.
수를 넣어 봅니다. 한 프롬프트에서 답 200개를 뽑았고 답끼리 상관계수가 0.1이라고 합시다. 괄호는 이고, 유효 표본 수는 입니다. 200개를 모았지만 독립 표본 열 개만큼의 정보밖에 없습니다. 정답률 0.7에서 표준오차를 다시 계산하면 %p로, 독립을 가정한 3.24%p의 네 배가 넘습니다. 1.96을 곱한 95% 구간이 %p가 아니라 %p입니다.
더 놀라운 것은 을 늘려도 소용이 없다는 점입니다. 이면 이고, 이 한없이 커져도 는 을 넘지 못합니다. 상관계수가 0.01로 작아도 200개는 66.9개 몫입니다. √n의 n은 표본 수가 아니라 독립인 표본 수입니다. 그래서 평가를 설계할 때는 한 문제에서 답을 많이 뽑기보다 문제의 수를 늘리고, 같은 문제에서 뽑은 답은 문제 단위로 먼저 평균 낸 뒤 그 평균들을 표본으로 삼습니다.
꼬리와 곱
나머지 조건은 «분산이 유한하면»이었습니다. 분산이 무한한 분포에서는 성립하지 않습니다. 꼬리가 아주 두꺼운 분포 — 예를 들어 코시 분포, 곧 자유도 1인 t분포 — 는 평균조차 정의되지 않고, 아무리 많이 평균 내도 좁아지지 않습니다. 표본평균의 분포가 원래 분포와 똑같습니다. 학습 손실에 아주 드물게 거대한 값이 섞이는 상황이 이것에 가깝고, 그래서 그래디언트 클리핑 같은 장치가 실제로 필요해집니다.
곱은 합이 아닙니다. 중심극한정리는 «더한 것»에 대한 정리입니다. 여러 배율을 곱해 나가는 양은 로그를 취해야 합이 되므로, 그 로그가 정규분포에 가까워집니다 — 값 자체는 로그가 정규분포를 따르는 로그정규분포가 되고, 한쪽으로 길게 늘어집니다. 층마다 배율이 곱해지는 심층망의 신호 크기가 이런 모양을 갖기 쉽고, 초기화의 분산을 맞춰 두는 것이 곱을 1 근처로 붙잡아 두려는 시도입니다.
«대략 정규»는 중심에서만 좋습니다. 수렴이 가장 느린 곳이 꼬리라, 바깥의 아주 작은 확률을 정규분포로 계산하면 자릿수째 틀릴 수 있습니다. 앞의 t분포 표가 바로 그 모습입니다. 68-95-99.7까지가 안전한 범위입니다.
GELU와 Φ
GELU의 정의
정규분포의 누적분포함수 도 그 자체로 쓰입니다.
ReLU가 «0보다 크면 통과, 아니면 차단»이라는 딱딱한 게이트라면, GELU는 그 게이트를 «표준정규분포에서 뽑은 값보다 클 확률»로 부드럽게 만든 것입니다. 가 크면 이라 거의 그대로 통과하고, 아주 작으면 이라 거의 차단되며, 0 근처에서만 매끄럽게 섞입니다. 그래서 음수 쪽에 살짝 내려가는 골이 생깁니다. 에서 값은 이고, 가장 낮은 곳은 의 입니다. 여기서도 표준정규분포가 «기준이 되는 자» 역할을 합니다.
를 고른 것도 우연이 아닙니다. 잘 초기화되고 정규화된 층의 활성값은 앞에서 본 이유로 평균 0·분산 1 근처에 모여 있으므로, 표준정규분포를 게이트의 자로 쓰면 «이 값이 그 기준에서 얼마나 위에 있는가»를 묻는 것이 됩니다. 앞에서 짚었듯 그 활성값이 정말 정규분포라는 뜻은 아니고, 자의 눈금을 표준정규분포로 매겼다는 뜻입니다.
두 근사
에는 초등함수로 된 닫힌 꼴이 없습니다. 오차함수 를 써서 로 적을 수는 있지만 erf 자체가 적분으로 정의된 특수함수입니다. 그래서 GELU를 처음 제안할 때부터 두 근사가 함께 쓰였습니다.
여기서 는 표준편차가 아니라 시그모이드 입니다. 앞의 것은 tanh 안에 세제곱 항을 넣어 의 모양을 맞춘 꼴이고, 뒤의 것은 시그모이드를 가로로 1.702배 조여 에 겹친 꼴입니다.
정확한 값과의 차이를 에서 사이에서 재면 둘의 정밀도는 꽤 다릅니다. tanh 꼴의 최대 오차는 근처의 약 0.00047이고, 시그모이드 꼴은 근처의 약 0.020으로 40배 넘게 큽니다. GPT-2가 tanh 꼴을 썼고, PyTorch의 nn.GELU는 기본으로 erf를 쓰는 정확한 꼴을 계산하되 approximate='tanh'로 앞의 근사를 고를 수 있습니다. 학습된 모델을 불러와 쓸 때는 학습 때와 같은 꼴을 쓰는 것이 안전합니다. 차이는 작아도 층을 수십 번 지나며 쌓이기 때문입니다.
SiLU와의 대응
시그모이드 근사를 다시 보면 낯익은 함수가 나옵니다. 배율 1.702를 1로 바꾼
가 SiLU이고, 배율을 학습 가능한 수 로 둔 를 Swish라고도 부릅니다. GELU와 SiLU는 같은 구조입니다 — 입력에 «0에서 1 사이의 게이트»를 곱하는데, 그 게이트를 GELU는 정규분포의 누적분포함수로, SiLU는 시그모이드로 그렸을 뿐입니다. 시그모이드는 로지스틱 분포의 누적분포함수이므로, SiLU는 «기준이 되는 자»를 정규분포 대신 로지스틱 분포로 바꾼 GELU라고 읽을 수 있습니다.
배율이 1이라 SiLU의 게이트는 GELU보다 완만하게 열립니다. 음수 쪽 골도 더 깊어 에서 곧 약 이고, 가장 낮은 곳이 약 입니다. LLaMA 계열이 피드포워드 층에 쓰는 SwiGLU가 이 SiLU를 게이트로 씁니다. 활성함수 이름이 달라 보여도 뼈대는 «값 × 누적분포함수»라는 한 틀입니다.
정리
- 정규분포의 손잡이는 와 둘뿐이고, 지수 안의 이 꼬리를 빠르게 눌러 이상치를 드물게 만든다. 밀도는 확률이 아니며, 분산이 정해졌을 때 엔트로피가 가장 큰 분포다.
- 표준화 로 모든 정규분포가 하나로 모인다. 다만 표준화는 모양을 바꾸지 않으므로, 정규가 아닌 것은 표준화해도 정규가 되지 않는다.
- 선형변환에 닫혀 있다. 그래서
randn하나로 모든 정규분포를 만들고, 재파라미터화 트릭이 성립한다. - 독립 합에 닫혀 있다. 독립인 정규의 선형결합은 통째로 정규이고, 독립이 깨지면 이 약속도 깨진다.
- 중심극한정리는 원래 분포를 묻지 않는다. 표준화한 표본평균이 표준정규분포로 다가가고, 수렴 속도는 왜도가 , 초과 첨도가 로 줄어드는 속도다.
- √n의 n은 독립인 표본 수다. 상관계수 가 있으면 표본을 아무리 늘려도 유효 표본 수가 에서 막힌다.
- GELU는 이고, 를 시그모이드로 바꾸면 SiLU가 된다.
torch.randn이 도처에 있는 이유가 두 성질과 한 정리로 정리되었습니다. 다음은 자리를 하나에서 여럿으로 늘릴 차례입니다 — 변수가 개일 때 «퍼진 정도»는 수 하나가 아니라 행렬이 되고, 그 행렬로 상관 있는 표본을 만드는 법이 이어집니다.
읽어주셔서 감사합니다. 😊

