트랜스포머 블록의 피드포워드 층은 어느 구현에서나 세 줄입니다.
h = self.fc1(x) # (B, T, 4d)
h = F.gelu(h) # 활성함수
out = self.fc2(h) # (B, T, d)
가운데 줄을 F.relu로 바꾸면 학습 곡선이 달라집니다. 순전파에서 통과하는 값이 조금 달라져서가 아니라, 역전파에서 곱해지는 수가 달라지기 때문입니다. out에서 흘러온 기울기가 x까지 가려면 이 층을 지나야 하고, 그때 성분마다 곱해지는 것이 활성함수의 도함수 값입니다. 활성함수가 입력 하나를 받아 값 하나를 내놓는 함수라면, 도함수는 그 입력을 조금 움직였을 때 값이 몇 배로 따라 움직이는지를 주는 함수입니다.
이 글은 자주 쓰는 여섯 활성함수의 도함수를 하나씩 유도합니다. ReLU와 LeakyReLU, sigmoid와 tanh, 그리고 GELU와 SiLU입니다. 유도가 끝나면 세 가지가 계산으로 설명됩니다 — sigmoid를 깊게 쌓으면 왜 학습이 멎는지, GELU가 왜 하필 인지, 그리고 ReLU가 0에서 미분되지 않는 것이 실제로 문제인지.
지난 글에서 마지막 층 하나를 끝까지 유도했으니, 이번에는 중간 층에서 매번 곱해지는 수를 봅니다. 어느 활성함수를 고를지는 활성 함수 선택 가이드가 다루고, 이 글은 미분과 유도만 맡습니다.
연쇄법칙의 곱
원소별 곱
원소별로 작용하는 함수 를 지나는 역전파를 연쇄법칙으로 적으면 이렇습니다. 여기서 는 앞 선형층이 내놓은 가중합이고, 는 그것을 활성함수에 통과시킨 값입니다.
성분끼리 섞이지 않으므로 야코비안이 대각행렬이고, 곱셈은 원소별 곱 한 번으로 끝납니다. 그래서 활성함수를 고르는 일은 「역전파에서 성분마다 무엇을 곱할지」를 고르는 일과 같습니다. 그 곱해지는 수가 0에 가까우면 그 자리의 학습 신호는 그 층에서 끊깁니다.
왼쪽이 순전파에서 통과하는 값이고, 오른쪽이 역전파에서 곱해지는 값입니다. 이 글이 다루는 것은 오른쪽 그림이고, 아래에서 곡선 하나하나를 손으로 유도합니다.
층을 지나는 곱
곱셈이 한 번이면 크게 문제 될 것이 없습니다. 문제는 층을 여럿 쌓았을 때입니다. 맨 아래 층의 가중치가 받는 기울기는 위에서 내려오는 길에 지나는 모든 층의 도함수를 하나씩 곱해서 얻습니다. 선형층의 가중치도 끼어들지만, 활성함수 자리에서 곱해지는 몫만 떼어 보면 한 경로에서 이 곱해집니다.
이 곱은 각 인수가 1에서 조금만 벗어나도 층 수의 지수로 벌어집니다. 층마다 0.9가 곱해지면 50층 뒤에 0.00515가 남고, 1.1이 곱해지면 117.4가 됩니다. 앞쪽을 기울기 소실(vanishing gradient)이라 부르고 뒤쪽을 기울기 폭주(exploding gradient)라 부릅니다. 둘 다 같은 곱셈이 1보다 작은 쪽과 큰 쪽으로 기운 결과입니다. 그래서 도함수를 볼 때 묻는 질문은 늘 같습니다 — 이 수가 1에 비해 얼마나 크고, 입력이 어디에 있을 때 얼마나 작아지는가.
이 질문에는 수가 둘 필요합니다. 하나는 도함수가 가장 클 때의 값, 곧 가장 좋은 자리의 배율이고, 다른 하나는 입력이 실제로 퍼져 있는 모양 위에서 낸 평균 배율입니다. 앞의 것은 함수만 보면 나오고, 뒤의 것은 입력의 분포를 정해야 나옵니다. 이 글에서는 학습 초기의 가중합이 대략 표준정규분포 을 따른다고 두고 평균을 냅니다.
ReLU와 LeakyReLU
ReLU의 도함수
는 구간마다 다른 식이므로 구간마다 미분합니다. 이면 라 이고, 이면 이라 입니다.
곱해지는 수가 1 아니면 0입니다. 1이면 기울기가 손대지 않은 채 그대로 통과하고, 0이면 완전히 끊깁니다. 층을 백 개 쌓아도 활성 경로에서는 이라 크기가 변하지 않는다는 것이 ReLU의 전부입니다.
역전파가 이 도함수를 계산하려면 순전파 때 무언가를 남겨 두어야 합니다. ReLU는 가 양수였는지만 알면 되므로 원리상 성분마다 부호 한 비트면 충분합니다. PyTorch의 기본 구현은 출력 텐서를 남겨 두고 그것이 0보다 큰지만 읽는데, 출력이 양수인 자리가 곧 입력이 양수인 자리라 같은 정보입니다. 이렇게 역전파를 위해 순전파에서 붙잡아 두는 중간값을 활성 메모리라 부르고, 긴 시퀀스를 학습할 때 GPU 메모리의 큰 몫이 이것입니다.
평균 배율
입력이 이면 일 확률이 정확히 절반이므로 입니다. 성분의 절반은 기울기를 그대로 넘기고 절반은 끊으니, 평균으로 보면 층마다 기울기의 크기가 반으로 줄어드는 셈입니다.
순전파 쪽도 같은 비율로 줄어듭니다. 분산은 값이 평균에서 퍼진 정도를 제곱해 평균 낸 것인데, 를 계산하면 음수 쪽 절반이 0이 되고 양수 쪽 절반은 그대로라 입니다. 다음 층의 가중합 는 독립인 항 개의 합이므로 분산이 이고, 여기에 0.5가 들어갑니다.
활성함수가 없는 선형층이라면 으로 두어 분산이 층마다 1로 유지되지만, ReLU를 끼우면 같은 초기화에서 층마다 0.5가 곱해져 20층 뒤에는 분산이 까지 줄어듭니다. 그 0.5를 미리 되돌려 두는 것이 He 초기화입니다 — 가중치의 분산을 으로 두는 초기화이고, 2는 정확히 ReLU가 깎는 절반을 메우는 계수입니다. 입력 차원이 이면 표준편차가 대신 가 됩니다. 역전파 쪽의 도 0.5라서, 같은 계수가 기울기의 분산까지 한꺼번에 지켜 줍니다.
LeakyReLU
0이 되는 쪽에는 이름이 붙어 있습니다. 어떤 뉴런의 입력이 모든 데이터에서 음수가 되면 그 뉴런은 기울기를 영영 받지 못해 가중치가 갱신되지 않는데, 이것을 죽은 ReLU(dying ReLU)라고 부릅니다. 음수 쪽 기울기를 완전히 0으로 두지 않는 것이 LeakyReLU입니다.
보통 을 씁니다. 음수 쪽에서 곱해지는 수가 0이 아니라 0.01이므로 신호가 100분의 1로 줄어들 뿐 끊기지는 않습니다. 평균 배율은 로 ReLU와 거의 같습니다.
다만 「끊지 않는다」가 「살린다」와 같은 말은 아닙니다. 음수 쪽을 두 층 연달아 지나는 경로는 이 곱해지고, 열 층이면 입니다. 0은 아니지만 32비트 부동소수점에서 다른 기울기와 더해지는 순간 사라지는 크기입니다. LeakyReLU가 실제로 하는 일은 죽은 뉴런 하나가 다시 살아날 실마리, 곧 그 뉴런 바로 위에서 온 기울기를 100분의 1이라도 받게 하는 것이지 깊은 음수 경로를 살리는 것이 아닙니다.
0에서의 미분
에서 왼쪽에서 온 기울기는 0이고 오른쪽에서 온 기울기는 1이므로 둘이 다르고, 따라서 ReLU는 그 한 점에서 미분되지 않습니다. 그런데 실제 학습은 멈추지 않습니다. 이유가 셋입니다.
첫째, 연속인 값에서는 그 점에 정확히 닿는 일이 드뭅니다. 는 앞 층의 가중합으로 나온 부동소수점 수이고, 그 값이 정확히 0.0이 되려면 유한한 자리의 실수 하나에 딱 맞아야 합니다.
둘째, 닿아도 답이 하나 정해져 있습니다. 구현은 에서 0(또는 1)을 그냥 반환합니다. 어느 쪽을 골라도 그 값은 좌미분과 우미분 사이에 있는 값이고, 이렇게 꺾인 점에서 접선 대신 쓸 수 있는 기울기를 열후미분(subgradient)이라고 부릅니다. 원점을 지나는 직선 가운데 그래프를 아래에서 받치는 것의 기울기이고, ReLU에서는 0과 1 사이의 모든 값이 여기에 듭니다. 경사하강은 열후미분으로도 수렴합니다.
셋째, 한 점의 값이 손실에 기여하는 몫이 작습니다. 배치 하나의 손실은 수많은 성분의 평균이므로, 그중 한 성분이 어느 값을 골랐든 평균은 거의 움직이지 않습니다.
정확한 0이 흔해지는 자리도 있기는 합니다. 패딩 토큰을 0 벡터로 채우고 편향을 0으로 초기화하면 그 자리의 가중합은 처음부터 정확히 0이고, 8비트로 양자화한 활성은 0이 격자의 한 칸이라 작은 값이 전부 0으로 떨어집니다. PyTorch는 이때 0을 고릅니다. 다만 패딩 자리는 손실에서 가려져 위에서 내려오는 기울기 자체가 0이므로 어느 열후미분을 골라도 곱이 0이고, 양자화한 망은 대개 양자화 전의 실수 값으로 기울기를 계산합니다. 그러니 ReLU의 진짜 약점은 0에서의 미분 불가능이 아니라 음수 구간이 통째로 0이 되는 쪽이고, LeakyReLU·GELU·SiLU가 손대는 자리도 전부 거기입니다.
sigmoid와 tanh
sigmoid의 도함수
를 미분합니다. 로 보고 연쇄법칙을 씁니다.
여기서 멈추지 않고 자신으로 다시 씁니다. 이므로
입니다. 도함수가 자기 출력값만으로 적힌다는 것이 요점입니다. 구현이 순전파의 출력을 활성 메모리로 저장해 두었다가 역전파에서 그대로 쓰는 이유가 이것이고, 를 다시 꺼낼 필요도 지수함수를 다시 계산할 필요도 없습니다.
포화
이 식이 곧 문제의 원인이기도 합니다. 두 인수 와 의 합이 1로 고정되어 있으므로, 곱은 둘이 0.5로 같을 때 가장 크고 그 값이 입니다. 출력이 0이나 1 쪽으로 밀리면 한쪽 인수가 0으로 가면서 곱이 따라 내려가는데, 이렇게 출력이 양 끝에 붙어 도함수가 0에 가까워진 상태를 포화(saturation)라고 부릅니다.
에서 이미 이고, 이면 입니다. 포화되지 않은 가장 좋은 자리에서도 0.25이므로, sigmoid 층을 개 지나면 기울기에 최대 이 곱해집니다. 다섯 층이면 0.000977, 열 층이면 0.00000095입니다. 그리고 이것은 상한입니다 — 입력이 로 퍼져 있으면 평균 배율이 이라 다섯 층에서 0.000377로 상한의 절반도 안 됩니다. 깊은 망에서 sigmoid를 은닉층에 쓰지 않는 이유가 이 계산에 있습니다.
포화를 정하는 것이 출력이 아니라 입력의 크기라는 점도 짚어 둡니다. 가 4를 넘으면 도함수가 0.0177 아래로 떨어지므로, 가중합이 커지지 않게 붙잡아 두면 포화도 덜 일어납니다. 층의 입력을 평균 0, 분산 1로 다시 맞추는 정규화 층이 앞에 서 있으면 그 뒤 가중합의 크기도 초기에는 1 근처에 머무는데, sigmoid가 망 안쪽 몇 자리에 아직 남아 있어도 학습이 되는 데에는 이 사정이 큽니다.
출력층의 sigmoid
은닉층에서 그렇게 나쁜 함수가 이진 분류의 출력층에는 여전히 서 있습니다. 거기서는 0.25가 문제가 되지 않기 때문입니다. 출력 에 정답 을 견주는 손실이 이진 교차엔트로피 입니다. 로 미분하면 이고, 여기에 를 곱하면 분모가 그대로 약분됩니다.
지난 글에서 softmax와 교차엔트로피가 로 정리된 것과 같은 일이 클래스 둘에서 일어난 것입니다. 숫자로 보면 차이가 분명합니다. 정답이 인데 로 자신 있게 틀렸다면 라 은닉층이었으면 기울기가 거의 사라졌겠지만, 출력층에서는 가 그대로 내려갑니다. 크게 틀릴수록 크게 고치라는 신호가 오는 것이고, 손실의 로그가 sigmoid의 포화를 정확히 상쇄한 결과입니다.
tanh
tanh는 사정이 조금 낫습니다. 를 몫의 미분으로 계산하면
입니다. 최댓값이 이라 sigmoid보다 네 배 큽니다. 출력이 로 0을 중심에 두고 퍼져 있어서 그런데, 그래도 양 끝에서 포화하는 성질 자체는 그대로입니다 — 입니다. 위의 평균 배율은 0.6057로, 1에 못 미치는 만큼 층마다 조금씩 깎입니다.
두 함수는 서로의 축소판입니다. 이 성립하고, 양변을 미분하면 라 최댓값 비 가 그대로 나옵니다.
GELU
확률 게이트
ReLU를 다시 봅니다. 곱으로 적으면 이렇습니다.
여기서 은 조건이 참이면 1, 거짓이면 0을 내놓는 지시함수(indicator function)입니다. 그러니까 ReLU는 입력을 그대로 통과시키되 0/1 스위치를 곱해 음수를 잘라내는 함수이고, 이렇게 입력에 곱해 통과량을 정하는 인수를 게이트라고 부릅니다. ReLU의 게이트는 딱딱하기 때문에 도함수가 0에서 뚝 끊깁니다.
GELU(Gaussian Error Linear Unit)는 그 게이트를 확률로 바꿉니다. 「이 입력을 통과시킬까」를 0/1로 정하는 대신, 표준정규분포에서 뽑은 와 견주어 가 더 크면 통과시킨다고 두는 것입니다. 통과할 확률은
이고, 는 표준정규분포의 누적분포함수(CDF)입니다 — 표준정규에서 뽑은 값이 이하일 확률을 주는 함수이고, 정규분포 글에서 종 모양 곡선 아래 넓이로 본 그것입니다. 스위치를 그 확률의 기댓값으로 바꿔 적으면
입니다. GELU는 ReLU의 게이트 자리에 「그 입력이 얼마나 큰가」를 넣은 것이고, 이렇게 통과 여부를 확률로 정하는 방식을 확률적 게이팅(stochastic gating)이라고 부릅니다.
는 0에서 0.5, 에서 0, 에서 1로 가는 매끄러운 곡선이라 게이트가 부드럽게 열립니다. 그러니 이고, 큰 양수에서는 이라 로 ReLU와 겹칩니다.
GELU의 도함수
이제 미분합니다. 곱의 미분이고, 입니다 — 누적분포함수를 미분하면 확률밀도함수가 나오므로, 입니다.
두 항의 뜻이 다릅니다. 앞 항 는 「게이트가 열린 만큼 통과시킨다」이고, 뒤 항 는 「입력을 조금 키우면 게이트도 조금 더 열린다」입니다. ReLU의 도함수에는 앞 항밖에 없습니다.
이 식에서 활성 메모리의 사정도 읽힙니다. 두 항 모두 자체를 요구하므로, 역전파를 하려면 순전파의 입력 를 통째로 남겨 두어야 합니다. 출력 만으로는 를 되찾을 수 없습니다 — 아래에서 보겠지만 GELU는 음수 쪽에서 값이 내려갔다 다시 올라오므로, 0과 −0.1700 사이의 음수 출력 하나에 입력이 둘씩 대응하기 때문입니다. bf16으로 학습하면 성분마다 2바이트이니, 원리상 한 비트로 충분한 ReLU의 16배입니다. 피드포워드 층의 가운데 텐서가 모델 폭의 네 배라는 것까지 곱하면, 긴 시퀀스에서 이 차이가 활성 메모리의 큰 몫이 됩니다.
대칭과 이차 도함수
GELU의 도함수에는 깔끔한 대칭이 하나 숨어 있습니다. 이고 는 좌우 대칭이므로
입니다. 와 의 도함수를 더하면 언제나 정확히 1입니다. 입력이 0을 중심으로 대칭인 분포를 따르면 와 가 같은 확률로 나오므로 평균은 그 합의 절반, 곧 입니다. ReLU도 로 같은 성질을 가지므로, 초기화 시점의 평균 배율은 두 함수가 정확히 같습니다. GELU로 바꿔도 He 초기화의 계수를 손볼 일이 거의 없는 이유입니다. 다만 순전파 쪽 은 0.4252로 0.5보다 조금 작아서, 완전히 같지는 않습니다.
뒤 항 때문에 재미있는 일이 둘 더 생깁니다. 도함수를 한 번 더 미분한 이차 도함수는 입력이 한 단위 움직일 때 도함수가 얼마나 변하는지를 재는 값인데, 이것을 구하면 어디서 갈리는지가 정확히 나옵니다. 이므로
이고, 이라 이것이 0이 되는 곳은 뿐입니다.
- 에서 최댓값 입니다. 도함수가 1을 넘습니다 — 그 구간을 지나는 기울기는 줄지 않고 오히려 조금 커집니다.
- 에서 최솟값 입니다. 도함수가 음수입니다 — 작은 음수 구간에서는 기울기의 부호가 뒤집혀 되돌아갑니다. ReLU가 그 구간을 통째로 0으로 죽이는 것과 다릅니다. 두 값의 합이 정확히 1인 것도 위의 대칭 그대로입니다.
- 큰 음수로 가면 이고 이라 도함수도 0으로 갑니다. 입니다.
이차 도함수 자체도 하나의 수를 줍니다. 의 최댓값은 에서 이고 최솟값은 에서 입니다. 곧 GELU의 도함수는 입력이 한 단위 움직일 때 어디서도 0.7979보다 빨리 변하지 못합니다. ReLU는 0을 지나는 순간 도함수가 0에서 1로 한 번에 뛰므로 이 값이 무한대인 셈입니다. 갱신 한 번에 가중합이 0을 넘나들어도 GELU의 기울기는 연속으로 따라오고 ReLU의 기울기는 켜졌다 꺼졌다 하는데, 매끄러운 쪽이 최적화가 덜 흔들린다는 경험이 이 차이에서 옵니다.
tanh 근사
에는 초등함수로 적히는 식이 없어서 구현은 오차함수 를 부르거나 근사식을 씁니다. 널리 쓰이는 tanh 근사가 이것입니다.
전체에서 이 근사와 정확한 값의 차이가 가장 큰 곳은 이고 그 차이가 입니다. 값 자체가 1 근처인 자리에서 오차가 0.0005 아래이므로 학습에서는 둘을 구별할 수 없습니다. PyTorch가 approximate='tanh'를 옵션으로 두고 기본은 정확한 쪽을 쓰는 것이 이 사정입니다.
SiLU
SiLU의 도함수
같은 게이트 자리에 대신 sigmoid를 넣으면 SiLU(Sigmoid Linear Unit, Swish라고도 합니다)가 됩니다.
미분은 곱의 미분과 위에서 얻은 를 합치면 나옵니다.
모양이 GELU'와 똑같습니다 — 「열린 만큼」 더하기 「더 열리는 만큼」입니다. 라서 대칭도 그대로 성립해 이고, 그래서 이며 위의 평균 배율도 0.5입니다. 최댓값은 에서 로 GELU의 1.1289보다 조금 작고, 최솟값은 그 반대편 에서 입니다. GELU의 최솟값 자리 보다 더 왼쪽에, 더 얕게 패입니다. 이차 도함수의 최댓값도 에서 로 GELU의 0.7979보다 작아, 같은 일을 더 느슨하게 합니다.
음수 쪽의 골
도함수가 음수인 구간이 있다는 것은 값 곡선이 그 구간에서 내려간다는 뜻입니다. 둘 다 0에서 출발해 왼쪽으로 가면서 0 아래로 내려갔다가, 큰 음수에서 다시 0으로 올라옵니다. 그 골의 바닥은 도함수가 0인 곳입니다.
GELU에서는 을 풀면 이고, 그 자리에서 이므로 값은 입니다. SiLU에서는 을 로 나누면 , 곧 가 되고, 값은 입니다. 이 방정식의 해가 이므로 바닥의 값은 입니다. 바닥의 값이 바닥의 자리에 1을 더한 수와 같다는 것은 SiLU에서만 성립하는 관계입니다.
그림을 보면 「작은 음수를 조금 살려 둔다」의 크기가 보입니다. GELU의 골은 얕고 좁아서 에서 이미 으로 ReLU와 거의 겹치지만, SiLU의 골은 더 깊고 넓어서 에서도 이 남습니다. 세 함수를 표로 맞대면 이렇습니다.
| 정의 | 도함수 | 도함수의 최댓값 | 음수 쪽 바닥 | |
|---|---|---|---|---|
| ReLU | 1 또는 0 | 1 | 없음(0에 붙는다) | |
| GELU | 1.128904 | −0.1700 (z = −0.7518) | ||
| SiLU | 1.099839 | −0.2785 (z = −1.2785) |
β 가족
SiLU의 게이트에 기울기 손잡이 를 하나 달면 세 함수가 한 줄에 놓입니다.
이면 SiLU이고, 이면 라 게이트가 늘 반만 열린 선형함수 입니다. 를 키우면 가 0/1 계단에 가까워지므로 는 ReLU로 갑니다. 그 사이 에서는 가 를 흉내 내어, 에서 GELU와의 차이가 가장 커 봐야 0.0203입니다.
도함수를 적으면 이 가족이 무엇을 바꾸고 무엇을 안 바꾸는지가 보입니다. 로 두면
입니다. 는 SiLU'의 모양을 그대로 두고 가로로 줄이거나 늘릴 뿐이라, 도함수의 최댓값 1.0998과 최솟값 −0.0998은 어떤 에서도 같습니다. 바뀌는 것은 그 값이 놓이는 자리 와 골의 크기입니다. 값 곡선의 바닥은 에서 이므로 를 키울수록 골이 얕아지고, 에서 골은 사라지고 도함수가 0에서 1로 뛰는 구간이 한 점으로 줄어 ReLU가 됩니다. 를 넣으면 바닥이 으로 GELU의 에 가깝게 나오는데, 이것도 두 함수가 거의 겹친다는 그림과 맞습니다.
SwiGLU
게이트를 입력 자신에게서 만들지 않고 다른 선형층에 맡기면 한 걸음 더 갑니다. 지금의 LLM 대부분이 피드포워드 층에 쓰는 SwiGLU가 그것이고, 서론의 세 줄이 이렇게 바뀝니다.
는 원소별 곱입니다. 와 를 따로 계산해 를 내놓는 것이니, 이제 활성함수는 원소 하나를 받는 함수가 아니라 행렬 셋을 가진 층입니다. 역전파에서 곱해지는 수도 둘로 갈립니다. 쪽으로는 가, 쪽으로는 가 곱해집니다. 앞의 것은 이 글이 유도한 도함수에 학습되는 값 를 곱한 것이라, 크기를 1 근처로 붙잡아 두던 성질이 더는 활성함수 혼자 정하는 것이 아닙니다.
행렬이 둘에서 셋이 되었으므로 파라미터 수를 맞추려면 가운데 폭을 줄여야 합니다. 원래 피드포워드 층이 폭 짜리 행렬 둘, 곧 개를 썼다면 셋으로 같은 수를 쓰려면 폭이 여야 합니다. 이면 10922.67이고, 이것을 256의 배수로 올린 11008이 LLaMA의 가운데 폭입니다.
코드로 확인하기
유도의 검산
import math
def sig(z): return 1 / (1 + math.exp(-z))
def Phi(z): return 0.5 * (1 + math.erf(z / math.sqrt(2)))
def phi(z): return math.exp(-z * z / 2) / math.sqrt(2 * math.pi)
fns = {
"ReLU": (lambda z: max(0.0, z), lambda z: 1.0 if z > 0 else 0.0),
"Leaky": (lambda z: z if z > 0 else 0.01 * z,
lambda z: 1.0 if z > 0 else 0.01),
"sigmoid": (sig, lambda z: sig(z) * (1 - sig(z))),
"tanh": (math.tanh, lambda z: 1 - math.tanh(z) ** 2),
"GELU": (lambda z: z * Phi(z), lambda z: Phi(z) + z * phi(z)),
"SiLU": (lambda z: z * sig(z), lambda z: sig(z) + z * sig(z) * (1 - sig(z))),
}
# ① 손으로 유도한 도함수를 유한차분과 맞대 본다
h = 1e-5
for name, (f, df) in fns.items():
worst = max(abs(df(z) - (f(z + h) - f(z - h)) / (2 * h))
for z in [-3.0, -1.5, -0.7, 0.4, 1.2, 2.5])
print(f"{name:8s} 최대 오차 {worst:.2e}")
# ReLU 최대 오차 6.55e-12
# Leaky 최대 오차 6.55e-12
# sigmoid 최대 오차 7.74e-12
# tanh 최대 오차 1.99e-11
# GELU 최대 오차 1.36e-11
# SiLU 최대 오차 1.52e-11
# ② 도함수의 최댓값 — 격자로 훑어 찾는다
grid = [i / 10000 for i in range(-60000, 60001)]
for name, (_, df) in fns.items():
best = max(grid, key=df)
print(f"{name:8s} 최댓값 {df(best):.6f} (z = {best:.4f})")
# ReLU 최댓값 1.000000 (z = 0.0001)
# Leaky 최댓값 1.000000 (z = 0.0001)
# sigmoid 최댓값 0.250000 (z = 0.0000)
# tanh 최댓값 1.000000 (z = 0.0000)
# GELU 최댓값 1.128904 (z = 1.4142) ← √2 = 1.414214
# SiLU 최댓값 1.099839 (z = 2.3994)
# ③ 포화한 sigmoid 층을 n 개 지나면
for n in [1, 2, 3, 5, 10]:
print(n, f"{0.25 ** n:.8f}")
# 1 0.25000000
# 2 0.06250000
# 3 0.01562500
# 5 0.00097656
# 10 0.00000095
# ④ GELU의 tanh 근사가 얼마나 벗어나는가
def gelu_tanh(z):
inner = math.sqrt(2 / math.pi) * (z + 0.044715 * z ** 3)
return 0.5 * z * (1 + math.tanh(inner))
worst = max((i / 1000 for i in range(-8000, 8001)),
key=lambda z: abs(gelu_tanh(z) - fns["GELU"][0](z)))
print(round(worst, 3), f"{abs(gelu_tanh(worst) - fns['GELU'][0](worst)):.8f}")
# -2.699 0.00047324
# ⑤ 음수 구간에서 GELU의 도함수는 실제로 음수다
for z in [-2.0, -1.4142, -1.0, -0.5]:
print(z, round(fns["GELU"][1](z), 6))
# -2.0 -0.085232
# -1.4142 -0.128904
# -1.0 -0.083315
# -0.5 0.132505
①이 이 글의 유도를 여섯 번 확인한 것입니다. 손으로 얻은 식과 함수를 직접 흔들어 잰 값이 소수점 열한 자리까지 같습니다. 양옆으로 만큼 떨어진 두 점의 값 차이를 로 나눠 기울기를 어림하는 이 방법이 유한차분이고, 도함수의 식 없이 함수값만으로 기울기를 재므로 유도의 검산에 씁니다.
②에서 ReLU와 LeakyReLU의 「최댓값 자리」는 격자에서 1을 처음 만난 점일 뿐이라 뜻이 없습니다 — 양수 쪽이 전부 1이기 때문입니다. 반면 GELU의 와 그 값 는 위에서 손으로 유도한 와 정확히 같습니다. ⑤의 네 값 가운데 앞의 셋이 음수이고 에서 가장 깊은 것도 그림과 맞습니다.
평균과 층의 곱
import random
# ⑥ z ~ N(0, 1)일 때 도함수의 평균 — 표본 40만 개
random.seed(0)
zs = [random.gauss(0, 1) for _ in range(400_000)]
for name in ["ReLU", "sigmoid", "tanh", "GELU", "SiLU"]:
df = fns[name][1]
print(f"{name:8s} E[f'(Z)] = {sum(map(df, zs)) / len(zs):.4f}")
# ReLU E[f'(Z)] = 0.5010
# sigmoid E[f'(Z)] = 0.2066
# tanh E[f'(Z)] = 0.6052
# GELU E[f'(Z)] = 0.5010
# SiLU E[f'(Z)] = 0.5010
# ⑦ 열 층을 지나는 한 경로의 곱 — 층마다 z를 새로 뽑는다
random.seed(1)
for name in ["sigmoid", "tanh", "GELU"]:
df = fns[name][1]
prods = []
for _ in range(100_000):
p = 1.0
for _ in range(10):
p *= df(random.gauss(0, 1))
prods.append(p)
prods.sort()
print(f"{name:8s} 평균 {sum(prods) / len(prods):.2e} 중앙값 {prods[len(prods) // 2]:.2e}")
# sigmoid 평균 1.42e-07 중앙값 1.11e-07
# tanh 평균 6.65e-03 중앙값 7.25e-04
# GELU 평균 8.77e-04 중앙값 2.86e-12
⑥에서 ReLU·GELU·SiLU 셋이 같은 0.5010으로 모입니다. 셋 다 을 만족하므로 이론값은 정확히 0.5이고, 남은 0.0010은 표본 40만 개의 흔들림입니다. 셋의 수가 똑같은 것은 같은 표본을 썼기 때문입니다 — 이 표본에서 양수가 나온 비율이 0.5010이고, 대칭 덕분에 세 함수의 평균이 그 비율과 거의 같아집니다. sigmoid의 0.2066과 tanh의 0.6052는 이론값 0.2066·0.6057과 맞습니다.
⑦은 한 경로가 열 층을 지날 때의 곱입니다. sigmoid의 평균 은 이론값 과 같고, ③의 최댓값 가정 보다 여섯 배 넘게 작습니다. ③의 표는 가장 좋은 경우였던 것입니다.
GELU에서는 평균과 중앙값이 여덟 자릿수 넘게 갈립니다. 음수 쪽 도함수가 0 근처라 열 번 가운데 큰 음수를 한 번만 만나도 곱이 거의 사라지므로 대부분의 경로가 죽고, 열 번 다 양수 쪽을 지난 드문 경로가 평균을 떠받칩니다. 평균의 이론값은 인데 표본에서 조금 덜 나온 것도 그 드문 큰 값이 표본마다 들쭉날쭉하기 때문입니다. 실제 망이 그래도 학습되는 것은 기울기가 한 경로가 아니라 폭만큼의 경로를 더한 것이어서, 죽은 경로 옆에 산 경로가 늘 있기 때문입니다.
정리
- 역전파에서 활성함수 자리에 곱해지는 것은 함수값이 아니라 도함수값이다. 원소별 함수라 야코비안이 대각행렬이고 곱은 원소별 곱 한 번이다. 층을 쌓으면 이 수들이 곱해지므로 1보다 얼마나 작고 큰지가 소실과 폭주를 정한다.
- ReLU의 도함수는 1 아니면 0이다. 통과시키거나 완전히 끊거나 둘뿐이고, 그래서 크기를 바꾸지 않는 대신 죽은 뉴런을 만든다. 위의 평균 배율이 0.5이고 순전파 분산도 절반이 되므로, He 초기화가 가중치 분산을 으로 두어 되돌린다.
- LeakyReLU는 그 0을 로 바꾼 것이다. 다만 음수 쪽을 두 층만 지나도 이라, 끊지 않는 것과 살리는 것은 다르다.
- ReLU가 0에서 미분되지 않는 것은 실제 문제가 아니다. 그 점에 닿는 일이 드물고, 닿아도 0과 1 사이의 열후미분 하나를 고르면 되며, 정확한 0이 흔한 패딩 자리는 위에서 오는 기울기가 이미 0이다.
- 는 자기 출력만으로 적힌다. 두 인수의 합이 1이라 최댓값이 0.25이고, 에서 0.0177 아래로 포화한다. 층이면 상한이 이고 평균은 그보다 작은 이다.
- 출력층의 sigmoid는 교차엔트로피와 짝지으면 가 약분되어 기울기가 가 된다. 포화가 문제 되는 것은 은닉층뿐이다.
- 은 최댓값이 1이라 네 배 낫지만 포화하는 성질은 같다. 이므로 둘은 같은 곡선의 축척만 다른 판이다.
- GELU는 ReLU의 0/1 게이트를 확률 로 바꾼 것이다. 이고 도함수는 — 「열린 만큼」과 「더 열리는 만큼」의 합이다. 역전파에 입력 를 통째로 남겨야 한다.
- 이라 평균 배율이 ReLU와 같은 0.5다. 도함수는 에서 꺾여 최댓값 1.128904, 최솟값 −0.128904를 갖고, 이차 도함수는 0.7979를 넘지 않는다.
- tanh 근사식의 오차는 에서 최대 0.00047이라 학습에서 구별되지 않는다.
- SiLU는 같은 게이트 자리에 를 넣은 것이다. 도함수의 최댓값은 1.099839이고, 값 곡선의 골은 −0.2785로 GELU의 −0.1700보다 깊고 넓다.
- 의 하나가 · SiLU · GELU 근처 · ReLU를 잇는다. 는 도함수의 모양을 가로로 줄이고 늘릴 뿐이라 그 최댓값은 언제나 1.0998이다.
- SwiGLU는 게이트를 다른 선형층에 맡긴 층이고, 행렬이 셋이라 가운데 폭을 로 줄인다.
이제 서론의 F.gelu가 backward에서 무엇을 곱하는지 적을 수 있습니다 — 이고, 그 값은 양수 쪽에서 1 근처를 지나며 잠깐 1.1289까지 올라가고, 음수 쪽에서는 0 근처에서 살짝 음수로 내려갑니다. 그 줄을 F.relu로 바꾸면 평균 배율 0.5는 그대로인 채 그 곡선이 0과 1의 계단으로 바뀌고, SwiGLU로 바꾸면 그 곡선에 학습되는 값이 한 번 더 곱해집니다. 활성함수를 고르는 일이 사실은 역전파에서 곱해질 수의 모양을 고르는 일이었습니다.
그런데 위 코드의 ①에서 한 일을 다시 볼 필요가 있습니다. 손으로 유도한 식을 함수를 직접 흔들어 잰 값과 맞대 봤는데, 하필 를 골랐고 오차가 대로 나왔습니다. 왜 그 이고, 왜 하필 그 자릿수인가를 다음 글에서 정합니다.
읽어주셔서 감사합니다. 😊

