20층짜리 신경망의 첫 번째 층에 있는 가중치 하나를 생각해 봅시다. 그 수를 0.001만큼 키우면 손실이 얼마나 변할까요.
그 답이 p.grad에 들어갑니다. 그런데 그 가중치와 손실 사이에는 행렬곱 스무 번과 활성함수 스무 번이 끼어 있습니다. 가중치가 흔들리면 첫 층의 출력이 흔들리고, 그것이 둘째 층의 입력이 되어 다시 흔들리고, 그렇게 스무 번을 거친 끝에 손실이 흔들립니다. 이 긴 사슬을 한 번에 미분하는 방법이 있어야 합니다.
지난 글에서 그래디언트를 「손잡이마다의 민감도를 모은 벡터」로 읽었습니다. 이 글은 그 민감도를 실제로 어떻게 구하는가에 답하는 법칙 하나를 세웁니다. 법칙은 하나뿐이고, 역전파는 그것을 순서대로 적용하는 것 이상이 아닙니다.
연쇄법칙
선형근사 유도
가 변하면 가 변하고, 가 변하면 가 변하는 상황입니다. 기호로는 , 이고 이런 겹침을 합성함수(composite function)라고 부릅니다.
초급의 도함수 규칙 글에서 이 경우의 계산법을 「겉을 미분하고 속을 미분해 곱한다」로 익혔습니다. 여기서는 왜 곱인지를 지난 글의 선형근사로 확인합니다.
지난 글의 읽기를 그대로 씁니다. 미분 가능하다는 것은 작은 에 대해
가 성립한다는 뜻이었습니다. 입력의 흔들림 가 출력의 흔들림 로 바뀐다는 말이고, 는 그 환율입니다. 이제 그 결과를 에 넣습니다. 는 자기 입력이 만큼 흔들렸다고 보고
를 내놓습니다. 처음의 와 마지막 흔들림을 맞대면 환율이 두 번 걸린 것이 그대로 보입니다.
연쇄법칙(chain rule). 일 때 이다. 미분은 「입력 흔들림 → 출력 흔들림」의 환율이고, 환율은 이어 붙이면 곱해진다.
수로 확인합니다. , 를 에서 봅니다. , 이고
이므로 연쇄법칙은 라고 말합니다. 직접 합성해 보면 이고 입니다. 같습니다.
라이프니츠 표기
위 상자에는 같은 법칙이 두 모양으로 적혀 있습니다. 가운데처럼 와 를 나란히 놓는 쓰기를 라이프니츠 표기라고 부르고, 오른쪽처럼 함수 이름과 프라임으로 적는 쓰기를 여기서는 함수 표기라고 부르겠습니다.
라이프니츠 표기는 분수를 약분하는 것처럼 보여서 외우기 쉽습니다. 위아래의 가 지워지고 가 남는 모양이지요. 다만 그것은 기억을 돕는 모양일 뿐 실제로 분수를 약분하는 것이 아닙니다. 는 나눗셈의 결과가 아니라 한 덩어리의 기호이고, 약분처럼 보이는 것이 맞아떨어지는 진짜 이유는 위에서 본 환율의 곱입니다.
함수 표기 는 덜 외우기 쉬운 대신 라이프니츠 표기가 감추는 것 하나를 드러냅니다. 미분을 어느 지점에서 계산하는가입니다. 은 가 아니라 에서 읽습니다. 위 예에서 이므로 이고, 이것을 에서 읽어야 12가 나옵니다. 을 그대로 넣어 으로 읽으면 곱이 가 되어 정답 24의 절반에 그칩니다. 라이프니츠 표기의 는 「 의 현재 값에서」라는 말을 생략하고 있어서, 이 실수가 식에서 눈에 띄지 않습니다.
두 표기가 함께 말하는 것은 곱의 인수 하나하나가 연산 하나만 보고 구한 미분이라는 점입니다. 연산 하나의 출력을 그 바로 앞 입력으로 미분해 현재 값에서 읽은 수를 국소 미분이라고 하고, 이 글에서는 환율의 말로 국소 비율이라고도 부릅니다. 연쇄법칙은 「전체의 미분은 국소 미분들의 곱이다」라는 한 문장으로 줄어듭니다.
중간값 저장
위 계산에서 를 구할 때 이라는 값이 필요했습니다. 환율은 상수가 아니라 「그 지점에서의」 환율이라, 뒤쪽 비율을 구하려면 앞쪽에서 계산된 값을 알고 있어야 합니다.
신경망에서는 이것이 두 단계로 나뉩니다. 입력에서 손실까지 앞으로 값을 계산해 나가는 단계가 순전파이고, 그 값들을 써서 손실에서 거꾸로 국소 미분을 곱해 오는 단계가 역전파입니다. 역전파가 순전파의 값에 기대므로 순서는 언제나 순전파가 먼저입니다.
이 한 줄이 역전파의 메모리 사용량을 통째로 설명합니다. 순전파를 돌 때 각 층의 중간 출력을 버리지 않고 붙들고 있어야 하고, 그래서 배치가 커지거나 층이 깊어지면 메모리가 파라미터 수가 아니라 중간값의 총량으로 결정됩니다. 그래디언트 체크포인팅처럼 중간값 일부를 버렸다가 역전파 때 다시 계산하는 기법이 있는 것도 여기서 나옵니다 — 버릴 수 있는 것은 값이지 법칙이 아닙니다.
긴 사슬
손잡이가 셋 이어져도 규칙은 그대로입니다. 라면 환율이 셋 곱해집니다.
수로 봅니다. , , 를 에서 잡으면 , , 이고 세 환율은 각각 , , 입니다. 곱하면 입니다. 합성해서 직접 미분해도 이므로 로 같습니다.
합성해서 직접 미분하는 길이 이 예에서는 더 짧아 보입니다. 그런데 층이 스무 개가 되면 합성한 식을 적는 것 자체가 불가능해집니다. 연쇄법칙의 값어치는 전체 식을 한 번도 안 보고 각 자리의 국소 비율만으로 답을 내는 데 있습니다. 연산 하나를 노드로, 값이 흘러가는 방향을 화살표로 이은 그림을 계산 그래프라고 하는데, 이 그래프와 연산마다의 국소 미분 규칙만으로 기계가 미분을 구하는 방식이 자동미분입니다. 자동미분 프레임워크가 모델 전체의 수식을 들고 있지 않은 것도 그래서입니다 — 들고 있는 것은 연산 하나하나의 국소 미분 규칙과, 그것들이 어떤 순서로 이어졌는가 하는 그래프뿐입니다.
층이 20개면 이 곱이 20개라는 것이 이 글의 뒷부분을 지배합니다. 곱의 개수가 층 수만큼 늘어난다는 사실 하나에서 기울기 소실과 폭주가 전부 따라 나옵니다.
다변수 연쇄법칙
신경망의 계산은 일직선이 아닙니다. 한 값이 여러 곳으로 갈라져 들어가고, 그 갈래들이 다시 만나 손실 하나가 됩니다. 이럴 때 법칙이 어떻게 늘어나는지가 이 절입니다.
경로의 합
하나가 와 를 만들고, 둘이 함께 를 만드는 경우를 봅니다.
를 만큼 흔들면 는 만큼, 는 만큼 흔들립니다. 그리고 지난 글의 다변수 선형근사가 두 흔들림이 더해진다고 말합니다.
양변을 로 나누면 그대로 법칙입니다.
다변수 연쇄법칙.
한 문장으로 줄이면 경로마다 곱하고 경로끼리 더한다입니다. 에서 로 가는 길이 둘이니 각 길에서 환율을 곱해 두고, 두 길의 기여를 합칩니다.
경로 누락
수로 확인합니다. , , 를 에서 봅니다. , 이고
이므로
입니다. 합성해서 직접 미분하면 이고 입니다. 두 경로를 더한 값이 맞습니다.
여기서 한 경로만 세면 24나 12가 나옵니다. 둘 다 답의 일부일 뿐 답이 아니고, 둘 중 어느 것도 답에 가깝지조차 않습니다. 갈래를 빠뜨리는 것이 손으로 역전파를 유도할 때 가장 흔한 실수이고, 아래에서 볼 가중치 감쇠가 정확히 그 자리입니다.
이 실수가 특히 위험한 이유는 틀린 값도 그럴듯해 보인다는 것입니다. 부호도 맞고 자릿수도 맞으니 눈으로는 안 걸립니다. 걸러 내는 방법은 입력을 아주 조금 바꿔 실제로 변한 양을 그 변화량으로 나눠 보는 유한차분(finite difference)뿐이라, 아래에서 손으로 한 번, 코드로 한 번 맞대 봅니다.
일반형
중간 변수가 여럿이고 입력도 여럿이면 새 규칙이 생기는 것이 아니라 합의 범위만 늘어납니다.
는 가 직접 닿는 중간 변수 전부를 훑습니다. 경로가 셋이면 항이 셋, 열이면 열이지요. 이 한 줄이 이 글의 전부입니다 — 남은 것은 이것을 실제 연산과 그래프에 적용하는 일입니다.
연산별 국소 규칙
신경망을 이루는 연산은 대부분 입력이 둘인 덧셈·곱셈과, 값 하나를 여러 곳에 나눠 보내는 분기입니다. 일반형을 이 세 연산에 적용하면 역전파 때 노드가 하는 일이 정해진 모양 셋으로 굳습니다. 출력 쪽에서 거슬러 받은 미분, 곧 그 노드의 출력 에 대한 손실의 미분을 상류 기울기(upstream gradient)라고 부르고 로 적겠습니다.
- 덧셈 — 이므로 를 양쪽에 그대로 나눠 줍니다. 면 도 도 5를 받습니다.
- 곱셈 — , 이므로 각 입력은 상대편 입력의 값을 곱한 를 받습니다. 앞 소절의 , 에서 이면 쪽으로 6, 쪽으로 4가 갑니다.
- 분기 — 한 값 가 두 곳에서 쓰이면 두 곳에서 거슬러 온 기울기를 더합니다. 앞 소절에서 가 쪽으로 24, 쪽으로 12를 받아 36이 된 것이 이 모양입니다.
셋 모두 앞에서 세운 두 규칙의 특수한 경우일 뿐 새 법칙이 아닙니다. 그래도 이름을 붙여 두면 쓸모가 큽니다. 곱셈 노드가 상대편 입력의 값을 쓴다는 것은 중간값을 붙들어 두어야 하는 가장 작은 예이고, 덧셈 노드가 기울기를 줄이지도 키우지도 않고 흘려보낸다는 것은 뒤에서 볼 잔차 연결이 기대는 바로 그 성질입니다. 행렬곱도 결국 곱셈과 덧셈의 묶음이라, 아무리 큰 층도 역전파 때는 이 세 모양을 수백만 번 되풀이할 뿐입니다.
계산 그래프
이제 아주 작은 신경망 하나를 세우고 모든 편도함수를 손으로 구합니다. 층이 둘, 파라미터가 셋인 모델입니다.
마지막 항 은 가중치 감쇠(weight decay)입니다. 가중치가 커지는 것 자체에 벌점을 매겨 손실에 더하는 항이고, 여기서는 이 손실에 닿는 두 번째 경로를 만들어 주는 역할을 합니다.
값은 , , , , 정답 , 로 잡습니다.
순전파
먼저 앞에서 뒤로 한 줄씩 값을 채웁니다. 앞에서 본 대로 이 값들이 있어야 뒤쪽 비율을 구할 수 있으므로, 역전파를 시작하기 전에 표를 다 채워 두는 것이 순서입니다.
| 단계 | 식 | 값 |
|---|---|---|
| 1 | ||
| 1 | ||
| 3 | ||
| 오차항 | 4 | |
| 벌점항 | 2 | |
| 6 |
표의 마지막 줄이 손실입니다. 여기까지가 forward 한 번이고, 아직 미분은 하나도 구하지 않았습니다.
역전파
이제 뒤에서 앞으로 갑니다. 출발점은 자기 자신에 대한 미분이라 언제나 1입니다.
한 걸음씩 뒤로 갑니다. 각 줄에서 하는 일은 「바로 앞에서 받은 값 × 이 자리의 국소 비율」 곱셈 하나뿐입니다.
다섯 줄 모두 모양이 같습니다. 받은 값이 있고, 그 자리의 국소 비율이 있고, 둘을 곱해 다음 줄로 넘깁니다. 는 곱셈 노드라 쪽은 를, 쪽은 를 곱해 받았고, 의 덧셈 때문에 는 가 받은 24를 그대로 받았습니다. 여기까지는 그래프가 일직선이라 곱셈만 있었습니다.
기울기 누적
에서 갈래가 생깁니다. 은 를 통해 손실에 닿고, 벌점항을 통해 한 번 더 닿습니다.
26이지 24가 아닙니다. 그리고 두 경로가 서로를 모른 채 각자 곱해 온 값을 마지막에 더했을 뿐입니다.
숫자로 검산해 봅니다. 만 로 바꾸면 , , 이고
입니다. 변화량은 이고 로 나누면 — 손으로 구한 26과 맞습니다.
이 「더하기」가 자동미분 구현의 핵심이기도 합니다. 여러 경로에서 온 기울기를 한 칸에 계속 더해 쌓는 것을 기울기 누적이라고 하는데, 프레임워크가 grad 를 대입이 아니라 누적으로 두는 이유가 이것입니다. 그래서 배치를 나눠 여러 번 backward() 를 부르면 그래디언트가 더해진 채로 남습니다. zero_grad() 를 깜빡했을 때 학습이 이상해지는 것이 같은 규칙의 뒷면입니다.
역방향 모드
연쇄법칙 자체는 방향을 정해 주지 않습니다. 앞에서 뒤로 적용해도 똑같이 맞습니다. 그런데도 역전파가 굳이 뒤에서 앞으로 도는 데는 이유가 있습니다.
입력 하나를 정해 두고 그래프를 따라 내려오며 「그 입력에 대한 미분」을 노드마다 들고 가는 방식이 순방향 모드입니다. 한 번 훑으면 입력 하나에 대한 모든 출력의 미분이 나옵니다. 출력 하나를 정해 두고 거슬러 오르며 「그 출력의 미분」을 들고 가는 방식이 역방향 모드이고, 한 번 훑으면 출력 하나에 대한 모든 입력의 미분이 나옵니다. 역전파는 역방향 모드를 신경망에 쓴 이름입니다.
| 방향 | 한 번 훑어 얻는 것 | 필요한 훑기 수 |
|---|---|---|
| 순방향 | 입력 하나에 대한 모든 출력의 미분 | 입력 수만큼 |
| 역방향 | 출력 하나에 대한 모든 입력의 미분 | 출력 수만큼 |
신경망 학습은 출력이 손실 하나이고 입력이 파라미터 수십억인 모양입니다. 순방향으로 돌면 파라미터마다 한 번씩 수십억 번 훑어야 하고, 역방향은 한 번이면 끝납니다. 비용 차이가 열 배나 백 배가 아니라 파라미터 수만큼이지요.
수로 재 보면 차이가 분명합니다. 파라미터가 1억 개인 모델에서 순방향으로 모든 그래디언트를 구하려면 그래프를 1억 번 훑어야 하고, 역방향은 손실이 하나뿐이라 한 번이면 끝납니다. 한 번 훑는 데 1초가 걸린다고 치면 한쪽은 3년이 넘고 다른 쪽은 1초입니다. 역전파가 선택지가 아니라 사실상 유일한 길인 이유가 이 표에 다 적혀 있습니다.
반대 모양이면 반대 답이 나옵니다 — 입력이 하나이고 출력이 많으면 순방향이 쌉니다. 두 방향을 같은 틀에서 적고 비용을 수로 비교하는 것은 35번 · VJP와 JVP의 몫입니다.
기울기 소실과 폭주
법칙이 곱이라는 사실에는 대가가 따릅니다. 층이 개면 입력까지 내려오는 미분은 국소 비율 개의 곱입니다.
비율의 거듭제곱
비율들이 대체로 비슷한 크기 이라면 전체는 입니다. 층 수 이 지수에 올라앉아 있습니다.
| 0.5 | |||
| 0.9 | 0.349 | 0.042 | 0.005 |
| 1.0 | 1 | 1 | 1 |
| 1.1 | 2.59 | 17.4 | 117.4 |
| 1.5 | 57.7 |
비율을 전부 같은 로 두는 것이 거친 가정처럼 보이지만, 깊은 신경망은 대개 같은 모양의 층을 되풀이해 쌓아 만들기 때문에 층마다의 국소 비율이 비슷한 크기에 몰립니다. 값이 정확히 같지 않더라도 곱의 크기는 평균적인 비율 하나로 대표해 읽으면 자릿수가 맞습니다 — 한두 층이 유별나게 크거나 작아도 나머지 열여덟 층이 방향을 정하기 때문입니다.
표의 가로 방향을 읽으면 층이 늘 때 값이 어떻게 벌어지는지가 보이고, 세로 방향을 읽으면 비율이 0.1만 달라져도 50층에서 자릿수가 통째로 갈리는 것이 보입니다.
안정 조건
는 「한 층에서 10%만 줄어든다」는 아주 온순한 값인데도 50층을 지나면 로 200분의 1이 됩니다. 앞쪽 층의 그래디언트가 사실상 0이 되어 갱신이 멈추는 이 현상을 기울기 소실(vanishing gradient)이라고 부릅니다. 반대로 이면 50층에서 117배로 불어나 갱신 한 번에 파라미터가 날아가는데, 이쪽이 기울기 폭주(exploding gradient)입니다.
둘은 별개의 고장이 아닙니다. 이라는 같은 식에서 이 1보다 작냐 크냐로만 갈립니다. 이라는 하나의 값에서만 곱이 안정하고, 그 언저리를 벗어나면 어느 쪽이든 지수적으로 벌어집니다. 그 사이에 완만한 중간 지대는 없습니다.
시그모이드 미분
이 1보다 작아지는 데는 구체적인 원인이 있었습니다. 오래 쓰인 활성함수 시그모이드는 로, 어떤 실수든 0과 1 사이로 눌러 담는 함수입니다. 미분하면 라는 깔끔한 꼴이 나오는데, 이 값은 일 때, 곧 에서 가장 커서 입니다. 어디서 계산해도 0.25를 넘지 못합니다.
층 하나의 국소 비율이 「가중치 × 활성함수의 미분」이라고 하면, 가중치가 1 근처일 때 시그모이드 층 하나를 지날 때마다 기울기가 적어도 4분의 1로 줄어듭니다. 열 층이면 이고, 정확히는 1,048,576분의 1이라 약 100만분의 1입니다. 그것도 가장 좋은 경우의 값입니다. 입력이 0에서 조금만 벗어나도 미분이 빠르게 작아져서, 에서는 , 로 최댓값의 절반에도 못 미칩니다.
깊은 시그모이드 신경망이 앞쪽 층을 거의 학습하지 못했던 것이 이 곱 때문입니다. 입력이 양수면 그대로, 음수면 0을 내는 ReLU가 표준이 된 이유도 같은 곱에서 나옵니다 — 양수 쪽에서 미분이 정확히 1이라, 켜진 길에서는 활성함수가 곱을 줄이지 않습니다.
완화 장치
깊은 신경망의 설계는 대부분 이 곱을 1 근처에 붙들어 두려는 시도입니다. 이름이 붙은 장치 셋이 각각 곱의 어디에 개입하는지만 적어 둡니다.
| 장치 | 곱의 어디에 개입하나 |
|---|---|
| 잔차 연결 | 곱해지는 값 자체에 1을 심는다 — |
| 정규화 층 | 각 층 출력의 크기를 고정해 이 커지지 않게 잡는다 |
| 기울기 클리핑 | 이미 커진 곱을 사후에 잘라 낸다 |
잔차 연결의 식은 앞에서 본 덧셈 노드 그대로입니다. 입력 가 곁가지 를 거치지 않고 덧셈 노드로 바로 가는 길이 하나 더 생기고, 덧셈은 상류 기울기를 줄이지 않고 넘기므로 그 길로는 1이 그대로 내려옵니다. 앞의 둘은 을 1 근처로 만드는 장치이고, 마지막 하나는 을 손대지 않고 결과만 자르는 사후 처방입니다. 그래서 클리핑은 폭주에는 듣지만 소실에는 아무것도 못 합니다 — 0에 가까워진 곱을 잘라 봐야 여전히 0이니까요. 셋이 각각 어떤 구조로 구현되는지는 이 글의 범위 밖이고, 여기서는 셋 다 같은 곱을 겨냥하고 있다는 것까지만 봅니다.
코드 검산
유한차분 검산
x, t, lam = 1.0, 1.0, 0.5
def forward(w1, b, w2):
a = w1 * x + b
h = a ** 2
y = w2 * h
return a, h, y, (y - t) ** 2 + lam * w1 ** 2
w1, b, w2 = 2.0, -1.0, 3.0
a, h, y, L = forward(w1, b, w2)
print(a, h, y, L) # 1.0 1.0 3.0 6.0
# ① 손으로 유도한 역전파 — 각 줄이 「받은 값 × 국소 비율」 하나다
dL_dy = 2 * (y - t) # 4.0
dL_dw2 = dL_dy * h # 4.0
dL_dh = dL_dy * w2 # 12.0
dL_da = dL_dh * 2 * a # 24.0
dL_db = dL_da * 1 # 24.0
dL_dw1 = dL_da * x + 2 * lam * w1 # 24 + 2 = 26.0 ← 경로 둘을 더한다
print(dL_dw1, dL_db, dL_dw2) # 26.0 24.0 4.0
# ② 중심차분으로 검산
eps = 1e-6
def num(i):
p, m = [w1, b, w2], [w1, b, w2]
p[i] += eps; m[i] -= eps
return (forward(*p)[3] - forward(*m)[3]) / (2 * eps)
print([round(num(i), 6) for i in range(3)]) # [26.0, 24.0, 4.0]
# ③ 갈래를 빠뜨리면 얼마나 틀리는가
print(dL_da * x) # 24.0 — 벌점 경로를 뺀 값
②는 파라미터를 만큼 올린 손실과 내린 손실의 차를 으로 나눕니다. 이렇게 양쪽으로 흔드는 유한차분을 중심차분이라고 합니다. 앞에서 손으로 한 검산은 한쪽으로만 0.001을 흔들어 26.05를 얻었는데, 한쪽 차분의 오차는 흔든 크기 에 비례하고 중심차분의 오차는 에 비례해서 훨씬 빨리 사라집니다. 그래서 검산 도구로는 중심차분을 쓰고, PyTorch의 torch.autograd.gradcheck가 하는 일도 이것입니다.
②가 이 글의 유도를 기계로 확인한 것입니다. 손으로 구한 셋과 유한차분 셋이 소수점 여섯 자리까지 같습니다. ③은 갈래 하나를 빠뜨렸을 때의 값인데, 26 대신 24라 비율로는 8% 어긋난 값이 부호도 자릿수도 멀쩡하게 나옵니다. 이런 오차는 학습을 멈추게 하지 않고 조금씩 엉뚱한 곳으로 끌고 가므로 눈으로는 영영 안 걸립니다. ②를 한 번 돌려 보는 것이 유일한 방어입니다. 다만 유한차분은 파라미터마다 순전파를 두 번씩 돌리므로 순방향 모드보다도 비쌉니다 — 학습에 쓰는 도구가 아니라, 작은 모델에서 역전파 코드가 맞는지 확인할 때만 꺼내는 도구입니다.
거듭제곱 실험
# ④ 곱이 길어질 때 — 지수가 하는 일
for r in [0.5, 0.9, 1.0, 1.1, 1.5]:
print(r, [f"{r ** L:.3g}" for L in (10, 30, 50)])
# 0.5 ['0.000977', '9.31e-10', '8.88e-16']
# 0.9 ['0.349', '0.0424', '0.00515']
# 1.0 ['1', '1', '1']
# 1.1 ['2.59', '17.4', '117']
# 1.5 ['57.7', '1.92e+05', '6.38e+08']
# ⑤ 잔차 연결은 곱해지는 값에 1을 심는다
from math import prod
r = 0.9 # 곁가지 F 의 국소 비율
print(f"{prod([r] * 50):.3g}") # 0.00515 그냥 쌓으면 200분의 1
print(f"{prod([1 + r] * 50):.3g}") # 8.66e+13 1 위에 그대로 얹으면 반대로 터진다
print(f"{prod([1 + 0.02 * r] * 50):.3g}") # 2.44 곁가지를 눌러 두면 1 근처
# ⑥ 시그모이드 미분의 상한
from math import exp
sig = lambda x: 1 / (1 + exp(-x))
dsig = lambda x: sig(x) * (1 - sig(x))
print(dsig(0), round(dsig(2), 3)) # 0.25 0.105
print(f"{0.25 ** 10:.3g}") # 9.54e-07 가장 좋은 경우에도 열 층이면 100만분의 1
⑤는 잔차 연결이 만능이 아니라는 것도 함께 보여 줍니다 — 심어 둔 1에 곁가지가 그대로 더해지면 이번에는 반대쪽으로 터지므로, 실제 구조는 의 출력 크기를 함께 눌러 둡니다. 위 표에서 정규화 층이 하는 일이 바로 그 「눌러 두기」입니다. ⑥은 시그모이드 미분이 0에서 0.25로 가장 크고 2에서는 이미 0.105로 떨어진다는 것을 확인하고, 최댓값만 열 번 곱해도 자리까지 내려간다는 것을 보여 줍니다. ④의 줄보다도 훨씬 아래에 놓이는 값입니다.
연습 문제
손으로 구한 뒤 반드시 합성해서 직접 미분한 값과 맞대 보세요. 두 값이 갈리면 경로를 빠뜨렸거나 앞쪽 값을 잘못 넣은 것입니다.
연습 1 — 셋 이어진 사슬
각 사슬에서 환율 셋을 따로 적고 곱한 뒤, 합성해서 직접 미분한 값과 비교하세요.
, , 를 에서
, 입니다. 환율은 , , 이므로 곱은 . 합성하면 이고 로 같습니다., , 를 에서
, 입니다. 환율은 , , 이므로 곱은 . 합성하면 이고 로 같습니다., , 를 에서
, 입니다. 환율은 , , 이므로 곱은 . 합성하면 이고 로 같습니다.
연습 2 — 갈림길
경로마다의 곱을 따로 적고 나서 더하세요. 한 경로만 적고 끝내면 안 됩니다.
, , 를 에서
, 입니다. 경로는 이고 경로는 이므로 합은 . 합성하면 이고 로 같습니다., , 를 에서
, 입니다. 경로는 이고 경로는 이므로 합은 . 합성하면 이고 로 같습니다.
연습 3 — 곱이 길어질 때
계산기를 써서 값을 구하고, 처음의 몇 배 또는 몇 분의 일인지까지 적으세요.
한 층의 국소 비율이 로 같을 때 40층을 지난 곱
로 약 7,500분의 1입니다. 한 층에서 20%만 줄어드는데도 40층이면 그래디언트가 사실상 사라집니다.한 층의 국소 비율이 로 같을 때 40층을 지난 곱
으로 약 1,470배입니다. 1과의 거리가 두 문제 모두 로 같은데 한쪽은 7,500분의 1이 되고 다른 쪽은 1,470배가 됩니다 — 곱이라 대칭이 아니기 때문입니다.가중치가 모두 1인 시그모이드 층 6개를 지날 때, 기울기가 가장 덜 줄어드는 경우의 곱
시그모이드 미분의 최댓값 를 여섯 번 곱한 로 약 4,000분의 1입니다. 모든 층의 입력이 정확히 0일 때의 값이라 실제로는 이보다 더 작아집니다.
정리
- 연쇄법칙은 환율의 곱이다. 미분이 「입력 흔들림 → 출력 흔들림」의 비율이므로, 함수를 이어 붙이면 국소 미분이 곱해진다.
- 함수 표기 는 겉함수의 미분을 가 아니라 에서 읽는다는 것을 드러낸다. 라이프니츠 표기는 그 말을 생략한다.
- 뒤쪽 비율을 구하려면 앞쪽에서 계산된 값이 필요하다. 역전파가 순전파의 중간값을 메모리에 붙들고 있는 이유다.
- 갈림길이 있으면 경로마다 곱하고 경로끼리 더한다. 일반형은 한 줄이다.
- 덧셈은 상류 기울기를 그대로 나눠 주고, 곱셈은 상대편 값을 곱해 보내고, 분기는 모아 더한다.
- 역전파의 한 걸음은 「받은 값 × 이 자리의 국소 비율」 곱셈 하나다. 그 이상의 규칙은 없다.
- 갈래를 빠뜨리는 것이 손 유도의 가장 흔한 실수다. 예제에서 26이어야 할 값이 24가 됐고, 부호도 자릿수도 멀쩡해 중심차분으로 맞대야만 걸린다.
- 역방향으로 도는 것은 법칙이 시켜서가 아니라 출력이 하나고 입력이 수십억이기 때문이다. 훑는 횟수가 출력 수만큼이면 된다.
- 곱이 개면 크기는 이라 이 지수에 올라간다. 로도 50층이면 200분의 1이 되고, 시그모이드는 미분이 0.25를 못 넘어 열 층이면 100만분의 1이다.
- 그래서 기울기 소실과 폭주는 같은 식의 양쪽 끝이고, 잔차 연결·정규화·클리핑은 전부 밑을 1 근처에 두려는 장치다.
처음의 물음으로 돌아갑니다. 20층 뒤의 가중치 하나가 손실을 얼마나 흔드는지는, 그 가중치에서 손실까지 가는 길들을 따라 국소 비율을 곱하고 길끼리 더하면 나옵니다. loss.backward()가 하는 일이 정확히 그것이고, 층이 20층이든 100층이든 규칙은 늘지 않습니다 — 곱셈 한 번을 몇 번 더 하느냐만 달라집니다.
다만 지금까지의 예제에서 각 자리의 「국소 비율」은 전부 수 하나였습니다. 실제 층은 벡터를 받아 벡터를 내놓으므로, 그 자리의 미분은 수가 아니라 표 하나가 됩니다. 다음 글이 그 표를 세웁니다.
읽어주셔서 감사합니다. 😊

