트랜스포머 블록 하나를 읽다 보면 같은 함수를 세 번 만납니다. 어텐션이 를 계산한 뒤 한 번, MoE 라우터가 어느 전문가로 보낼지 정할 때 한 번, 마지막 층이 어휘 5만 개 중 다음 토큰을 고를 때 한 번. 전부 torch.softmax 한 줄입니다.
식 자체는 외우기 쉽습니다. 그런데 왜 하필 인가라는 질문에는 대개 「양수로 만들어야 하니까」라는 답이 돌아옵니다. 그러면 제곱은 왜 안 되나요. 절댓값은요. 는요.
지난 글까지가 분포를 «읽는» 쪽이었다면 이 글은 분포를 «만드는» 쪽입니다. 조건 몇 개를 적어 두면 exp 말고는 답이 없다는 것을 직접 유도해 보겠습니다.
확률화의 조건
로짓과 확률단체
모델이 내놓는 것은 실수 벡터 입니다. 어휘 5만 개짜리 언어모델이라면 이 5만이고, 각 는 « 번 토큰이 얼마나 그럴듯한가»를 나타내는 점수입니다. 이 점수를 로짓이라고 부릅니다 — 왜 그렇게 부르는지는 글 뒤쪽에서 유도로 답합니다. 로짓에는 범위 제한이 없습니다. 음수일 수도, 수백일 수도 있고, 합이 얼마여야 한다는 규칙도 없습니다.
우리가 원하는 것은 이 벡터를 확률분포로 보내는 함수입니다.
은 «성분이 전부 양수이고 합이 1인 벡터들의 모임»이고 확률단체(simplex)라고 부릅니다. 위첨자가 이 아니라 인 것은 합이 1로 묶여 있어 성분 개 중 개만 정하면 마지막 하나가 저절로 정해지기 때문입니다. 성분이 셋이면 3차원 공간 안의 삼각형 하나, 곧 2차원 도형입니다. 이 은 뒤에서 로짓의 자유도를 셀 때 다시 나옵니다.
조건 넷
이제 이 함수가 지켜야 할 것을 적습니다.
| 조건 | 뜻 |
|---|---|
| ① 양수·정규화 | 이고 |
| ② 좌표마다 같은 취급 | — 어느 좌표든 같은 함수 를 거친다 |
| ③ 순서 보존 | 이면 |
| ④ 평행이동 불변 | 모든 점수에 같은 수를 더해도 가 변하지 않는다 |
①과 ③은 설명이 필요 없습니다. 확률이니 양수이고 합이 1이어야 하며, 점수가 높은 쪽이 확률도 높아야 점수라는 이름이 의미를 갖습니다. ①에서 등호 없이 으로 적은 것도 일부러입니다 — 어떤 후보도 확률 0을 받아 아예 지워지지는 않게 하겠다는 요구이고, 이 한 글자가 뒤에서 sigmoid가 1에 닿지 못하는 이유로 돌아옵니다.
④가 이 글의 열쇠입니다. 점수는 그 자체로 의미가 있는 값이 아니라 서로 비교하라고 있는 값입니다. 모든 로짓이 10씩 크다는 것은 아무 정보도 아닙니다 — 마지막 층의 편향에 10을 더하면 그렇게 되니까요. 그러니 의미를 갖는 것은 차이뿐이고, 확률은 그 차이만으로 정해져야 합니다.
대칭과 독립
②는 한 줄로 적었지만 사실 두 가지 요구가 겹쳐 있습니다. 먼저 « 번 자리라서 특별대우» 같은 것이 없다는 대칭입니다. 입력의 좌표 순서를 섞으면 출력도 똑같이 섞여 나와야 한다는 성질을 순열 동변성이라고 합니다. 어휘의 3번 토큰과 4만 번 토큰을 다른 규칙으로 다루면 곤란하니 당연히 요구됩니다.
그런데 순열 동변성만으로는 까지 가지 못합니다. 이 식은 더 강한 것을 말합니다 — 두 후보의 확률비 가 그 두 점수만 보고 정해지고, 다른 후보가 끼어들거나 빠져도 변하지 않는다는 것입니다. 이 성질을 루스 선택 공리라고 하고, 경제학에서는 «무관한 대안으로부터의 독립»이라고도 부릅니다. 짜장면과 짬뽕 사이의 선호 비율이 메뉴판에 볶음밥이 추가된다고 바뀌지 않는다는 요구입니다.
언어모델에서는 이것이 구체적인 쓸모가 있습니다. 금지어를 막거나 형식을 강제하려고 어휘 일부를 지우고 남은 확률을 다시 정규화하는 일이 흔한데, 루스 공리가 성립하면 남은 토큰끼리의 비율은 그대로 보존됩니다. 지우기 전에 «가»가 «나»보다 세 배 그럴듯했다면 지운 뒤에도 세 배입니다. 뒤에서 볼 sparsemax는 순열 동변성은 지키지만 이 독립을 버린 함수이고, 그 차이가 exp가 강제되느냐 마느냐를 가릅니다.
exp의 유도
코시 함수방정식
②와 ①을 합치면 함수의 모양이 이미 절반 정해집니다.
이제 ④를 붙입니다. 두 좌표의 확률비를 보면
인데, ④에 따라 와 에 같은 수를 더해도 이 비가 변하면 안 됩니다. 즉 이 비는 에만 의존해야 합니다.
가 양수이므로 로그를 씌워도 됩니다. 라 두고, 「 가 에만 의존한다」를 식으로 적으면 어떤 함수 가 있어
입니다. 여기서 을 넣으면 이고, 이것을 원래 식에 다시 넣으면
이 남습니다. , 로 이름을 바꾸면 이렇습니다.
더하기를 더하기로 옮기는 함수는 무엇인가. 이 조건을 코시 함수방정식이라고 하고, 답이 하나뿐이라는 것이 알려져 있습니다. 단, 여기에는 단서가 하나 붙습니다. 실수 전체에서 이 방정식만 놓고 보면 그래프가 평면을 빽빽하게 메우는, 상상하기 어려울 만큼 들쭉날쭉한 해가 따로 존재합니다. 그런 병리적인 해를 배제하려면 단조성, 연속성, 어느 작은 구간에서의 유계성 가운데 하나만 더하면 충분합니다.
우리에게는 ③(순서 보존)이 이미 있어 단조성이 공짜로 따라옵니다. ③ 대신 «로짓이 조금 변하면 확률도 조금만 변한다»는 연속성을 요구해도 똑같이 에 닿습니다. 그때 ③이 하는 일은 의 부호를 정하는 것 하나로 줄어듭니다.
되돌아가면
입니다. 그리고 는 분자와 분모에 똑같이 곱해져 약분되어 사라집니다.
인 것은 ③에서 나옵니다. 가 음수면 큰 점수가 작은 확률을 받아 순서가 뒤집힙니다.
반례 넷
조건 넷을 적었을 뿐인데 답이 하나로 좁혀졌습니다. 거꾸로, 흔히 떠올리는 후보들이 어느 조건에서 걸리는지 하나씩 대어 보면 유도가 무엇을 막고 있었는지가 보입니다.
| 후보 | 깨는 조건 | 증상 |
|---|---|---|
| 로 정규화 | ③·④ | 는 , 10을 더한 는 |
| 로 정규화 | ③·④ | 이 — 낮은 점수가 이긴다 |
| ③ | 순서가 통째로 뒤집힌다 | |
| 없음 | 라 인 같은 식 |
제곱은 두 군데서 걸립니다. 와 는 차이가 똑같은데 하나는 0.8을, 하나는 0.543을 1등에게 줍니다. 아무것도 안 바뀌었는데 확률이 달라졌습니다. 게다가 음수를 넣으면 에서 가 나와 점수가 낮은 쪽이 이깁니다. 절댓값도 같은 병을 앓습니다. 부호를 지우는 함수는 단조가 아니므로 ③을 지킬 수 없습니다.
만은 통과하는데, 이것은 반례라기보다 확인입니다. 밑을 무엇으로 잡든 라 결국 같은 식이고 만 다릅니다. 밑을 고르는 자유는 사라지지 않고 라는 상수 하나로 남습니다 — 다음 절에서 이 상수에 이름이 붙습니다.
희소 대안
조건을 하나 버리면 다른 함수가 들어올 자리가 생깁니다. 실제로 쓰이는 대안 둘이 있는데, 둘 다 softmax가 못 하는 일 하나를 노립니다 — 정확히 0을 주는 것입니다. softmax는 ① 때문에 아무리 엉뚱한 토큰에도 아주 작은 양수를 남깁니다.
첫째는 음수를 0으로 자르는 ReLU를 거친 뒤 합으로 나누는 정규화된 ReLU입니다. 이면 이 나오고 셋째 후보는 정확히 0입니다. 그런데 모든 점수에 1을 더하면 , 10을 더하면 가 됩니다. ④가 무너져 같은 차이가 전혀 다른 분포를 줍니다. 점수가 전부 음수면 분모가 0이 되어 아예 정의되지 않습니다.
둘째가 sparsemax입니다. 로짓 벡터를 확률단체 위에서 가장 가까운 점으로 직교 투영하는 함수이고, 계산으로는 문턱 하나를 찾아 로 둡니다. 는 결과의 합이 1이 되도록 고릅니다. 같은 이면 이고 이 나옵니다. softmax로는 입니다.
sparsemax는 놀랍게도 ④를 지킵니다. 모든 점수에 10을 더하면 문턱도 10.25로 같이 올라가 결과가 그대로입니다. 대신 버린 것은 ②의 독립과 ①의 엄격한 양수입니다. 문턱 가 벡터 전체를 보고 정해지므로 두 후보의 비가 남의 점수에 휘둘립니다. 둘만 있으면 로 비가 3인데, 점수 0.9인 후보가 끼어들면 이 되어 앞의 둘 사이 비가 16으로 뜁니다. softmax에서는 같은 일을 해도 두 후보의 비가 그대로입니다.
얻는 것과 잃는 것이 분명합니다. 정확한 0은 어떤 입력을 무시했는지 바로 읽혀 어텐션을 해석하기 쉽고, 0인 항의 계산을 건너뛸 수 있습니다. 대신 0을 받은 후보는 기울기도 0이라 학습 신호가 끊기고, 로그 확률이 가 되어 교차엔트로피를 그대로 쓸 수 없습니다. 그래서 희소 어텐션이나 다중 라벨 분류 연구에서는 쓰여도, 언어모델의 출력층은 여전히 softmax입니다. 정답 토큰이 확률 0을 받는 순간 손실이 무한대가 되기 때문입니다.
최대 엔트로피
같은 식에 닿는 두 번째 길이 있습니다. 이번에는 조건 넷 대신 «아는 것만 지키고 나머지는 아무것도 가정하지 않는다»에서 출발합니다.
그러려면 분포가 얼마나 퍼져 있는지를 재는 수가 필요합니다. 엔트로피는 로 정의되는 값으로, 확률이 한 후보에 몰린 원-핫 분포에서 0이고 개에 고루 퍼진 균등분포에서 가장 큰 입니다. 엔트로피가 크다는 것은 그 분포가 덜 단정한다는 뜻입니다. 주어진 제약을 만족하는 분포 가운데 엔트로피가 가장 큰 것을 고르자는 방침을 최대 엔트로피 원리라고 합니다.
알고 있는 것이 둘이라고 합시다. 확률의 합이 1이라는 것, 그리고 점수의 기댓값 가 어떤 값 라는 것입니다. 제약이 걸린 최적화는 라그랑주 승수로 풉니다. 제약마다 계수를 하나씩 붙여 목적함수에 더한 다음, 그 합을 제약 없는 문제처럼 미분해 0으로 놓는 방법이고, 붙인 계수가 승수입니다.
로 미분해 0으로 놓으면 이고, 정리하면
입니다. 앞의 은 와 무관한 상수라 합이 1이 되게 맞추면 분모로 들어가고, 남는 것은 — softmax 그대로입니다. 코시 방정식에서 남았던 자리에 이번에는 승수 가 앉았습니다.
수로 확인해 봅시다. 에서 softmax는 이고 이때 점수의 기댓값은 1.635, 엔트로피는 0.714입니다. 기댓값이 같은 다른 분포, 예컨대 도 기댓값이 1.635인데 엔트로피는 0.614로 더 작습니다. 기댓값 1.635를 지키는 분포 중 엔트로피가 0.714를 넘는 것은 없습니다. 두 길이 같은 곳에서 만난다는 것은 softmax가 우연한 설계가 아니라 «차이만 보는 비교»와 «최소한의 가정» 양쪽에서 강제되는 답이라는 뜻입니다. 이 승수 계산은 뒤에 이어지는 라그랑주 승수와 KKT 글에서 일반적인 모양으로 다시 다룹니다.
온도
단위의 상수
유도가 끝나고 자유롭게 남은 것이 하나입니다. 이 값은 없앨 수 없습니다 — 점수의 «단위»를 정하는 값이기 때문입니다. 「점수 차이 1이 확률비 몇 배를 뜻하는가」에 답하는 것이 이고, 우리가 정해 줘야 합니다.
로 두면 점수 차이 1이 확률비 배를 뜻합니다. 이것이 기본형입니다. 그리고 관례상 대신 그 역수를 쓰고 온도라고 부릅니다.
즉 온도는 나중에 덧붙인 손잡이가 아니라 유도가 끝나고 반드시 남는 자유도입니다. 이름이 온도인 것은 통계물리에서 같은 모양의 식(볼츠만 분포)이 나오고 거기서 가 실제 온도이기 때문입니다. 앞 절의 최대 엔트로피 유도가 바로 볼츠만이 걸은 길이고, 거기서 승수 가 물리학의 «역온도»입니다.
두 극한
를 바꾸면 무엇이 달라지는지는 두 극단을 보면 분명합니다.
- 이면 의 차이가 무한히 벌어져 가장 큰 점수 하나가 확률 1을 독차지합니다.
argmax와 같아집니다. - 이면 가 전부 0으로 몰려 균등분포가 됩니다. 점수를 아예 안 본 것과 같습니다.
로 세 값을 계산해 보겠습니다. 마지막 열은 앞 절에서 정의한 엔트로피입니다.
| 0.5 | 0.879 | 0.119 | 0.002 | 0.380 |
| 1 | 0.705 | 0.259 | 0.035 | 0.714 |
| 2 | 0.547 | 0.331 | 0.122 | 0.953 |
일 때 3등의 확률이 0.002까지 내려간 것이 눈에 띕니다. 온도를 낮추는 것은 꼬리를 죽이는 일입니다. 1등과 2등의 비는 라 에서 배이지만, 1등과 3등의 비는 라 배로 훨씬 빨리 벌어집니다. 점수 차이가 큰 후보일수록 온도에 더 민감하게 밀려납니다.
엔트로피와 온도
표의 마지막 열을 읽으면 온도가 하는 일을 숫자 하나로 요약할 수 있습니다. 가 0.5, 1, 2로 커지는 동안 엔트로피는 0.380, 0.714, 0.953으로 오르고, 균등분포의 값 를 향해 다가갑니다. 엔트로피에 지수를 씌운 는 «실제로 후보 몇 개에 고루 나눈 것과 같은가»로 읽을 수 있는데, 각각 1.46개, 2.04개, 2.59개입니다. 후보는 셋인데 에서는 사실상 한 개 반에 걸고 있다는 뜻입니다.
이 증가는 우연이 아닙니다. 엔트로피를 로 미분하면 이 나오는데, 분산은 음수가 될 수 없으므로 점수가 전부 같지 않은 한 엔트로피는 온도에 대해 언제나 증가합니다. 온도는 «분포가 얼마나 단정하는가»를 한 방향으로만 움직이는 손잡이이고, 샘플링에서 온도를 올리면 답이 다양해지는 것이 정확히 이 단조성입니다.
어텐션의 스케일
라는 모양을 다시 보면 온도를 바꾸는 것은 로짓 전체에 같은 수를 곱하는 것과 같습니다. 그렇다면 어텐션의 도 같은 자리에 있습니다. 점수를 로 나누는 것은 온도를 로 고정하는 일입니다.
왜 하필 그 값인지는 분산으로 설명됩니다. 쿼리와 키의 성분이 서로 독립이고 평균 0, 분산 1이라면 길이 인 두 벡터의 내적은 분산이 , 표준편차가 입니다. 이면 점수의 표준편차가 8이라 위치끼리 점수 차이가 흔히 열 가까이 벌어지고, 그러면 앞의 표에서 본 것보다 훨씬 낮은 온도에서 softmax를 돌리는 셈이 되어 거의 argmax가 됩니다. 확률이 한 위치에 몰리면 나머지 위치로 가는 기울기가 사라져 학습이 멎습니다. 로 나누면 표준편차가 1로 돌아와 근처에서 일하게 됩니다. 이 식의 다른 부품은 어텐션 공식 해부 글에서 따로 짚었습니다.
평행이동 불변
자유도
④는 유도의 재료였지만 따로 떼어 보면 할 말이 더 있습니다. 먼저 셀 수 있는 결과 하나 — 로짓은 개인데 그중 실제로 의미를 갖는 수는 개입니다. , , 은 모두 를 줍니다. 한 좌표를 0으로 고정해도 잃는 것이 없고, 통계학의 다항 로지스틱 회귀가 한 범주를 기준으로 삼아 나머지의 로짓만 추정하는 것이 이 방식입니다. 확률단체의 위첨자가 이었던 것과 정확히 맞아떨어집니다 — 입력의 자유도와 출력의 자유도가 같습니다.
그런데 신경망의 마지막 층은 보통 이렇게 하지 않고 개를 다 둡니다. 모든 클래스의 편향에 같은 수를 더해도 출력이 안 바뀌니 편향 하나는 남는 셈인데, 그래도 두는 것은 어느 클래스도 기준으로 특별대우하지 않으려는 대칭 때문입니다. 남는 자유도가 학습을 흔들지도 않습니다. 교차엔트로피 손실의 로짓 기울기는 인데, 두 벡터 모두 합이 1이라 기울기 성분의 합은 언제나 0입니다. 그래서 경사하강법은 로짓의 «공통 높이»를 한 번도 건드리지 않고 차이만 옮깁니다.
최댓값 빼기
④는 코드에서도 그 자체로 쓸모가 있습니다. 임의의 상수 에 대해
이므로 무엇을 빼도 답이 같습니다. 그러면 가장 편한 를 고르면 됩니다. 그 편한 값이 입니다.
이유는 지수와 로그를 다룬 글에서 본 것과 짝을 이룹니다. 거기서는 확률의 곱이 0으로 죽는 언더플로가 문제였는데, 여기서는 반대쪽입니다. float64가 담을 수 있는 가장 큰 수가 대략 이라 는 가 710 정도만 넘어도 무한대가 됩니다. 로짓이 그만큼 커지는 일이 실제로 있고, 그러면 라 결과가 nan입니다.
최댓값을 빼고 나면 가장 큰 지수가 정확히 이고 나머지는 그보다 작으므로 넘칠 수가 없습니다.
에서 1000을 빼면 인데, 이것은 에서 2를 뺀 것과 같은 벡터입니다. 두 로짓 벡터는 정확히 같은 확률을 줍니다 — 차이가 같으니까요.
다른 상수의 경계
수학으로는 어떤 를 빼도 같지만 부동소수점에서는 그렇지 않습니다. 계산이 안전하려면 두 가지가 지켜져야 합니다. 가장 큰 지수 가 넘치지 않아야 하고, 분모 가 0으로 사라지지 않아야 합니다. 앞의 것은 가 709 남짓을 넘지 않아야 한다는 뜻이고, 뒤의 것은 그 값이 너무 큰 음수가 되지 않아야 한다는 뜻입니다.
평균을 빼는 것이 그럴듯해 보이지만 이 경계를 못 지킵니다. 은 평균이 0이라 아무것도 안 뺀 것과 같고, 은 그대로 무한대입니다. 최댓값을 빼면 가장 큰 항이 정확히 1이라 분모가 언제나 1과 사이에 갇힙니다. 넘치지도 않고 0이 되지도 않으며, 분모에 로그를 씌워도 안전합니다. 작은 항이 언더플로해 0이 되는 일은 남지만, 그 항의 참값이 1등에 비해 보다도 작다는 뜻이니 해가 없습니다.
이 경계는 정밀도가 낮을수록 좁아집니다. 혼합 정밀도 학습에서 쓰는 float16은 가장 큰 수가 65504라 가 11.09만 넘어도 가 넘칩니다. 로짓이 열을 넘는 것은 흔한 일이니, 저정밀도에서 최댓값 빼기는 선택이 아니라 필수입니다.
로짓과 sigmoid
로그 확률
앞의 유도를 뒤집으면 이름의 유래가 나옵니다. 일 때 양변에 로그를 씌우면
인데 오른쪽 둘째 항은 와 무관한 상수입니다. 이 항이 지수와 로그 글에서 본 log-sum-exp이고, 그러니 로짓은 «상수 하나 차이로» 로그 확률입니다.
이 관점에서 보면 조건 ④가 왜 그렇게 자연스러웠는지도 분명해집니다. 로그 확률에서 상수는 정규화를 맡을 뿐이니 처음부터 정보가 아니었습니다. 그리고 두 좌표를 비교하면 상수가 사라져
가 됩니다. 점수의 차이가 곧 로그 확률비이고, «로그 확률비»를 뜻하는 통계 용어 logit이 이름의 출처입니다.
soft-argmax
에서 argmax가 된다는 것을 보고 나면 softmax라는 이름이 이상하게 들립니다. softmax가 근사하는 것은 최댓값 가 아니라 최댓값의 «위치»를 알려 주는 argmax이기 때문입니다. 실제로 이 함수의 출력은 수 하나가 아니라 벡터이고, 가 작아질수록 1등 자리만 1인 원-핫 벡터에 가까워집니다. 정확한 이름은 soft-argmax인 셈입니다.
부드러운 에 해당하는 함수는 따로 있습니다 — 바로 앞에서 상수로 넘긴 입니다. 이 값은 언제나 이상 이하이고, 점수 차이가 벌어질수록 아래쪽 끝에 붙습니다. 이면 최댓값 2에 대해 2.349입니다. 이름이 엇갈린 채로 굳어졌을 뿐, 두 함수는 한 식의 분자와 분모로 붙어 있습니다.
sigmoid
를 넣어 봅시다.
분자와 분모를 으로 나누면
여기서 가 sigmoid 함수입니다. sigmoid는 softmax의 특수한 경우이고, 이진 분류에서 출력을 하나만 두는 이유도 여기 있습니다 — 어차피 차이 하나만 쓰이므로 점수를 둘 둘 필요가 없습니다.
그러니 로짓 둘을 내는 이진 분류기와 로짓 하나를 내는 분류기는 같은 모델입니다. 마지막 층이 두 가중치 벡터 로 로짓 둘을 만들면 확률은 그 차이 로만 정해지므로, 처음부터 하나를 학습해도 표현할 수 있는 분류기의 모임이 똑같습니다. 앞에서 센 자유도 이 에서 1이 된 것뿐입니다.
0과 1의 경계
이면 정확히 0.5이고, 이면 입니다. 에서 0.9933, 에서 0.99995로 1에 한없이 다가가지만 결코 닿지 않는 것도 식에서 그대로 읽힙니다 — 분모의 가 0이 되지는 않으니까요. softmax가 확률 0이나 1을 정확히 내놓지 못한다는 것은 그래서 특수한 사정이 아니라 조건 ①(모든 가 양수)을 지킨 결과입니다. 컴퓨터에서 가 37을 넘으면 float64가 결과를 1.0으로 반올림해 버리지만, 그것은 표현의 한계이지 함수가 1에 닿은 것이 아닙니다.
이 사실이 학습에 그대로 흔적을 남깁니다. 정답을 원-핫, 곧 정답 확률 1로 두면 그 목표는 유한한 로짓으로는 도달할 수 없는 자리라 손실은 로짓 차이를 끝없이 키우는 쪽으로 밀어붙입니다. 모델이 지나치게 확신하게 되는 한 원인입니다. 그래서 정답에 1 대신 0.9 같은 값을 주고 나머지를 다른 후보에 조금씩 나눠 주는 방법을 쓰는데, 이것을 라벨 스무딩이라고 합니다. 이진이라면 목표 0.9에 해당하는 로짓 차이는 로 유한한 값이고, 목표가 0.99여도 4.595입니다. 손실이 거기서 멈출 수 있는 자리가 생깁니다. 라벨 스무딩이 손실 식의 어디를 바꾸는지는 교차엔트로피와 NLL 글에서 이어 봅니다.
코드로 확인하기
기본 구현
import numpy as np
def softmax(z, T=1.0):
z = np.asarray(z, dtype=np.float64) / T
z = z - z.max() # ④ — 답은 그대로, 넘침만 막는다
e = np.exp(z)
return e / e.sum()
z = np.array([2.0, 1.0, -1.0])
print(softmax(z).round(4)) # [0.7054 0.2595 0.0351]
print(softmax(z + 1000).round(4)) # [0.7054 0.2595 0.0351] ← 평행이동 불변
print(softmax(z, T=0.5).round(4)) # [0.8789 0.1189 0.0022]
print(softmax(z, T=2.0).round(4)) # [0.5465 0.3315 0.122 ]
# 로짓 차이 = 로그 확률비
p = softmax(z)
print(np.log(p[0] / p[1]).round(4), (z[0] - z[1]).round(4)) # 1.0 1.0
# 최댓값을 안 빼면 이렇게 된다
bad = np.exp(z + 1000); print(bad / bad.sum()) # [nan nan nan]
# 둘일 때는 sigmoid
d = 1.0
print(softmax([d, 0.0])[0].round(6), (1 / (1 + np.exp(-d))).round(6)) # 0.731059 0.731059
희소 대안과 엔트로피
sparsemax의 문턱은 점수를 내림차순으로 정렬해 몇 개까지 살아남는지 찾는 것으로 구합니다. 같은 칸에서 엔트로피와 최대 엔트로피 비교도 확인합니다.
def sparsemax(z):
z = np.asarray(z, dtype=np.float64)
s = np.sort(z)[::-1]; cs = np.cumsum(s); k = np.arange(1, len(z) + 1)
m = k[1 + k * s > cs].max() # 살아남는 후보 수
tau = (cs[m - 1] - 1) / m # 문턱
return np.maximum(z - tau, 0)
print(sparsemax([1, 0.5, -1])) # [0.75 0.25 0. ]
print(sparsemax([11, 10.5, 9])) # [0.75 0.25 0. ] ← ④는 지킨다
print(sparsemax([1, 0.5, 0.9]).round(3)) # [0.533 0.033 0.433] ← 비가 3에서 16으로
def entropy(p):
p = p[p > 0]; return -(p * np.log(p)).sum()
for T in (0.5, 1, 2):
print(T, entropy(softmax(z, T)).round(3)) # 0.38 / 0.714 / 0.953
q = np.array([0.8117, 0.1, 0.0883]) # 기댓값이 같은 다른 분포
print((q @ z).round(3), (softmax(z) @ z).round(3)) # 1.635 1.635
print(entropy(q).round(3), entropy(softmax(z)).round(3)) # 0.614 0.714
정리
- 문제는 «실수 벡터를 확률분포로 보내기» 하나고, 조건은 양수·정규화, 좌표마다 같은 취급(대칭과 루스 공리), 순서 보존, 평행이동 불변 넷이다.
- 넷을 적으면 확률비가 차이에만 의존한다는 요구가 코시 함수방정식이 되고, 단조성이 답을 로 못 박는다. 기댓값 제약 아래 엔트로피를 최대화해도 같은 식이 나온다.
- 조건을 버리면 다른 함수가 들어온다. 정규화된 ReLU는 ④를, sparsemax는 독립과 엄격한 양수를 버리고 정확한 0을 얻는다.
- 는 약분되고 만 남는다. 그 역수 가 온도이고, 엔트로피는 온도에 대해 언제나 증가한다. 어텐션의 는 고정된 온도다.
- 평행이동 불변 때문에 로짓 개의 자유도는 이고, 최댓값을 빼는 구현은 이 조건을 계산 안전장치로 쓴 것이다.
- 로짓은 상수 하나 차이로 로그 확률이고, 둘이면 sigmoid로 줄어든다. 1에 닿지 못하므로 원-핫 목표 대신 라벨 스무딩이 쓰인다.
블록 하나에서 세 번 만난다고 했던 그 함수로 돌아가 봅시다. 어텐션이 softmax를 쓰는 것은 «각 위치에 얼마씩 주의를 나눠 줄 것인가»가 합이 1인 배분 문제이기 때문이고, 로 나누는 것은 점수의 폭을 조절하는 일이니 사실상 온도를 정하는 조작입니다. MoE 라우터도 전문가들 사이의 배분이라 같은 함수를 씁니다. 셋 다 조건 넷을 그대로 요구하니 셋 다 같은 함수가 나온 것입니다.
다음 글은 이 확률분포에서 실제로 하나를 뽑는 일을 다룹니다. 온도로 분포를 바꾸는 것까지가 이 글이었다면, top-k와 top-p가 확률질량의 어디를 잘라 내는지, 그리고 로짓에 잡음을 더해 argmax만 취해도 정확히 이 분포에서 뽑은 것과 같아지는 트릭이 이어집니다.
읽어주셔서 감사합니다. 😊

