사전학습을 돌리면 로그가 이렇게 흘러갑니다.
step 11800 | loss 2.118 | ppl 8.32
step 11900 | loss 2.111 | ppl 8.26
step 12000 | loss 2.104 | ppl 8.20
두 숫자가 언제나 붙어 다니고 언제나 같이 내려갑니다. 그럴 만한 것이 둘은 같은 값입니다 — 이니 오른쪽은 왼쪽에 지수함수를 씌운 것일 뿐입니다.
그러면 왜 굳이 둘 다 찍는가. loss는 «최소화할 대상»이라 학습이 보는 숫자이고, perplexity는 읽을 수 있는 숫자이기 때문입니다. 8.20은 「모델이 다음 토큰을 고를 때 평균적으로 8.2개 중에 고민하고 있다」로 읽힙니다. 어휘가 5만 개인데 실질 후보가 8.2개까지 좁혀졌다는 뜻입니다. 이 읽기는 쓸모가 있지만 그대로 믿으면 틀리는 자리가 몇 군데 있고, 옆 팀이 찍은 ppl 6.5와 맞대 보면 더 많이 틀립니다.
지난 글까지가 확률분포를 만들고 거기서 뽑는 이야기였다면, 이 글은 그 분포가 얼마나 좁혀졌는지를 재는 자를 세웁니다. 정보량에서 시작해 엔트로피와 perplexity를 정의하고, 학습 로그의 두 숫자가 무엇을 재는지 확인한 뒤, 그 숫자 둘을 맞대도 되는 조건까지 갑니다.
정보량
어떤 일이 일어났다는 소식이 있습니다. 그 소식이 얼마나 «값어치»가 있는가.
- 「내일 해가 뜬다」 — 이미 아는 일이라 알려 준 것이 없습니다.
- 「내일 서울에 눈이 온다」 — 8월이라면 아주 놀랍습니다.
드문 일일수록 알려 준 것이 많습니다. 그러니 값어치는 확률이 작을수록 커야 합니다. 여기에 조건을 하나 더 붙입니다. 두 사건이 독립, 곧 한쪽 결과를 알아도 다른 쪽의 확률이 바뀌지 않는 사이라면, 두 소식을 함께 들은 값어치는 따로 들은 값어치의 합이어야 합니다. 동전 두 개의 결과를 듣는 것은 한 개의 결과를 두 번 듣는 것과 같아야 하니까요.
확률은 독립이면 곱해집니다(). 그런데 값어치는 더해져야 합니다. 곱을 합으로 바꾸는 함수는 로그이고, 지수와 로그를 다룬 글에서 본 성질 그대로입니다.
정의. 확률 인 사건이 일어났을 때의 정보량(자기정보량)은 이다.
앞에 음수 부호가 붙은 것은 이라 가 0 이하이기 때문입니다. 뒤집어 놓아야 «드물수록 크다»가 됩니다.
로그의 밑을 2로 잡으면 단위가 비트입니다. 이면 1비트, 이면 3비트, 이면 0비트입니다. 「예/아니오 질문 몇 번으로 알아낼 수 있는가」라고 읽으면 감이 잡힙니다 — 여덟 개 중 하나를 맞히려면 반씩 좁히는 질문 세 번이 필요하고, 그것이 정확히 3비트입니다.
가법성과 로그
독립인 소식의 값어치가 더해진다는 요구를 가법성이라 부릅니다. 곱을 합으로 바꾸는 함수가 로그라고 했지만, 사실은 더 강한 말이 성립합니다. 그런 함수는 로그밖에 없습니다. 두 조건을 식으로 적으면
이고, 여기에 가 연속이라는 조건 하나를 붙입니다. 확률을 조금 바꾸면 값어치도 조금만 바뀌어야 한다는 당연한 요구입니다.
증명은 변수를 갈아 끼우는 것으로 시작합니다. 로 두고 라 하면, 가 0과 1 사이를 움직이는 동안 는 0 이상의 수를 움직이고, 확률의 곱은 지수의 합이 됩니다(). 그래서 조건이
로 바뀝니다. 이 꼴의 식을 코시 함수방정식이라 부릅니다. 라 두고 차례로 채워 가면 답이 나옵니다.
- 자연수에서: 이고, 같은 방식으로 입니다.
- 분수에서: 을 번 더하면 1이므로 , 곧 이고, 여기서 다시 입니다.
- 실수에서: 유리수에서 이고 가 연속이므로, 유리수 사이를 메우는 모든 수에서도 입니다.
되돌리면 이므로 입니다. 남은 것은 상수 하나이고, 그것은 단위를 정하는 값입니다. 이면 자연로그로 재는 단위인 내트가 되고, 이면 밑이 2인 로그와 같아져 비트가 됩니다. «드물수록 크다»를 지키려면 이어야 합니다. 정의의 는 여러 후보 중에서 고른 모양이 아니라 두 조건이 강제한 모양입니다.
확률 0과 무한대
가 0으로 가면 는 끝없이 커집니다. 일어날 수 없다고 여긴 일이 일어나면 놀람이 무한대라는 뜻이고, 정보량 자체로는 그것이 맞는 답입니다. 문제는 다음 절에서 엔트로피를 계산할 때 꼴이 나온다는 데 있습니다. 에서는 0 곱하기 무한대가 되어 값이 정해지지 않습니다.
극한을 보면 답이 보입니다. 자연로그로 세어 의 크기가 에서 0.0461, 에서 0.0069, 에서 0.0000138입니다. 로그가 커지는 속도보다 가 작아지는 속도가 빨라 곱은 0으로 갑니다. 그래서 으로 약속합니다. 극한값을 그대로 쓴 약속이라, 확률이 0인 결과를 목록에서 지우고 계산하는 것과 같은 답을 줍니다. 아래 코드의 p = p[p > 0] 한 줄이 그 약속입니다.
이 약속은 앞에 붙은 가중치 가 무한대를 눌러 줄 때만 통합니다. 가중치 없이 하나만 서 있으면 눌러 줄 것이 없습니다. 언어모델의 학습에서 정확히 그 일이 벌어집니다.
손실 폭발
언어모델은 어휘의 후보마다 점수를 하나씩 내고, softmax가 그 점수를 확률로 바꿉니다. softmax에 들어가기 전의 이 점수를 로짓이라 부르고 로 적습니다. 학습 손실은 정답 토큰에 모델이 준 확률의 정보량을 평균한 값입니다(식은 뒤에서 적습니다). 정답에 준 확률이 작을수록 그 토큰 하나가 평균을 크게 끌어올립니다.
| 정답에 준 확률 | 그 토큰의 손실(내트) |
|---|---|
| 6.91 | |
| 20.72 | |
| 69.08 | |
| (float32가 정밀도를 잃지 않고 담는 가장 작은 양수) | 87.34 |
| 0 | 무한대 |
마지막 줄이 실제 사고입니다. softmax를 float32로 계산하면 참값이 인 확률이 0으로 반올림되고, 거기에 로그를 씌우면 음의 무한대가 나옵니다. 배치 평균에 무한대가 하나 섞이면 손실 전체가 무한대이고 기울기는 NaN이 되어 그 스텝의 갱신이 통째로 망가집니다. 처방은 셋입니다.
- 확률을 거치지 않고 로짓에서 바로 로그확률을 만든다. 정답 의 로그확률은 이고 이 식에는 0의 로그가 나올 자리가 없습니다. 프레임워크의 교차엔트로피 함수가 이렇게 계산하며, 자세한 내용은 log-sum-exp를 다룬 글에 있습니다.
- 정답 분포 자체를 누그러뜨린다. 정답 하나에 1을 몰아주던 목표에서 무게를 만큼 덜어 개 후보 전체에 고르게 나눠 주는 것이 라벨 스무딩입니다. 이 목표의 최적점에서 모델은 어떤 후보에도 아래의 확률을 주지 않습니다. , 이면 바닥이 이고, 그 바닥에 놓인 후보가 정답으로 나와도 손실은 13.12내트에서 멈춥니다.
- 로짓의 범위를 묶는다. 모든 로짓을 안에 가두는 로짓 클리핑을 하면 가장 큰 확률과 가장 작은 확률의 비가 를 못 넘고, 한 토큰의 손실은 를 넘지 않습니다. 에서 이면 30.82, 이면 70.82입니다.
셋 다 하는 일은 같습니다. 무한대로 갈 수 있던 정보량에 유한한 상한을 씌웁니다. 첫째는 계산의 구멍을 막고, 둘째와 셋째는 모델이 애초에 어떤 후보도 0으로 밀어내지 못하게 합니다.
엔트로피
정보량은 결과 하나에 붙는 값입니다. 분포 전체를 하나의 수로 요약하려면 평균을 냅니다.
정의. 확률분포 의 엔트로피는 각 결과의 정보량을 그 확률로 가중평균한 값, 곧 정보량의 기댓값이다.
각 결과의 값 에 그 확률 를 곱해 더했습니다. 손으로 세 개만 세어 보겠습니다.
공정한 동전은 이므로
사지선다는 이고 각 정보량이 이므로
치우친 분포 는 정보량이 각각 1, 2, 3, 3비트이므로
후보가 똑같이 넷인데 엔트로피는 2비트에서 1.75비트로 줄었습니다. 한쪽에 무게가 쏠릴수록 «어차피 A겠지»가 되어 새로 알게 되는 양이 줄어듭니다. 동전 하나로 그 관계를 다 볼 수 있습니다.
분포의 값
엔트로피는 분포에 붙는 수입니다. 결과 하나에는 엔트로피가 없습니다. 그래서 「이 문장의 엔트로피는 몇 비트인가」는 성립하지 않는 질문입니다. 문장 하나에 붙는 것은 모델이 그 문장에 매긴 확률 의 정보량 이고, 그것도 어느 분포로 쟀는지에 따라 달라집니다. 같은 문장이 한 모델에서는 12비트, 다른 모델에서는 30비트일 수 있습니다.
이 구별은 학습 로그를 읽을 때 바로 쓰입니다. 모델이 다음 토큰에 대해 내놓는 분포의 엔트로피는 «모델이 얼마나 확신하는가»이고, 손실은 «정답이 모델에게 얼마나 놀라웠는가»입니다. 둘은 다른 양입니다. 모델이 후보 넷 중 하나에 0.97을 주고 나머지에 0.01씩 주면 그 분포의 엔트로피는 0.24비트로 아주 낮습니다. 그런데 정답이 0.01을 받은 후보였다면 그 토큰의 손실은 내트입니다. 확신에 차서 틀린 것입니다.
손실이 평균을 내는 대상은 모델 자신의 분포가 아니라 코퍼스에서 실제로 나온 토큰입니다. 그래서 손실은 엄밀히 말해 엔트로피가 아니라 정답 분포와 모델 분포 사이의 교차엔트로피이고, 그 유도는 최대가능도를 다룬 글과 교차엔트로피를 다룬 글이 맡습니다. 이 글에서는 둘이 같은 꼴, 곧 정보량의 평균이라는 것만 씁니다.
상한과 하한
아래쪽부터 봅니다. 확률은 0과 1 사이라 이고, 그래서 각 항 가 0 이상입니다. 0 이상인 수를 더했으니 입니다. 등호는 모든 항이 0일 때, 곧 모든 가 0 아니면 1일 때만 성립합니다. 확률의 합이 1이므로 그런 분포는 한 결과에 1을 몰아준 분포뿐이고, 이것을 확정 분포라 부릅니다. 결과를 이미 아는 분포만 엔트로피가 0입니다. 동전 그림의 양 끝이 그 자리입니다.
위쪽은 동전 그림의 꼭대기가 말해 줍니다. 에서 가장 높았는데, 후보가 몇 개든 그런지 증명합니다.
정리. 결과가 개인 분포의 엔트로피는 이고, 등호는 일 때만 성립한다.
재료는 부등식 하나입니다.
로그 곡선이 에서 그은 접선 아래에 놓인다는 말입니다. 의 기울기가 이므로 에서 기울기가 1이고 값이 0이라 접선이 이며, 로그는 위로 볼록한 곡선이라 접선 위로 올라가지 못합니다.
이제 을 한 덩어리로 묶습니다.
둘째 등호는 이라 을 합 안으로 넣을 수 있어서입니다. 여기에 로 부등식을 씁니다.
따라서 입니다. 등호가 성립하려면 모든 에서 이어야 하는데 그것은 에서만이므로 , 즉 입니다. ∎
두 줄짜리 증명이고 결론이 직관과 정확히 맞습니다. 아무것도 모를 때, 즉 모든 결과가 똑같이 그럴듯할 때 가장 헷갈립니다. 정리하면 엔트로피는 확정 분포의 0과 균등분포의 사이에 갇혀 있습니다.
사슬 규칙
변수가 둘이면 어떻게 되는가. 날씨 가 맑음·비 반반이고, 맑으면 산책을 0.75로, 비가 오면 0.25로 나간다고 합시다. 를 알고 난 뒤 산책 여부 에 남는 불확실성을 의 확률로 평균한 것이 조건부 엔트로피 입니다. 맑은 날도 비 오는 날도 0.75 대 0.25로 갈리니 둘 다 0.811비트이고, 평균도 0.811비트입니다.
두 변수를 함께 놓은 엔트로피와 이 값 사이에는 다음 관계가 있고, 이것이 사슬 규칙입니다.
유도는 확률의 곱셈 규칙 에서 시작합니다. 양변에 를 씌우면 곱이 합이 되어 이고, 이것을 로 평균하면 위 식입니다. 정보량의 가법성이 독립이 아닐 때로 넓어진 모양입니다.
예로 확인합니다. 네 경우의 확률은 0.375, 0.125, 0.125, 0.375이고 직접 세면 비트입니다. 오른쪽은 에 을 더해 같은 1.811입니다. 그리고 날씨를 모를 때 산책은 반반이라 비트였는데 날씨를 알면 0.811비트로 줄었습니다. 조건을 더하면 엔트로피는 늘지 않는다는 성질의 한 예이고, 뒤에서 평가 창 이야기에 다시 씁니다.
언어모델이 문장 하나에 확률을 매기는 방식이 정확히 이 규칙입니다. 문장의 확률은 토큰마다 앞 문맥이 주어졌을 때의 확률을 곱한 것이므로
입니다. 네 토큰짜리 문장에서 토큰마다 정답에 준 확률이 0.05, 0.2, 0.6, 0.7이면 정보량은 3.00, 1.61, 0.51, 0.36내트이고 합이 5.47내트입니다. 문장 전체의 확률 0.0042에 바로 로그를 씌운 값과 같습니다.
비트와 내트
로그의 밑을 무엇으로 잡느냐에 따라 단위 이름이 달라집니다.
| 밑 | 단위 | 쓰는 곳 |
|---|---|---|
| 2 | 비트(bit) | 정보이론, 압축, bits-per-byte |
| 내트(nat) | 딥러닝의 손실값 |
밑을 바꾸는 것은 상수를 곱하는 일이라 입니다. 그러니
입니다. 딥러닝 프레임워크의 log가 자연로그라서 손실값은 언제나 내트입니다. 앞의 코시 함수방정식에서 남은 상수 가 바로 이 선택이고, 로그의 밑은 «자를 몇 등분해 읽는가»의 문제일 뿐 재는 양 자체는 같습니다.
perplexity
균등분포의 엔트로피가 이라는 사실이 다음 정의를 낳습니다.
정의. 분포 의 perplexity(당혹도)는 이다. 로그와 지수의 밑은 맞춰 쓴다.
균등분포 개를 넣어 보면 입니다. 균등분포의 perplexity는 정확히 선택지 개수입니다. 그러니 임의의 분포에 대해서도 perplexity는 이렇게 읽힙니다.
이 분포에서 고르는 어려움은, 균등하게 놓인 후보 PPL개 중에서 고르는 어려움과 같다.
앞의 치우친 분포 는 비트였으므로
입니다. 후보는 넷인데 실질은 3.36개입니다. 0.36개라는 것이 이상하게 들리지만, perplexity는 개수를 세는 값이 아니라 개수의 단위로 어려움을 옮겨 적은 값입니다.
밑의 불변성
정의에 붙인 단서, 곧 로그와 지수의 밑을 맞춘다는 조건만 지키면 밑을 무엇으로 잡든 perplexity는 같은 값이 나옵니다. 비트로 잰 엔트로피는 내트로 잰 것을 로 나눈 것이므로
입니다. 가운데의 가 정확히 이기 때문입니다. 1.75비트로 확인하면 내트로는 이고, 와 이 둘 다 3.364입니다. 엔트로피의 숫자는 단위에 따라 바뀌지만 perplexity는 단위가 없는 «개수»라 바뀌지 않습니다.
이 조건을 어기는 것이 흔한 실수입니다. 비트로 잰 1.75에 를 씌우면 5.75가 나오고, 내트인 loss 2.104에 2를 씌우면 4.30이 나옵니다. 둘 다 그럴듯한 크기라 눈으로는 안 잡힙니다. 학습 로그는 내트이니 , 압축 쪽 논문의 비트 수치에는 입니다.
해석의 한계
「후보 PPL개」는 어려움이 같다는 말이지 후보가 실제로 그만큼 있다는 말이 아닙니다. 이 차이가 드러나는 자리가 둘입니다.
첫째는 분포 하나 안에서입니다. 한 후보에 0.5를 주고 나머지 0.5를 49,999개 후보에 고르게 흩은 분포를 생각해 봅시다. 엔트로피는 6.10내트이고 perplexity는 447입니다. 「447개 중에 고민한다」로 읽으면, 이 모델이 절반의 경우 첫 후보 하나로 맞힌다는 사실이 사라집니다. perplexity는 긴 꼬리에 흩어진 작은 확률들에 크게 끌려가는 값이라, 가장 그럴듯한 후보가 얼마나 강한지는 따로 봐야 합니다.
둘째는 여러 토큰을 평균할 때입니다. 학습 로그의 ppl은 토큰마다의 손실을 평균한 뒤 지수를 씌운 값이고, 그것은 토큰마다의 perplexity를 곱해 개수만큼 제곱근을 씌운 평균, 곧 기하평균입니다. 토큰 절반은 손실이 0.1이고(perplexity 1.105) 나머지 절반은 4.108이면(perplexity 60.8) 평균 손실이 2.104이고 ppl은 8.20입니다. 그런데 이 코퍼스에서 8.2개 중에 고민하는 토큰은 하나도 없습니다. 거의 확실한 토큰과 몹시 헷갈리는 토큰이 섞여 있을 뿐입니다. 「다」 뒤의 마침표처럼 뻔한 자리와 고유명사의 첫 토큰처럼 막막한 자리가 실제로 이렇게 섞여 있습니다.
loss와 perplexity
이제 서두의 로그로 돌아갑니다. 사전학습의 손실은 토큰마다 정답 토큰에 모델이 준 확률의 음의 로그를 계산해 평균한 값입니다.
모양을 보십시오. 정보량 를 평균한 것이고, 합 부분은 사슬 규칙으로 쪼갠 문장의 정보량 그대로입니다. 손실은 엔트로피와 같은 종류의 양이고 자연로그를 썼으니 단위는 내트입니다. 그래서 perplexity의 정의를 그대로 쓸 수 있습니다.
세 눈금
| loss (내트) | perplexity | 토큰당 비트 |
|---|---|---|
| 0.693 | 2.00 | 1.00 |
| 1.000 | 2.72 | 1.44 |
| 2.000 | 7.39 | 2.89 |
| 2.104 | 8.20 | 3.04 |
| 3.000 | 20.09 | 4.33 |
| 10.820 | 50000 | 15.61 |
맨 아래 줄이 기준점입니다. 어휘 5만 개를 균등하게 찍는 모델의 손실이 이고 perplexity가 5만입니다. 학습이 손실을 10.82에서 2.104로 내렸다는 것은 실질 후보를 5만 개에서 8.2개로 좁혔다는 말입니다.
여기서 loss 눈금의 성질이 하나 드러납니다. 손실이 0.1 줄어드는 것은 언제나 perplexity가 같은 비율로 줄어드는 일입니다. 이므로 약 9.5%씩입니다. 손실 2.1에서 2.0으로 가는 것과 4.1에서 4.0으로 가는 것이 «같은 만큼»의 개선인 셈이고, 로그 눈금이라 그렇습니다.
길이 정규화
문장 하나의 perplexity를 구하려고 하면 무엇으로 나눌지부터 정해야 합니다. 앞의 네 토큰짜리 문장은 정보량이 5.47내트였습니다. 문장 전체를 결과 하나로 보고 지수를 씌우면 이고, 「238개 중 하나」라는 값이 나옵니다. 그런데 이 값은 문장이 길어질수록 지수적으로 커지므로 길이가 다른 문장끼리는 아무것도 말해 주지 않습니다.
그래서 토큰 수로 나눈 뒤에 지수를 씌웁니다. 이고 입니다. 문장의 정보량을 토큰 수로 나눠 토큰 하나의 몫으로 바꾸는 이 조작이 길이 정규화이고, 학습 로그의 ppl이 언제나 토큰 단위인 이유입니다.
정규화를 해도 문장마다의 값을 다시 평균하면 또 어긋납니다. 위 문장 옆에 토큰 하나짜리 문장(손실 3.0)이 있다고 합시다. 다섯 토큰을 한데 모아 평균한 손실은 이고 ppl은 5.44입니다. 반면 문장마다 ppl을 구해 평균하면 입니다. 토큰 하나짜리 문장이 네 토큰짜리와 같은 무게를 받아 평균을 두 배 넘게 끌어올렸습니다. 짧은 문장은 토큰 하나가 값을 다 정해 크게 흔들리므로, 코퍼스 전체의 손실 합을 전체 토큰 수로 나누는 쪽이 표준입니다.
토크나이저 의존성
perplexity에는 불편한 점이 하나 더 있습니다. 분모의 토큰 수가 토크나이저의 선택이라는 점입니다. 손으로 꾸민 예로 보겠습니다. 영어 텍스트 400바이트가 있고, 토크나이저 A는 이것을 100토큰으로, B는 더 잘게 150토큰으로 자른다고 합시다. 두 모델이 이 텍스트 전체에 똑같은 확률을 준다고 가정하면, 정보량의 합은 둘 다 210.4내트로 같습니다. 문장의 정보량은 사슬 규칙으로 토큰마다 쪼갰을 뿐 쪼개는 방식과 상관없이 문장 전체의 확률로 정해지기 때문입니다.
| 토크나이저 | 토큰 수 | 토큰당 loss | ppl |
|---|---|---|---|
| A | 100 | 2.104 | 8.20 |
| B | 150 | 1.403 | 4.07 |
텍스트에 준 확률은 똑같은데 B의 ppl이 절반입니다. 토큰을 잘게 쪼개면 토큰 하나당 맞혀야 할 몫이 줄어 ppl이 낮아지고, 대신 같은 문장을 쓰는 데 토큰이 더 듭니다. 그래서 토크나이저가 다른 두 모델의 ppl은 맞대 놓고 비교할 수 없습니다.
bits-per-byte
빠져나갈 길은 토큰이 아니라 바이트를 분모로 삼는 것입니다.
정의. bits-per-byte(bpb)는 텍스트 한 바이트를 표현하는 데 드는 평균 비트 수다.
위의 두 토크나이저에 넣어 보면 둘 다 입니다. 토큰 수가 곱해졌다가 나뉘면서 지워지고, 텍스트에 준 확률만 남습니다. 손실 2.104는 토큰당 3.04비트였고 A에서 토큰 하나가 4바이트이니 과도 맞습니다. 원래 한 바이트는 8비트이므로 0.76비트로 줄였다는 것은 10배 넘게 압축했다는 뜻이고, 같은 종류의 영어 텍스트에서 gzip은 대략 바이트당 2~3비트를 씁니다.
이 계산이 「언어모델은 압축기다」라는 주장의 실체입니다. 확률이 인 기호를 약 비트로 적는 부호화 방법이 산술부호화이고, 모델이 토큰마다 확률을 매길 수 있으면 그 확률을 그대로 넣어 돌릴 수 있습니다. 다음 토큰을 잘 맞힐수록 짧게 적히니 손실을 낮추는 일과 압축률을 높이는 일이 글자 그대로 같은 일입니다. 학습 로그의 loss는 「이 모델로 코퍼스를 압축하면 토큰당 몇 내트가 드는가」를 실시간으로 찍고 있는 셈입니다.
한 가지 함정이 분모에 있습니다. 바이트 수는 UTF-8로 셉니다. UTF-8에서 영어 글자는 한 자가 1바이트이고 한글 음절은 한 자가 3바이트입니다. 「hello」는 5바이트, 「안녕하세요」는 15바이트, 「언어모델은 압축기다」는 띄어쓰기를 포함해 10자에 28바이트입니다. 「토큰 하나에 4바이트쯤」이라는 어림은 영어에서 나온 값입니다. 한국어에서 토큰 하나가 음절 둘을 덮는다고 가정하면 6바이트이고, 같은 토큰당 3.04비트가 bpb가 됩니다. 영어 어림 4바이트를 그대로 쓰면 0.76으로 1.5배 부풀려 적는 셈입니다. 그리고 같은 내용을 한국어로 적으면 바이트가 더 들기 때문에, bpb는 언어가 다른 두 코퍼스 사이에서도 공정한 눈금이 아닙니다.
비교 조건
ppl은 텍스트에 준 확률을 정해진 분모로 나눠 지수를 씌운 값입니다. 그러니 두 ppl을 맞대려면 모델 말고 나머지가 전부 같아야 합니다. 토크나이저는 앞에서 봤고, 그 밖에 자주 깨지는 조건이 넷입니다.
평가 코퍼스
손실은 정답 분포와 모델 분포 사이의 교차엔트로피이고, 교차엔트로피는 데이터 자체의 엔트로피보다 작아질 수 없습니다. 모델이 완벽해도 텍스트 자체에 남은 불확실성은 지울 수 없다는 뜻입니다. 이 바닥은 코퍼스마다 다릅니다. 형식이 굳은 법률 문서나 소스 코드는 바닥이 낮고, 잡담이나 뉴스 제목은 높습니다.
그래서 서로 다른 코퍼스에서 잰 두 ppl은 비교값이 아닙니다. 한 모델이 위키백과에서 6.5, 다른 모델이 웹 크롤에서 8.2라면 그 차이에는 모델의 차이와 바닥의 차이가 섞여 있고 둘을 가를 방법이 없습니다. 비교하려면 같은 평가 세트를 두 모델에 함께 넣어야 합니다.
패딩과 마스크
배치는 길이가 다른 시퀀스를 같은 길이로 맞추려고 빈자리를 채우고, 그 자리는 손실에서 빼려고 마스크를 씌웁니다. 마스크된 자리의 손실은 0으로 들어갑니다. 문제는 평균의 분모입니다. 실제 토큰 10개가 손실 2.104씩이고 패딩이 6자리라면, 분모를 16으로 잡는 순간 평균은 이고 ppl은 3.72입니다. 8.20이어야 할 값이 절반 아래로 내려갑니다.
이 오류는 언제나 ppl을 낮추는 쪽으로만 납니다. 좋아 보이는 쪽으로 틀리기 때문에 의심을 덜 받습니다. 분모는 마스크가 안 씌워진 토큰의 개수여야 하고, 프레임워크의 ignore_index가 그 일을 합니다. 교차엔트로피를 다룬 글이 이 자리를 자세히 다룹니다.
평가 창
앞의 사슬 규칙에서 조건을 더하면 엔트로피가 늘지 않는다는 것을 봤습니다. 다음 토큰을 볼 때 앞 문맥을 더 길게 주는 것이 바로 조건을 더하는 일이라, 같은 모델이라도 평가 창을 늘리면 ppl은 대개 내려갑니다. 2,048토큰 창에서 잰 값과 8,192토큰 창에서 잰 값은 같은 모델이라도 다릅니다.
창을 어떻게 미느냐도 값을 바꿉니다. 긴 문서를 2,048토큰씩 겹치지 않게 자르면 조각마다 첫 토큰은 앞 문맥 없이 예측되어 손실이 큽니다. 창을 조금씩 밀면서 매번 마지막 몇 토큰만 손실에 넣는 슬라이딩 윈도우 평가는 모든 토큰에 긴 문맥을 주므로 더 낮은 ppl을 냅니다. ppl을 적을 때는 창의 길이와 미는 폭을 함께 적어야 다른 사람이 같은 값을 다시 낼 수 있습니다.
데이터 오염
평가 세트의 문장이 학습 데이터에 들어 있었다면 모델은 그 문장을 외웠을 수 있습니다. 외운 문장의 토큰에는 1에 가까운 확률을 주므로 정보량이 0에 가깝고 ppl도 크게 내려갑니다. 평가 데이터가 학습 데이터에 섞여 들어간 이 상태를 오염(contamination)이라 부릅니다.
오염된 세트에서 잰 ppl은 예측 능력이 아니라 기억력을 잽니다. 낮은 것이 당연하므로 좋은 값이 아닙니다. 대응은 평가 세트와 학습 데이터의 겹치는 구절을 찾아 걸러 내거나, 학습 데이터를 모은 시점 뒤에 나온 텍스트로 평가 세트를 만드는 것입니다.
코드로 확인하기
기본 검산
import numpy as np
def entropy(p, base=2):
p = np.asarray(p, dtype=np.float64)
p = p[p > 0] # 0 log 0 = 0 으로 약속한다
return float(-(p * np.log(p)).sum() / np.log(base))
print(entropy([0.5, 0.5])) # 1.0 공정한 동전
print(entropy([0.25] * 4)) # 2.0 사지선다
print(entropy([0.5, 0.25, 0.125, 0.125])) # 1.75 치우친 넷
print(round(entropy([0.97, 0.01, 0.01, 0.01]), 4)) # 0.2419 거의 확실한 넷
# 균등분포가 최대 — 한쪽으로 조금만 기울여도 값이 내려간다
for e in (0.0, 0.05, 0.10, 0.20):
print(e, round(entropy([0.25 + e, 0.25 - e, 0.25, 0.25]), 4))
# 0.0 2.0
# 0.05 1.9855
# 0.1 1.9406
# 0.2 1.7345
# loss ↔ perplexity ↔ bits
loss = 2.104
print(np.exp(loss).round(3)) # 8.199 perplexity
print((loss / np.log(2)).round(3)) # 3.035 토큰당 비트
print(np.log(50_000).round(3)) # 10.82 균등하게 찍는 모델의 손실
넷째 줄이 눈여겨볼 만합니다. 한 후보가 0.97을 가져가면 엔트로피가 0.24비트까지 내려가고 perplexity는 입니다. 후보가 넷이지만 사실상 하나만 보고 있다는 뜻이고, 분포의 값 소절에서 본 «확신에 차서 틀린» 예가 바로 이 분포였습니다.
온도와 엔트로피
지난 글에서 다룬 온도 는 로짓을 로 나눈 뒤 softmax를 씌우는 손잡이였습니다. 그 손잡이가 엔트로피를 어디로 옮기는지 재 봅니다. 후보 다섯의 로짓을 하나 정하고 를 바꿔 가며 셉니다.
import numpy as np
def softmax(z):
z = z - z.max() # 오버플로를 막는 최댓값 빼기
e = np.exp(z)
return e / e.sum()
def entropy_bits(p):
p = p[p > 0]
return float(-(p * np.log2(p)).sum())
z = np.array([3.0, 1.5, 1.0, 0.0, -1.0]) # 후보 다섯의 로짓
print("log2(5) =", round(np.log2(5), 4))
for T in (0.05, 0.2, 0.5, 1.0, 2.0, 5.0, 20.0, 100.0):
p = softmax(z / T)
print(f"T={T:>6} H={entropy_bits(p):.4f} bits top={p.max():.4f}")
log2(5) = 2.3219
T= 0.05 H=0.0000 bits top=1.0000
T= 0.2 H=0.0075 bits top=0.9994
T= 0.5 H=0.4224 bits top=0.9338
T= 1.0 H=1.3499 bits top=0.7010
T= 2.0 H=2.0077 bits top=0.4548
T= 5.0 H=2.2684 bits top=0.2933
T= 20.0 H=2.3186 bits top=0.2216
T= 100.0 H=2.3218 bits top=0.2042
양 끝이 엔트로피 절의 두 경계와 정확히 맞습니다. 가 0으로 가면 가장 큰 로짓 하나가 확률을 다 가져가 확정 분포가 되고 엔트로피는 0입니다. 가 커지면 가 전부 0에 가까워져 균등분포가 되고 엔트로피는 비트로 다가갑니다. 그 사이에서 엔트로피는 를 따라 단조롭게 올라갑니다. 의 1.35비트는 perplexity로 입니다.
여기서 잰 것은 모델 분포 자체의 엔트로피이지 손실이 아닙니다. 온도는 추론에서 뽑는 방식을 바꿀 뿐 정답에 준 확률로 계산하는 평가 ppl과는 다른 양을 움직입니다.
logsumexp
로짓에서 엔트로피를 구할 때 softmax를 먼저 만들고 로그를 씌우면 앞의 손실 폭발과 같은 구멍을 밟습니다. 식을 한 번 정리하면 피할 수 있습니다. 라 두면 로그확률이 이므로
입니다. 확률의 합이 1이라 가 합 밖으로 나왔습니다. 로그를 씌우는 대상이 확률이 아니라 로짓이라서 0의 로그가 나올 자리가 없습니다.
import numpy as np
def logsumexp(z):
m = z.max()
return m + np.log(np.exp(z - m).sum())
def entropy_from_logits(z):
logp = z - logsumexp(z) # log softmax를 바로 만든다
return float(-(np.exp(logp) * logp).sum())
z = np.array([3.0, 1.5, 1.0, 0.0, -1.0])
print(round(entropy_from_logits(z), 4)) # 내트
print(round(entropy_from_logits(z) / np.log(2), 4)) # 비트
big = z * 400 # 아주 날카로운 로짓
with np.errstate(all="ignore"):
p1 = np.exp(big) / np.exp(big).sum() # ① 그대로 지수
print(p1, -(p1 * np.log(p1)).sum())
e = np.exp(big - big.max()) # ② 최댓값만 빼기
p2 = e / e.sum()
print(p2, -(p2 * np.log(p2)).sum())
print(entropy_from_logits(big)) # ③ logsumexp
0.9357
1.3499
[nan 0. 0. 0. 0.] nan
[1.00000000e+000 2.65039655e-261 0.00000000e+000 0.00000000e+000
0.00000000e+000] nan
1.5902379318025864e-258
보통 로짓에서는 0.9357내트, 비트로 1.3499가 나와 온도 표의 줄과 맞습니다. 로짓을 400배로 키우면 ①은 에서 넘쳐 NaN이 되고, ②는 넘치지는 않지만 확률 셋이 0으로 내려앉아 이 NaN을 냅니다. ③만 확정 분포에 걸맞은 0에 가까운 값을 돌려줍니다.
정리
- 정보량 는 «드물수록 크고 독립이면 더해지는» 연속함수의 유일한 모양이다. 코시 함수방정식이 로그의 상수배만 남기고, 그 상수가 단위다.
- 이면 정보량은 무한대다. 엔트로피 안에서는 이라 으로 약속하지만, 정답 토큰에 붙은 은 눌러 줄 가중치가 없어 손실을 무한대로 만든다. 로그확률을 로짓에서 바로 구하고, 라벨 스무딩이나 로짓 클리핑으로 상한을 씌운다.
- 엔트로피는 정보량의 기댓값이고 분포에 붙는 수다. 문장 하나에는 정보량이 붙을 뿐 엔트로피가 없다.
- 엔트로피는 0(확정 분포)과 (균등분포) 사이에 갇혀 있다. 위쪽은 하나로 두 줄에 증명된다.
- 사슬 규칙 를 결과 하나에 대해 적으면, 언어모델이 문장의 정보량을 토큰마다 쪼개 더하는 식이 된다.
- perplexity는 엔트로피를 지수로 되돌린 값이고, 밑만 맞추면 단위와 상관없이 같다. 「후보 몇 개」는 어려움이 같다는 뜻이며 토큰들 사이에서는 기하평균이다.
- loss와 ppl은 같은 숫자다. , 토큰당 비트는 이고, loss가 0.1 줄면 ppl은 언제나 9.5%씩 준다.
- ppl은 토큰 수로 나눈 값이라 토크나이저에 딸려 다닌다. bpb는 분모를 바이트로 바꿔 그것을 지우지만, UTF-8에서 한글 한 자가 3바이트라 영어의 어림이 안 통한다.
- 두 ppl을 맞대려면 평가 코퍼스, 마스크를 뺀 분모, 평가 창, 오염 여부가 같아야 한다.
로그의 두 숫자로 다시 돌아가 봅시다. loss 2.104 | ppl 8.20은 「이 모델은 다음 토큰을 평균 8.2개 후보로 좁혔고, 토큰당 3.04비트로 코퍼스를 적을 수 있다」는 한 문장의 세 가지 표현이었습니다. 다만 그 8.2는 뻔한 토큰과 막막한 토큰을 기하평균한 값이고, 이 토크나이저와 이 평가 세트와 이 창 길이에서 잰 값입니다. 옆 팀의 6.5와 맞대기 전에 그 셋부터 같은지 물어야 합니다.
그런데 이 손실 한 줄은 어디서 온 것인가. 「정답 토큰의 확률에 음의 로그를 씌워 평균한다」는 규칙을 누가 정했는가. 다음 글은 그 출처를 캡니다 — 「학습」이라는 말을 가장 정확하게 정의하는 원리에서 시작해, 정규분포를 가정하면 MSE가 떨어져 나오고 범주분포를 가정하면 이 손실이 떨어져 나오는 과정을 끝까지 따라갑니다.
읽어주셔서 감사합니다. 😊

