언어모델이 한 번의 순전파에서 내놓는 것은 다음 토큰 하나의 확률분포입니다. 어휘 5만 개짜리 벡터 하나, 그게 전부입니다. 그런데 우리는 태연히 «이 문장의 확률»이라고 말하고, 두 답변 중 어느 쪽이 더 그럴듯한지 점수로 비교하고, 로그가능도를 손실로 씁니다.
토큰 하나짜리 분포에서 문장 하나의 확률로 어떻게 건너가는가 — 이 글이 답할 것입니다. 지난 글에서 라는 곱을 모양만 빌려 썼는데, 그 곱이 어디서 오는지가 여기 있습니다. 그리고 답은 새로운 가정이 아니라 조건부 확률의 정의를 여러 번 쓴 것뿐입니다. 가는 길에 표 하나를 합쳤더니 결론이 뒤집히는 일, 관측을 어느 순서로 넣어도 같은 답이 나오는 이유, 조건을 자르는 순간 파라미터 수가 몇 자리 줄어드는지도 직접 세어 봅니다.
확률의 공리
표본공간과 사건
확률은 «일어날 수 있는 모든 결과의 집합» 위에서 정의됩니다. 이 집합을 표본공간이라 하고 로 적습니다. 다음 토큰 자리라면 어휘 전체가 입니다. 그 부분집합 하나하나가 사건이고, 확률은 사건에 수를 붙이는 함수 입니다.
사건이 부분집합이라는 점이 중요합니다. «다음 토큰이 cat이다»는 원소 하나짜리 사건이고, «다음 토큰이 동물 이름이다»는 cat·dog·bird 같은 원소를 여럿 담은 사건입니다. 결과 하나가 아니라 결과의 묶음에 확률을 붙이기 때문에, 사건끼리 합집합·교집합·여집합을 만들 수 있고 그 조작이 곧 «또는»·«그리고»·«아니다»라는 말이 됩니다.
세 공리
가 확률이라고 불리려면 세 가지만 지키면 됩니다.
- 음수가 없다. 모든 사건 에 대해
- 전체는 1이다.
- 겹치지 않으면 더한다. 이면
이것을 확률의 공리라고 합니다. 이 글에 나오는 모든 규칙이 여기서 나오고, softmax의 출력이 확률로 취급되는 것도 그 벡터가 이 셋을 만족하기 때문입니다 — 성분이 전부 양수이고, 합이 1이며, 서로 다른 토큰은 겹치지 않는 사건이라 합이 곧 합집합의 확률입니다. 반대로 로짓 벡터는 음수가 섞여 있고 합도 1이 아니라서 공리 1과 2를 둘 다 어깁니다. 로짓을 확률처럼 읽으면 안 되는 이유가 이것이고, softmax는 로짓을 공리 안으로 데려오는 변환입니다.
여사건과 합집합
공리 셋만 있으면 자주 쓰는 규칙 몇 가지가 곧바로 나옵니다. 사건 가 일어나지 않는 사건을 여사건 라 하면, 와 는 겹치지 않고 합치면 이므로 공리 2와 3에서
입니다. 여기에 를 넣으면 공집합의 확률이 0이라는 것도 나옵니다. 겹치는 두 사건의 합집합은 교집합을 두 번 세지 않도록 한 번 빼 줍니다.
예를 들어 다음 토큰이 «동물 이름»일 확률이 0.5, «세 글자»일 확률이 0.4, 둘 다일 확률(cat·dog)이 0.3이라면 둘 중 하나라도일 확률은 입니다. 이런 규칙을 따로 외울 필요가 없다는 것이 공리의 쓸모입니다. 셋만 확인되면 나머지는 증명으로 따라옵니다.
결합·주변·조건부
결합과 주변
두 자리를 동시에 보면 세 종류의 확률이 한꺼번에 생깁니다. 작은 예로 확인합니다. 앞 토큰이 the인지 a인지, 다음 토큰이 cat·dog·car 중 무엇인지를 재는 표입니다.
cat |
dog |
car |
행 합 | |
|---|---|---|---|---|
the |
0.30 | 0.20 | 0.10 | 0.60 |
a |
0.12 | 0.08 | 0.20 | 0.40 |
| 열 합 | 0.42 | 0.28 | 0.30 | 1.00 |
칸 하나하나가 결합확률입니다 — 두 사건이 함께 일어날 확률이고 처럼 적습니다. 여섯 칸의 합이 1인 것이 공리 2입니다.
가장자리의 합이 주변확률입니다. 한쪽 변수를 «신경 쓰지 않고» 지워 버린 확률이고, 지우는 방법은 그 변수의 모든 값에 대해 더하는 것입니다.
이 조작을 주변화라고 부릅니다. 이름이 «주변»인 것은 표의 가장자리(margin)에 적히는 값이라서입니다. 표에서 이고, 이 값이 다음 토큰이 무엇이든 상관없이 앞 토큰이 the일 확률입니다. 더해도 되는 근거는 공리 3입니다 — (the, cat)·(the, dog)·(the, car)는 서로 겹치지 않고, 셋을 합치면 «앞 토큰이 the»라는 사건이 됩니다.
조건부확률
조건부확률은 «앞 토큰이 the라고 이미 알고 있을 때» 다음 토큰의 확률입니다.
분모가 하는 일이 핵심입니다. the인 행만 남기면 세 값의 합이 0.60이라 더는 확률이 아닙니다 — 공리 2가 깨집니다. 그래서 0.60으로 나누어 다시 1로 맞춥니다.
조건을 건다는 것은 표본공간을 잘라 낸 뒤 남은 것을 다시 1로 정규화하는 일입니다. 언어모델이 문맥을 받아 분포를 내놓는 장면이 정확히 이것입니다 — 문맥이 표본공간을 자르고, softmax가 정규화를 맡습니다.
이렇게 만든 가 그 자체로 세 공리를 다시 만족한다는 점을 확인해 둡니다. 분자가 확률이라 음수가 없고, 이며, 겹치지 않는 를 와 교차시켜도 여전히 겹치지 않으므로 분자에서 덧셈이 그대로 갈라집니다. 조건부확률은 확률의 한 종류가 아니라 잘라 낸 표본공간 위의 온전한 확률입니다. 그래서 이 글의 모든 규칙 — 여사건, 주변화, 아래의 베이즈 규칙 — 은 조건을 하나 더 붙인 채로도 그대로 성립합니다. 언어모델이 문맥이라는 조건을 깔고 그 위에서 다시 «다음 토큰 중 동물 이름일 확률»처럼 사건을 다룰 수 있는 근거가 이것입니다.
정의의 분모를 넘기면 곱셈 규칙이 나옵니다. 이 글의 나머지가 전부 이 한 줄에서 나옵니다.
전확률 법칙
주변화에 이 곱셈 규칙을 넣으면 주변확률을 조건부만으로 적을 수 있습니다.
이것을 전확률 법칙이라고 합니다. « 가 나올 전체 확률은 각 경우에서 나올 확률을 그 경우의 확률로 가중평균한 것»이라는 뜻입니다. 표에서 로 열 합과 같습니다.
조건부는 대칭이 아닙니다. 인데 입니다. 같은 칸 0.30을 서로 다른 것으로 나누었으니 당연한 일인데, 이 둘을 섞어 읽는 실수가 흔합니다 — «the 다음에 cat이 올 확률»과 «cat 앞에 the가 있었을 확률»은 다른 질문입니다. 두 값을 잇는 다리가 아래의 베이즈 규칙입니다.
전확률 법칙에서 눈여겨볼 것은 가중치 입니다. 각 경우의 조건부가 같아도 가중치가 달라지면 전체 값이 달라집니다. 이 사실이 바로 다음의 기묘한 장면을 만듭니다.
심슨의 역설
두 언어모델 A와 B의 정답률을 비교한다고 합시다. 평가 문제는 쉬운 문제와 어려운 문제로 나뉘는데, 사정이 있어 두 모델이 받은 문제 구성이 다릅니다.
| A 정답 / 문제 | A 정답률 | B 정답 / 문제 | B 정답률 | |
|---|---|---|---|---|
| 쉬운 문제 | 81 / 87 | 93.1% | 234 / 270 | 86.7% |
| 어려운 문제 | 192 / 263 | 73.0% | 55 / 80 | 68.8% |
| 합친 것 | 273 / 350 | 78.0% | 289 / 350 | 82.6% |
쉬운 문제에서도 A가 낫고, 어려운 문제에서도 A가 낫습니다. 그런데 둘을 합치면 B가 낫습니다. 부분마다 성립하던 비교가 합친 표에서 뒤집히는 이 현상을 심슨의 역설이라고 합니다. 계산이 틀린 것은 하나도 없습니다.
전확률 법칙으로 쓰면 원인이 드러납니다. 합친 정답률은 난이도별 정답률을 «그 모델이 받은 문제 중 그 난이도의 비율»로 가중평균한 것입니다.
A의 가중치는 어려운 문제 쪽에 75.1%가 실려 있고 B는 22.9%뿐입니다. A는 정답률이 낮은 칸에 무게가 쏠려 있어 평균이 끌려 내려갔고, B는 정답률이 높은 칸에 무게가 쏠려 끌려 올라갔습니다.
이 일은 아무 때나 생기지 않습니다. 조건이 둘 다 맞아야 합니다. 하나, 두 부분표의 크기 비율이 모델마다 다릅니다(87 : 263과 270 : 80). 둘, 그 갈래 변수가 결과와 얽혀 있습니다 — 난이도가 정답률을 크게 움직입니다. 둘 중 하나라도 빠지면 가중치가 같아지거나 가중치가 달라도 칸끼리 값이 비슷해서 뒤집힐 만큼 끌려가지 않습니다. 벤치마크 점수 하나로 모델을 줄 세울 때 문제 구성이 같은지 먼저 보는 이유가 이것이고, 주변화는 «정보를 버리는» 조작이라 무엇을 버렸는지에 따라 결론까지 바뀔 수 있다는 것이 이 표의 교훈입니다.
독립
독립의 정의
이면, 즉 를 알아도 의 분포가 그대로이면 두 사건이 독립이라고 합니다. 곱셈 규칙에 넣으면 익숙한 모양이 됩니다.
독립은 양쪽에서 동시에 성립합니다. 이면 곱셈 규칙을 거꾸로 써서 도 따라 나오기 때문입니다. « 가 를 알려 주지 않는다»와 « 가 를 알려 주지 않는다»는 같은 말입니다.
위 표는 독립이 아닙니다. 인데 이니 조건이 값을 바꿉니다. 자연어가 독립이 아니라는 것이 언어모델이 존재하는 이유입니다 — 토큰이 서로 독립이었다면 문맥을 볼 필요가 없고, 어휘의 빈도표 하나로 끝났을 것입니다.
조건부독립
세 변수가 있을 때는 독립보다 한 단계 섬세한 말이 필요합니다. 를 알고 난 뒤에 와 가 서로에게 더 알려 주는 것이 없으면, 곧
이면 와 가 를 조건으로 조건부독립이라고 합니다. 앞에서 조건부확률이 온전한 확률이라는 것을 확인했으므로, 이 식은 « 로 잘라 낸 표본공간 위에서의 독립»이라는 뜻 그대로입니다. 같은 말을 로 적을 수도 있습니다 — 가 이미 주어졌다면 를 조건에 더 얹어도 의 분포가 바뀌지 않는다는 뜻입니다.
가장 흔한 모양은 사슬입니다. 가 에 영향을 주고 가 다시 에 영향을 주는 에서, 와 는 를 거쳐 이어져 있으므로 그냥 두면 서로 종속입니다. 하지만 의 값을 알게 되면 가 에 전할 수 있는 것은 이미 다 에 담겨 있어 길이 끊깁니다.
이 말로 연쇄법칙 절에서 다시 만날 마르코프 가정을 미리 정확히 적어 둘 수 있습니다. 바이그램 모델은 «바로 앞 토큰 이 주어지면 그보다 먼 과거 은 와 조건부독립»이라고 가정하는 모델입니다. 그림의 가 먼 과거, 가 바로 앞 토큰, 가 다음 토큰인 셈입니다.
두 독립의 관계
독립과 조건부독립은 어느 쪽도 다른 쪽을 함축하지 않습니다. 이름이 비슷해서 하나가 다른 하나의 특수한 경우처럼 보이지만, 양쪽으로 반례가 있습니다.
조건부독립인데 독립이 아닌 쪽은 방금 본 사슬입니다. 어제 날씨 , 오늘 날씨 , 내일 날씨 를 생각하면, 오늘을 모를 때는 어제가 내일을 꽤 알려 주지만 오늘을 알면 어제는 군더더기가 됩니다.
독립인데 조건부독립이 아닌 쪽도 만들 수 있습니다. 공정한 동전 두 개 와 를 따로 던지고, 두 결과가 같으면 , 다르면 로 둡니다. 와 는 따로 던졌으니 독립이고 입니다. 그런데 을 알고 나면 를 보는 순간 가 정해집니다. 실제로 인데 라 등식이 깨집니다. 원래 무관하던 두 원인이 공통의 결과를 관측하는 순간 서로 얽히는 것입니다. 그래서 «조건을 더 걸면 관계가 단순해진다»는 직관은 틀릴 수 있고, 어느 변수를 조건에 넣을지는 그때그때 따져야 합니다.
베이즈 규칙
사전과 사후
곱셈 규칙은 두 방향으로 쓸 수 있습니다. 는 어느 쪽을 먼저 조건으로 두든 같은 값이므로
이고, 양변을 로 나누면 베이즈 규칙입니다.
네 자리에 각각 이름이 있습니다.
| 자리 | 이름 | 뜻 |
|---|---|---|
| 사전확률 | 관측 전에 에 대해 알던 것 | |
| 가능도 | 가 참이라면 가 나올 법한 정도 | |
| 사후확률 | 를 보고 난 뒤의 | |
| 증거 | 관측이 나올 전체 확률. 정규화 상수 |
사전확률과 사후확률은 같은 에 대한 믿음을 관측 전과 후에 잰 것이고, 그 사이를 가능도가 잇습니다. 표로 확인합니다. cat이 나왔다는 것만 알 때 앞 토큰이 the였을 확률은 얼마일까요.
사전확률 0.60이 관측 하나로 0.714까지 올라갔습니다. cat은 the 쪽에서 더 잘 나오는 토큰이라 증거가 그 방향으로 밀어 준 것입니다.
증거와 정규화
분모는 사실 계산할 필요가 없을 때가 많습니다. 는 분자를 모든 에 대해 더한 값과 같기 때문입니다 — 전확률 법칙 그대로 입니다. 그래서 사후확률을 여러 후보에 대해 비교만 할 때는 분자만 계산하고 마지막에 합으로 나누면 됩니다. 이 «비례식 + 정규화» 패턴은 확산 모델의 역과정처럼 사후분포를 다루는 자리마다 반복해서 나옵니다. softmax가 로짓을 지수로 올린 뒤 합으로 나누는 것도 같은 모양입니다 — 분자만 따로 만들고 정규화는 맨 끝에 한 번 합니다.
분모가 0이면 이 모든 것이 서지 않습니다. 조건부확률의 정의에 이 붙어 있던 것은 장식이 아닙니다. 확률이 0인 사건을 «이미 일어났다»고 두면 잘라 낸 표본공간에 남는 질량이 없어 무엇으로도 1을 만들 수 없습니다. 이것이 실제로 걸리는 자리가 둘 있습니다. 학습 말뭉치에서 횟수를 세어 만드는 -그램 모델은 한 번도 본 적 없는 문맥이 들어오면 분자도 분모도 0이 되어 을 만납니다. 그래서 모든 횟수에 작은 값을 더하는 스무딩을 씁니다. 또 top- 샘플링처럼 후보 밖의 토큰 확률을 정확히 0으로 깎아 낸 뒤에는, 깎인 토큰이 나왔다는 조건 위에서 무엇을 묻는 것 자체가 정의되지 않습니다. softmax가 어떤 토큰에도 정확히 0을 주지 않는 것은 이 자리를 피하는 성질이기도 합니다.
순차 갱신
관측이 여럿이면 베이즈 규칙을 한 번에 쓰지 않고 하나씩 써도 됩니다. 첫 관측으로 얻은 사후확률을 다음 관측의 사전확률로 넘기는 것이고, 이것을 순차 갱신이라고 합니다.
검색 시스템이 문서 하나가 코드 문서인지() 가린다고 합시다. 사전확률은 입니다. 관측은 둘입니다 — 문서에 def가 있다(), import가 있다(). 가능도는 , , , 이고, 두 낱말은 문서의 갈래가 정해지면 서로 조건부독립이라고 둡니다.
을 먼저 보면 분자가 와 라 사후는 입니다. 이 0.75를 사전으로 삼아 를 넣으면 분자가 와 라 사후는 입니다.
순서를 바꿔 를 먼저 보면 분자가 과 이라 중간 사후는 으로 앞의 0.75와 다릅니다. 그런데 이것을 사전으로 을 넣으면 분자가 과 라 사후는 다시 입니다. 둘을 한꺼번에 넣어도 입니다.
중간 값은 달라도 끝 값이 같은 이유는 곱셈의 순서가 결과를 바꾸지 않기 때문입니다. 정규화를 미뤄 두면 어느 순서든 분자는 이고, 중간에 나누는 것은 매번 같은 상수로 다시 맞추는 일일 뿐입니다. 다만 이 깔끔함은 조건부독립 가정 위에 서 있습니다. 두 낱말이 갈래와 상관없이 함께 붙어 다닌다면 자리에 를 써야 하고, 그것을 무시하고 곱하면 같은 증거를 두 번 세어 확신이 부풀려집니다.
연쇄법칙
곱셈 규칙의 반복
이제 자리를 셋으로 늘립니다. 곱셈 규칙을 한 번 쓰면
이고, 남은 에 한 번 더 쓰면
입니다. 자리가 개여도 똑같이 번 반복하면 되고, 결과가 확률의 연쇄법칙입니다.
는 번째보다 앞에 있는 토큰 전부를 뜻하고, 일 때는 조건이 비어 있어 그냥 입니다.
여기에는 가정이 하나도 들어가지 않았습니다. 독립도 마르코프 성질도 쓰지 않았고, 조건부의 정의를 반복했을 뿐입니다. 그래서 이 등식은 어떤 결합분포에서도 참입니다.
분해 순서
자리를 어떤 순서로 늘어놓아도 연쇄법칙은 참입니다. 뒤에서 앞으로 분해해도 됩니다. 두 자리 표로 직접 확인합니다. 앞에서 뒤로 가면 이고, 뒤에서 앞으로 가면 입니다. 같은 칸에 두 길로 도착했습니다.
세 자리도 같습니다. 앞의 문장 the cat sat의 확률이 였다고 하고, 같은 분포를 뒤에서부터 재어 , 을 얻었다면 남은 항은 정해져 있습니다 — 이어야 하고, 곱하면 다시 입니다. 어느 순서로 쪼개든 곱은 같은 결합확률로 돌아옵니다.
등식은 같아도 각 항을 배우기 쉬운 정도는 다릅니다. 사람은 글을 왼쪽에서 오른쪽으로 쓰므로 «여기까지 썼을 때 다음 낱말»이라는 조건은 글이 실제로 만들어진 과정과 맞닿아 있습니다. «뒤의 문장을 다 알 때 맨 앞 낱말»도 수학적으로는 똑같이 정당한 조건이지만, 데이터가 그 방향으로 생겨난 것이 아니라서 모델이 근사하기에는 대개 더 어색합니다. 연쇄법칙은 순서를 고르지 않고, 순서를 고르는 것은 모델링의 몫입니다.
마르코프 가정
가정이 들어가는 것은 그다음 단계입니다. 조건 를 최근 개로 잘라
로 두면 -그램 모델이 되고, 이 자르기를 마르코프 가정이라고 합니다. 독립 절의 말로 하면 «최근 개가 주어지면 그보다 먼 과거는 다음 토큰과 조건부독립»이라는 가정입니다. 여기서 등호가 근사로 바뀝니다 — 연쇄법칙은 등식이고, 근사는 조건을 자를 때 들어옵니다. 트랜스포머가 하는 일은 이 자르기를 되돌려 조건을 문맥 전체로 되돌려놓는 것입니다.
파라미터 수
조건을 자르는 데에는 분명한 이유가 있었습니다. 표로 적으면 칸이 감당할 수 없이 늘어나기 때문입니다. 어휘가 개라고 하고 세어 봅니다.
| 조건 | 표의 행 수 | 자유 파라미터 수 |
|---|---|---|
| 없음(유니그램) | 1 | 49,999 |
| 앞 토큰 하나(바이그램) | 5만 | 약 25억 |
| 앞 토큰 둘(트라이그램) | 25억 | 약 125조 |
| 조건 없이 10토큰 결합분포 | — | 약 |
한 행은 합이 1이어야 하므로 자유롭게 정할 수 있는 칸이 개이고, 행 수는 조건이 될 수 있는 문맥의 가짓수 입니다. 그래서 바이그램은 개, 트라이그램은 개입니다. 조건이 한 토큰 늘 때마다 표가 5만 배씩 커지므로 표로는 앞 몇 토큰을 넘어서 볼 수가 없었습니다.
트랜스포머는 이 표를 만들지 않습니다. 문맥을 입력으로 받아 다음 토큰 분포를 계산하는 함수 하나를 두고, 그 함수의 파라미터를 모든 문맥이 함께 씁니다. 그래서 파라미터 수가 문맥 길이와 함께 지수로 불어나지 않고, 조건을 자르지 않은 채로 연쇄법칙의 항을 근사할 수 있습니다.
자기회귀 분해
문장의 로그가능도
이제 처음 질문에 답할 수 있습니다. 언어모델은 연쇄법칙의 오른쪽 항 하나를 근사하는 함수입니다. 이렇게 결합분포를 앞 자리들에 조건 건 항의 곱으로 쪼개어 한 항씩 모델링하는 방식을 자기회귀 분해라고 합니다.
그리고 문장 전체의 확률은 그 항들을 곱한 것 — 연쇄법칙이 그렇게 하라고 말해 주었습니다. 지난 글의 결론을 여기에 붙이면 곱은 합이 됩니다.
이 합이 로그가능도이고, 부호를 뒤집어 토큰 수로 나눈 것이 언어모델의 학습 손실입니다. 모델이 토큰 하나짜리 분포만 내놓아도 문장 확률을 말할 수 있는 근거가 전부 여기에 있습니다.
세 토큰으로 한 번 세어 봅시다. 모델이 순전파 세 번에서 이런 값을 내놓았다고 하면
문장의 확률은 입니다. 세 번의 순전파에서 각각 한 항씩 받아 곱한 것이고, 그 이상은 아무것도 하지 않았습니다.
여기서 한 가지가 눈에 띕니다. 항이 전부 1 이하라 문장이 길어질수록 확률은 반드시 작아집니다. 긴 문장이 짧은 문장보다 «덜 그럴듯한» 것이 아니라, 자리가 많으면 그만큼 곱이 늘어나기 때문입니다. 그래서 길이가 다른 후보를 비교할 때는 로그가능도를 토큰 수로 나눈 «토큰당 평균»을 씁니다. 빔서치의 길이 정규화가 그것이고, 이 평균값을 다루는 지표는 「중급 26번 · 엔트로피와 퍼플렉서티」가 맡습니다.
import numpy as np
# 문장 하나의 로그가능도 — 연쇄법칙의 항을 그대로 더한다
logprobs = np.array([-0.11, -2.31, -0.02, -1.20, -3.50])
print(logprobs.sum()) # -7.14
print(np.exp(logprobs.sum())) # 0.000793
인과 마스크와 생성
두 가지가 따라옵니다. 하나, 인과 마스크는 선택이 아니라 필수입니다. 번째 항은 만 조건으로 받아야 합니다. 어텐션이 뒤쪽 토큰을 보게 두면 가 아니라 다른 값을 계산하는 것이고, 곱해 봐야 문장의 확률이 되지 않습니다. 트랜스포머 디코더의 삼각 마스크는 연쇄법칙의 조건 부분을 코드로 옮긴 것입니다.
둘, 생성은 이 분해를 왼쪽부터 채우는 일입니다. 을 뽑고, 그것을 조건에 넣어 를 뽑고, 반복합니다. 매 단계에서 뽑는 대상이 정확히 연쇄법칙의 한 항입니다. 학습은 이미 있는 문장에서 모든 항을 한 번에 채점하고, 생성은 같은 항을 하나씩 뽑아 채웁니다. 같은 식을 양쪽 방향에서 쓰는 셈이고, 학습 때 마스크로 미래를 가려 두었기 때문에 생성 때 미래가 없어도 모델이 당황하지 않습니다.
마스크드 언어모델
모든 언어모델이 이 분해를 하는 것은 아닙니다. 문장 중간의 토큰 몇 개를 가리고 양쪽 문맥을 다 보며 가린 자리를 맞히도록 학습한 모델을 마스크드 언어모델이라고 합니다. 이 모델이 내놓는 것은 가 아니라 « 를 뺀 나머지 전부가 주어질 때»의 입니다.
이 항들은 아무리 곱해도 문장의 확률이 되지 않습니다. 연쇄법칙의 각 항은 조건이 한 자리씩 늘어나며 서로 겹치지 않게 맞물려야 곱이 결합확률로 돌아오는데, 마스크드 모델의 항은 조건이 전부 «나머지 전체»라 같은 정보를 여러 번 세게 됩니다. 실제로 가능한 모든 문장에 대해 그 곱을 더하면 1이 되지 않습니다. 그래서 이 곱의 로그는 의사 로그가능도라는 따로 이름 붙은 점수로만 쓰고, 확률로 읽지 않습니다.
여기서 실무의 함정이 하나 생깁니다. 자기회귀 모델의 로그가능도와 마스크드 모델의 의사 로그가능도는 이름도 단위도 비슷해 보이지만 같은 잣대가 아니라서, 두 모델의 «문장 점수»를 나란히 놓고 어느 쪽이 그 문장을 더 잘 안다고 비교할 수 없습니다. 비교는 같은 분해를 하는 모델끼리, 같은 토크나이저 위에서만 의미가 있습니다.
생성 순서의 변형
반대로 왼쪽에서 오른쪽이 아닌 순서로 생성하는 모델은 여전히 연쇄법칙 위에 있습니다. 문장을 오른쪽에서 왼쪽으로 생성하는 모델도, 자리의 순서를 무작위로 섞어 놓고 그 순서대로 하나씩 채우는 모델도, 각 단계에서 «지금까지 채운 자리들을 조건으로 다음 자리 하나»를 예측하는 한 분해 순서만 다른 연쇄법칙입니다. 분해 순서 절에서 본 대로 순서가 바뀌어도 등식은 그대로이므로, 이런 모델의 곱도 제대로 된 문장 확률입니다. 가르는 기준은 순서가 아니라 조건이 겹치지 않고 한 자리씩 늘어나는가입니다.
정리
- 확률의 공리는 셋뿐이다 — 음수 없음, 전체가 1, 배반이면 덧셈. 여사건·합집합 규칙을 포함한 나머지는 전부 여기서 나오고, 조건부확률도 이 셋을 다시 만족하는 온전한 확률이다.
- 조건을 건다는 것은 표본공간을 자른 뒤 다시 1로 정규화하는 일이다. 분모가 0이면 이 정규화가 불가능해 조건부가 정의되지 않는다.
- 주변화는 신경 쓰지 않는 변수를 더해서 지우는 것이다. 무엇을 지웠는지에 따라 가중치가 달라져, 심슨의 역설처럼 부분마다의 결론이 합친 표에서 뒤집힐 수 있다.
- 독립과 조건부독립은 서로를 함축하지 않는다. 사슬은 조건을 걸면 끊기고, 공통의 결과는 조건을 걸면 오히려 두 원인을 잇는다.
- 베이즈 규칙은 곱셈 규칙을 두 방향으로 쓴 것이다. 사후를 다음 사전으로 넘기는 순차 갱신은 조건부독립 아래서 관측 순서와 무관하게 같은 답을 낸다.
- 연쇄법칙에는 가정이 없다. 조건부의 정의를 번 반복한 항등식이라 어떤 분포, 어떤 분해 순서에서도 성립하고, 근사는 마르코프 가정으로 조건을 자를 때 들어온다.
- 자기회귀 분해가 그 연쇄법칙 자체다. 모델은 항 하나를 근사하고, 인과 마스크가 조건 부분을 지키고, 로그를 씌우면 합이 되어 손실이 된다. 마스크드 언어모델은 이 분해를 하지 않아 그 점수를 확률로 읽을 수 없다.
언어모델이 내놓는 5만 칸짜리 벡터 하나에서 시작해 문장 전체의 확률까지 왔습니다. 그런데 아직 «확률이 붙은 결과»만 다루었을 뿐, 그 결과에 수를 붙여 평균을 내는 일은 하지 않았습니다. 다음 글은 확률변수와 기댓값을 세워 «손실은 데이터 분포 위의 기댓값»이라는 문장을 실제로 계산할 수 있게 만듭니다.
읽어주셔서 감사합니다. 😊

