논문에 적힌 학습 목표는 거의 언제나 이 모양입니다.
그런데 코드에서 같은 자리를 찾아가면 loss.mean() 한 줄입니다. 드롭아웃도 마찬가지입니다 — 구현은 마스크를 곱하고 로 나누는 두 줄인데, 왜 하필 그 수로 나누는지는 코드에 안 적혀 있습니다.
라는 기호와 .mean() 사이에 무엇이 있는가 — 이 글이 그 사이를 채웁니다. 지난 글에서 사건에 확률을 붙이는 데까지 왔으니, 이제 결과에 수를 붙이고 그 수의 평균을 낼 차례입니다. 끝에 가서는 같은 .mean()이라도 배치 크기를 바꾸면 값이 통째로 달라지는 손실이 있다는 것까지 봅니다.
확률변수의 정의
결과에 수를 붙이는 함수
표본공간의 결과는 꼭 수가 아닙니다. 토큰 cat, 뉴런이 «살아남음», 동전의 앞면은 전부 수가 아닙니다. 평균을 내려면 먼저 수여야 합니다.
정의. 확률변수는 표본공간의 각 결과에 실수 하나를 붙이는 함수 이다.
이름이 «변수»지만 실제로는 함수입니다. 확률변수 자체에는 무작위성이 없고, 무작위한 것은 어떤 결과가 뽑히느냐입니다. 뽑힌 결과에 붙는 수는 그때 결정됩니다. 같은 표본공간 위에도 함수는 얼마든지 세울 수 있습니다 — 토큰을 뽑는 실험 하나에서 «뽑힌 토큰의 번호», «그 토큰이 정답이면 1», «그 토큰의 글자 수»가 전부 서로 다른 확률변수입니다.
같은 표기는 « 가 1이라는 값을 갖는 결과들의 집합», 즉 사건을 가리키는 줄임말입니다. 그래서 이 말이 됩니다 — 지난 글에서 사건에 확률을 붙였고, 여기서는 그 사건을 로 지목했을 뿐입니다.
지시확률변수
가장 작은 확률변수는 값이 0과 1 둘뿐인 것입니다. 사건 하나를 정해 두고, 결과가 에 들면 1, 아니면 0을 붙이는 함수를 의 지시확률변수라 하고 로 적습니다.
«이 답이 정답인가», «이 뉴런이 살았는가», «이 토큰이 cat인가» 같은 예·아니오 질문이 전부 지시확률변수입니다. 그리고 이 함수가 1이 될 확률은 정의에 따라 그대로입니다.
이것이 쓸모 있는 이유는 확률과 평균을 한 언어로 묶기 때문입니다. 지시확률변수의 평균을 내면 사건이 일어난 비율이 나오고, 그 비율이 곧 확률입니다. 아래 기댓값 절에서 이것을 한 줄로 적게 되는데, 그 한 줄 덕분에 «확률을 구하라»는 문제를 «평균을 구하라»는 문제로 바꿔 풀 수 있습니다. 정확도가 좋은 예입니다 — 문제마다 «맞혔으면 1»을 붙여 평균 낸 값이 정확도이고, 그것은 «맞힐 확률»의 추정입니다.
결합분포
확률변수 여럿은 따로 사는 것이 아니라 한 표본공간 위에 함께 서 있습니다. 결과 하나가 뽑히면 그 결과에 붙은 의 값과 의 값이 동시에 정해집니다. 그래서 « 이고 » 라는 사건에 확률을 붙일 수 있고, 그 확률을 모든 짝에 대해 적은 것이 와 의 결합분포 입니다.
주사위 하나로 확인합니다. 는 «짝수면 1», 는 «4 이상이면 1»입니다. 두 함수가 같은 여섯 결과 위에 서 있으니, 결과마다 값의 짝을 읽어 세면 됩니다.
| (1·2·3) | (4·5·6) | 주변 | |
|---|---|---|---|
| (1·3·5) | 2/6 (1, 3) | 1/6 (5) | 3/6 |
| (2·4·6) | 1/6 (2) | 2/6 (4, 6) | 3/6 |
| 주변 | 3/6 | 3/6 | 1 |
표의 가장자리가 지난 글의 주변화입니다 — 줄을 따라 더하면 만의 분포, 칸을 따라 더하면 만의 분포가 나옵니다. 거꾸로는 안 됩니다. 가장자리 두 줄만으로는 안쪽 네 칸을 되살릴 수 없습니다. 인데 실제 은 이라, 이 둘은 독립이 아닙니다. 이 표는 아래에서 덧셈과 곱셈의 기댓값을 가를 때 다시 씁니다.
pmf·pdf·cdf
pmf와 pdf
값이 셀 수 있게 떨어져 있으면 이산확률변수이고, 값마다 확률을 적은 함수를 확률질량함수(pmf)라고 합니다.
값이 연속이면 사정이 달라집니다. 실수 하나가 정확히 나올 확률은 0이므로 — 후보가 무한히 많아 각각에 양수를 주면 합이 발산합니다 — 점이 아니라 구간에 확률을 줍니다. 그 역할을 하는 것이 확률밀도함수(pdf)입니다.
여기서 자주 걸리는 자리가 하나 있습니다. 밀도는 1을 넘어도 됩니다. 확률인 것은 높이가 아니라 넓이이기 때문입니다. 위에 고르게 퍼진 분포라면 밀도가 여야 넓이 이 됩니다.
| pmf | ||
|---|---|---|
| 값의 성질 | 떨어져 있음 | 이어져 있음 |
| 또는 | 그 값이 나올 확률 | 확률이 아니다. 넓이의 밀도 |
| 1을 넘을 수 있나 | 아니오 | 예 |
| 전체를 1로 만드는 것 | 합 | 적분 |
누적분포함수
둘을 한 언어로 묶는 것이 누적분포함수(cdf)입니다.
이산이든 연속이든 정의가 같고, 0에서 1까지 결코 내려가지 않으며 올라갑니다. 이산이면 계단 모양이고 연속이면 매끄러운 곡선이지만, 「이 값 이하가 나올 확률」이라는 뜻은 하나입니다. 계단의 한 칸 높이가 그 자리의 pmf 막대이고, 곡선의 기울기가 그 자리의 pdf입니다. 「중급 25번 · 범주분포에서 뽑기」의 역변환 표집이 이 함수의 역함수를 쓰는 방법입니다.
연속에서 한 가지가 따라옵니다. 이므로 부등호에 등호가 붙든 말든 값이 같습니다 — 입니다. 이산에서는 그 자리에 막대 하나만큼의 차이가 생기므로 같지 않습니다.
혼합 분포
pmf와 pdf로 세상의 확률변수가 다 갈리면 좋겠지만, 신경망 안에서 매일 만나는 값 하나가 어느 쪽에도 안 들어갑니다. ReLU의 출력입니다.
ReLU 앞의 값 가 표준정규분포를 따른다고 합시다. 출력은 입니다. 가 음수인 절반의 경우가 전부 정확히 0으로 접히므로 입니다. 한 점에 양수 확률이 붙었으니 연속확률변수가 아닙니다. 그런데 양수 쪽은 의 곡선을 그대로 물려받아 이어져 있으니 이산확률변수도 아닙니다. 이렇게 확률 덩어리가 놓인 점과 밀도로 퍼진 구간이 한 분포 안에 섞인 것을 혼합 분포라고 부릅니다.
pmf로도 pdf로도 이 분포를 한 함수로 적을 수 없습니다. cdf는 됩니다.
여기서 는 표준정규분포의 cdf입니다. 가 0 바로 아래일 때는 0이다가 0에서 갑자기 가 됩니다 — 0에 놓인 확률 덩어리 0.5가 cdf에서는 높이 0.5짜리 수직 점프 하나로 보입니다. 그 뒤로는 매끄럽게 올라가 , 입니다. 점프의 높이가 그 점의 확률이고 매끄러운 구간의 기울기가 밀도라는, 앞 소절의 두 읽기가 한 그래프에 함께 있습니다.
이것은 신기한 예외가 아닙니다. ReLU를 쓰는 층의 활성값은 거의 언제나 0에 덩어리가 있고, 그래서 «활성값의 절반이 0»이라는 관찰이 «희소하다»는 말로 이어집니다. 양자화에서 0을 정확히 표현할 수 있게 격자를 잡는 이유도 같은 자리에 확률이 몰려 있기 때문입니다.
중앙값과 분위수
cdf를 세로축에서 거꾸로 읽으면 또 하나의 요약값이 나옵니다. 가 되는 가 중앙값이고, 일반적으로 가 되는 를 분위수라 하며 로 적습니다. 점프가 있으면 정확히 가 되는 자리가 없을 수 있어서, 「 가 처음 되는 」로 정의합니다.
ReLU 출력에서 읽어 봅니다. 0에서 cdf가 이미 0.5에 닿으므로 중앙값은 0입니다. 0.75 분위수는 , 0.9 분위수는 입니다. 0.3 분위수는 어떨까요 — 이 처음 되는 곳이 역시 점프 자리라 0입니다. 확률 0과 0.5 사이의 분위수가 전부 한 점 0에 몰립니다. 덩어리가 있는 자리에서는 분위수 여럿이 한 값으로 겹친다는 것이 혼합 분포를 cdf로 읽을 때의 특징입니다.
그런데 이 분포의 «평균»은 0이 아닙니다. 아래 기댓값 절에서 계산하면 0.399가 나옵니다. 절반이 0이라 가운데 값은 0인데, 양수 쪽 꼬리가 무게를 오른쪽으로 끌어 평균은 0보다 큽니다. 기댓값과 중앙값이 갈라지는 것은 분포가 한쪽으로 쏠렸다는 신호이고, 지연 시간이나 토큰 길이처럼 꼬리가 긴 값을 보고할 때 평균과 p50을 함께 적는 이유가 이것입니다.
베르누이·범주형·이항
이 글에서 필요한 이산분포는 셋뿐이고, 셋 다 AI 코드에 이름 없이 들어 있습니다.
베르누이 분포
값이 0 또는 1 하나인 분포가 베르누이 분포입니다. , 이고, 앞 절의 지시확률변수는 전부 이 분포를 따릅니다 — 사건 의 지시확률변수는 인 베르누이입니다.
드롭아웃 마스크가 정확히 이것입니다. 뉴런마다 베르누이 확률변수를 하나씩 뽑아 1이면 살리고 0이면 죽입니다. 드롭아웃 비율을 라 하면 살아남을 확률은 입니다.
범주형 분포
값이 개 중 하나이고 각각에 확률 가 붙는 분포가 범주형 분포입니다. 합이 1이어야 합니다.
softmax의 출력이 이 분포의 파라미터이고, 토큰을 뽑는다는 것은 어휘 크기 짜리 범주형 분포에서 한 번 뽑는 것입니다. 이면 베르누이가 됩니다. 범주형의 값은 「몇 번째 범주인가」라는 이름표라서, 번호 자체의 평균은 대개 뜻이 없습니다 — 토큰 번호 512와 513을 평균 내도 아무것도 안 나옵니다. 뜻이 생기는 것은 범주마다 지시확률변수를 세워 «이 범주인가»를 0과 1로 바꿨을 때이고, 원-핫 벡터가 바로 그 지시확률변수 개를 나란히 적은 것입니다.
이항 분포
같은 베르누이를 서로 독립으로 번 반복해 1이 나온 횟수를 센 것이 이항 분포입니다.
는 자리 중 1이 놓일 자리를 고르는 경우의 수이고, 뒤의 곱은 그중 한 배치가 나올 확률입니다 — 독립이라 곱셈 규칙을 번 쓸 수 있습니다.
벤치마크 문제 10개를 정답률 0.3인 모델에 냈을 때 맞힌 개수가 이 분포를 따릅니다. 값을 몇 개 계산해 보면
입니다. 3개를 맞히는 것이 가장 흔하지만 그 확률조차 0.267뿐이고, 같은 모델로 같은 문제를 다시 풀려도 2개나 5개가 나오는 일이 흔합니다. 평가 점수가 실행마다 흔들리는 이유의 절반이 여기에 있습니다.
셋의 관계를 정리하면 뿌리가 하나입니다. 베르누이는 인 범주형이고, 이항은 베르누이를 독립으로 번 반복해 센 것입니다. 지시확률변수의 말로 바꾸면 이항은 « 번째 문제를 맞혔으면 1»인 지시확률변수 개의 합입니다 — 이 한 줄이 다음 절에서 이항의 기댓값을 두 줄에 얻게 해 줍니다.
기댓값과 선형성
기댓값의 정의
정의. 이산확률변수의 기댓값은 이고, 연속이면 합이 적분이 된다:
«값 × 그 값이 나올 확률»을 전부 더한 것입니다. 앞의 이항분포에서 계산해 봅니다.
기댓값은 실제로 나올 수 있는 값일 필요가 없습니다 — 문제 10개 중 3.5개를 맞힐 수는 없지만 이면 기댓값은 3.5입니다. 물리적으로 보면 기댓값은 무게중심입니다. pmf의 막대를 무게로 보고 막대그래프를 자로 떠받칠 때 균형이 잡히는 자리입니다.
지시확률변수에 정의를 쓰면 앞에서 미뤄 둔 한 줄이 나옵니다.
혼합 분포도 같은 정의로 계산합니다. 덩어리 쪽은 합으로, 퍼진 쪽은 적분으로 나눠 더하면 됩니다. ReLU 출력이라면 0에 놓인 덩어리는 값이 0이라 기여가 없고, 양수 쪽만 남습니다.
는 표준정규분포의 pdf입니다. 중앙값 0과 기댓값 0.399가 갈리는 것을 이렇게 확인합니다. 반면 앞의 이항분포는 cdf가 , 이라 중앙값이 3이고 기댓값도 3이라 둘이 겹칩니다. 쏠림이 작은 분포에서는 둘이 붙어 있고 쏠린 분포에서는 떨어집니다.
선형성
이 두 성질을 묶어 기댓값의 선형성이라 부릅니다. 두 번째 식에 독립 조건이 없다는 점이 중요합니다. 와 가 아무리 얽혀 있어도 기댓값은 그냥 더해집니다. 증명은 정의를 펴는 것이 전부입니다 — 결합분포 위에서 를 두 덩어리로 갈라 각각 주변화하면 가 됩니다.
이 성질로 이항의 기댓값을 다시 구합니다. 이고 각 지시확률변수의 기댓값이 이므로
두 줄입니다. 정공법으로 를 직접 계산하려면 이라는 항등식으로 를 앞으로 빼낸 뒤, 남은 합이 회짜리 이항분포의 확률 합이라 1이라는 것을 알아봐야 합니다. 같은 답이지만 지시확률변수로 쪼개면 그 계산이 통째로 사라집니다. 여기서는 입니다.
드롭아웃의 도 선형성이 설명합니다. 뉴런의 출력이 이고 마스크 이 확률 로 1이라면, 그냥 곱한 출력의 기댓값은 라서 학습 때만 신호가 배로 줄어듭니다. 추론에서는 마스크를 안 쓰니 스케일이 어긋나죠. 그래서 학습 때 로 나눠 둡니다.
기댓값을 보존하려고 나누는 것이고, 이것이 인버티드 드롭아웃이라는 이름의 뜻입니다.
층 전체로 넓히면 «독립이 필요 없다»가 실제로 일을 합니다. 뉴런 1000개짜리 층에서 살아남는 개수는 지시확률변수 1000개의 합이고, 면 기댓값이 900입니다. 마스크를 뉴런마다 따로 뽑지 않고 «정확히 900개를 무작위로 골라 살린다»로 바꿔 봅시다. 이제 마스크끼리 독립이 아닙니다 — 한 뉴런이 살면 나머지 999개 중 살 수 있는 자리가 하나 줄어듭니다. 그래도 뉴런 하나가 살 확률은 그대로이고, 선형성에는 그것만 필요하므로 기댓값은 여전히 입니다.
import numpy as np
rng = np.random.default_rng(0)
n, keep, trials = 1000, 900, 2000
indep = rng.random((trials, n)) < 0.9 # 뉴런마다 따로 뽑는 마스크
fixed = np.zeros((trials, n), dtype=bool) # 정확히 900개만 살리는 마스크
for t in range(trials):
fixed[t, rng.choice(n, keep, replace=False)] = True
for name, m in [("독립", indep), ("정확히 900", fixed)]:
alive = m.sum(axis=1)
print(name, round(float(m[:, 0].mean()), 3), round(float(alive.mean()), 1), alive.min(), alive.max())
# 독립 0.892 899.9 867 931
# 정확히 900 0.895 900.0 900 900
첫 열은 0번 뉴런이 살아남은 비율이고 둘 다 0.9 근처, 살아남은 개수의 평균도 둘 다 900입니다. 다른 것은 마지막 두 열, 곧 개수가 흩어진 폭입니다. 독립이면 867에서 931까지 흔들리고 고정이면 늘 900입니다. 평균은 독립과 무관하고 흩어짐은 독립에 기댄다는 것을 이 두 줄이 보여 주는데, 흩어짐을 재는 일은 다음 글의 것입니다.
곱의 기댓값
덧셈과 달리 곱은 그냥 갈라지지 않습니다. 와 가 독립일 때만
가 성립합니다. 반례는 가장 극단적인 의존, 곧 에서 바로 나옵니다. 가 인 베르누이면 라 인데 입니다. 두 배나 차이가 납니다.
왜 덧셈에는 독립이 필요 없고 곱에는 필요한지는 결합분포를 펴 보면 갈립니다. 덧셈은 에서 항과 항이 따로 떨어지므로, 각 덩어리를 주변화하면 끝납니다. 결합분포의 안쪽 칸이 어떻게 생겼든 가장자리만 쓰입니다. 곱은 라서 와 가 한 항 안에 묶여 있고, 이것이 로 갈라지려면 여야 합니다. 그것이 독립의 정의입니다. 덧셈은 가장자리만 보고 곱은 안쪽 칸을 봅니다.
앞의 주사위 표로 확인합니다. 는 둘 다 1일 때만 1이므로 입니다. 와 다릅니다. 같은 표에서 덧셈은 로 와 정확히 맞습니다.
전체기댓값 법칙
데이터가 여러 갈래로 나뉘어 있을 때가 많습니다. 갈래마다 따로 평균을 내고 그것을 다시 평균 내도 되는지가 이 소절의 질문입니다.
라는 조건 아래에서 의 조건부 분포로 낸 평균을 조건부 기댓값 라 합니다. 마다 수가 하나씩 나오므로 는 의 함수, 곧 또 하나의 확률변수입니다. 그 확률변수의 기댓값이 원래 기댓값과 같다는 것이 전체기댓값 법칙입니다.
증명은 조건부 확률의 정의 를 대입해 로 주변화하는 것뿐입니다. 주사위로 보면 일 때(4·5·6) 짝수는 둘이라 , 일 때(1·2·3) 하나라 이고, 가 와 맞습니다.
학습에서 이 법칙이 쓰이는 자리는 배치를 갈래별로 묶을 때입니다. 학습 데이터가 코드 70%와 대화 30%로 되어 있고, 데이터 로더가 길이와 형식을 맞추려고 한 배치를 한 갈래로만 채운다고 합시다. 코드 배치의 평균 손실이 1.2, 대화 배치가 2.0이면 전체 손실은
입니다. 배치를 비율대로 뽑아 배치 손실을 쭉 평균 내면 이 값에 다가가는데, 전체기댓값 법칙이 그것을 보장합니다. 대신 가중치가 반드시 그 갈래의 확률이어야 합니다. 두 갈래의 평균을 그냥 산술평균한 은 다른 값입니다 — 갈래별로 따로 잰 평가 점수를 단순 평균한 것이 전체 점수가 아닌 이유가 이것입니다.
LOTUS
변환된 값의 기댓값
의 기댓값이 아니라 의 기댓값이 필요할 때가 훨씬 많습니다. 손실이 그렇습니다 — 뽑는 것은 데이터이고 평균 내는 것은 그 데이터의 손실값입니다.
의 분포를 새로 구한 뒤 정의를 쓰는 것이 정공법인데, 그럴 필요가 없습니다.
의 분포를 그대로 두고 값만 로 바꿔 넣으면 됩니다. 이 결과를 LOTUS(law of the unconscious statistician)라고 부릅니다 — «무의식적 통계학자의 법칙»이라는 이름은 이 계산이 너무 자연스러워서 정당화 없이 쓰게 된다는 뜻입니다. 앞에서 ReLU 출력의 기댓값을 구할 때도 사실 이것을 썼습니다. 의 혼합 분포를 거치지 않고 로 바로 적분해도 같은 0.399가 나옵니다.
작은 예로 확인합니다. 가 1, 2, 3을 각각 0.5, 0.3, 0.2로 가질 때
의 분포를 따로 만들지 않았습니다. 그리고 입니다 — 선형성은 가 일차식일 때만 기댓값 밖으로 빠져나옵니다. 이 두 값의 차이가 다음 글의 주제인 분산입니다.
θ에 기대는 분포
학습은 기댓값을 파라미터로 미분합니다. 이때 가 어디에 들어 있느냐가 갈림길입니다.
지도학습의 손실 에서 는 쪽, 곧 손실 함수 안에만 있습니다. 데이터 분포 는 와 무관합니다. 그러면 LOTUS의 합에서 가중치 는 상수이고, 미분이 합 안으로 들어가 이 됩니다. 기댓값과 미분의 순서를 바꿔도 되는 것입니다.
강화학습은 다릅니다. 모델이 확률 로 정답 토큰을 뽑고 정답이면 보상 1을 받는다고 합시다. 뽑힌 값을 라 하면 목표는 이고, 이번에는 가 분포 쪽에 있습니다. 답은 쉽게 나옵니다 — 이니 기울기는 1입니다. 그런데 앞의 습관대로 미분을 안으로 넣으면 에는 가 없으므로 이 됩니다. 틀린 답입니다.
LOTUS로 펴 보면 이유가 보입니다.
미분이 걸려야 하는 곳은 이 아니라 가중치 였습니다. 그런데 는 더 이상 «어떤 분포 위의 평균» 꼴이 아니라서 표본을 뽑아 평균 내는 방식으로 추정할 수가 없습니다. 어휘가 수만 개이고 문장이 길어지면 합을 직접 계산하는 것도 불가능합니다.
정책 그래디언트와 재매개변수화
이 막힘을 푸는 길이 둘이고, 둘 다 「미분을 기댓값 안으로 넣을 수 있는 꼴」을 되찾는 방법입니다.
- 라는 항등식으로 가중치를 다시 세워 로 쓴다. 이제 다시 분포 위의 평균이라 표본으로 추정할 수 있다. 이 길이 정책 그래디언트이고, 위 예에서 은 에 를 곱해 가중치 로 평균 내므로 정확히 1이 나온다. 자세한 것은 중급 53번 · 로그 미분 트릭이 다룬다.
- 무작위성을 와 무관한 잡음으로 옮긴다. 을 , 로 다시 쓰면 기댓값은 의 고정된 분포 위에서 잡히고 는 쪽으로 들어간다. 이 길이 재매개변수화다. 이면 이라 기울기는 이고, 안으로 넣은 가 그것과 맞는다. 중급 59번 · 재매개변수화 트릭과 폐형 forward 과정이 이어받는다.
LOTUS 자체는 두 경우 모두 맞습니다. 다른 것은 가 합의 가중치에 있는지 더해지는 값에 있는지 하나이고, 그 차이 하나가 RLHF와 확산 모델의 수학이 따로 서는 출발점입니다.
젠센 부등식
가 일차식이 아니면 와 가 다르다는 것을 봤습니다. 다르기만 한 것이 아니라 어느 쪽이 큰지가 의 모양으로 정해지는 경우가 있습니다.
그래프 위 아무 두 점을 이어도 그 선분이 그래프보다 아래로 내려가지 않는 함수를 볼록함수라 합니다. , , 가 그렇습니다. 볼록함수에 대해서는 언제나
이고 이것을 젠센 부등식이라 부릅니다. 앞의 예가 그대로 확인입니다 — . 그림으로 보면 이유가 보입니다. 의 평균점은 그래프 위 세 점 를 확률로 가중한 무게중심이라 세 점이 이루는 삼각형 안에 있고, 그 삼각형은 볼록한 곡선의 위쪽에 놓입니다. 같은 에서 곡선 위의 값 2.89보다 평균점 3.5가 높습니다.
AI에서 이 부등식이 바로 걸리는 자리가 퍼플렉서티입니다. 문장 두 개의 평균 음의 로그우도가 각각 1과 3이라면, 말뭉치 전체의 퍼플렉서티는 평균 손실 2를 지수로 올린 입니다. 문장마다 퍼플렉서티를 구해 평균 내면 입니다. 가 볼록이라 뒤쪽이 늘 크고, 두 방식으로 잰 숫자를 한 표에 섞으면 비교가 무너집니다. 볼록함수의 반대인 오목함수 에서는 방향이 뒤집혀 이고, 이것이 ELBO가 하한이 되는 이유입니다. 부등식 자체는 중급 29번 · 젠센 부등식이 따로 세웁니다.
손실과 불편추정량
표본평균
이제 처음의 식을 읽을 수 있습니다.
두 번째 등호가 LOTUS입니다. 뽑는 것은 데이터 분포 에서의 이고, 평균 내는 값은 그 의 손실 입니다.
문제는 를 모른다는 것입니다. 우리에게 있는 것은 그 분포에서 뽑힌 표본 개뿐이고, 그래서 합을 표본평균으로 대신합니다.
이것이 loss.mean()입니다. 미니배치 손실은 진짜 손실이 아니라 진짜 손실의 추정값이고, 배치를 다시 뽑으면 다른 값이 나옵니다.
import numpy as np
rng = np.random.default_rng(0)
# 진짜 손실이 1.8인 분포에서 배치 32개를 세 번 뽑아 본다
true_mean = 1.8
for _ in range(3):
batch = rng.exponential(true_mean, size=32)
print(round(float(batch.mean()), 3))
# 2.079
# 1.633
# 2.626
세 값이 모두 다르고 셋 다 1.8이 아닙니다.
불편추정량
그런데도 이 추정값을 써도 되는 근거가 선형성입니다. 표본 를 각각 에서 뽑았다면 하나하나의 기댓값이 전부 이므로
입니다. 한 번 한 번은 빗나가도 평균적으로는 맞는 값을 내놓는다는 뜻이고, 이렇게 기댓값이 추정하려는 참값과 같은 추정량을 불편추정량이라고 합니다. 여기서도 끼리의 독립은 쓰지 않았습니다 — 선형성만으로 충분합니다. 그리고 배치 크기 이 식에서 깨끗이 지워졌다는 것도 눈여겨볼 만합니다. 배치를 32로 뽑든 1024로 뽑든 기댓값은 같은 이고, 달라지는 것은 흔들림의 폭뿐입니다.
같은 계산이 그래디언트에도 그대로 적용됩니다. 앞 절에서 본 대로 가 와 무관하니 미분이 기댓값 안으로 들어가고, 배치 그래디언트의 기댓값이 진짜 그래디언트입니다. 확률적 경사하강법이 «틀린 방향으로 가는데도 도착하는» 이유가 이 한 줄입니다.
대조학습 손실
모든 미니배치 손실이 불편추정량인 것은 아닙니다. 위의 계산이 성립한 것은 가 표본 하나만 보고 정해졌기 때문입니다. 손실 항 하나가 배치 안의 다른 표본까지 들여다보면 그 전제가 무너집니다.
대조학습은 짝지어진 두 표본(같은 이미지의 두 변형, 이미지와 그 캡션)의 임베딩은 가깝게, 짝이 아닌 것은 멀게 배우는 방법입니다. 그 대표 손실인 InfoNCE는 배치 안의 짝 마다 이렇게 정의됩니다.
는 번째 표본과 번째 짝의 유사도이고 는 온도입니다. 분자는 제 짝 하나이고 분모는 배치 안의 짝 개 전부라서, 나머지 개는 «짝이 아닌 것», 곧 음성 표본 노릇을 합니다. 범주형 분포로 읽으면 « 개 후보 중 제 짝을 고를 확률»의 음의 로그입니다.
이 손실의 기댓값은 에 기댑니다. 가장 쉬운 경우로, 학습 초기에 모든 유사도가 같다면 각 후보의 확률이 이라 입니다. 면 3.47, 이면 5.55, 면 6.93입니다. 모델이 아무것도 안 배운 상태인데 배치 크기만 바꿔도 손실이 두 배로 달라집니다. 같은 임베딩 품질로 배치 크기만 바꿔 직접 재 봅니다.
import numpy as np
rng = np.random.default_rng(0)
def info_nce(n, d=64, noise=1.5, tau=0.1):
a = rng.normal(size=(n, d))
b = a + noise * rng.normal(size=(n, d)) # 짝끼리는 비슷한 임베딩
a /= np.linalg.norm(a, axis=1, keepdims=True)
b /= np.linalg.norm(b, axis=1, keepdims=True)
s = a @ b.T / tau # 배치 안 모든 쌍의 유사도
log_p = np.diag(s) - np.log(np.exp(s).sum(axis=1))
return -log_p.mean()
for n in [32, 256, 1024]:
loss = np.mean([info_nce(n) for _ in range(20)])
print(n, round(float(loss), 2), round(float(np.log(n)), 2))
# 32 0.31 3.47
# 256 1.24 5.55
# 1024 2.32 6.93
짝을 만드는 잡음의 크기, 곧 «모델이 얼마나 잘 배웠는가»는 세 줄 모두 같습니다. 그런데 손실의 평균은 0.31에서 2.32로 일곱 배 넘게 커집니다. 후보가 많아질수록 우연히 제 짝만큼 가까운 남이 섞일 기회가 늘기 때문입니다. 이 손실은 배치 크기와 무관한 어떤 참값의 불편추정량이 아니라, 배치 크기마다 다른 값을 겨누는 추정량입니다.
배치 크기와 손실
그래서 이런 손실은 배치 크기가 다른 실행끼리 숫자를 나란히 놓고 비교할 수 없습니다. 배치 32로 학습한 실행의 손실이 2.5이고 배치 256으로 학습한 실행이 3.0이라고 해서 앞쪽이 낫다고 말할 수 없습니다. 각자의 출발점 에서 얼마나 내려왔는지를 보면 앞쪽은 3.47에서 0.97, 뒤쪽은 5.55에서 2.55를 내려왔습니다. 숫자가 큰 쪽이 더 많이 배웠을 수 있습니다.
실무에서는 두 가지로 이 어긋남을 피합니다.
- 비교하는 실행끼리 평가할 때의 배치 크기(후보 수)를 똑같이 고정한다. 학습 배치가 달라도 평가는 같은 으로 잰다.
- 손실 대신 배치 크기에 덜 기대는 지표를 본다. 검색 정확도처럼 «정해진 후보 집합에서 제 짝을 1등으로 골랐는가»를 지시확률변수로 세워 평균 내면 다시 불편추정량이 된다.
평균을 냈다는 사실이 불편을 보장하지 않습니다. .mean() 앞의 항 하나하나가 표본 하나의 함수인지, 배치 전체의 함수인지를 보면 갈립니다.
정리
- 확률변수는 결과에 수를 붙이는 함수다. 여럿이 한 표본공간 위에 함께 서고, 그 짝들의 확률이 결합분포다. 지시확률변수는 사건을 0과 1로 바꿔 로 확률과 기댓값을 잇는다.
- pmf는 확률이고 pdf는 밀도다. cdf는 둘을 한 함수로 적고, ReLU 출력 같은 혼합 분포에서는 덩어리가 점프로, 퍼진 구간이 매끄러운 곡선으로 함께 보인다.
- 중앙값과 분위수는 cdf를 거꾸로 읽은 값이다. 쏠린 분포에서는 기댓값과 갈린다 — ReLU 출력의 중앙값은 0, 기댓값은 0.399다.
- 베르누이·범주형·이항이 각각 드롭아웃 마스크, 토큰 샘플링, 벤치마크 정답 개수에 대응한다. 이항은 지시확률변수 개의 합이라 기댓값 가 두 줄에 나온다.
- 덧셈의 기댓값에는 독립이 필요 없고 곱에는 필요하다. 덧셈은 결합분포의 가장자리만, 곱은 안쪽 칸까지 본다. 갈래별 평균은 갈래의 확률로 가중해야 전체 평균이 된다.
- LOTUS는 의 분포를 구하지 않아도 된다는 허가증이다. 다만 가 분포 쪽에 있으면 미분을 안으로 못 넣고, 그 자리를 정책 그래디언트와 재매개변수화가 푼다. 볼록한 에서는 젠센 부등식이 로 방향을 정한다.
loss.mean()은 표본마다 따로 정해지는 손실에서는 불편추정량이다. 대조학습처럼 배치 안을 들여다보는 손실은 기댓값이 배치 크기에 기대어, 배치 크기가 다른 손실끼리는 나란히 비교할 수 없다.
논문의 와 코드의 .mean()이 이어졌습니다. 하나는 분포 위의 참값이고 다른 하나는 표본으로 만든 추정값이라는 것까지 알았으니, 남은 질문은 하나입니다 — 그 추정값은 얼마나 믿을 만한가. 마스크 실험에서 867에서 931까지 흔들리던 그 폭을 재는 일이고, 다음 글이 분산과 표준오차로 답합니다.
읽어주셔서 감사합니다. 😊

