VAE의 손실 함수는 언제나 두 항의 합입니다.
recon = F.mse_loss(x_hat, x, reduction='sum')
kld = -0.5 * torch.sum(1 + logvar - mu.pow(2) - logvar.exp())
loss = recon + kld
첫 항은 복원이 잘 됐는지를 재고, 둘째 항은 잠재 분포가 표준정규분포에서 얼마나 벗어났는지를 잽니다. 처음 보면 정규화 항을 하나 얹은 것처럼 읽힙니다 — 재구성만 하면 과적합할 테니 벌점을 붙였다는 식으로요.
그렇게 읽으면 답할 수 없는 질문이 생깁니다. 왜 하필 계수가 1인가요. 왜 recon + 0.3 * kld가 아닌가요. 둘째 줄의 1 + logvar - mu.pow(2) - logvar.exp()는 어디서 온 모양인가요. 그리고 확산 모델의 손실은 그냥 잡음의 MSE 하나뿐인데, 그것과 이 두 항짜리 손실은 무슨 관계인가요.
질문들의 답은 같은 데서 나옵니다. 저 합은 정규화가 붙은 재구성 손실이 아니라, 구할 수 없는 값 하나를 아래에서 받치는 하한입니다. 계수가 1인 것은 취향이 아니라 유도의 결과이고, 둘째 줄의 모양도 그 유도가 가우시안 위에서 닫힌 꼴로 떨어진 것입니다.
지난 글에서 표집을 계산 그래프 안에 남기는 장치를 봤다면, 이 글은 그 장치가 무엇을 위해 필요했는지를 봅니다. 목적지는 한 줄입니다.
구할 수 없는 값
주변가능도
잠재변수 모형은 데이터를 이렇게 설명합니다 — 먼저 보이지 않는 를 뽑고, 그것으로부터 를 만든다. VAE에서 는 256차원쯤 되는 잠재 벡터이고, 는 그 벡터로부터 신경망이 그려 내는 이미지입니다. 그러면 관측된 의 확률은 모든 를 훑어 더한 값입니다.
이 식에 든 세 분포는 서로 얽혀 있습니다. 는 를 보기 전에 에 대해 가진 믿음인 사전분포이고, 는 가 정해졌을 때 가 나올 확률로 VAE에서는 디코더라 부르는 신경망이 계산합니다. 그리고 를 본 뒤 에 대한 믿음을 고쳐 쓴 것이 사후분포 입니다. 베이즈 정리가 셋을 한 줄로 묶는데, 분모의 가 바로 위의 적분입니다. 를 적분해 지운 이 값을 주변가능도라 부릅니다.
최대가능도가 시키는 대로 를 최대화하고 싶은데, 이 적분이 막혀 있습니다. 가 신경망이면 닫힌 꼴로 적을 방법이 없습니다. 그리고 분모가 막혀 있으니 사후분포도 같이 막힙니다 — 이 글 내내 사후분포를 "알 수 없는 것"으로 다루는 이유가 이 한 줄에 있습니다.
사전분포 표본
적분이 안 되면 표본으로 평균을 내면 되지 않을까요. 이니 사전분포에서 를 많이 뽑아 를 평균 내면 됩니다. 원리로는 맞는데 숫자로는 안 됩니다.
사전분포가 표준정규분포이고, 어떤 를 잘 설명하는 가 축마다 원점 근처 안에만 몰려 있다고 해 봅시다. 사후분포의 표준편차가 축마다 0.1인 상황입니다. 표준정규에서 뽑은 값이 에 들어갈 확률은 0.1585입니다. 축이 하나면 여섯 번에 한 번꼴로 쓸 만한 표본이 나옵니다.
축이 늘면 이 확률이 축마다 곱해집니다. 10차원이면 이라 표본을 100만 개 뽑아도 그 상자에 드는 것이 평균 0.01개입니다. 256차원이면 입니다. 평균에 들어가는 거의 모든 항이 이고, 추정값은 드물게 걸린 표본 한두 개가 통째로 정합니다. 사후분포가 차지하는 부피의 비가 차원에 대해 지수로 줄어든다는 것, 그것이 사전분포 표본이 쓸모없는 정확한 이유입니다.
변분 분포
그래서 표본을 뽑는 분포를 바꿉니다. 아무 분포 를 하나 들여옵니다 — 변분 분포라 부르고, 우리가 마음대로 고를 수 있는 후보입니다. 좋은 라면 위의 좁은 상자 근처에 표본을 둘 것입니다. 이제 적분 안에 를 곱하고 나눕니다.
기댓값 안의 비 를 중요도 가중치라 부릅니다. 엉뚱한 분포에서 뽑은 표본이라도 이 비를 곱해 주면 원래 적분을 되살린다는 뜻의 이름이고, 뒤에서 하한을 조이는 절에 다시 나옵니다. 이 식이 항등식이려면 인 곳에서 도 0이 아니어야 합니다 — 가 0인 자리는 적분에서 아예 빠지기 때문입니다.
표기 하나를 짚어 둡니다. 이 글은 관측값 하나를 고정해 두고 이야기하므로 로 적습니다. 하지만 데이터셋에는 가 수만 개이고 마다 사후분포가 다르므로, 실제로 필요한 것은 마다 하나씩인 입니다. VAE는 그것을 로 적고, 를 받아 의 평균과 분산을 뱉는 신경망인 인코더 하나로 모든 의 를 한꺼번에 만듭니다. 맨 앞 코드의 mu·logvar가 그 출력입니다. 와 의 이 차이는 뒤에서 하한이 헐거운 원인 하나로 돌아옵니다.
여기까지는 항등식입니다. 그리고 여기서 두 갈래가 열립니다.
젠센 경로
하한
로그는 위로 볼록한 함수이고, 젠센 부등식은 그런 함수에 대해 기댓값과 함수의 순서를 바꿀 때 부등호가 생긴다고 말합니다. 입니다.
그대로 적용합니다.
오른쪽이 ELBO(evidence lower bound), 우리말로 증거 하한입니다. 관측된 의 로그 주변가능도를 통계학에서 증거라 부르고, 그것을 아래에서 받치는 값이라는 뜻입니다.
오른쪽 두 항은 모두 에서 뽑은 표본으로 계산할 수 있습니다. 는 디코더와 사전분포만 있으면 되고, 는 우리가 고른 분포라 당연히 압니다. 막혀 있던 적분이 기댓값 안에서 로그를 먼저 취하는 순간 계산 가능한 값으로 바뀐 것입니다. 대가는 등호가 부등호가 된 것 하나입니다.
등호 조건
이 경로가 하한이라는 사실만 주는 것은 아닙니다. 젠센 부등식은 등호가 언제 서는지도 함께 말합니다. 로그처럼 곡선이 어디서나 휘어 있는 함수에서는 가 확률 1로 한 값일 때, 곧 흩어짐이 전혀 없을 때만 등호입니다.
여기서 는 중요도 가중치 입니다. 이것이 에 상관없이 상수 라는 것은 라는 뜻이고, 양변을 로 적분하면 가 나옵니다. 그러면
입니다. 경로 A만으로도 " 가 사후분포와 같을 때, 그리고 그때만 하한이 참값에 닿는다"까지는 얻습니다.
그러나 이 경로가 주지 못하는 것이 있습니다. 가 사후분포에서 조금 벗어났을 때 간극이 얼마인지, 그 크기가 무엇에 비례하는지는 젠센 부등식이 말하지 않습니다. 언제 0인지는 알지만 0이 아닐 때 얼마인지는 모르는 것입니다. 그 크기를 정확히 적는 것이 두 번째 경로입니다.
KL 경로
등식 분해
두 번째 길은 부등식을 아예 쓰지 않습니다. 베이즈 정리 를 ELBO 안에 넣어 봅니다.
둘째 줄에서 는 와 무관하므로 기댓값을 그냥 통과합니다. 그리고 남은 항은 정확히 KL 발산의 정의에 마이너스를 붙인 것입니다. KL 발산은 에서 뽑은 표본마다 두 밀도의 로그 비를 평균 낸 값이고, 두 분포가 같을 때만 0이며 그 밖에는 언제나 양수입니다. 옮겨 적으면
이것이 이 글의 한 줄입니다. 부등식이 아니라 등식이고, 세 가지를 한꺼번에 알려 줍니다.
- KL은 항상 0 이상이므로 ELBO는 하한이다 — 경로 A의 결론이 여기서 따라 나옵니다.
- 간극의 정체가 KL이다. 하한이 헐거운 정확한 이유는 가 진짜 사후분포 에서 떨어져 있기 때문이고, 그 거리를 KL로 잰 값이 간극의 크기 그대로입니다. 경로 A가 못 준 것이 이것입니다.
- 왼쪽은 와 무관합니다. 를 아무리 바꿔도 는 그대로이므로, ELBO를 키우는 것은 KL을 정확히 그만큼 줄이는 것입니다.
세 번째가 이 방법의 정당성 전체입니다. 못 구하는 값을 최대화하는 대신 구할 수 있는 하한을 최대화하는데, 그 하한을 올리는 일이 곧 하한과 참값 사이의 거리를 좁히는 일입니다. 동시에 사후분포를 직접 구하지 않고도 를 그쪽으로 끌어가는 일이기도 합니다 — 분모가 막혀 못 구하던 사후분포를, 분모 없이 근사하는 길이 열린 셈입니다.
장난감 모형
식이 맞는지 잠재변수가 둘뿐인 장난감 모형에서 직접 재 봅니다. , 에 이고 관측값은 입니다. 가 둘뿐이니 적분이 두 항의 합이 되고, 도 사후분포도 손으로 정확히 구할 수 있습니다.
사전분포는 에 0.3만 주었는데, 를 본 뒤에는 0.658로 올라갔습니다. 2는 평균이 0인 쪽보다 평균이 3인 쪽에 더 가깝기 때문입니다. 이제 을 여러 값으로 바꿔 가며 ELBO와 KL을 잽니다.
| ELBO | KL(q‖사후분포) | 합 | |
|---|---|---|---|
| 0.05 | −3.044463 | 0.840681 | −2.203782 |
| 0.20 | −2.644671 | 0.440889 | −2.203782 |
| 0.50 | −2.256115 | 0.052333 | −2.203782 |
| 0.657619 | −2.203782 | 0.000000 | −2.203782 |
| 0.80 | −2.253049 | 0.049267 | −2.203782 |
| 0.95 | −2.457031 | 0.253249 | −2.203782 |
오른쪽 열이 소수 여섯째 자리까지 한 값으로 고정돼 있습니다. 를 어디에 두든 두 조각의 합은 이고, 경계만 움직입니다.
곡선이 천장에 닿는 자리는 가 사후분포와 같아지는 한 점뿐입니다. 그 점에서 하한이 참값과 정확히 같아집니다 — 근사가 아니라 등식이고, 경로 A의 등호 조건이 말한 바로 그 자리입니다. 실제로 에서 중요도 가중치를 계산하면 이든 이든 똑같이 가 나옵니다.
KL의 방향
KL 발산은 대칭이 아닙니다. 와 는 다른 값이고, 무엇을 최소화하느냐에 따라 맞춰지는 가 달라집니다. ELBO의 간극은 가 앞에 오는 쪽입니다. 기댓값을 로 잡았기 때문이고, 그럴 수밖에 없었던 것은 에서는 표본을 뽑을 수 있어도 사후분포에서는 뽑을 수 없기 때문입니다. 반대 방향은 사후분포의 표본을 요구하므로 처음부터 쓸 수 없는 길입니다.
이 방향이 의 모양을 정합니다. 에서 가 거의 0인 자리에 가 질량을 두면 가 음의 무한대 쪽으로 가며 벌점이 폭발합니다. 반대로 가 0인 자리는 가 얼마든 벌점이 없습니다. 그래서 는 사후분포가 없는 곳을 피하고, 사후분포의 일부를 통째로 빠뜨리는 것은 개의치 않습니다. 이 성질을 모드 추구(mode-seeking)라 부릅니다 — 봉우리가 여럿이면 하나를 골라 거기 들어앉는다는 뜻입니다.
봉우리 둘짜리 사후분포 에 가우시안 하나를 맞춰 보면 숫자로 보입니다.
- 를 최소로 만드는 는 오른쪽 봉우리 하나에 딱 맞는 이고, 그때 KL은 0.692입니다. 질량의 절반만 덮었으니 가 있는 곳마다 가 거의 2라서 KL이 에 붙습니다.
- 를 최소로 만드는 는 평균과 분산을 와 맞춘 입니다. 이 의 는 1.273으로 더 나쁩니다. 두 봉우리 사이 에서 의 밀도가 0.191인데 는 0.0026이라 74배를 엉뚱한 곳에 쏟기 때문입니다.
VAE의 학습된 가 진짜 사후분포보다 좁게 나오는 경향이 여기서 나옵니다. 봉우리가 하나여도 축이 기울어 있으면, 대각 공분산 가우시안을 이 방향으로 맞출 때 각 축의 분산이 실제 주변분포의 분산보다 작게 잡힌다는 것이 알려져 있습니다. 넓게 퍼뜨리다 사후분포 바깥에 질량을 흘리는 것보다 안쪽에 웅크리는 쪽이 벌점이 적기 때문입니다. 손실 함수 안에 이미 그 방향이 적혀 있는 셈입니다.
재구성과 KL
두 항
이제 처음의 코드로 돌아갑니다. ELBO를 다시 묶어 봅니다. 를 넣으면
같은 ELBO를 두 번 다르게 묶었을 뿐인데 나오는 그림이 다릅니다. 앞의 묶음은 를 사후분포와 비교했고, 이 묶음은 를 사전분포와 비교합니다. 앞의 KL은 못 구하는 분포를 상대로 하므로 계산할 수 없었지만, 이 KL은 사전분포를 상대로 하므로 계산할 수 있습니다. 실제로 학습에 쓰는 것이 이쪽 묶음인 까닭입니다.
- 재구성 항은 가 내놓는 로 를 얼마나 잘 되살리는지입니다. 가우시안 디코더를 쓰면 이것이 MSE가 됩니다.
- 정규화 항은 가 사전분포에서 얼마나 벗어났는지입니다. 표준정규 사전분포에 대각 가우시안 를 쓰면 닫힌 꼴로 나오고, 그것이 위 코드의
kld한 줄입니다.
그러니 계수 1은 선택이 아닙니다. 저 둘은 원래 한 식이었고, 나눠 적으면 재구성과 정규화처럼 보이는 것뿐입니다. 계수를 바꾸는 순간 그것은 더 이상 의 하한이 아닙니다 — 실무에서 쓰는 β-VAE는 KL 항에 1이 아닌 계수 를 붙이는 변형이고, 그 사실을 알고 일부러 하한을 포기하는 쪽입니다.
두 항의 최적점이 다르다는 것도 눈으로 보입니다. 재구성만 보면 를 잘 설명하는 쪽으로 를 끝까지 밀고, KL만 보면 사전분포 0.3으로 끌어당깁니다.
| 재구성 항 | KL(q‖사전분포) | ELBO | |
|---|---|---|---|
| 0.05 | −2.8439 | 0.2005 | −3.0445 |
| 0.30 | −2.4689 | 0.0000 | −2.4689 |
| 0.657619 | −1.9325 | 0.2713 | −2.2038 |
| 0.95 | −1.4939 | 0.9631 | −2.4570 |
에서 KL이 0이고, 에서 재구성이 가장 좋습니다. 그런데 ELBO의 최고점은 그 사이 0.658입니다. 사후분포는 정확히 그 줄다리기의 균형점입니다. 손실에 두 항이 나란히 있는 이유가 이것입니다 — 어느 하나를 이기게 하면 사후분포에서 멀어지고, 그만큼 하한이 헐거워집니다.
가우시안 KL
kld 한 줄을 직접 유도해 봅니다. 잠재 벡터의 한 축만 보면 , 이고, KL은 입니다. 두 기댓값을 따로 구합니다.
첫 줄의 은 의 기댓값이 1이라서 나오고, 둘째 줄의 은 의 기댓값이 평균의 제곱에 분산을 더한 값이라서 나옵니다. 빼면 가 지워집니다.
가 축마다 독립인 대각 가우시안이면 KL은 축마다 구한 값의 합입니다. 이제 코드와 글자마다 맞춰 봅니다. logvar는 이고, mu.pow(2)는 이며, logvar.exp()는 입니다. 맨 앞의 1은 위 식의 이 부호를 바꾼 것이고, torch.sum이 축의 합입니다. 인코더가 분산 대신 로그 분산을 내놓는 것은 신경망의 출력이 음수일 수도 있는데 분산은 양수여야 하기 때문입니다 — exp를 거치면 어떤 출력이든 양수가 됩니다.
숫자 하나로 확인합니다. , 이면 입니다. , 이면 정확히 0이고, 그 밖의 어떤 값에서도 양수입니다.
합산 방식
이 유도가 실무에서 가장 흔한 버그 하나를 설명합니다. 재구성 항이 MSE가 되는 것은 디코더를 분산이 고정된 가우시안 로 볼 때입니다.
reduction='sum'으로 픽셀 전부의 제곱 오차를 더한 MSE는 일 때의 음의 로그가능도와 상수만큼 다릅니다. 그러니 계수 1이 유도의 결과라는 말에는 단서가 붙습니다 — 디코더의 분산을 무엇으로 선언했느냐가 재구성 항의 무게를 이미 정하고 있고, 계수 1은 그 선언 아래에서의 1입니다.
reduction='mean'으로 바꾸면 사정이 달라집니다. MSE가 배치 크기 와 픽셀 수 의 곱으로 나뉘는데 kld는 여전히 합이므로, 재구성 항에 견준 KL 항의 무게가 배로 커집니다. MNIST처럼 에 배치 128이면 그 배수가 100,352입니다. 계수를 손으로 건드린 적이 없는데도 사실상 가 10만인 β-VAE를 돌린 셈이고, 인코더는 KL을 0으로 만드는 쪽으로 곧장 무너집니다. 두 항을 같은 단위로, 곧 표본 하나당 합으로 계산한 뒤 배치에 대해 평균 내야 ELBO의 비율이 지켜집니다.
사후분포 붕괴
그렇게 무너진 상태에 이름이 있습니다. 모든 에 대해 가 사전분포와 같아져 KL 항이 0이 되고, 디코더는 를 무시한 채 를 만드는 상태를 사후분포 붕괴라 부릅니다. 장난감 모형으로는 인 자리 — 줄다리기에서 KL 쪽이 완전히 이긴 끝입니다. 그 자리의 ELBO는 −2.4689로 최고점 −2.2038보다 0.265 낮습니다.
장난감 모형에서는 디코더가 고정이라 붕괴가 손해로 보이지만, 디코더도 함께 학습하면 사정이 다릅니다. 자기회귀 디코더처럼 강한 디코더가 없이도 를 잘 그려 내면 가 되고, 그때는 베이즈 정리에 의해 사후분포가 사전분포와 같아집니다. 그러면 는 틀린 근사가 아니라 정확한 사후분포이고, 간극도 0입니다. ELBO는 이 상태에 아무 불만이 없습니다. 붕괴는 최적화가 실패한 것이 아니라 ELBO가 를 쓰라고 요구하지 않는다는 사실이 드러난 것이고, 그래서 KL 계수를 0에서 1로 서서히 올리거나 디코더를 약하게 만드는 식의 처방이 따로 필요합니다.
간극의 원인
근사 간극과 상각 간극
간극이 라는 것을 알았으니, 헐거움의 원인도 그 KL을 크게 만드는 것들입니다. 실제 모형에서는 셋이 겹쳐 있습니다.
- 를 고르는 족이 좁다. 대각 공분산 가우시안으로만 를 잡으면, 진짜 사후분포가 축이 기운 모양이거나 봉우리가 둘이면 아무리 잘 맞춰도 KL이 0이 되지 않습니다. 봉우리 둘짜리 예에서 가장 좋은 가우시안도 0.692가 남았습니다. 이 몫을 근사 간극이라 부릅니다.
- 입력마다 를 최적화하지 않는다. VAE는 마다 를 따로 최적화하는 대신 인코더라는 함수 하나로 때웁니다. 이렇게 추론 비용을 모든 입력에 나눠 갚는 방식을 상각 추론이라 하고, 그 함수가 마다의 최적 에 못 미치는 만큼 벌어지는 몫을 상각 간극이라 부릅니다. 앞에서 와 를 갈라 적은 것이 이 자리입니다.
- 모형 자체가 데이터를 설명하지 못한다. 이것은 하한의 문제가 아니라 천장이 낮은 것이라 를 고쳐도 안 낫습니다.
앞의 둘은 쪽 문제이고 마지막 하나는 쪽 문제인데, 학습 중에는 ELBO 값 하나만 보이므로 셋이 구별되지 않습니다. ELBO가 낮다는 사실만으로 모델이 나쁘다고 말할 수 없는 이유가 여기 있습니다. 가르려면 같은 에서 인코더의 출력을 출발점으로 를 몇백 걸음 더 최적화해 보고, 그만큼 오른 ELBO를 상각 간극으로 셉니다.
중요도 가중 하한
를 고치지 않고 하한을 조이는 길도 있습니다. 표본을 하나가 아니라 개 뽑아 중요도 가중치의 평균을 낸 뒤 로그를 씌웁니다.
이것을 중요도 가중 하한이라 부르고, 이를 학습 목표로 쓰는 VAE 변형을 IWAE라 합니다. 이면 보통의 ELBO입니다. 가중치의 평균은 를 치우침 없이 추정하므로 젠센 부등식에 의해 는 그대로이고, 가 커질수록 평균이 덜 흔들려 젠센의 간극이 줄어듭니다. 가 에 대해 줄어들지 않는다는 것과, 가중치가 유계이면 에서 로 간다는 것이 증명돼 있습니다.
장난감 모형에서 로 고정하고 만 바꾸면, 표본 중 이 몇 개 나오는지가 이항분포를 따르므로 기댓값을 정확히 계산할 수 있습니다.
| 간극 | ||
|---|---|---|
| 1 | −2.644671 | 0.440889 |
| 2 | −2.501084 | 0.297302 |
| 5 | −2.343410 | 0.139628 |
| 10 | −2.273509 | 0.069727 |
| 50 | −2.217082 | 0.013300 |
| 500 | −2.205093 | 0.001311 |
의 간극 0.440889는 위 ELBO 표의 KL 값과 같습니다. 는 그대로인데 에서 간극이 30분의 1로 줄었습니다. 다만 를 키우면 인코더로 가는 기울기 신호가 약해진다는 보고도 있어, 더 조인 하한이 곧 더 좋은 인코더를 뜻하지는 않습니다.
한 표본 추정
반대로 VAE는 보통 하나에 를 하나만 뽑습니다. 그래도 되는 근거는 ELBO가 의 기댓값 그 자체라는 데 있습니다. 표본 하나로 계산한 를 다시 평균 내면 ELBO가 정확히 나오므로, 한 표본 값은 ELBO의 불편 추정량입니다 — 추정량의 기댓값이 추정하려는 값과 같다는 뜻입니다.
장난감 모형에서 이면 는 확률 0.2로 −1.0135, 확률 0.8로 −3.0525입니다. 한 번 뽑을 때마다 둘 중 하나가 나와 흔들리지만, 로 평균은 ELBO와 같습니다.
여기서 두 추정을 갈라 둘 필요가 있습니다. 한 표본의 는 ELBO에 대해서는 치우침이 없지만, 에 대해서는 평균적으로 간극만큼 낮게 치우쳐 있습니다. 중요도 가중 하한은 그 치우침을 로 줄이는 장치입니다. 학습에 필요한 것은 ELBO의 기울기이고, 재매개변수화를 거치면 한 표본으로 얻은 기울기도 ELBO 기울기의 불편 추정이 됩니다. 확률적 경사 하강이 이 하한 위에서 도는 근거가 이것입니다.
VAE·확산·EM
확산 모델
이 분해가 확산 모델까지 이어집니다. 확산의 잠재변수는 가 아니라 라는 이름을 달고 있을 뿐이고, 변분 분포 는 학습하는 것이 아니라 forward 과정, 곧 이미지에 잡음을 조금씩 섞어 가는 정해진 절차로 이미 정해져 있습니다. 그래서 같은 ELBO를 적고 항을 정리하면 스텝마다의 KL 항들이 나오고, 각 KL이 두 가우시안 사이의 것이라 위에서 유도한 닫힌 꼴과 같은 방식으로 평균의 차이 제곱으로 줄어들며, 결국 잡음 예측의 MSE 하나가 됩니다.
확산 손실이 한 줄인 것은 뼈대가 달라서가 아니라 가 고정이라 인코더를 학습할 필요가 없기 때문입니다. 간극이 줄어드는 방향도 VAE와 반대입니다. VAE는 를 사후분포 쪽으로 옮기고, 확산은 를 그대로 두고 생성 쪽의 역과정을 에 맞춥니다.
EM 알고리즘
EM 알고리즘도 같은 식의 다른 읽기입니다. 모형의 파라미터를 라 하면 에서
- E 단계는 를 고정하고 를 사후분포로 놓습니다 — KL을 0으로 만들어 하한을 천장에 붙입니다.
- M 단계는 를 고정하고 로 ELBO를 최대화합니다 — 천장 자체를 올립니다.
두 단계를 번갈아 하는 것이 왜 를 단조증가시키는지가 이 한 줄에서 곧바로 나옵니다. E 단계 직후 하한과 참값이 같으므로, M 단계가 하한을 올리면 참값도 최소한 그만큼 올라갑니다. 가우시안 혼합 모형처럼 사후분포를 정확히 계산할 수 있는 모형에서만 쓸 수 있는 이유도 같습니다 — E 단계가 사후분포를 요구하기 때문입니다.
평균장 근사
사후분포를 정확히 못 구하지만 인코더도 쓰지 않는 길이 하나 더 있습니다. 를 잠재변수의 좌표마다 독립인 곱 로 제한하는 것을 평균장 근사라 부릅니다. 이 제한 아래에서는 다른 좌표를 고정했을 때 한 좌표의 최적 가 닫힌 꼴로 나옵니다.
는 번째를 뺀 나머지 좌표의 분포입니다. 좌표를 하나씩 돌아가며 이 식으로 바꿔 끼우면 매번 ELBO가 줄지 않고 오르고, 수렴하면 그 족 안에서의 최적 에 닿습니다. 토픽 모형 같은 고전 모형이 이렇게 학습됐습니다. 대각 공분산 가우시안 를 쓰는 VAE도 족만 보면 평균장이고, 다른 점은 최적화를 마다 하지 않고 인코더에 맡긴다는 것 하나입니다.
q의 조달
넷을 한 줄씩 세우면 같은 식 위에서 무엇이 다른지가 한 열에 모입니다.
| 방법 | q를 얻는 법 | 남는 간극 | 학습하는 것 |
|---|---|---|---|
| EM | 사후분포를 정확히 계산 | E 단계 직후 0 | 모형 파라미터 |
| 평균장 근사 | x마다 좌표를 돌며 최적화 | 근사 간극 | q와 모형 파라미터 |
| VAE | 인코더 하나가 모든 x에 | 근사 간극 + 상각 간극 | 인코더와 디코더 |
| 확산 모델 | forward 과정으로 손으로 고정 | 역과정이 q에 못 맞춘 만큼 | 역과정의 잡음 예측기 |
넷의 차이는 를 어떻게 조달하느냐 하나뿐입니다. 정확히 구하거나, 최적화하거나, 함수 하나로 때우거나, 아예 손으로 정해 둡니다. 식은 언제나 같은 한 줄입니다.
recon + kld로 돌아가면 이제 처음의 질문에 답할 수 있습니다. 계수가 1인 것은 저 둘이 서로 다른 목적의 두 손실이 아니라 를 아래에서 받치는 한 개의 식을 두 조각으로 적은 것이기 때문이고, 둘째 줄의 1 + logvar - mu.pow(2) - logvar.exp()는 그 식의 KL 조각이 가우시안 위에서 닫힌 꼴로 떨어진 것입니다. 그리고 그 손실을 줄일 때마다 인코더가 내놓는 는, 우리가 끝내 직접 구하지 못하는 사후분포 쪽으로 정확히 KL만큼씩 다가갑니다.
정리
- 잠재변수 모형의 는 적분이 막혀 직접 최대화할 수 없고, 같은 적분이 분모에 있어 사후분포도 막힌다. 사전분포에서 뽑은 표본은 쓸 만한 자리에 들 확률이 차원에 대해 지수로 줄어 — 축마다 0.1585면 10차원에서 — 평균으로도 못 구한다.
- 그래서 마음대로 고를 수 있는 변분 분포 를 들여온다. VAE에서는 마다 다른 이고 인코더 하나가 그것을 만든다.
- 젠센 경로는 세 줄 만에 를 얻고, 등호 조건에서 " 가 사후분포일 때만 간극이 0"까지 준다. 간극의 크기는 주지 않는다.
- KL 경로는 베이즈 정리를 넣어 라는 등식을 얻는다. 왼쪽이 와 무관하므로 ELBO를 키우는 것은 KL을 정확히 그만큼 줄이는 것이다. 장난감 모형에서 ELBO + KL은 를 어디에 두든 였다.
- 간극의 KL은 가 앞에 오는 방향이라 모드 추구다. 봉우리 둘짜리 사후분포에서 그 방향으로 맞춘 가우시안은 한 봉우리에 앉아 KL 0.692를 남겼고, 반대 방향으로 맞춘 넓은 가우시안은 이 방향으로 재면 1.273이었다.
- 같은 ELBO를 다르게 묶으면 재구성 항 − KL(q‖사전분포)이다. 가우시안 KL을 유도하면 이고 코드의
kld와 글자마다 같다. reduction='mean'은 KL의 무게를 배치 × 픽셀 수만큼 키워 숨은 를 만든다. KL이 이겨 가 사전분포와 같아진 상태가 사후분포 붕괴이고, 강한 디코더 앞에서는 그것이 ELBO의 정당한 최적점일 수 있다.- 하한이 헐거운 원인은 근사 간극, 상각 간극, 낮은 천장 셋이다. 표본을 개 쓰는 중요도 가중 하한은 를 그대로 두고 간극을 0.441에서 0.013()으로 조였고, 한 표본 ELBO 추정은 불편이라 그 위에서 학습이 돈다.
- VAE·확산·EM·평균장 근사는 같은 한 줄 위에 있고 차이는 의 조달 방식뿐이다.
읽어주셔서 감사합니다. 😊

