σ-대수·측도·비가측 집합에서 르베그 적분을 세우고, 단조수렴·파투·지배수렴과 미분-적분 교환을 끝까지 증명합니다. 불연속 보상과 움직이는 지지집합이 그 조건을 깨는 자리, 네 가지 수렴과 반례, 린데베르그 CLT·슬러츠키·델타 방법까지 계산으로 확인합니다.
PALDYN Team//76 MIN READ
03MATH
고급
측도 · 르베그 적분
정책 그래디언트를 쓰는 팀이 장난감 문제 하나로 구현을 점검합니다. 행동 x 를 정규분포 N(θ,1) 에서 뽑고, x>1 이면 보상 1, 아니면 0을 줍니다. 목표는 기대 보상 J(θ)=Ex∼pθ[r(x)] 를 키우는 것이고, θ=0.5 에서 그래디언트를 두 방법으로 추정합니다. 하나는 x=θ+ε 으로 다시 써서 표본마다 ∂θr(θ+ε) 를 평균하는 재매개변수화이고, 다른 하나는 r(x)∂θlogpθ(x) 를 평균하는 점수 함수 추정량입니다. 20만 표본에서 둘째는 0.3528을 내고, 첫째는 정확히 0을 냅니다. 손으로 구한 참값은 J′(0.5)=0.3521 입니다. 같은 기댓값을 미분하는 두 길이 왜 갈렸을까요. 참고한 논문의 정리부에는 이런 줄이 있었습니다.
Assume that pθ(x) is differentiable in θ and that there exists an integrable g with ∣∇θpθ(x)r(x)∣≤g(x) for all θ in a neighborhood. Then ∇θEpθ[r]=Epθ[r∇θlogpθ], and the SGD iterates converge almost surely.
리뷰에서 질문이 셋 나옵니다. 첫째, 「integrable g 로 눌러 준다」는 조건은 정확히 무엇을 지키며, 재매개변수화 쪽에서는 무엇이 깨졌나요. 둘째, 「almost surely」는 「확률 1로」와 같은 말인가요, 다른 수렴과는 무엇이 다른가요. 셋째, 이렇게 얻은 정책으로 평가를 돌려 정답률 0.82를 얻었는데, 보고서에는 로짓 척도로 구간을 적으라고 합니다. 그 구간의 표준오차는 어디서 오나요. 중급 53번 · 로그 미분 트릭은 첫째 질문을 「미분과 적분을 바꿔도 될 것」이라는 한 줄로 넘겼고, 중급 22번 · 정규분포와 중심극한정리와 중급 74번 · 추정량과 표준오차는 정규 근사를 쓰되 그것이 언제 정당한지는 미뤘습니다. 이 글은 그 미뤄 둔 조건들을 측도라는 말로 정확히 적습니다.
측도
σ-대수
중급 20번 · 확률변수와 기댓값에서 확률은 사건에 0과 1 사이의 수를 주는 규칙이었습니다. 사건이 유한 개일 때는 모든 부분집합을 사건으로 삼으면 됩니다. 결과가 실수 전체처럼 셀 수 없이 많아지면 문제가 생기고, 그 해결책이 「확률을 줄 집합의 목록을 먼저 정한다」입니다. 집합 Ω 의 부분집합들을 모은 F 가 다음 셋을 만족하면 σ-대수라 부릅니다.
Ω∈F
A∈F 이면 여집합 Ac∈F
A1,A2,⋯∈F 이면 ⋃kAk∈F
셋째 줄이 「셀 수 있게 많은」 합집합을 허락한다는 점이 이름의 σ입니다. 여집합과 합집합에 닫혀 있으니 드모르간 법칙으로 셀 수 있는 교집합에도 닫혀 있습니다. F 에 든 집합을 가측 집합이라 부르고, 확률론에서는 그것이 곧 사건입니다. 실수 위에서는 열린 구간을 전부 담는 가장 작은 σ-대수를 쓰며, 이것을 보렐 σ-대수B(R) 라 합니다. 닫힌 구간, 한 점, 유리수 전체, 열린집합과 닫힌집합이 전부 여기에 들어 있어서 일상적으로 떠올리는 집합 중 보렐이 아닌 것을 찾기는 어렵습니다.
σ-대수 위에서 μ:F→[0,∞] 가 μ(∅)=0 이고, 서로소인 가측 집합 A1,A2,… 에 대해
μ(⋃k=1∞Ak)=∑k=1∞μ(Ak)
를 만족하면 측도라 부릅니다. 이 성질을 셀 수 있는 가법성이라 합니다. 측도는 「크기」의 일반형입니다. 길이, 넓이, 개수, 확률이 전부 측도이고, 차이는 무엇을 재느냐뿐입니다. 셀 수 있는 가법성에서 바로 나오는 결과가 하나 있는데, 뒤에서 여러 번 씁니다. 가측 집합이 A1⊂A2⊂⋯ 로 커지면 μ(⋃Ak)=limμ(Ak) 입니다. 겹치지 않는 껍질 Ak∖Ak−1 로 쪼개 가법성을 쓰면 오른쪽이 그 부분합이기 때문입니다. 이것을 측도의 아래로부터의 연속성이라 부릅니다.
르베그 측도
실수 직선에서 구간 [a,b] 에 길이 b−a 를 주는 측도를 원합니다. 구성은 세 걸음입니다. 먼저 아무 집합 A 에 대해, A 를 덮는 셀 수 있는 구간 모음의 길이 합을 전부 보고 그 하한을 잡습니다.
λ∗(A)=inf{∑k(bk−ak):A⊂⋃k(ak,bk)}
이 λ∗ 를 외측도라 부릅니다. 모든 부분집합에 값을 주지만 가법성이 깨질 수 있어서 아직 측도가 아닙니다. 둘째 걸음은 집합을 고르는 것입니다. 모든 시험 집합 E 에 대해 λ∗(E)=λ∗(E∩A)+λ∗(E∖A) 가 서면, 곧 A 가 어떤 집합도 깔끔하게 둘로 가르면 A 를 가측이라 합니다(카라테오도리 판정). 셋째 걸음에서 이렇게 고른 집합들이 σ-대수를 이루고, 그 위에서 λ∗ 가 셀 수 있게 가법이며, 구간이 전부 가측이라 보렐 집합이 다 들어온다는 것을 보입니다. 이 마지막 단계는 길지만 기술적이라 결과만 가져옵니다. 그렇게 얻은 측도 λ 가 르베그 측도입니다.
한 점의 르베그 측도는 0입니다. 폭 ε 짜리 구간 하나로 덮이니 외측도가 ε 이하이고, ε 은 얼마든지 작게 잡을 수 있습니다. 유리수 전체 Q 도 측도 0입니다. 유리수를 q1,q2,… 로 늘어놓고 qk 를 폭 ε/2k 인 구간으로 덮으면 길이 합이 ε 이기 때문입니다. 측도가 0인 집합을 영집합이라 부르고, 어떤 성질이 영집합 밖에서 성립하면 「거의 모든 곳에서」 성립한다고 말합니다. 확률측도에서는 이 말을 「거의 확실히(almost surely)」라 부릅니다. 첫머리의 「almost surely」가 바로 이 말이고, 「확률 1인 사건 위에서」와 같은 뜻입니다.
비가측 집합
그렇다면 왜 처음부터 모든 부분집합에 길이를 주지 않았을까요. 줄 수 없기 때문입니다. [0,1) 위에서 덧셈을 1로 나눈 나머지로 하는 회전을 생각합니다. 길이는 회전해도 그대로여야 합니다. 두 수의 차가 유리수이면 같은 무리로 묶으면, [0,1) 이 셀 수 없이 많은 무리로 갈립니다. 각 무리에서 대표를 하나씩 골라 모은 집합을 V 라 합니다. 이렇게 고른 V 를 비탈리 집합이라 부릅니다(무한히 많은 무리에서 하나씩 고르는 일에 선택 공리가 쓰입니다).
[0,1) 의 유리수 q 마다 V 를 q 만큼 돌린 V+q 를 만들면, 이 집합들은 셀 수 있게 많고, 서로소이며, 합치면 [0,1) 전체입니다. 두 번역이 겹치면 한 무리에서 대표를 둘 고른 셈이 되고, 어떤 점이든 제 무리의 대표에서 유리수만큼 떨어져 있기 때문입니다. 이제 V 에 길이 a 가 있다고 해 봅니다. 회전 불변성으로 모든 V+q 의 길이도 a 이고, 셀 수 있는 가법성으로
1=λ([0,1))=∑qλ(V+q)=∑qa
입니다. 오른쪽은 a=0 이면 0이고 a>0 이면 무한대라 어느 쪽도 1이 될 수 없습니다. 그러니 회전 불변이고 셀 수 있게 가법이며 [0,1) 에 1을 주는 함수는 모든 부분집합 위에서 정의될 수 없습니다. 균등분포 U[0,1) 이 바로 그런 측도이므로, 「모든 부분집합에 확률을 준다」는 바람을 버리고 가측 집합에만 확률을 주는 것이 강요된 선택입니다. 실무에서 마주치는 집합은 전부 보렐이라 이 제약을 느낄 일은 없지만, 정리의 가정에 「measurable」이 붙는 이유가 여기 있습니다.
확률공간
이제 확률을 측도로 적습니다. 집합 Ω, 그 위의 σ-대수 F, 그리고 P(Ω)=1 인 측도 P 를 묶은 (Ω,F,P) 를 확률공간이라 부릅니다. Ω 는 일어날 수 있는 모든 결과, F 는 확률을 물을 수 있는 사건의 목록, P 는 그 사건들에 주는 확률입니다. 학습 한 번을 확률공간으로 보면 Ω 의 원소 하나가 「데이터 셔플 순서, 드롭아웃 마스크, 초기화 난수, 정책이 뽑은 행동」 전부를 담은 한 번의 실행이고, P 는 그런 실행 전체 위의 확률입니다.
중급 20번의 확률변수는 결과에 수를 붙이는 함수였습니다. 측도론에서는 조건이 하나 붙습니다. X:Ω→R 가 모든 t 에서 {ω:X(ω)≤t}∈F 를 만족해야 합니다. 「X≤t 일 확률」을 물을 수 있어야 하므로 그 사건이 목록에 있어야 한다는 요구입니다. 이 조건을 만족하는 함수를 가측함수라 부르며, 확률변수는 확률공간 위의 가측함수입니다. 가측함수의 합, 곱, 연속함수와의 합성, 그리고 점마다의 극한은 다시 가측함수입니다. 마지막 성질 덕분에 「그래디언트 추정량의 극한」 같은 대상을 확률변수로 다룰 수 있습니다.
확률변수 X 는 보렐 집합 B 마다 PX(B)=P(X∈B) 를 정해 실수 위에 새 확률측도를 하나 만듭니다. 이것이 X 의 분포입니다. 서로 다른 확률공간 위의 두 확률변수도 분포는 같을 수 있습니다. 분포는 「무슨 값이 얼마나 자주 나오나」만 기억하고 「어느 ω 에서 나왔나」는 잊는다는 점이 뒤에서 분포 수렴을 가장 약한 수렴으로 만듭니다.
르베그 적분
단순함수
적분을 쌓는 벽돌은 값이 유한 개뿐인 가측함수입니다. 서로소인 가측 집합 A1,…,Am 과 수 a1,…,am≥0 으로 s=∑iai1Ai 꼴인 함수를 단순함수라 부르고, 그 적분은 높이에 바닥 크기를 곱해 더한 것으로 정합니다.
∫sdμ=∑i=1maiμ(Ai)
1A 는 A 위에서 1, 밖에서 0인 지시함수이고, 그 적분은 μ(A) 그 자체입니다. 확률로 읽으면 E[1A]=P(A) 이고, 값이 유한 개인 확률변수의 기댓값이 중급 20번의 ∑xxP(X=x) 와 같다는 것이 이 정의입니다.
음이 아닌 가측함수 f 의 적분은 그 아래에 들어가는 단순함수들의 적분의 상한으로 정합니다.
∫fdμ=sup{∫sdμ:s단순,0≤s≤f}
값이 무한대일 수도 있습니다. 부호가 섞인 f 는 양의 부분 f+=max(f,0) 와 음의 부분 f−=max(−f,0) 로 갈라 ∫f=∫f+−∫f− 로 정하되, 둘 중 적어도 하나가 유한할 때만 뜻이 있습니다. ∫∣f∣<∞ 이면 f 를 적분 가능하다고 부르고, 이 함수들이 고급 1번에서 결과만 가져온 L1 공간을 이룹니다. 기댓값 E[X] 는 확률측도에 대한 이 적분 ∫ΩXdP 이고, E∣X∣<∞ 가 「기댓값이 존재한다」의 정확한 뜻입니다.
상한으로 정의하면 계산하기 어려울 것 같지만, 늘 쓸 수 있는 근사열이 있습니다. sn=min(n,⌊2nf⌋/2n) 은 f 의 값을 2−n 눈금으로 내림하고 n 에서 자른 단순함수이고, n 이 커지면 점마다 f 로 올라갑니다. 다음 절의 단조수렴 정리가 이 열의 적분이 ∫f 로 간다는 것을 보장하므로, 적분은 언제나 「눈금을 세밀하게 한 계단 함수의 적분의 극한」으로 계산됩니다.
리만 적분과의 차이
리만 적분은 정의역을 잘게 자릅니다. [0,1] 을 폭 Δx 의 칸으로 나누고 칸마다 함숫값 하나를 높이로 세워 더합니다. 르베그 적분은 치역을 자릅니다. 높이를 t 눈금으로 나누고, 각 높이마다 「함숫값이 t 보다 큰 점들이 차지하는 크기」를 잽니다. 음이 아닌 f 에서 이 생각은 정확한 공식이 됩니다.
∫fdμ=∫0∞μ({f>t})dt
[0,1] 위의 f(x)=x2 이면 {f>t}=(t,1] 이라 길이가 1−t 이고, ∫01(1−t)dt=1−2/3=1/3 이 세로로 잘라 얻은 ∫01x2dx=1/3 과 같습니다.
두 적분은 리만 적분이 되는 함수에서는 같은 값을 냅니다. 갈리는 지점은 둘입니다. 첫째, 르베그가 다룰 수 있는 함수가 더 많습니다. 유리수에서 1, 무리수에서 0인 디리클레 함수 1Q 는 어느 칸에나 유리수와 무리수가 다 있어 칸마다 위 합은 1, 아래 합은 0이라 리만 적분이 없습니다. 르베그로는 ∫1Q=λ(Q)=0 이고 끝입니다. 둘째, 그리고 이쪽이 훨씬 중요한데, 극한과 사이가 좋습니다. 유리수를 q1,q2,… 로 늘어놓고 fn=1{q1,…,qn} 로 두면 각 fn 은 점 n 개에서만 1이라 리만 적분이 0입니다. fn 은 점마다 커지며 1Q 로 가는데, 그 극한은 리만 적분이 없습니다. 리만 적분의 세계에서는 「적분의 극한이 극한의 적분인가」를 묻기도 전에 극한의 적분이 정의되지 않습니다. 르베그 적분은 가측함수의 점마다 극한이 다시 가측이므로 질문 자체가 늘 성립하고, 다음 절이 그 답을 줍니다.
거의 모든 곳
르베그 적분은 영집합을 보지 못합니다. f 와 g 가 영집합 밖에서 같으면 ∫∣f−g∣=0 이고, 거꾸로 음이 아닌 f 의 적분이 0이면 f=0 이 거의 모든 곳에서 성립합니다. 뒤쪽은 짧게 보일 수 있습니다. {f>1/k} 위에서 f≥k11{f>1/k} 이니 μ(f>1/k)≤k∫f=0 이고, {f>0} 은 이 집합들의 셀 수 있는 합집합이라 측도 0입니다. 같은 계산에서 상수만 바꾼 것이 마르코프 부등식 P(∣X∣>a)≤E∣X∣/a 이고, 이 부등식은 뒤의 수렴 절에서 다시 씁니다.
그래서 수렴 정리들의 가정에는 「거의 모든 곳에서」가 붙습니다. 첫머리의 재매개변수화 문제에서 보상 r(θ+ε)=1[θ+ε>1] 은 ε=1−θ 한 점을 빼면 θ 로 미분했을 때 0입니다. 한 점은 영집합이라 「거의 모든 ε 에서 도함수가 0」은 참입니다. 그 0을 평균하면 0이 나오는 것도 맞습니다. 틀린 것은 「도함수를 평균한 것이 평균을 미분한 것과 같다」는 걸음이고, 그 걸음에 필요한 조건이 다음 절의 주인공입니다.
수렴 정리
단조수렴 정리
단조수렴 정리는 이렇습니다. 음이 아닌 가측함수가 점마다 0≤f1≤f2≤⋯ 로 커지며 f 로 가면
limn→∞∫fndμ=∫fdμ
입니다. 값이 무한대여도 성립합니다. 증명합니다. fn≤fn+1≤f 이니 적분도 커지며 ∫f 를 넘지 않고, 그래서 극한 L=lim∫fn 이 있으며 L≤∫f 입니다. 반대 방향을 보이려면 정의에 따라 0≤s≤f 인 단순함수 s 마다 L≥∫s 를 보이면 됩니다. 0<c<1 을 하나 고르고 En={fn≥cs} 로 둡니다. fn 이 커지니 En 도 커지고, s(x)>0 인 점에서는 fn(x)→f(x)≥s(x)>cs(x) 라 언젠가 En 에 들어가며, s(x)=0 인 점은 처음부터 들어 있습니다. 그러니 ⋃En 이 전체입니다. 이제
∫fn≥∫fn1En≥c∫s1En=c∑iaiμ(Ai∩En)
이고, n→∞ 에서 측도의 아래로부터의 연속성으로 μ(Ai∩En)→μ(Ai) 입니다. 그래서 L≥c∫s 이고, c 를 1로 보내면 L≥∫s 입니다. 증명이 끝납니다. 앞 절의 계단 근사열 sn 이 바로 이 정리의 가정을 만족하므로, 적분은 언제나 계단 함수 적분의 극한으로 계산된다는 말이 여기서 섭니다.
이 정리가 주는 첫 선물은 항별 적분입니다. 음이 아닌 gk 들에 대해 부분합 ∑k≤ngk 가 단조 증가하므로 ∫∑kgk=∑k∫gk 이고, 확률로 쓰면 음이 아닌 확률변수의 무한합의 기댓값은 기댓값의 무한합입니다. 조건은 「음이 아닐 것」 하나뿐이고 수렴 여부를 따로 묻지 않습니다.
파투 보조정리
단조가 아닌 열에서는 부등식 하나만 남습니다. 음이 아닌 가측함수열 fn 에 대해
∫liminfn→∞fndμ≤liminfn→∞∫fndμ
이고, 이것을 파투 보조정리라 부릅니다. liminf 는 꼬리의 하한이 결국 다가가는 값이고, 수열이 수렴하면 극한과 같습니다. 증명은 단조수렴에 맡깁니다. gk=infn≥kfn 은 k 를 따라 커지며 liminffn 으로 가므로 ∫gk→∫liminffn 입니다. 그리고 n≥k 이면 gk≤fn 이라 ∫gk≤infn≥k∫fn 이고, 양쪽에서 k→∞ 로 보내면 끝입니다.
부등호가 실제로 엄격해지는 예가 이 글의 핵심 반례입니다. [0,1] 위에서 fk=k⋅1(0,1/k] 는 높이 k, 폭 1/k 인 막대라 적분이 언제나 1입니다. 그런데 어느 점 x>0 을 고정하든 k>1/x 부터는 막대가 x 왼쪽으로 지나가 fk(x)=0 이고, x=0 은 처음부터 막대 밖입니다. 점마다 극한이 0이니 왼쪽은 0, 오른쪽은 1입니다.
![k = 1, 2, 4, 8 에 대한 막대 k·1(0,1/k] 네 개. 높이는 1, 2, 4, 8로 치솟고 폭은 1, 1/2, 1/4, 1/8로 좁아지지만 넓이는 모두 1이다. x = 0.3에서 값은 1, 2, 0, 0이다](/assets/posts/math-adv-lebesgue-integral-and-convergence-escaping-mass.svg)
질량 1이 사라진 것이 아니라 점점 좁은 곳에 쌓이다가 0이라는 한 점으로 빠져나갔습니다. 어느 한 점에서 지켜보는 관찰자는 그 질량이 지나가는 것을 결국 못 보게 되고, 점마다의 극한은 그 질량을 기억하지 못합니다. 파투 보조정리는 「극한을 취하면 질량을 잃을 수는 있어도 새로 얻지는 못한다」는 말이고, 잃지 않으려면 질량이 빠져나갈 길을 막는 조건이 필요합니다.
지배수렴 정리
지배수렴 정리는 그 조건을 줍니다. 가측함수열 fn 이 거의 모든 곳에서 f 로 수렴하고, 모든 n 에서 ∣fn∣≤g 인 적분 가능한 g 가 있으면 f 도 적분 가능하고
limn→∞∫∣fn−f∣dμ=0,limn→∞∫fndμ=∫fdμ
입니다. 함수 g 를 지배함수라 부릅니다. 모든 fn 을 한꺼번에 위에서 덮는 적분 가능한 지붕이고, 이 지붕이 있으면 질량이 빠져나갈 자리가 없습니다.
증명합니다. 영집합 위의 일은 적분에 영향이 없으니 모든 점에서 수렴한다고 두어도 됩니다. 점마다 ∣f∣=lim∣fn∣≤g 이니 f 는 적분 가능합니다. 이제 hn=2g−∣fn−f∣ 를 봅니다. ∣fn−f∣≤∣fn∣+∣f∣≤2g 라 hn≥0 이고, 점마다 hn→2g 입니다. 파투 보조정리를 hn 에 쓰면
∫2g=∫liminfhn≤liminf∫hn=∫2g−limsup∫∣fn−f∣
입니다. ∫2g 는 유한한 수이므로 양쪽에서 빼면 limsup∫∣fn−f∣≤0 이고, 음이 아닌 양의 상극한이 0 이하이니 극한이 0입니다. 둘째 등식은 ∣∫fn−∫f∣≤∫∣fn−f∣ 에서 나옵니다. 증명이 끝납니다. 가정이 각각 어디에 쓰였는지 봐 둡니다. 점마다의 수렴은 hn→2g 에, 지배는 hn≥0 과 「∫2g 를 빼도 된다」에 쓰였습니다. ∫g=∞ 이면 마지막 뺄셈이 ∞−∞ 가 되어 증명이 서지 않습니다.
반례에 대 봅니다. fk=k⋅1(0,1/k] 을 모두 덮는 가장 작은 지붕은 supkfk 이고, x∈(1/(k+1),1/k] 에서 그 값이 k 라 대략 1/x 입니다. ∫01dx/x=∞ 이니 적분 가능한 지배함수가 없고, 정리가 서지 않는 자리가 정확히 질량이 빠져나간 자리입니다. 확률변수로 쓰면 이 정리는 Xn→X 가 거의 확실히 성립하고 ∣Xn∣≤Y, EY<∞ 이면 EXn→EX 라는 문장입니다. 특별히 ∣Xn∣≤C 처럼 상수로 묶이면 확률측도에서 상수는 적분 가능하므로 언제나 성립하고, 이것을 유계수렴 정리라 부릅니다.
곱측도
두 측도공간 (X,A,μ) 와 (Y,B,ν) 가 있으면 곱집합 X×Y 위에 직사각형 A×B 의 크기를 μ(A)ν(B) 로 주는 측도를 세울 수 있습니다. 직사각형들을 담는 가장 작은 σ-대수 위로 넓힌 이 측도를 곱측도μ⊗ν 라 부릅니다. 평면의 넓이가 길이 곱의 곱측도입니다. 측도가 셀 수 있게 많은 유한 측도 조각으로 덮이면(이것을 σ-유한이라 부르고, 실수 위의 르베그 측도와 확률측도, 자연수 위의 개수 세기가 모두 그렇습니다) 이 확장이 하나로 정해집니다.
그 위에서 두 정리가 적분 순서를 다룹니다. 토넬리 정리는 음이 아닌 가측함수 f(x,y) 에 대해
∫X(∫Yfdν)dμ=∫X×Yfd(μ⊗ν)=∫Y(∫Xfdμ)dν
가 무한대를 포함해 늘 성립한다는 것이고, 푸비니 정리는 부호가 섞인 f 라도 ∫∣f∣d(μ⊗ν)<∞ 이면 같은 등식이 선다는 것입니다. 실전 순서는 둘을 이어 씁니다. 먼저 토넬리로 ∣f∣ 의 반복 적분을 어느 순서로든 계산해 유한한지 보고, 유한하면 푸비니로 f 의 순서를 바꿉니다. 토넬리의 증명은 직사각형의 지시함수에서 출발해 단순함수로, 다시 단조수렴 정리로 일반 함수로 올라가는 길이며 여기서는 결과만 씁니다.
절댓값 조건을 빼면 실제로 무너집니다. 자연수 둘 위의 개수 세기 측도에서 amn 을 m=n 이면 1, n=m+1 이면 −1, 나머지는 0으로 둡니다. 행마다 1과 −1 이 하나씩이라 행 합이 0이고, 그러니 행부터 더하면 0입니다. 열로 보면 첫 열에는 a11=1 만 있고 나머지 열은 1과 −1 이 하나씩이라, 열부터 더하면 1입니다. ∑∣amn∣=∞ 라 푸비니의 조건이 깨진 것입니다. 기댓값에서 이 정리가 쓰이는 자리는 많습니다. 데이터에 대한 기댓값과 잡음에 대한 기댓값의 순서를 바꾸는 일, E[X]=∫0∞P(X>t)dt 를 유도하는 일(앞 소절의 가로 자르기 공식이 정확히 1[t<X] 의 이중 적분에 토넬리를 쓴 것입니다), 그리고 미니배치 그래디언트를 표본별 그래디언트의 평균으로 쪼개는 일이 전부 그렇습니다.
이 언어로 독립도 정확히 적습니다. 확률변수 X,Y 가 모든 보렐 집합 A,B 에서 P(X∈A,Y∈B)=P(X∈A)P(Y∈B) 를 만족하면 독립이라 부릅니다. 둘의 결합 분포가 각자의 분포의 곱측도 PX⊗PY 와 같다는 말입니다. 그러면 E∣X∣,E∣Y∣<∞ 일 때 E[XY]=E[X]E[Y] 가 푸비니 한 줄로 나옵니다. 곱측도 위에서 xy 를 적분하면 안쪽 적분이 yE[X] 이기 때문입니다. 중급 20번에서 「독립이면 곱의 기댓값이 기댓값의 곱」이라 적은 것이 이것이고, 그 정리에는 적분 가능성이라는 조건이 숨어 있었습니다.
미분과 적분의 교환
교환 정리
이제 첫째 질문의 조건을 진술하고 증명합니다. 열린 구간 I 와 측도공간 위에서 f(x,θ) 가 다음을 만족한다고 합니다.
각 θ∈I 에서 f(⋅,θ) 가 적분 가능하다.
거의 모든 x 에서 θ↦f(x,θ) 가 I 전체에서 미분 가능하다.
모든 θ∈I 와 거의 모든 x 에서 ∣∂θf(x,θ)∣≤g(x) 이고 ∫g<∞ 이다.
그러면 F(θ)=∫f(x,θ)dμ(x) 는 I 에서 미분 가능하고
F′(θ)=∫∂θf(x,θ)dμ(x)
입니다. 이것을 적분 기호 아래의 미분, 또는 미분-적분 교환이라 부릅니다.
증명합니다. θ∈I 를 고정하고 0으로 가는 수열 tn=0 을 아무거나 잡되 θ+tn∈I 가 되게 합니다. 차분몫
qn(x)=tnf(x,θ+tn)−f(x,θ)
은 가측함수이고, 조건 2로 거의 모든 x 에서 qn(x)→∂θf(x,θ) 입니다. 그 극한도 가측함수의 극한이라 가측입니다. 그리고 조건 2가 x 마다 θ 와 θ+tn 사이 전체에서 미분 가능성을 주므로 평균값 정리를 쓸 수 있습니다. 둘 사이의 어떤 ξn(x) 에서 qn(x)=∂θf(x,ξn(x)) 이고, 조건 3으로
∣qn(x)∣≤g(x)
입니다. 지배수렴 정리의 가정이 다 섰습니다. 따라서
tnF(θ+tn)−F(θ)=∫qndμ⟶∫∂θf(x,θ)dμ
입니다. 왼쪽의 등호는 조건 1이 준 적분 가능성으로 두 적분을 빼도 된다는 것입니다. 어떤 수열 tn→0 에서나 같은 극한이 나오므로 F 는 θ 에서 미분 가능하고 도함수가 오른쪽입니다. 증명이 끝납니다. 조건 셋이 하는 일이 갈립니다. 조건 2는 차분몫이 점마다 수렴하게 하고, 조건 3은 그 차분몫을 지배함수 하나로 덮으며, 그 둘을 잇는 것이 평균값 정리입니다. 첫머리 논문의 「integrable g with ∣∇θpθ(x)r(x)∣≤g(x)」가 정확히 조건 3입니다.
불연속 보상
첫머리의 재매개변수화가 어디서 깨졌는지 이제 짚을 수 있습니다. f(ε,θ)=1[θ+ε>1] 을 표준정규 측도에 대해 적분하면 J(θ)=P(ε>1−θ)=Φ(θ−1) 이고, 미분하면 J′(θ)=φ(1−θ), θ=0.5 에서 0.3521입니다. 여기서 Φ 와 φ 는 표준정규분포의 누적분포함수와 밀도입니다. 반면 ε 마다 미분하면 0입니다.
어느 조건이 깨졌는지 봅니다. 조건 2부터 깨져 있습니다. ε 을 고정했을 때 θ↦f 는 θ=1−ε 에서 뛰므로 I 전체에서 미분 가능하지 않습니다. 「거의 모든 x 에서 한 점 θ 의 도함수가 있다」는 것과 「거의 모든 x 에서 구간 전체에서 미분 가능하다」는 것은 다른 말이고, 평균값 정리를 쓰려면 뒤쪽이 필요합니다. 그래서 차분몫을 직접 봐야 합니다. θ 를 Δθ 만큼 올리면 차분몫은
q(ε)=Δθ11[1−θ−Δθ<ε≤1−θ]
이고, 이것은 앞 절의 k⋅1(0,1/k] 과 같은 모양입니다. 폭 Δθ, 높이 1/Δθ 인 막대가 경계 1−θ 로 모여들며, 점마다는 0으로 가지만 정규 밀도에 대한 적분은 φ(1−θ) 로 갑니다. 모든 Δθ 의 막대를 한꺼번에 덮는 지붕은 경계 근처에서 1/∣ε−(1−θ)∣ 꼴로 치솟아 적분 가능하지 않습니다.
같은 ε 표본으로 차분몫을 재 보면 Δθ=0.1,0.01,0.001 에서 평균이 0.358, 0.331, 0.370이고 최댓값은 10, 100, 1000입니다. 평균은 참값 근처에 있지만 그 평균을 떠받치는 것이 경계 근처의 극소수 표본이고, Δθ 를 줄일수록 그 표본이 더 드물고 더 커집니다. 극한에서 그 표본들의 몫이 통째로 사라진 것이 재매개변수화의 0입니다. 그래디언트는 사라진 것이 아니라 영집합 위로 모였을 뿐이고, 표본별 미분은 영집합을 보지 못합니다.
점수 함수 쪽은 같은 기댓값을 x 의 밀도 위에서 적습니다. f(x,θ)=r(x)pθ(x) 이고 불연속인 r 은 θ 와 무관하니 미분이 매끄러운 pθ 에만 걸립니다. ∂θf=r(x)(x−θ)pθ(x) 이고, θ 가 I=(0,1) 안에 있으면 ∣x−θ∣≤∣x∣+1, 그리고 pθ(x)=φ(x−θ) 는 ∣x∣>1 에서 φ(∣x∣−1) 이하, ∣x∣≤1 에서 φ(0) 이하라 그 둘을 이은 함수와 ∣x∣+1 의 곱이 적분 가능한 지배함수가 됩니다. 세 조건이 다 서니 교환이 정당하고, 그래서 점수 함수 추정량이 참값을 겨눕니다. 같은 보상을 두고 하나는 서고 하나는 안 서는 이유가 「불연속이 미분 변수와 엮였는가」 하나입니다.
움직이는 지지집합
조건이 깨지는 다른 모양은 분포가 살아 있는 구간 자체가 θ 와 함께 움직이는 경우입니다. 확률이 0보다 큰 값들의 집합을 지지집합이라 부릅니다. 중급 53번이 균등분포 U[0,θ] 로 이 자리를 보였고, 여기서는 측도의 말로 다시 읽습니다. f(x)=x2 을 보상으로 두면 J(θ)=∫0θx2⋅θ1dx=θ2/3 이라 J′(θ)=2θ/3 입니다. 점수 함수 공식을 그대로 쓰면 지지집합 안에서 ∂θlogpθ=−1/θ 이므로 E[x2⋅(−1/θ)]=−θ/3 이 나옵니다. θ=2 에서 참값은 4/3, 공식은 −2/3 이고 차이가 정확히 2입니다.
어디서 깨졌는지 봅니다. 르베그 측도 위에서 f(x,θ)=x2⋅θ11[0≤x≤θ] 이고, x 를 고정하면 θ=x 에서 지시함수가 0에서 1/θ 로 뜁니다. 조건 2가 깨지고, 차분몫에는 다시 경계 x=θ 근처의 좁고 높은 막대가 생깁니다. 그 막대가 모이는 질량은 경계에서의 값 f(θ)pθ(θ)=θ2⋅θ1=θ 이고, θ=2 에서 2입니다. 공식과 참값의 차이가 이것입니다. 미적분의 라이프니츠 규칙으로 적으면 경계항이고, 측도의 말로 적으면 지배함수가 없는 자리로 빠져나간 질량입니다.
AI에서 이 모양은 생각보다 자주 나옵니다. 행동 범위를 [0,θ] 로 잘라 쓰는 연속 제어, 확률을 0으로 만드는 마스크가 파라미터에 따라 바뀌는 언어모델 샘플링, 그리고 클리핑 경계가 정책에 매인 목적 함수가 다 지지집합이 θ 에 의존하는 경우입니다. 마스크가 고정되어 있으면 지지집합이 움직이지 않으니 괜찮습니다. 고급 4번이 다룰 중요도 비율에서 분모가 0이 되는 사건도 같은 뿌리를 갖지만, 그 이야기는 그 글에 맡깁니다.
점검 순서
정리를 실제 문제에 쓸 때는 순서가 정해져 있습니다. 먼저 기댓값을 어떤 측도 위의 적분으로 적을지 고릅니다. 같은 J(θ) 라도 ε 위의 적분과 x 위의 적분은 피적분함수가 다르고, 교환 조건은 그 피적분함수에 매입니다. 다음으로 θ 를 움직였을 때 피적분함수가 뛰는 자리가 있는지 봅니다. 불연속 보상이 미분 변수와 엮이거나 지지집합의 끝이 움직이면 거기서 막힙니다. 마지막으로 θ 의 작은 근방에서 ∣∂θf∣ 를 θ 와 무관한 함수로 눌러 보고, 그 함수가 적분 가능한지 확인합니다.
마지막 걸음에서 「근방」이 중요합니다. 한 점 θ 에서만 ∂θf 가 적분 가능하면 충분하지 않고, 평균값 정리가 고르는 중간점 ξn(x) 가 근방 어디에 떨어질지 모르니 근방 전체를 하나의 g 로 덮어야 합니다. 정규분포처럼 꼬리가 가벼운 분포는 이 지붕을 쉽게 주고, 코시 분포처럼 꼬리가 무거우면 보상이 다항식으로만 자라도 지붕이 적분 가능하지 않을 수 있습니다. 논문의 「for all θ in a neighborhood」가 정확히 이 근방입니다.
확률변수의 수렴
네 가지 수렴
확률변수열 X1,X2,… 가 X 로 간다는 말에는 네 가지 뜻이 있습니다. 이 소절에서 넷을 한꺼번에 정의합니다. 모두 같은 확률공간 위에 있다고 둡니다(마지막 것만은 그럴 필요가 없습니다).
거의 확실한 수렴: P({ω:Xn(ω)→X(ω)})=1. 결과 ω 를 하나 고정하면 수열이 보통의 수열로서 수렴하고, 그렇지 않은 ω 는 영집합이다.
확률 수렴: 모든 ε>0 에서 P(∣Xn−X∣>ε)→0.
Lp 수렴: E∣Xn−X∣p→0 (p≥1).
분포 수렴: X 의 누적분포함수 F 가 연속인 모든 점 t 에서 P(Xn≤t)→F(t). 기호로 XndX.
첫째는 경로마다의 수렴이고, 둘째는 「크게 어긋날 확률」이 줄어드는 것이며, 셋째는 어긋남의 평균이 줄어드는 것, 넷째는 분포의 모양만 다가가는 것입니다. SGD 수렴 정리의 「almost surely」는 첫째이고, 대수의 약법칙은 둘째, 평균제곱오차로 추정량을 평가하는 것은 셋째의 p=2, 중심극한정리는 넷째입니다. 분포 수렴에서 연속점만 보는 이유는 Xn=1/n 같은 예 때문입니다. 이 수열은 상수 0으로 가는 것이 분명한데, t=0 에서는 P(Xn≤0)=0 이 F(0)=1 로 가지 않습니다. 뛰는 점 하나 때문에 수렴을 부정하지 않으려고 그 점을 뺍니다.
함의 관계
화살표는 넷입니다. 각각 짧게 증명합니다.
거의 확실히 → 확률. ε 을 고정하면 1[∣Xn−X∣>ε] 은 거의 모든 ω 에서 결국 0이 되고 1로 묶여 있으니, 유계수렴 정리로 그 기댓값 P(∣Xn−X∣>ε) 이 0으로 갑니다.
확률 → 분포. 연속점 t 와 ε>0 에서 Xn≤t 이면 X≤t+ε 이거나 ∣Xn−X∣>ε 이니 P(Xn≤t)≤F(t+ε)+P(∣Xn−X∣>ε) 입니다. 같은 방법으로 F(t−ε)≤P(Xn≤t)+P(∣Xn−X∣>ε) 이고, n→∞ 다음 ε→0 으로 보내면 연속성으로 양쪽이 F(t) 로 모입니다.
확률 → 부분수열이 거의 확실히. P(∣Xnk−X∣>2−k)<2−k 인 nk 를 고르면 확률의 합이 유한하므로, 무한히 많은 k 에서 어긋나는 사건의 확률이 0입니다(보렐–칸텔리 보조정리).
넷째에 쓴 보렐–칸텔리는 단조수렴의 따름정리입니다. 사건 Ak 들의 확률 합이 유한하면 E[∑k1Ak]=∑kP(Ak)<∞ 이고, 기댓값이 유한한 음이 아닌 확률변수는 거의 확실히 유한하니 거의 모든 ω 가 유한 개의 Ak 에만 들어갑니다. 지배가 있으면 화살표가 하나 더 생깁니다. ∣Xn∣≤Y, EYp<∞ 이고 확률 수렴하면 Lp 수렴합니다. 넷째 화살표로 어느 부분수열이든 그 안에 다시 거의 확실히 수렴하는 부분수열을 잡고 지배수렴을 쓰면 됩니다.
반례
거꾸로는 하나도 서지 않습니다. 확률공간을 [0,1) 위의 균등분포로 두고 U(ω)=ω 라 합니다.
먼저 확률 수렴하지만 거의 확실히는 수렴하지 않는 예입니다. n=2k+j (0≤j<2k)마다 Xn=1[j/2k≤U<(j+1)/2k] 로 둡니다. k 마다 폭 1/2k 인 칸이 [0,1) 을 왼쪽에서 오른쪽으로 한 번 훑고, 다음 k 에서 폭을 반으로 줄여 다시 훑습니다. 이 수열을 타자기 수열이라 부릅니다. P(Xn=1)=1/2k→0 이니 0으로 확률 수렴하고 Lp 수렴도 합니다. 그런데 어느 ω 를 고정해도 훑을 때마다 한 번씩 칸에 걸리므로 Xn(ω)=1 이 무한히 자주 일어나 수열이 수렴하지 않습니다. ω=0.3 이면 n=1,2,5,10,20,41,83,… 에서 1이 나옵니다. 그래도 넷째 화살표대로 n=2k 만 골라 낸 부분수열 1[U<2−k] 는 ω>0 에서 결국 0이 됩니다.
거의 확실히 수렴하지만 L1 수렴은 하지 않는 예도 있습니다. Xn=n⋅1[U<1/n] 은 ω>0 이면 n>1/ω 부터 0이라 거의 확실히 0으로 가지만 EXn=1 입니다. 파투 절의 막대를 확률변수로 다시 쓴 것이고, 질량이 빠져나간 탓에 기댓값이 따라오지 않습니다. 「거의 확실히 수렴하는 추정량이니 기댓값도 수렴한다」는 추론이 지배 조건 없이는 틀리는 이유입니다.
마지막으로 분포 수렴하지만 확률 수렴은 하지 않는 예입니다. X 가 표준정규이고 Xn=−X 이면 대칭성으로 Xn 의 분포는 X 와 같아 분포 수렴은 처음부터 성립하지만, ∣Xn−X∣=2∣X∣ 는 줄지 않습니다. 분포 수렴은 같은 확률공간의 ω 를 짝짓지 않으니 두 변수가 실제로 가까운지에 대해서는 아무것도 말하지 않습니다. 그래서 중심극한정리가 말하는 것은 「표본평균의 분포가 정규 모양에 다가간다」이지 「표본평균이 어떤 정규 확률변수에 다가간다」가 아닙니다.
특성함수
분포 수렴을 확인하는 도구가 특성함수φX(t)=E[eitX] 입니다. 실수 t 마다 복소수 하나를 주는 함수이고, 분포의 푸리에 변환입니다. ∣eitX∣=1 이라 어떤 분포든 특성함수가 존재하고(적률생성함수는 꼬리가 무거우면 없습니다), 유계수렴 정리로 t 에 대해 연속입니다. 특성함수가 같으면 분포가 같다는 것이 알려져 있고, 독립인 X,Y 에서는 푸비니로 φX+Y(t)=φX(t)φY(t) 라 합의 분포를 곱셈으로 다룰 수 있습니다. 표준정규의 특성함수는 e−t2/2 입니다.
레비 연속성 정리는 분포 수렴과 특성함수의 점마다 수렴을 잇습니다. XndX 이면 모든 t 에서 φXn(t)→φX(t) 이고, 거꾸로 φXn(t) 가 모든 t 에서 어떤 함수 ψ(t) 로 수렴하고 ψ 가 t=0 에서 연속이면 ψ 는 어떤 분포의 특성함수이고 Xn 은 그 분포로 분포 수렴합니다. 증명은 생략하고 쓰는 법을 봅니다. Xn∼Bin(n,λ/n) 이면 독립 베르누이의 합이니
φXn(t)=(1+nλ(eit−1))n⟶exp(λ(eit−1))
이고, 오른쪽은 평균 λ 인 포아송 분포의 특성함수입니다. 희귀 사건의 개수가 포아송을 따른다는 근사가 이렇게 한 줄로 섭니다. 다음 절의 중심극한정리도 같은 길로 증명합니다.
중심극한정리
린데베르그 조건
중급 22번의 중심극한정리는 같은 분포를 따르는 독립 표본의 평균에 대한 것이었습니다. 평가에서는 그 가정이 바로 깨집니다. 문항마다 난이도가 달라 문항 i 를 맞힐 확률 pi 가 서로 다르기 때문입니다. 분포가 달라도 되는 판이 필요합니다. 독립인 Xn,1,…,Xn,n 이 평균 0, 분산 합 sn2=∑kEXn,k2 을 가질 때, 모든 ε>0 에서
sn21∑k=1nE[Xn,k21{∣Xn,k∣>εsn}]⟶0
이면 이것을 린데베르그 조건이라 부르고, 그때 Sn/sn=∑kXn,k/sndN(0,1) 입니다. 이것이 린데베르그 중심극한정리입니다. 조건이 말하는 것은 「전체 분산 가운데, 한 항이 전체 규모 sn 에 견줄 만큼 크게 튀는 몫이 사라진다」입니다. 어느 한 항도 합을 혼자 좌우하지 못한다는 뜻이고, 그래서 이 조건이 서면 각 항의 분산이 전체에서 차지하는 비율 maxkEXn,k2/sn2 도 0으로 갑니다.
평가 문항에서는 쉽게 섭니다. Xi=1[문항i정답]−pi 는 절댓값이 1 이하이고, 분산 합 sn2=∑ipi(1−pi) 이 문항 수와 함께 무한히 커지면 언젠가 εsn>1 이 되어 지시함수가 전부 0입니다. pi 를 0.3에서 0.95까지 고르게 깐 500문항으로 실험하면 표준화한 합이 ±1.96 안에 드는 비율이 0.957로 정규분포의 0.95에 가깝습니다. 반대로 Xk=2kRk (Rk 는 ±1 을 반반으로 내는 부호)를 20개 더하면, 마지막 항 하나가 분산의 3/4 를 차지해 린데베르그 조건이 깨집니다. 이 합을 sn 으로 나눈 값은 절댓값이 3=1.732 를 넘지 못해서, 정규분포라면 5%가 나가야 할 ±1.96 밖에 한 번도 나가지 않습니다.
증명 개요
증명은 앞 절의 레비 정리로 갑니다. σk2=EXn,k2 로 쓰고, sn=1 로 맞춰 둡니다. 보여야 할 것은 ∏kφk(t)→e−t2/2 입니다. 열쇠는 테일러 전개의 오차를 두 방식으로 누르는 부등식
eix−(1+ix−2x2)≤min(6∣x∣3,x2)
입니다. 평균이 0이니 ∣φk(t)−(1−σk2t2/2)∣≤Emin(∣tX∣3/6,t2X2) 이고, 이 기댓값을 ∣X∣≤ε 과 ∣X∣>ε 으로 가르면 앞쪽은 세제곱 쪽으로 ε∣t∣3σk2/6 이하, 뒤쪽은 제곱 쪽으로 t2E[X21{∣X∣>ε}] 이하입니다. k 에 대해 더하면 앞쪽 합은 ε∣t∣3/6 이하이고 뒤쪽 합은 린데베르그 조건으로 0에 갑니다.
나머지는 복소수 곱의 차이를 다루는 기본 부등식입니다. 절댓값이 1 이하인 복소수들에서는 ∣∏ak−∏bk∣≤∑∣ak−bk∣ 이므로, ∏φk 와 ∏(1−σk2t2/2) 의 차이가 위의 합으로 눌리고, maxkσk2→0 이면 ∏(1−σk2t2/2) 가 e−t2∑σk2/2=e−t2/2 로 갑니다. ε 을 0으로 보내면 끝입니다. 같은 분포의 i.i.d. 경우는 Xn,k=(Yk−μ)/n 로 두면 린데베르그 항이 E[(Y−μ)21{∣Y−μ∣>εσn}]/σ2 이 되어 지배수렴 정리로 0에 가므로, 중급 22번의 정리는 이 정리의 특별한 경우입니다.
슬러츠키 정리
중급 74번의 정규 근사 구간에는 숨은 걸음이 하나 있었습니다. 중심극한정리가 주는 것은 n(p^−p)/p(1−p)dN(0,1) 인데, 구간을 만들 때는 모르는 p 대신 p^ 를 분모에 꽂았습니다. 이 바꿔치기를 정당화하는 것이 슬러츠키 정리입니다. XndX 이고 Yn 이 상수 c 로 확률 수렴하면
Xn+YndX+c,XnYndcX,Xn/YndX/c(c=0)
입니다. 대수의 법칙으로 p(1−p)/p^(1−p^) 가 1로 확률 수렴하니, 꽂은 통계량도 표준정규로 분포 수렴합니다. 증명의 골자는 짧습니다. Yn 이 c 에 확률 수렴하면 Yn−c 를 더하거나 곱하는 효과가 확률이 사라지는 사건 위에서만 크고, 분포 수렴은 확률이 작은 사건에 둔감하기 때문입니다. 상수가 아닌 극한에서는 무너집니다. 앞의 Xn=−X 에서 XndX, Yn=X 는 자기 자신으로 수렴하지만 Xn+Yn=0 은 X+X=2X 의 분포로 가지 않습니다. 「c 가 상수」라는 조건은 두 수열이 ω 를 어떻게 짝짓는지 몰라도 되게 해 주는 장치입니다.
델타 방법
이제 셋째 질문입니다. 추정량 Tn 이 n(Tn−θ)dN(0,σ2) 를 만족하고 함수 g 가 θ 에서 미분 가능하면
n(g(Tn)−g(θ))dN(0,g′(θ)2σ2)
입니다. 이것을 델타 방법이라 부릅니다. 증명은 슬러츠키를 한 번 씁니다. g 가 θ 에서 미분 가능하니 g(Tn)−g(θ)=(g′(θ)+ρn)(Tn−θ) 로 쓸 수 있고, 여기서 ρn 은 Tn→θ 일 때 0으로 가는 나머지입니다. n(Tn−θ) 가 분포 수렴하면 Tn−θ 는 0으로 확률 수렴하므로 ρn 도 0으로 확률 수렴합니다. 그러면 n(g(Tn)−g(θ))=(g′(θ)+ρn)⋅n(Tn−θ) 이고, 슬러츠키의 곱으로 g′(θ)N(0,σ2) 의 분포로 갑니다. 한 마디로 g 를 접선으로 펴서 표준오차에 기울기를 곱하는 것입니다.
정답률 0.82, 500문항으로 계산합니다. p^ 의 표준오차는 0.82×0.18/500=0.0172 이고, 로짓 g(p)=log(p/(1−p)) 의 도함수는 1/(p(1−p)) 라 0.82 에서 6.775입니다. 그래서 로짓의 표준오차는 6.775×0.0172=0.1164 이고, 로짓 값 1.516에 ±1.96×0.1164 를 붙이면 [1.288,1.744] 입니다. 로지스틱 함수로 되돌리면 정답률 구간 [0.784,0.851] 이고, 중심 0.82에서 아래로 3.6%p, 위로 3.1%p라 좌우가 비대칭입니다. 1 쪽 벽에 가까운 만큼 위쪽이 눌린 것이고, 중급 74번이 Wilson 구간으로 고친 비대칭과 같은 방향입니다. 이항분포에서 20만 번 뽑아 확인하면 표준화한 로짓의 표준편차가 1.007, ±1.96 안에 드는 비율이 0.949입니다.
델타 방법이 깨지는 자리는 g′(θ)=0 일 때입니다. p=0.5 에서 g(p)=(p−0.5)2 을 보면 접선이 수평이라 위 식의 분산이 0이 되고, 실제로는 n(g(p^)−g(p)) 가 카이제곱 모양의 분포로 갑니다. 1차 항이 사라지면 2차 항이 주인이 되고, 정규 근사가 아니라 그 다음 항을 봐야 합니다.
다시 그 그래디언트로
정리 줄 읽기
첫머리의 정리 줄을 이제 한 마디씩 읽습니다. 「pθ(x) is differentiable in θ」와 「integrable g with ∣∇θpθ(x)r(x)∣≤g(x) for all θ in a neighborhood」는 교환 정리의 조건 2와 3입니다. 이 조건이 x 위의 적분, 곧 점수 함수 표현에 대해 적혀 있다는 점이 핵심입니다. 미분이 매끄러운 밀도에만 걸리니 불연속 보상도 괜찮고, 정규 정책이라면 θ 의 유계 근방에서 지배함수를 직접 적을 수 있습니다. 첫째 질문의 답은 이렇습니다. 그 조건은 차분몫의 질량이 영집합으로 빠져나가지 못하게 막고, 재매개변수화는 ε 위의 적분으로 바꾸면서 불연속을 미분 변수와 엮어 조건 2부터 잃었습니다. 재매개변수화가 틀린 것이 아니라 그 표현에서 교환이 정당하지 않은 것이고, 보상이 x 에 대해 립시츠라면 같은 정리로 재매개변수화도 정당해집니다. 고급 1번의 립시츠 연속이 이 자리에서 지배함수가 됩니다.
둘째 질문의 답은 이렇습니다. 「almost surely」는 「확률 1인 사건 위에서 경로마다」이고, 네 수렴 중 가장 강한 축에 들지만 기댓값의 수렴을 주지는 않습니다. SGD 반복값이 거의 확실히 수렴해도 E∥θn−θ⋆∥2 이 0으로 간다는 것은 지배 조건을 따로 확인해야 하고, 논문이 둘을 따로 진술하는 이유가 그것입니다. 셋째 질문의 답은 델타 방법입니다. 로짓의 표준오차는 정답률의 표준오차에 기울기 1/(p(1−p)) 를 곱한 0.1164이고, 그 뒤에 중심극한정리(문항이 고르지 않아도 린데베르그가 지켜 줍니다)와 슬러츠키(모르는 p 대신 p^ 를 꽂아도 됩니다)가 서 있습니다.
코드로 확인하기
첫머리의 두 추정량과 차분몫, 질량이 빠져나가는 막대, 푸비니가 깨지는 이중급수, 타자기 수열, 린데베르그가 깨지는 합, 그리고 델타 방법을 차례로 찍습니다.
첫 블록에서 점수 함수 추정량은 참값과 표준오차 0.0013 안에서 맞고, 재매개변수화는 정의상 0입니다. 차분몫의 최댓값이 1/Δθ 로 치솟는 것이 지배함수가 없다는 것의 숫자 모습이고, Δθ=0.001 에서 평균이 0.37로 흔들리는 것은 그 큰 값을 받는 표본이 20만 개 중 70개 남짓뿐이라서입니다. 막대 블록은 넓이 1이 그대로인 채 한 점의 값이 0이 되는 모습이고, 이중급수는 더하는 순서만 바꿨는데 0과 1이 나옵니다. 타자기 수열은 확률이 반씩 줄어도 ω=0.3 에서는 훑을 때마다 한 번씩 1을 냅니다. 린데베르그가 깨진 합은 1.732를 넘지 못하고 ±1 안에 드는 비율도 정규의 0.683과 다릅니다. 마지막 블록은 델타 방법의 구간이 실제 포함 확률 0.949로 약속한 95%를 지킨다는 확인입니다.
연습
[0,1] 위에서 fn=n⋅1(1/n,2/n] 를 봅니다. 점마다의 극한과 ∫fn 의 극한을 구하고, 지배수렴 정리를 쓸 수 있는 지배함수가 있는지 판정하세요.
어느 x>0 이든 2/n<x 가 되는 n 부터 fn(x)=0 이고 fn(0)=0 이라 점마다의 극한은 0입니다. ∫fn=n⋅(1/n)=1 이라 적분의 극한은 1입니다. 지배함수는 supnfn 이상이어야 하는데, x∈(1/n,2/n] 이면 n≥1/x 라 supnfn(x)≥1/x 이고 ∫01dx/x=∞ 이므로 적분 가능한 지배함수가 없습니다. 파투 보조정리의 부등호가 0<1 로 엄격하게 섭니다.
x∼N(θ,1), 보상 r(x)=1[x>0] 이고 θ=1 입니다. J′(1) 의 참값, 재매개변수화로 표본마다 미분한 값의 기댓값, 점수 함수 추정량의 기댓값을 각각 구하세요.
J(θ)=P(ε>−θ)=Φ(θ) 라 J′(1)=φ(1)=0.2420 입니다. 재매개변수화는 ε=−1 한 점을 빼면 도함수가 0이라 기댓값이 0입니다. 점수 함수 쪽은 x 위의 적분에서 교환 조건이 서므로 기댓값이 참값 0.2420과 같습니다. 직접 계산하면 E[1[x>0](x−1)]=∫−1∞εφ(ε)dε=φ(−1)=0.2420 입니다.
x∼U[0,θ] 이고 f(x)=x3 입니다. θ=1 에서 J′(θ) 의 참값과, 지지집합 안의 ∂θlogpθ 로 만든 점수 함수 공식의 값을 구하고, 차이가 어디서 오는지 밝히세요.
J(θ)=θ3/4 라 J′(1)=3/4 입니다. 지지집합 안에서 ∂θlogpθ=−1/θ 라 공식은 E[x3]⋅(−1/θ)=−θ2/4=−1/4 입니다. 차이 1은 경계에서의 값 f(θ)pθ(θ)=θ3⋅(1/θ)=θ2=1 이고, 지지집합의 끝이 θ 와 함께 움직여 조건 2가 깨진 탓입니다.
자연수 둘 위에서 amn 을 n=m 이면 1, n=m+2 이면 −1, 나머지는 0으로 둡니다. 행부터 더한 합과 열부터 더한 합을 구하고, 푸비니 정리와 어긋나지 않는 이유를 설명하세요.
행 m 에는 1과 −1 이 하나씩이라 행 합이 0이고, 행부터 더하면 0입니다. 열 n 에는 ann=1 과, n≥3 이면 an−2,n=−1 이 있어 첫째와 둘째 열만 합이 1이고 나머지는 0입니다. 열부터 더하면 2입니다. ∑∣amn∣=∞ 라 푸비니의 조건이 성립하지 않으므로 모순이 아닙니다.
균등분포 U 로 Xn=n⋅1[U<1/n] 을 만듭니다. 0으로의 거의 확실한 수렴, 확률 수렴, L1 수렴, L2 수렴 가운데 무엇이 성립하나요.
U>0 이면 n>1/U 부터 0이라 거의 확실히 수렴하고, 그래서 확률 수렴도 합니다. EXn=n⋅(1/n)=1/n→0 이라 L1 수렴합니다. EXn2=n⋅(1/n)=1 이라 L2 수렴은 하지 않습니다.
정답률 0.7, 문항 400에서 로그 정답률 logp^ 의 표준오차를 델타 방법으로 구하세요.
p^ 의 표준오차는 0.7×0.3/400=0.02291 이고, g(p)=logp 의 도함수가 1/p=1.4286 이라 표준오차는 1.4286×0.02291=0.0327 입니다.
이 글이 세운 것은 「언제 바꿔도 되는가」를 묻는 도구입니다. 적분과 극한은 지배함수가 있으면 바꿀 수 있고, 미분과 적분은 그 지배함수가 차분몫을 덮으면 바꿀 수 있으며, 두 적분은 절댓값의 적분이 유한하면 바꿀 수 있습니다. 첫머리의 두 추정량이 갈린 것은 같은 기댓값을 다른 측도 위에 적었기 때문이었고, 한쪽 표현에서만 질량이 영집합으로 빠져나갔습니다. 같은 도구가 수렴 쪽에서는 「거의 확실히」와 「기댓값이 따라온다」를 갈랐고, 중심극한정리·슬러츠키·델타 방법으로 이어져 보고서의 로짓 구간 하나를 떠받쳤습니다. 다음에 이어질 「고급 4번 · 라돈–니코딤 도함수」는 이 글의 측도 둘을 나란히 놓고 한 측도를 다른 측도로 나누는 일을 다룹니다.
갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.