데이터분석 전문가(ADP)

데이터분석 전문가(ADP) 시험 노트개념 정리18 MIN

추정과 가설검정, 유의확률

ADP 4과목 통계 분석의 셋째 자리입니다. 점추정과 불편성, 신뢰구간과 그 해석, 표본 크기 결정, 귀무가설과 대립가설, 유의수준과 기각역, 제1종·제2종 오류와 검정력, p-값, 단측·양측검정을 계산과 함께 정리합니다.

앞 노트에서 표본평균이 평균 μ, 표준오차 σ/n\sigma / \sqrt{n} 인 정규분포에 가깝게 흔들린다는 것을 봤습니다. 이 노트는 그 사실을 두 방향으로 씁니다. 하나는 표본에서 모수의 값을 짐작하는 추정이고, 다른 하나는 모수에 대한 주장이 표본과 어긋나는지 판정하는 가설검정입니다. 둘 다 같은 표준오차 위에 서 있어서, 신뢰구간과 검정의 결론이 서로 맞물린다는 것까지 확인합니다.

점추정

추정량과 추정값

모수를 하나의 값으로 짐작하는 것이 점추정입니다. 표본에서 모수를 짐작하는 규칙(식)을 추정량, 그 규칙에 실제 표본을 넣어 얻은 수를 추정값이라 합니다. 「표본평균 Xˉ\bar{X} 로 μ를 짐작한다」는 추정량이고, 「이번 표본의 평균이 72였다」는 추정값입니다. 추정량은 표본마다 달라지는 확률변수라 좋고 나쁨을 그 분포로 따집니다.

불편성

추정량의 기대값이 모수와 같으면 그 추정량은 불편성을 가진다고 하고, 그런 추정량을 불편추정량이라 합니다. 표본을 거듭 뽑았을 때 평균적으로 과녁 한가운데를 맞힌다는 뜻입니다. 표본평균은 E(Xˉ)=μE(\bar{X}) = \mu 라 불편추정량입니다. 표본분산을 nn 으로 나누면 기대값이 n−1nσ2\frac{n-1}{n}\sigma^2 이 되어 모분산을 조금 작게 짐작하고, n−1n-1 로 나눠야 E(s2)=σ2E(s^2) = \sigma^2 이 됩니다. 앞 노트들에서 분산을 n−1n-1 로 나눈 까닭이 이것입니다.

효율성과 일치성

불편추정량이 여럿이면 분산이 작은 쪽이 낫고, 이 성질이 효율성입니다. 같은 과녁 한가운데를 노려도 덜 흩어지는 쪽이 좋다는 말입니다. 그리고 표본이 커질수록 추정량이 모수에 가까워지는 성질이 일치성입니다. 표본평균은 분산 σ2/n\sigma^2 / n 이 n과 함께 줄어 일치성도 가집니다.

구간추정

신뢰구간

모수가 들어 있으리라 보는 범위를 내놓는 것이 구간추정이고, 그 범위가 신뢰구간입니다. 모표준편차 σ를 알 때 모평균의 95% 신뢰구간은 xˉ±1.96×σ/n\bar{x} \pm 1.96 \times \sigma / \sqrt{n} 입니다. 표본평균 72, σ = 10, n = 25이면 표준오차가 2이고 구간은 72±3.9272 \pm 3.92, 곧 68.08에서 75.92입니다. 1.96 곱하기 표준오차를 오차한계라 하고, 신뢰수준을 99%로 올리면 1.96이 2.576으로 커져 구간이 넓어집니다.

신뢰수준의 해석

「95% 신뢰구간」은 μ가 이 구간에 있을 확률이 95%라는 뜻이 아닙니다. μ는 고정된 값이라 한 번 계산한 구간에는 들어 있거나 없거나 둘 중 하나입니다. 같은 방법으로 표본을 거듭 뽑아 구간을 만들면 그 구간들 가운데 약 95%가 μ를 품는다는 뜻이고, 확률이 붙는 대상은 μ가 아니라 구간을 만드는 절차입니다. 이 해석을 바꿔 놓은 보기가 함정입니다.

t분포 구간

σ를 모르면 표본 표준편차 s를 쓰고 1.96 대신 자유도 n−1n-1 인 t분포의 값을 씁니다. 표본평균 50, s = 6, n = 16이면 표준오차는 1.5이고, qt(0.975, 15)가 약 2.131이라 구간은 50±3.2050 \pm 3.20, 곧 약 46.80에서 53.20입니다. t값이 1.96보다 커서 같은 표준오차라도 구간이 넓습니다. 모르는 σ를 짐작으로 메운 값을 치르는 셈입니다.

xbar <- 50; s <- 6; n <- 16
se <- s / sqrt(n)                      # 1.5
xbar + c(-1, 1) * qt(0.975, n - 1) * se  # 46.80 53.20

원자료가 있으면 t.test(x, conf.level = 0.95)$conf.int가 같은 구간을 바로 돌려줍니다.

표본 크기 결정

평균의 표본 크기

원하는 오차한계 E를 먼저 정하고 표본 크기를 거꾸로 구할 수 있습니다. E=zσ/nE = z \sigma / \sqrt{n} 을 n에 대해 풀면 n=(zσ/E)2n = (z \sigma / E)^2 입니다. σ = 15로 알려진 변수에서 95% 신뢰수준으로 오차한계를 3 이내로 하려면 (1.96×15/3)2=9.82=96.04(1.96 \times 15 / 3)^2 = 9.8^2 = 96.04 이고, 표본 크기는 정수여야 하며 기준을 채워야 하므로 올림해 97명입니다. 내림한 96명은 오차한계가 3을 살짝 넘습니다.

비율의 표본 크기

비율은 n=z2p(1−p)/E2n = z^2 p(1-p) / E^2 이고, p를 모르면 p(1−p)p(1-p) 가 가장 커지는 0.5를 넣어 가장 넉넉하게 잡습니다. 오차한계 ±3%p, 95% 신뢰수준이면 1.962×0.25/0.032≈1067.11.96^2 \times 0.25 / 0.03^2 \approx 1067.1 이라 1,068명입니다. 두 식 모두 E가 제곱으로 분모에 있어, 오차한계를 절반으로 줄이려면 표본이 네 배 필요합니다.

가설

귀무가설과 대립가설

가설검정은 두 주장을 세워 놓고 시작합니다. 귀무가설(H0)은 「차이가 없다」·「효과가 없다」처럼 기존의 상태를 말하는 주장이고, 대립가설(H1)은 분석자가 표본으로 보이고 싶은 새 주장입니다. 검정은 귀무가설이 맞다고 가정한 채 표본이 얼마나 드문지를 따지고, 충분히 드물면 귀무가설을 기각합니다. 기각하지 못했다는 것은 귀무가설이 참이라는 증명이 아니라 그것을 버릴 증거가 모자라다는 뜻입니다. 그래서 결론은 「채택한다」보다 「기각하지 못한다」로 적는 것이 정확합니다.

단측검정과 양측검정

대립가설의 방향이 검정의 꼴을 정합니다. 「평균이 100과 다르다」처럼 양쪽을 다 보면 양측검정이고, 「평균이 100보다 크다」처럼 한쪽만 보면 단측검정입니다.

구분 대립가설 유의수준 5%의 경계 (Z)
양측 μ≠100\mu \ne 100 ±1.96
오른쪽 단측 μ>100\mu > 100 1.645
왼쪽 단측 μ<100\mu < 100 −1.645

같은 유의수준이라도 단측검정은 5%를 한쪽에 몰아 경계가 원점에 가깝습니다. 방향은 자료를 보기 전에 정해야 하고, 자료를 본 뒤 유리한 쪽으로 단측을 고르면 실제 유의수준이 두 배로 부풀어 오릅니다.

판정

유의수준과 기각역

유의수준 α는 귀무가설이 참인데도 기각할 확률을 어디까지 받아들일지 미리 정한 값이고, 보통 0.05를 씁니다. 그 α에 맞춰 검정통계량이 떨어지면 귀무가설을 기각하는 범위가 기각역입니다. H0: μ = 100, σ = 12, n = 36에서 표본평균이 103이면 표준오차 2로 나눈 검정통계량은 Z=(103−100)/2=1.5Z = (103 - 100) / 2 = 1.5 입니다. 양측 기각역 |Z| > 1.96에 들지 않으므로 유의수준 5%에서 기각하지 못합니다.

p-값

p-값(유의확률)은 귀무가설이 참이라고 할 때 지금 얻은 것만큼, 또는 그보다 더 극단적인 검정통계량이 나올 확률입니다. 위 예에서 양측 p-값은 2×(1−0.9332)=0.13362 \times (1 - 0.9332) = 0.1336 이고 0.05보다 크므로 기각하지 못합니다. 판정 규칙은 「p-값 < α 이면 기각」 하나이고, 기각역으로 판정한 것과 언제나 같은 결론이 나옵니다.

p-값은 귀무가설이 참일 확률이 아닙니다. 귀무가설을 참으로 놓고 계산한 값이라 그 가정의 확률을 말할 수 없습니다. 효과의 크기도 아닙니다. 표본이 매우 크면 실무에서 무의미한 차이도 p-값이 작게 나옵니다. 그리고 95% 신뢰구간이 귀무가설의 값 100을 품으면 양측 5% 검정은 기각하지 못한다는 대응이 있습니다. 위 예의 구간 103±3.92103 \pm 3.92 는 99.08에서 106.92라 100을 품고, 검정 결론과 맞습니다.

오류와 검정력

제1종 오류와 제2종 오류

판정은 틀릴 수 있고, 틀리는 방식이 둘입니다. 귀무가설이 참인데 기각하는 것이 제1종 오류이고 그 확률이 α입니다. 귀무가설이 거짓인데 기각하지 못하는 것이 제2종 오류이고 그 확률을 β라 합니다.

실제 \ 판정 H0 기각하지 않음 H0 기각
H0 참 옳은 판정 (1 − α) 제1종 오류 (α)
H0 거짓 제2종 오류 (β) 옳은 판정 (1 − β)

표본 크기가 정해져 있으면 α를 낮출수록 기각이 어려워져 β가 커집니다. 둘을 함께 줄이는 길은 표본을 늘리는 것입니다.

검정력

검정력은 귀무가설이 거짓일 때 그것을 제대로 기각할 확률 1−β1 - \beta 입니다. 표본이 클수록, 실제 차이(효과 크기)가 클수록, α가 클수록, 같은 방향이 맞는다면 양측보다 단측일수록 커집니다. 앞 절의 표본 크기 결정을 검정 쪽에서 하면 「검정력 80%를 얻으려면 몇 명이 필요한가」라는 물음이 되고, R의 power.t.test()가 이 계산을 합니다.

연습 문제

  1. 모표준편차가 8로 알려진 모집단에서 64개를 뽑아 표본평균 40을 얻었다. 모평균의 95% 신뢰구간은?
    ① 38.04 ~ 41.96
    ② 39.02 ~ 40.98
    ③ 24.32 ~ 55.68
    ④ 37.42 ~ 42.58
    ①. 표준오차는 8/64=18 / \sqrt{64} = 1 이고 구간은 40±1.9640 \pm 1.96 입니다. ④는 99%의 2.576을 쓴 구간이고, ③은 표준오차 대신 σ를 그대로 쓴 값입니다.
  2. 95% 신뢰구간 (68.1, 75.9)에 대한 해석으로 옳은 것은?
    ① 모평균이 이 구간에 있을 확률이 95%다
    ② 표본의 95%가 이 구간 안에 있다
    ③ 같은 방법으로 구간을 거듭 만들면 그중 약 95%가 모평균을 품는다
    ④ 표본평균이 이 구간에 있을 확률이 95%다
    ③. 확률은 구간을 만드는 절차에 붙고, 한 번 만든 구간과 고정된 모평균 사이에는 확률이 없습니다. 표본평균은 구간의 한가운데라 늘 구간 안에 있습니다.
  3. 지지율을 95% 신뢰수준, 오차한계 ±2%p로 추정하려 한다. 사전 정보가 없을 때 필요한 최소 표본 크기는?
    ① 1,068
    ② 1,600
    ③ 2,401
    ④ 2,500
    ③. 1.962×0.25/0.022=0.9604/0.0004=24011.96^2 \times 0.25 / 0.02^2 = 0.9604 / 0.0004 = 2401 입니다. 딱 떨어지므로 올림할 것이 없습니다. ④는 1.96을 2로 어림한 값입니다.
  4. 제2종 오류에 대한 설명으로 옳은 것은?
    ① 귀무가설이 참인데 기각하는 오류다
    ② 그 확률이 유의수준이다
    ③ 귀무가설이 거짓인데 기각하지 못하는 오류다
    ④ 표본을 늘려도 줄지 않는다
    ③. ①·②는 제1종 오류의 설명입니다. 제2종 오류의 확률 β는 표본을 늘리면 줄어들고, 그만큼 검정력이 커집니다.
  5. H0: μ = 50, H1: μ > 50, σ = 10, n = 25에서 표본평균이 53.5였다. 유의수준 5%의 판정으로 옳은 것은? (P(Z≤1.75)=0.9599P(Z \le 1.75) = 0.9599)
    ① Z = 1.75, p-값 약 0.040으로 기각한다
    ② Z = 1.75, p-값 약 0.080으로 기각하지 못한다
    ③ Z = 0.35, 기각하지 못한다
    ④ Z = 1.75, 양측 경계 1.96에 못 미치므로 기각하지 못한다
    ①. 표준오차는 10/5=210 / 5 = 2, Z=3.5/2=1.75Z = 3.5 / 2 = 1.75 입니다. 오른쪽 단측이라 p-값은 1−0.9599=0.04011 - 0.9599 = 0.0401 이고 0.05보다 작습니다. ②는 양측 p-값이고 ④는 양측 경계를 쓴 판정이라 대립가설의 방향과 맞지 않습니다.
  6. p-값에 대한 설명으로 옳지 않은 것은?
    ① 귀무가설이 참일 때 지금만큼 또는 더 극단적인 통계량이 나올 확률이다
    ② p-값이 유의수준보다 작으면 귀무가설을 기각한다
    ③ p-값이 0.03이면 귀무가설이 참일 확률이 3%다
    ④ 같은 차이라도 표본이 크면 p-값이 작아진다
    ③. p-값은 귀무가설을 참으로 놓고 계산한 확률이라 귀무가설 자체가 참일 확률을 말하지 않습니다.
  7. 표본 크기를 바꾸지 않고 유의수준을 0.05에서 0.01로 낮췄을 때 일어나는 일은?
    ① 제1종 오류 확률과 검정력이 모두 커진다
    ② 제1종 오류 확률은 줄고 제2종 오류 확률은 커진다
    ③ 제1종 오류 확률과 제2종 오류 확률이 모두 줄어든다
    ④ 검정력은 그대로다
    ②. 기각역이 좁아져 잘못 기각할 일은 줄지만, 거짓인 귀무가설을 놓칠 일은 늘어 검정력이 떨어집니다.
  8. 표본분산을 nn 이 아니라 n−1n - 1 로 나누는 까닭으로 가장 알맞은 것은?
    ① 계산을 빠르게 하려고
    ② 표본분산의 기대값이 모분산과 같아지도록, 곧 불편추정량이 되도록
    ③ 표본분산이 언제나 모분산보다 크게 나오도록
    ④ 자료에 이상값이 있을 때 영향을 줄이려고
    ②. nn 으로 나누면 기대값이 n−1nσ2\frac{n-1}{n}\sigma^2 이라 모분산을 평균적으로 작게 짐작합니다. ③은 평균적으로 같다는 것을 언제나 크다로 바꾼 말입니다.
데이터분석 전문가(ADP) 시험 노트 전체 보기