동전을 스무 번 던졌더니 앞면이 열다섯 번 나왔습니다.
이 동전이 공정한가라는 질문을 어떻게 판정할까요. 앞면 열다섯이 기대한 열보다 다섯이나 많으니 편향된 것 같기도 하고, 스무 번쯤은 흔들리는 것이 당연하니 우연 같기도 합니다. 눈짐작이 아니라 미리 정한 절차로 답을 내는 방법이 있고, 그것을 가설검정이라고 합니다. 지난 글이 손에 든 자료를 요약했다면, 이 글은 그 자료로 판정을 내리는 문장의 구조를 봅니다. 계산은 전부 이항계수 몇 개를 더하는 것으로 끝나므로, 수를 하나씩 손으로 따라가 보는 것이 이 글의 본체입니다.
귀무가설
계산할 수 있는 쪽
먼저 이상한 규약 하나에 익숙해져야 합니다. 판정은 "차이가 있다"가 아니라 "차이가 없다"를 가정한 채로 시작합니다.
이유는 이렇습니다. "차이가 없다"는 정확히 한 가지 상태입니다 — 동전이 공정하다면 앞면 확률은 정확히 입니다. 이 하나의 상태에서는 스무 번 던져 앞면이 몇 번 나올 확률을 정확히 계산할 수 있습니다. 반면 "차이가 있다"는 무수히 많은 상태입니다 — 앞면 확률이 일 수도 일 수도 일 수도 있고, 각각에서 계산한 확률이 전부 다릅니다. 어느 하나를 골라 계산할 근거가 없습니다.
그래서 계산할 수 있는 쪽에서 시작한 다음, 관측이 그쪽에서 나오기에는 너무 이상하면 그 가정을 버립니다. 그것이 가설검정의 전체 얼개입니다.
이 출발점, 곧 "차이가 없다"는 가정을 귀무가설이라 하고 으로 적습니다. 귀무가설을 버렸을 때 대신 받아들일 "차이가 있다" 쪽은 대립가설이고 으로 적습니다. 동전의 예에서는 이렇습니다.
여기서 는 앞면이 나올 확률입니다. 두 가설은 대칭이 아닙니다. 계산은 언제나 안에서만 하고, 은 " 이 아니면 이쪽"이라는 자리만 지킵니다.
기각과 채택
판정의 말은 둘뿐입니다. 관측이 아래에서 너무 드물면 을 기각한다고 하고, 그렇지 않으면 "기각하지 못했다"고 합니다.
여기서 이 글에서 가장 자주 어긋나는 자리가 나옵니다. 기각하지 못했다는 말은 이 참이라고 받아들였다는 말이 아닙니다. 재판의 무죄추정과 같은 구조입니다. 피고인은 무죄라는 가정에서 출발하고, 증거가 충분하면 유죄로 판결합니다. 증거가 모자라 유죄를 내리지 못했을 때 판결문이 적는 것은 "무죄가 증명되었다"가 아니라 "유죄가 증명되지 않았다"입니다.
동전으로 옮기면 이렇습니다. 열 번 던져 앞면이 여섯 번 나왔다면 공정한 동전에서도 흔히 나오는 결과라 을 기각할 수 없습니다. 그렇다고 이 동전의 앞면 확률이 정확히 라고 밝혀진 것은 아닙니다. 앞면 확률이 인 동전도, 인 동전도 열 번에 여섯 번쯤은 흔히 냅니다. 자료가 적으면 이 동전들을 공정한 동전과 가려낼 힘이 없을 뿐입니다. "차이가 없다"를 증명하는 절차가 아니라 "차이가 없다고 보기에는 이상하다"를 찾아내는 절차라는 점을 끝까지 들고 갑니다.
단측과 양측
대립가설을 로 쓰면 앞면이 너무 많은 쪽과 너무 적은 쪽을 모두 의심합니다. 이렇게 분포의 양쪽 끝을 다 보는 검정을 양측 검정이라 하고, 한쪽 끝만 보는 검정을 단측 검정이라 합니다. 단측이라면 대립가설이 처럼 방향을 가집니다.
어느 쪽을 쓸지는 자료를 보기 전에, 가설을 세울 때 함께 정합니다. 앞면이 열다섯 번 나온 것을 본 뒤에 "앞면이 많은 쪽만 보겠다"고 정하면, 자료가 이미 고른 방향을 판정 규칙에 넣은 셈이 됩니다. 뒤에서 계산하겠지만 이 예에서 단측으로 보면 p값이 양측의 절반이 되어 판정이 더 쉽게 기각 쪽으로 기웁니다. 질문 자체가 한 방향인 경우 — 이를테면 "이 동전이 앞면 쪽으로 기울어졌다는 제보를 확인한다" — 에만 처음부터 단측을 고릅니다. 이 글은 공정한가를 묻는 질문이므로 양측으로 갑니다.
검정통계량과 p값
검정통계량
가설을 세웠으니 자료에서 판정에 쓸 수 하나를 뽑습니다. 이 수를 검정통계량이라 합니다. 이 예에서는 그냥 앞면 개수 를 씁니다. 스무 번의 결과를 일일이 들고 다니지 않고 수 하나로 줄여야 "이 수가 얼마나 드문가"를 물을 수 있습니다.
이 참이라면 의 분포를 이항분포를 세운 글에서 배운 것으로 정확히 알 수 있습니다. 앞면과 뒷면이 반반이므로
가운데 10에 봉우리가 있고 양쪽 끝으로 갈수록 낮아집니다. 관측된 15는 붉게 칠한 곳에 서 있습니다. 붉은 부분이 "관측만큼 또는 그보다 극단적인 결과"이고, 이 부분의 확률이 판정의 기준이 됩니다.
유의수준과 기각역
자료를 보기 전에 정해 둘 것이 하나 더 있습니다. 얼마나 드물면 우연이 아니라고 할지입니다. 그 문턱값을 유의수준이라 하고 로 적습니다. 관례적으로 를 씁니다 — 이 참인데도 스무 번에 한 번쯤은 기각해 버리는 일을 감수한다는 뜻입니다.
를 정하면 "앞면이 몇 번부터 기각인가"를 자료 없이 미리 그을 수 있습니다. 이렇게 미리 그어 둔, 검정통계량이 들어가면 기각하는 값들의 모임을 기각역이라 합니다. 양측 검정이므로 를 양쪽 꼬리에 반씩, 곧 씩 나눠 줍니다. 위쪽 꼬리부터 봅니다. 앞면이 열다섯 번 이상일 확률은 이항계수 여섯 개를 더해 얻습니다.
은 아래입니다. 한 칸 더 넓혀 열넷부터 기각하면 어떨까요. 을 더합니다.
이번에는 를 넘습니다. 그러므로 위쪽 꼬리의 경계는 15입니다. 분포가 10을 가운데 두고 대칭이라 아래쪽 꼬리의 경계는 5이고, 기각역은 이렇게 정해집니다.
실제 유의수준
이 기각역에 들어갈 확률을 아래에서 계산하면 양쪽을 더해 입니다. 문턱으로 정한 가 아닙니다.
까닭은 가 처럼 띄엄띄엄한 값만 가지기 때문입니다. 이렇게 셀 수 있는 값만 갖는 분포를 이산 분포라 합니다. 기각역의 경계를 15에서 14로 한 칸 옮기면 꼬리 확률이 에서 로 단번에 뛰고, 그 사이의 값은 고를 수 없습니다. 그래서 문턱을 넘지 않는 가장 넓은 기각역을 고르고, 그 기각역이 실제로 갖는 확률을 따로 적습니다. 이 예에서 이름은 " 검정"이지만 실제로 잘못 기각할 확률은 입니다.
단측 검정이었어도 같은 일이 벌어집니다. 위쪽 한쪽에 를 다 주면 는 , 는 이라 역시 15에서 끊기고 실제 유의수준은 입니다. 문턱의 절반도 안 씁니다.
p값
기각역은 자료를 보기 전에 긋는 선이고, 자료를 본 뒤에는 그 자료가 얼마나 극단적이었는지를 수 하나로 적습니다. 관측된 값 이상으로 극단적인 결과가 아래에서 나올 확률을 p값이라 합니다.
양측 검정에서 "극단적"은 양쪽 끝을 다 뜻하므로, 관측 15의 p값은 앞면이 열다섯 이상일 확률과 다섯 이하일 확률을 더한 값입니다. 앞에서 구한 위쪽 꼬리를 두 배 하면 됩니다.
p값 이 유의수준 보다 작으므로 을 기각합니다 — 이 동전은 공정하지 않다고 판정합니다. 관측 15가 기각역 안에 들어간다는 말과 p값이 보다 작다는 말은 같은 판정을 두 방향에서 적은 것입니다. 기각역은 경계만 알려 주고, p값은 경계에서 얼마나 떨어졌는지까지 알려 줍니다. 앞의 단측 이야기에서 말한 대로, 같은 자료를 단측으로 보면 p값은 위쪽 꼬리 하나인 입니다.
절차는 이렇게 다섯 걸음입니다. 앞의 두 걸음은 자료를 보기 전에 끝내야 하고, 뒤의 세 걸음만 자료를 씁니다. 이 순서가 어긋나는 것이 다음 절에서 볼 오해 대부분의 뿌리입니다.
p값이 아닌 것
세 가지 오해
여기까지가 정의이고, 정의만 지키면 됩니다. 그런데 p값에 자주 붙는 세 가지 오해가 있고, 셋 다 계산에는 없는 말입니다.
첫째, p값은 "귀무가설이 참일 확률"이 아닙니다. 방금 계산한 은 " 이 참이라면 이렇게 극단적인 자료가 나올 확률"이지, "이런 자료가 나왔으니 이 참일 확률"이 아닙니다. 조건과 결과의 방향이 뒤집혀 있습니다. 비가 오면 땅이 젖을 확률과 땅이 젖었을 때 비가 왔을 확률이 다른 것과 같습니다.
둘째, p값은 "효과의 크기"가 아닙니다. 이것은 다음 소절에서 숫자로 따로 봅니다.
셋째, p값은 "실험을 다시 하면 같은 결과가 나올 확률"이 아닙니다. 재현은 새 표본이 어떻게 흔들리는지의 문제이고, p값은 지금 이 하나의 표본에서 계산한 값입니다. 다시 스무 번을 던지면 앞면은 열둘이 나올 수도 열일곱이 나올 수도 있고, 그때마다 p값도 새로 계산됩니다.
유의성과 크기
을 기각했을 때 "통계적으로 유의하다"고 말합니다. 이 말이 재는 것은 "우연 하나로는 설명하기 어렵다"까지이고, 편향이 얼마나 큰지는 재지 않습니다.
동전 예에서 관측된 비율은 였고 공정한 와의 차이는 입니다. 이번에는 십만 번을 던져 앞면이 번 나왔다고 해 봅니다. 비율은 로 공정한 와의 차이가 밖에 안 됩니다. 그런데 십만 번이면 공정한 동전의 앞면 개수가 평균 에서 표준편차 정도로만 흔들리므로, 이 많은 것은 표준편차의 세 배가 넘는 일입니다. 양측 p값을 계산하면 약 으로, 스무 번짜리 실험의 보다 훨씬 작습니다.
p값만 보면 십만 번짜리 쪽이 "더 강하게 편향된" 동전처럼 보입니다. 실제로는 편향이 50배 작습니다. 표본이 크면 아주 작은 차이도 우연으로 설명할 수 없게 되기 때문입니다. 그래서 판정을 적을 때는 p값과 함께 관측된 비율 자체를 적어야 합니다. 얼마나 편향되어 있는지는 p값이 아니라 나 가 말합니다.
문턱의 규약
는 자연에서 나온 수가 아니라 관례로 굳은 수입니다. 그러니 p값 와 은 서로 다른 세계가 아닙니다. 앞의 것은 기각이고 뒤의 것은 기각하지 못함이지만, 두 자료가 에 대해 주는 증거의 양은 거의 같습니다.
이 글의 예에서도 그렇습니다. 열 번 던져 앞면이 여덟 번이면 위쪽 꼬리가 이고, 문턱 바로 위라 기각하지 못합니다. 앞면 아홉 번이면 입니다. 앞면 하나 차이로 판정이 갈리는 자리가 반드시 생기고, 그 자리에서 판정의 말만 적으면 정보가 버려집니다. 그래서 "유의했다/안 했다" 한마디가 아니라 p값을 숫자로 함께 적습니다. 읽는 사람이 다른 문턱을 쓰고 싶으면 그 숫자로 다시 판정할 수 있습니다.
멈춤 규칙
p값을 잘못 쓰는 가장 단순한 방법은 몇 번 던질지를 미리 정하지 않는 것입니다. 열 번 던지고 검정해서 기각이 안 되면 열 번을 더 던지고 다시 검정하고, 기각될 때까지 이것을 되풀이하면 어떻게 될까요.
검정 한 번 한 번은 를 지킵니다. 그런데 "그중 한 번이라도 기각되면 멈춘다"는 규칙 전체가 공정한 동전을 잘못 기각할 확률은 훨씬 커집니다. 공정한 동전으로 열 번마다 양측 검정을 하며 백 번까지 가는 경우를 정확히 세면, 그 사이 어디선가 한 번이라도 기각역에 들어갈 확률이 약 입니다. 스무 번에 한 번꼴인 가 아니라 일곱 번에 한 번꼴입니다. 계속 던질수록 이 확률은 계속 올라갑니다.
이렇게 원하는 판정이 나올 때까지 자료를 더하거나 분석을 바꿔 p값을 문턱 아래로 끌어내리는 일을 p-해킹이라 합니다. 멈출 때를 정해 두지 않는 것이 그 가장 단순한 꼴입니다. 막는 길은 앞의 절차 그림 그대로입니다. 던질 횟수까지 자료를 보기 전에 정해 둡니다.
두 가지 오류
1종 오류와 2종 오류
판정을 내리는 이상 틀릴 수 있습니다. 틀리는 방식은 둘입니다.
참인 귀무가설을 기각하는 것을 1종 오류라 합니다 — 공정한 동전인데 편향되었다고 잘못 판정하는 것입니다. 1종 오류를 저지를 확률이 바로 앞 절에서 정한 유의수준이고, 이산 분포에서는 정확히는 실제 유의수준입니다. 이 예에서는 입니다.
거짓인 귀무가설을 기각하지 못하는 것은 2종 오류입니다 — 편향된 동전을 공정하다고 놓치는 것입니다. 그 확률을 로 적습니다. 앞의 무죄추정에 빗대면 1종 오류는 무고한 사람을 유죄로 판결하는 것이고, 2종 오류는 죄 있는 사람을 증거 부족으로 풀어 주는 것입니다.
두 오류는 성질이 다릅니다. 1종 오류의 확률은 이 정확히 한 상태라서 하나의 값으로 계산되지만, 2종 오류의 확률은 동전이 "얼마나" 편향되었는지에 따라 다릅니다. 앞면 확률이 인 동전을 놓칠 확률과 인 동전을 놓칠 확률은 전혀 다르기 때문입니다. 그래서 는 언제나 "앞면 확률이 이만큼일 때"라는 조건을 달고 계산합니다.
검정력
, 곧 편향된 동전을 편향되었다고 옳게 잡아낼 확률을 검정력이라 합니다. 직접 세어 봅니다. 동전의 앞면 확률이 실제로 이라고 하고, 기각역 또는 에 가 들어갈 확률을 구합니다. 기각역은 아래에서 그었지만, 들어갈 확률은 실제 동전 아래에서 계산한다는 점이 핵심입니다.
첫 항 하나만 손으로 따라가 봅니다. 이고 이므로 입니다. 같은 식으로 은 약 , 은 약 , 은 약 , 는 약 , 은 약 이고, 모두 더하면 약 입니다. 아래쪽 꼬리 은 약 라 보탤 것이 거의 없습니다.
그러므로 검정력은 약 이고 는 약 입니다. 앞면이 열에 일곱 번 나오는 꽤 편향된 동전이라도, 스무 번만 던져서는 절반 넘게 놓친다는 뜻입니다. 위 그림에서 오른쪽 분포가 기각역의 선을 넘어선 부분이 검정력이고, 선 왼쪽에 남은 큰 덩어리가 놓치는 확률 입니다.
네 양의 관계
검정력은 혼자 정해지지 않습니다. 유의수준 , 실제 편향의 크기, 던지는 횟수 , 검정력 넷이 서로 묶여 있어서 셋을 정하면 나머지 하나가 정해집니다. 같은 에서 하나씩 바꿔 봅니다.
| 바꾼 것 | 기각역(위쪽) | 실제 앞면 확률 | 검정력 |
|---|---|---|---|
| 기준 | |||
| 편향을 키움 | |||
| 편향을 줄임 | |||
| 기각역을 넓힘(위쪽 꼬리 0.058) |
편향이 클수록 오른쪽 분포가 기각역 쪽으로 멀리 밀려나 검정력이 오릅니다. 기각역을 넓혀 유의수준을 키우면 검정력이 오르는 대신 1종 오류가 늘어납니다. 마지막 줄은 가 아래에서 이라 단측 도 넘는 기각역이라는 점까지 함께 보여 줍니다. 1종 오류와 2종 오류가 맞바꿈 관계라는 말이 이 표의 첫 줄과 마지막 줄입니다.
를 늘리지 않고 검정력을 올리는 길은 하나, 던지는 횟수를 늘리는 것입니다. 표본이 커지면 두 분포가 각자 좁아져 덜 겹치기 때문입니다. 얼마나 오르는지는 연습 4의 마지막 문제에서 직접 셉니다. 실제로 검정을 설계할 때는 이 관계를 거꾸로 씁니다. 잡아내고 싶은 편향의 크기와 , 원하는 검정력을 먼저 정하고, 그러려면 몇 번 던져야 하는지를 계산합니다.
다중 검정
같은 자료로 검정 하나만 하면 1종 오류의 확률이 입니다. 그런데 서로 무관한 검정을 여러 번 하면, 그중 하나라도 우연히 기각될 확률은 횟수에 따라 커집니다. 이렇게 한꺼번에 여러 검정을 하는 상황을 다중 검정이라 합니다.
공정한 동전 스무 개를 각각 검정한다고 해 봅니다. 동전 하나가 잘못 기각되지 않을 확률이 이고 스무 검정이 서로 독립이면, 스무 개 모두 무사할 확률은 입니다. 그러니 적어도 하나가 잘못 기각될 확률은 이렇습니다.
열 번이면 약 , 스무 번이면 약 이고, 잘못 기각되는 개수의 기댓값은 개입니다. 편향된 동전이 하나도 없는데도 스무 번 검정하면 하나쯤은 "유의한" 동전이 나오는 것이 정상이라는 뜻입니다. 앞 절의 멈춤 규칙도 같은 종류의 문제입니다 — 그쪽은 같은 자료를 열 번 다시 들여다본 것이고 이쪽은 다른 자료 스무 개를 본 것입니다. 이를 다루는 보정 기법은 중급 76번의 것입니다.
기각과 구간
기각되지 않는 범위
는 기각되었습니다. 그런데 만약 이었다면 어땠을까요. 이번엔 이 참이라 가정하고 관측 15의 양쪽 꼬리를 계산합니다. 위쪽 꼬리는 앞에서 검정력으로 구한 바로 그 값입니다.
둘 다 보다 훨씬 큽니다. 어느 쪽으로도 극단이 아니므로 은 기각되지 않습니다. 같은 수 이 앞에서는 "앞면 확률이 일 때 검정이 기각할 확률"이었고 여기서는 " 을 귀무가설로 놓았을 때 관측 15의 위쪽 꼬리"라는 점도 눈여겨볼 만합니다. 둘 다 앞면 확률 인 동전에서 열다섯 이상이 나올 확률이기 때문입니다.
를 여러 값으로 바꿔 가며 같은 계산을 되풀이하면, 관측 이 있을 때 기각되지 않는 들의 범위가 나옵니다.
파란 곡선은 위쪽 꼬리 이고 주황 곡선은 아래쪽 꼬리 입니다. 두 곡선이 모두 이상인 구간이 기각되지 않는 범위이고, 이 자료에서는 대략 입니다. 는 위쪽 꼬리가 로 아래에 있어 이 범위 밖입니다 — 그래서 기각되었습니다. " 를 기각한다"는 판정과 " 가 대략 에서 사이에 있다고 말할 수 있다"는 진술이 같은 계산을 두 방향으로 읽은 것입니다.
신뢰구간
이렇게 유의수준 에서 기각되지 않는 값들을 모은 범위를 , 곧 95% 신뢰구간이라 합니다. 이 예의 95% 신뢰구간이 약 입니다.
이름 때문에 생기는 오해가 하나 있습니다. 이 구간을 "참값 가 과 사이에 있을 확률이 95%"라고 읽으면 틀립니다. 동전의 참 앞면 확률은 하나로 정해진 수이고 흔들리지 않습니다. 이 구간 안에 있거나 없거나 둘 중 하나일 뿐입니다. 흔들리는 것은 구간 쪽입니다. 스무 번 던지기를 처음부터 다시 하면 앞면 개수가 바뀌고, 그에 따라 구간도 새로 그어집니다. 95%는 이 "다시 던져 다시 긋기"를 수없이 되풀이했을 때 그어진 구간들 가운데 참값을 덮는 것의 비율입니다.
이것은 p값의 첫째 오해와 같은 종류입니다. p값을 " 이 참일 확률"로 읽는 것도, 신뢰구간을 "참값이 그 안에 있을 확률"로 읽는 것도, 자료가 흔들린다는 가정 아래 계산한 확률을 고정된 참값에 대한 확률로 옮겨 놓은 것입니다.
구간의 폭
같은 비율이 나와도 던진 횟수가 다르면 구간의 폭이 다릅니다. 같은 방식으로 구간을 계산해 보면 이렇습니다.
| 관측 | 비율 | 95% 신뢰구간 | 폭 |
|---|---|---|---|
| 20번 중 15번 | |||
| 80번 중 60번 | |||
| 320번 중 240번 |
던진 횟수를 네 배로 늘릴 때마다 폭이 거의 정확히 절반이 됩니다. 지난 글에서 다룬 분산으로 말하면, 비율의 표준편차가 이라 이 네 배가 되면 로 나뉘기 때문입니다. 구간의 폭은 에 반비례해서 좁아집니다.
이것은 앞에서 본 "표본을 키우면 아주 작은 차이도 기각된다"와 같은 사실의 두 얼굴입니다. 구간이 좁아지면 처럼 관측에서 조금만 떨어진 값도 구간 밖으로 밀려나고, 구간 밖이라는 말이 곧 기각된다는 말입니다. 십만 번 던져 가 나온 동전의 구간은 대략 에서 사이라 를 넣지 못합니다. 그래서 신뢰구간을 적으면 두 가지가 한꺼번에 보입니다. 가 안에 있는지가 검정의 판정이고, 구간이 어디에 얼마나 넓게 서 있는지가 효과의 크기입니다. p값 하나만 적는 것보다 구간을 함께 적는 편이 정보가 많은 이유입니다. 이 구간을 일반화하는 언어는 중급 21번 · 추정과 신뢰구간의 몫입니다.
연습 문제
연습 1 — 이항계수로 p값 계산
이항계수 표입니다 — 필요할 때 참조합니다.
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 10 | 45 | 120 | 210 | 252 | 210 | 120 | 45 | 10 | 1 |
공정한 동전을 열 번 던졌더니 앞면이 아홉 번 나왔습니다. 를 이 표로 계산하세요.
입니다.유의수준 아래에서 이 관측은 귀무가설 "동전이 공정하다"를 기각하는지 판정하세요(위쪽 한쪽만 봅니다).
p값 이 보다 작으므로 기각합니다. 이 동전은 공정하지 않다고 판정합니다.앞면이 여덟 번이었다면 어떨까요. 을 구하고 같은 유의수준으로 판정하세요.
입니다. 보다 크므로 기각하지 않습니다 — 열 번 중 여덟 번만으로는 공정성을 뒤집기에 부족합니다.
연습 2 — 정의 확인
어떤 계산 결과 p값이 이었습니다. 다음 셋 중 옳은 문장 하나를 고르세요.
- ① 귀무가설이 참일 확률이 이다.
- ② 귀무가설이 참이라면 관측만큼 극단적인 결과가 나올 확률이 이다.
- ③ 같은 실험을 반복하면 확률로 같은 결론이 나온다.
②가 정의입니다. ①은 조건의 방향이 뒤집혀 있고, ③은 재현 확률과 혼동한 것입니다.유의수준 를 로 낮추었을 때 1종 오류와 2종 오류는 각각 어떻게 되는지 한 줄로 답하세요.
1종 오류의 확률은 이하로 함께 줄어듭니다. 대신 기각이 더 어려워지므로 있는 차이를 놓치는 2종 오류는 늘어납니다.표본을 아주 크게 키우면 실제로는 미미한 차이도 유의하게 잡힙니다. 이때 "통계적으로 유의하다"와 "실질적으로 크다"의 차이를 한 문장으로 적으세요.
통계적 유의성은 우연으로 설명하기 어렵다는 뜻이고, 실질적 크기는 관측된 편향 자체가 얼마나 큰가입니다 — p값은 앞을, 관측된 비율은 뒤를 잽니다.
연습 3 — 다른 귀무가설 아래에서 계산
이고 앞면 확률이 인 동전에서 입니다. 계산기를 써도 됩니다.
일 때 를 구하세요. (본문에서 계산한 와 같아야 합니다 — 대칭이기 때문입니다.)
대칭이므로 입니다. 앞면과 뒷면을 바꿔 세면 두 확률이 같은 이유가 이것입니다.일 때 를 계산기로 구하면 약 입니다. 이 값은 보다 큰가요, 작은가요, 그리고 판정은 어떻게 되나요.
이므로 아래쪽 꼬리로 기각되지 않습니다. 위쪽 꼬리 도 크므로 이쪽으로도 기각되지 않습니다. 그러므로 은 관측 과 어울리는 값 중 하나입니다.본문 그림에서 는 왜 범위 밖이고 은 왜 범위 안인지 한 문장으로 적으세요.
에서는 위쪽 꼬리 이 아래로 떨어져 기각되고, 에서는 양쪽 꼬리가 모두 이상이라 기각되지 않습니다.
연습 4 — 기각역과 검정력
이번에는 단측 검정입니다. , 이고 앞면 개수 가 어느 수 이상이면 기각합니다. 1번은 연습 1의 표를 쓰고, 2번은 계산기를 씁니다. 3번에는 의 꼬리 확률을 아래 표로 줍니다.
| 25 | ||
| 26 | ||
| 27 |
열 번 던지는 실험에서 유의수준을 으로 정했습니다. 자료를 보기 전에 기각역을 긋고, 그 기각역의 실제 유의수준을 구하세요.
은 이하이고, 한 칸 넓힌 는 을 넘습니다. 그러므로 기각역은 이고 실제 유의수준은 약 로, 정한 의 절반쯤입니다.동전의 앞면 확률이 실제로 일 때, 1번에서 그은 기각역에 들어갈 확률(검정력)을 구하세요.
입니다. 검정력은 약 이고, 이 동전을 놓칠 확률 는 약 입니다.던지는 횟수를 마흔 번으로 늘리고 유의수준을 로 정했습니다. 위 표로 기각역을 긋고, 실제 유의수준과 앞면 확률 에서의 검정력을 구하세요.
이고 이므로 기각역은 , 실제 유의수준은 약 입니다. 검정력은 입니다. 1번보다 문턱을 낮췄는데도 검정력이 에서 로 두 배 넘게 올랐습니다 — 던지는 횟수가 늘어 두 분포가 덜 겹치기 때문입니다.
정리
- 귀무가설 은 "차이가 없다"이고 이 하나의 상태에서 관측값의 분포를 정확히 계산할 수 있습니다. 판정은 이 계산 가능한 쪽에서 시작하고, 기각하지 못한 것은 이 참이라고 밝혀진 것이 아닙니다. 단측인지 양측인지는 자료를 보기 전에 정합니다.
- 유의수준 를 먼저 정하면 기각역을 미리 그을 수 있습니다. 동전 20번 양측 검정에서는 또는 이고, 이산 분포라 실제 유의수준은 가 아니라 입니다.
- p값은 " 이 참이라면 관측만큼 극단적인 결과가 나올 확률"입니다. 관측 15의 양측 p값은 이라 기각합니다.
- p값은 가설이 참일 확률이 아니고, 효과의 크기가 아니고, 재현 확률이 아닙니다. 문턱 는 규약이라 p값을 숫자로 적고, 던질 횟수는 미리 정해 둡니다 — 열 번마다 들여다보며 백 번까지 가면 잘못 기각할 확률이 약 으로 오릅니다.
- 1종 오류의 확률이 유의수준이고, 2종 오류의 확률 는 실제 편향에 따라 다릅니다. 앞면 확률 인 동전을 20번 던지면 검정력 는 약 입니다. 유의수준·편향의 크기·던지는 횟수·검정력은 셋을 정하면 나머지가 정해집니다.
- 검정을 스무 번 하면 의 확률로 하나쯤은 우연히 걸립니다.
- 기각과 구간은 같은 계산을 두 방향으로 읽은 것입니다. 관측 의 95% 신뢰구간은 약 이고, 흔들리는 것은 참값이 아니라 구간입니다. 구간의 폭은 에 반비례해 좁아집니다.
다음 글부터는 수를 하나씩 다루던 자리에서 벗어나, 수를 직사각형으로 늘어놓은 새 대수 대상 하나를 세웁니다.
읽어주셔서 감사합니다. 😊

