빅데이터분석기사

빅데이터분석기사 시험 노트개념 정리19 MIN

기초통계량과 상관관계 분석

데이터를 모형에 넣기 전에 숫자와 그림으로 먼저 들여다보는 단원입니다. 탐색적 자료 분석 네 원칙, 평균·중앙값·최빈값, 분산·표준편차·사분위범위·변동계수, 왜도와 첨도, 피어슨·스피어만·켄달 상관계수와 척도에 따른 선택, 히스토그램·산점도·줄기잎그림을 다룹니다.

앞의 노트들은 데이터를 다듬고 나누는 일이었습니다. 이번에는 다듬은 데이터를 들여다봅니다. 값이 어디에 모여 있는지, 얼마나 흩어져 있는지, 한쪽으로 쏠렸는지, 변수끼리 함께 움직이는지를 숫자 몇 개와 그림 몇 장으로 확인하는 일입니다. 이 단계를 건너뛰고 모형부터 돌리면 오른쪽으로 길게 늘어진 분포에 평균을 쓰거나, 곡선 관계에 직선 상관계수를 대는 실수를 뒤늦게 발견합니다.

탐색적 자료 분석

네 원칙

탐색적 자료 분석(EDA)은 가설을 미리 세우지 않고 데이터를 여러 각도로 살펴 그 특징과 구조를 찾는 분석입니다. 통계학자 튜키가 제안했고, 네 원칙으로 정리합니다.

원칙 뜻
저항성 일부 값이 크게 틀려도 결과가 크게 흔들리지 않는 통계량을 쓴다 — 평균보다 중앙값
잔차 해석 주된 경향에서 벗어난 부분, 곧 잔차를 살펴 놓친 구조나 이상값을 찾는다
자료 재표현 로그·제곱근 등으로 값을 바꿔 분포를 해석하기 쉽게 만든다
현시성 그림으로 드러내 보인다 — 숫자로는 안 보이는 모양을 눈으로 확인한다

잔차는 실제 값에서 모형이 예상한 값을 뺀 나머지입니다. 자료 재표현은 14번 노트의 분포 변환이 바로 그것이고, 저항성은 아래 중앙값과 사분위범위에서 숫자로 확인합니다.

확증적 분석과의 차이

확증적 자료 분석은 반대 방향입니다. 가설을 먼저 세우고 데이터를 모아 통계적 검정으로 그 가설을 받아들일지 판정합니다. 탐색이 「무엇이 있나」를 묻는다면 확증은 「이것이 맞나」를 묻습니다. 둘은 경쟁이 아니라 차례입니다. 탐색에서 가설의 실마리를 찾고, 확증에서 그것을 검정합니다. 가설검정은 다음다음 노트들에서 이어집니다.

중심 경향

평균·중앙값·최빈값

값들이 어디에 모여 있는지를 하나의 수로 말하는 것이 대푯값입니다. 세 가지를 같은 데이터로 봅니다 — 2, 4, 4, 5, 7, 8, 12.

  • 평균은 값을 모두 더해 개수로 나눈 것이다. 42/7=642/7 = 6
  • 중앙값은 크기순으로 놓았을 때 한가운데 값이다. 일곱 개의 넷째인 5다. 개수가 짝수면 가운데 두 값의 평균을 쓴다
  • 최빈값은 가장 여러 번 나온 값이다. 두 번 나온 4다

이상값과 중심

마지막 값 12를 120으로 바꾸면 평균은 150/7≈21.4150/7 \approx 21.4 로 뛰지만 중앙값은 여전히 5입니다. 평균은 모든 값을 쓰는 대신 극단값에 끌리고, 중앙값은 순서만 보므로 극단값에 거의 흔들리지 않습니다. 저항성 원칙이 중앙값을 권하는 이유가 이것이고, 소득이나 집값처럼 오른쪽 꼬리가 긴 값은 평균보다 중앙값으로 보고합니다. 최빈값은 수가 아닌 범주에도 쓸 수 있는 유일한 대푯값이라, 「가장 많이 팔린 색상」처럼 명목 척도에서 씁니다.

퍼짐

분산과 표준편차

값들이 중심에서 얼마나 흩어져 있는지를 산포도라 합니다. 분산은 각 값이 평균에서 떨어진 거리(편차)를 제곱해 평균한 것이고, 표준편차는 분산의 제곱근입니다. 표본에서 구할 때는 편차 제곱합을 n이 아니라 n-1로 나눕니다 — 표본 평균이 표본에 맞춰져 있어 n으로 나누면 모집단의 분산을 작게 어림하기 때문입니다.

위 데이터에서 편차는 -4, -2, -2, -1, 1, 2, 6이고 제곱합은 16+4+4+1+1+4+36=6616+4+4+1+1+4+36 = 66 입니다. 표본분산은 66/6=1166/6 = 11, 표준편차는 11≈3.317\sqrt{11} \approx 3.317 입니다. 표준편차는 원래 값과 단위가 같아 「평균에서 대략 이만큼 떨어져 있다」로 읽을 수 있습니다.

사분위범위와 변동계수

사분위범위(IQR)는 셋째 사분위수 Q3에서 첫째 사분위수 Q1을 뺀 값으로, 가운데 50%가 차지하는 폭입니다. 평균 대신 순서로 정해지므로 중앙값처럼 저항성이 있습니다. 위 데이터를 pandas의 기본 방식(선형 보간)으로 구하면 Q1 = 4, Q3 = 7.5, IQR = 3.5입니다. 사분위수는 계산 방식에 따라 조금씩 다르게 나오므로 문항이 방식을 정해 주거나 Q1·Q3를 주는지를 먼저 봅니다. 11번 노트의 이상값 울타리가 이 IQR로 섭니다.

변동계수는 표준편차를 평균으로 나눈 값으로, 단위나 평균의 크기가 다른 두 집단의 퍼짐을 견줄 때 씁니다. 위 데이터는 3.317/6≈0.5533.317/6 \approx 0.553, 곧 55.3%입니다. 몸무게(kg)와 키(cm)의 표준편차는 단위가 달라 그대로 견줄 수 없고, 평균 10에서 표준편차 2와 평균 1,000에서 표준편차 2는 같은 2라도 무게가 다릅니다. 변동계수는 단위가 없으므로 이런 비교를 할 수 있습니다.

분포의 모양

왜도

왜도는 분포가 좌우로 얼마나 비대칭인지 나타내는 값입니다. 0이면 대칭이고, 양수면 오른쪽 꼬리가 길며(양의 왜도), 음수면 왼쪽 꼬리가 깁니다. 꼬리가 긴 쪽으로 평균이 끌려가므로 세 대푯값의 순서가 왜도를 알려 줍니다.

왜도 꼬리 대푯값 순서
양수 오른쪽 최빈값 < 중앙값 < 평균
0 대칭 셋이 같다
음수 왼쪽 평균 < 중앙값 < 최빈값

위 데이터는 최빈값 4 < 중앙값 5 < 평균 6이므로 양의 왜도이고, pandas의 skew()는 0.921을 냅니다.

첨도

첨도는 분포의 꼬리가 얼마나 두꺼운지, 달리 보면 가운데가 얼마나 뾰족한지를 나타내는 값입니다. 정규분포의 첨도는 3이고, 여기서 3을 뺀 값을 초과첨도라 부르며 정규분포에서 0이 되게 합니다. 초과첨도가 양수면 정규분포보다 뾰족하고 꼬리가 두꺼워 극단값이 자주 나오고, 음수면 평평합니다. pandas의 kurt()와 scipy의 기본값은 초과첨도를 내므로, 문항이 「정규분포의 첨도」를 3으로 놓는지 0으로 놓는지를 함께 봅니다. 위 데이터의 kurt()는 0.779입니다.

상관 분석

피어슨 상관계수

상관 분석은 두 변수가 함께 움직이는 정도와 방향을 재는 분석입니다. 피어슨 상관계수는 두 연속형 변수의 직선 관계의 세기를 재며, 공분산을 두 표준편차의 곱으로 나눠 -1과 1 사이로 맞춘 값입니다.

r=∑(xi−xˉ)(yi−yˉ)∑(xi−xˉ)2∑(yi−yˉ)2r = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum (x_i - \bar{x})^2 \sum (y_i - \bar{y})^2}}

x = 1, 2, 3, 4, 5와 y = 1, 3, 2, 5, 4에서 편차곱의 합은 8, 두 편차 제곱합은 10과 10이라 r=8/100=0.8r = 8/\sqrt{100} = 0.8 입니다. 1에 가까우면 강한 양의 직선 관계, -1에 가까우면 강한 음의 직선 관계, 0이면 직선 관계가 없다는 뜻입니다. 0이라고 관계가 없는 것은 아닙니다 — y = x²처럼 U자 관계는 피어슨으로 0에 가깝게 나옵니다. 그리고 상관은 인과가 아닙니다.

스피어만과 켄달

스피어만 상관계수는 값 대신 순위로 피어슨 상관계수를 구한 것입니다. 한쪽이 커질 때 다른 쪽도 커지기만 하면(단조 관계) 직선이 아니어도 1에 가깝게 나옵니다. 동순위가 없으면 순위 차이 d로 간단히 구합니다.

rs=1−6∑di2n(n2−1)r_s = 1 - \frac{6 \sum d_i^2}{n(n^2 - 1)}

켄달 타우는 두 관측치를 짝지어 순서가 같은 방향인 쌍(일치쌍)과 반대인 쌍(불일치쌍)을 셉니다. 위 데이터의 쌍 10개 가운데 불일치쌍은 (2, 3)번과 (4, 5)번 둘뿐이라 τ=(8−2)/10=0.6\tau = (8 - 2)/10 = 0.6 입니다.

import pandas as pd

df = pd.DataFrame({"x": [1, 2, 3, 4, 5], "y": [1, 3, 2, 5, 4]})
for m in ["pearson", "spearman", "kendall"]:
    print(m, round(df["x"].corr(df["y"], method=m), 3))   # 0.8 0.8 0.6

df.loc[3, "y"] = 50                                        # 넷째 값 5를 50으로
for m in ["pearson", "spearman", "kendall"]:
    print(m, round(df["x"].corr(df["y"], method=m), 3))   # 0.394 0.8 0.6

넷째 값을 50으로 바꿔도 순위는 그대로라 스피어만과 켄달은 변하지 않고, 피어슨만 0.8에서 0.394로 떨어집니다. 순위 상관이 이상값에 강하다는 말이 이 숫자입니다.

척도와 선택

어느 상관계수를 쓸지는 변수의 척도와 분포가 정합니다.

상황 쓰는 것
등간·비율 척도, 직선 관계, 정규분포에 가깝다 피어슨
서열 척도, 또는 정규성이 깨지거나 이상값이 있다 스피어만
서열 척도에서 표본이 작거나 동순위가 많다 켄달
명목 척도끼리 카이제곱 검정, 크래머 V

서열 척도는 순서만 의미 있는 값(만족도 1~5점, 학년)이고, 등간·비율 척도는 간격까지 의미 있는 값(온도, 키)입니다. 척도의 갈래는 10번 노트에 있습니다.

시각화

히스토그램과 산점도

히스토그램은 연속형 변수를 구간으로 나눠 구간마다 든 개수를 막대로 그린 그림입니다. 막대 사이에 틈이 없고, 분포의 모양 — 봉우리의 수, 쏠림, 꼬리 — 을 한눈에 보여 줍니다. 범주마다 막대를 띄워 그리는 막대그래프와 다른 점이 그 틈입니다. 산점도는 두 연속형 변수를 가로축과 세로축에 놓고 관측치마다 점을 찍은 그림으로, 상관계수를 구하기 전에 관계가 직선인지 곡선인지, 이상값이 있는지를 먼저 보여 줍니다. 상관계수가 같은 0.8이어도 산점도는 전혀 다르게 생길 수 있습니다.

줄기잎그림

줄기잎그림은 각 값을 앞자리(줄기)와 끝자리(잎)로 나눠, 줄기마다 잎을 늘어놓은 그림입니다. 시험 점수 52, 58, 61, 63, 63, 67, 70, 74, 75, 75, 79, 83, 88, 91을 그리면 아래와 같습니다.

5 | 2 8
6 | 1 3 3 7
7 | 0 4 5 5 9
8 | 3 8
9 | 1

옆으로 눕혀 보면 히스토그램과 같은 모양이면서 원래 값이 하나도 사라지지 않는다는 것이 장점입니다. 그래서 중앙값(7번째와 8번째 값 70과 74의 평균 72)과 최빈값(63과 75)을 그림에서 바로 읽을 수 있습니다. 값이 수백 개를 넘으면 잎이 너무 길어져 히스토그램으로 바꿉니다.

연습 문제

  1. 탐색적 자료 분석의 네 원칙에 속하지 않는 것은?
    ① 저항성
    ② 잔차 해석
    ③ 유의성 검정
    ④ 현시성
    ③. 네 원칙은 저항성·잔차 해석·자료 재표현·현시성이고, 유의성 검정은 확증적 자료 분석의 도구입니다.
  2. 데이터 3, 5, 5, 6, 11의 평균·중앙값·최빈값을 차례로 바르게 적은 것은?
    ① 6, 5, 5
    ② 5, 5, 6
    ③ 6, 6, 5
    ④ 5, 6, 5
    ①. 평균은 30/5=630/5 = 6, 다섯 값의 가운데인 셋째 값은 5, 두 번 나온 값도 5입니다.
  3. 데이터 1, 3, 5, 7의 표본분산은?
    ① 4
    ② 5
    ③ 약 6.67
    ④ 20
    ③. 평균 4에서 편차 제곱은 9·1·1·9로 합이 20이고, 표본이므로 20/(4−1)≈6.6720/(4-1) \approx 6.67 입니다. n으로 나눈 5는 모분산 공식입니다.
  4. A반은 평균 50점·표준편차 5점, B반은 평균 200점·표준편차 15점이다. 상대적인 퍼짐이 더 큰 쪽과 그 근거는?
    ① B반, 표준편차가 크다
    ② A반, 변동계수가 10%로 B반의 7.5%보다 크다
    ③ B반, 평균이 크다
    ④ 두 반이 같다
    ②. A반은 5/50=0.15/50 = 0.1, B반은 15/200=0.07515/200 = 0.075 입니다. 평균의 크기가 다르면 표준편차가 아니라 변동계수로 견줍니다.
  5. 어떤 분포의 평균이 40, 중앙값이 35, 최빈값이 30이다. 이 분포에 대한 설명으로 옳은 것은?
    ① 왼쪽 꼬리가 길다
    ② 오른쪽 꼬리가 길고 왜도가 양수다
    ③ 좌우 대칭이다
    ④ 첨도가 음수다
    ②. 최빈값 < 중앙값 < 평균이면 큰 쪽 꼬리가 평균을 끌어당긴 것이므로 양의 왜도입니다. 대푯값의 순서만으로는 첨도를 알 수 없습니다.
  6. 학생 4명의 국어 순위와 수학 순위가 (1, 1), (2, 3), (3, 2), (4, 4)이다. 스피어만 상관계수는?
    ① 0.6
    ② 0.7
    ③ 0.8
    ④ 0.9
    ③. 순위 차이는 0·-1·1·0이라 제곱합이 2이고, 1−6×24×(16−1)=1−1260=0.81 - \frac{6 \times 2}{4 \times (16 - 1)} = 1 - \frac{12}{60} = 0.8 입니다.
  7. 설문의 「매우 불만~매우 만족」 5점 응답과 재구매 의향 순위 사이의 관계를 볼 때 알맞은 것은?
    ① 피어슨 상관계수
    ② 스피어만 상관계수
    ③ 크래머 V
    ④ 변동계수
    ②. 두 변수 모두 서열 척도이므로 순위 상관계수를 씁니다. 크래머 V는 명목 척도끼리, 변동계수는 퍼짐의 비교에 씁니다.

이 단원은 숫자를 「중심·퍼짐·모양·관계」 네 갈래로 나누면 정리됩니다. 중심은 평균과 중앙값의 저항성 차이를, 퍼짐은 n-1로 나누는 표본분산과 단위 없는 변동계수를, 모양은 왜도의 부호와 대푯값 순서를, 관계는 척도에 따라 피어슨·스피어만·켄달을 고르는 표를 잡아 두고, 그림은 히스토그램·산점도·줄기잎그림이 각각 무엇을 보여 주는지 한 줄씩 붙입니다.

빅데이터분석기사 시험 노트 전체 보기