빅데이터분석기사 시험 노트개념 정리19 MIN
파생변수 생성과 변수 변환
있는 변수를 모형이 쓰기 좋은 모양으로 바꾸는 단원입니다. 파생변수와 요약변수, 정규화와 표준화, 로그·제곱근·박스콕스 변환, 비닝과 더미변수, 원-핫·라벨 인코딩, 그리고 정제 단계의 데이터 변환과 변수 처리 단계의 변수 변환이 어디서 갈리는지를 봅니다.
12번 노트는 변수의 수를 줄였습니다. 이번에는 남은 변수의 모양을 바꿉니다. 원래 변수를 엮어 새 변수를 만들고, 단위가 제각각인 값을 한 잣대에 올리고, 한쪽으로 쏠린 분포를 펴고, 글자로 된 범주를 숫자로 옮기는 일입니다. 출제기준은 2과목 「데이터 전처리」 아래 「분석 변수 처리」에 변수 선택·차원축소·파생변수 생성·변수 변환·불균형 데이터 처리를 나란히 두는데, 이 노트가 그 가운데 파생변수 생성과 변수 변환을 맡습니다.
요약변수와 파생변수
요약변수
요약변수는 원래 데이터를 기간이나 고객 같은 단위로 모아 합계·횟수·평균으로 간추린 변수입니다. 거래 기록 한 줄 한 줄을 고객별로 묶어 「월 구매 금액 합계」, 「최근 3개월 방문 횟수」, 「상품군별 구매 건수」를 만드는 식입니다. 어느 분석에서나 쓸 수 있는 일반적인 값이라 한 번 만들어 두면 여러 모형이 다시 씁니다. 재사용이 쉬운 대신, 그 자체로는 특정 업무의 뜻을 담지 않습니다.
파생변수
파생변수는 분석가가 업무 지식에 따라 특정한 뜻을 부여해 새로 만든 변수입니다. 「주 구매 시간대」, 「근무 시간 중 구매 비율」, 「가격 민감 고객 여부」처럼 기존 변수를 계산하거나 조건을 걸어 만듭니다. 분석가의 판단이 들어가므로 주관적일 수 있고, 그래서 왜 그 정의가 타당한지 논리적 근거를 함께 남겨야 합니다. 쓰임이 특정 분석에 묶이는 경우가 많습니다.
| 구분 | 만드는 방식 | 성격 | 예 |
|---|---|---|---|
| 요약변수 | 단위별로 모아 간추린다 | 일반적, 재사용이 쉽다 | 월 구매 금액 합계, 방문 횟수 |
| 파생변수 | 뜻을 부여해 계산한다 | 주관적, 근거가 필요하다 | 주 구매 시간대, 가격 민감 여부 |
둘을 가르는 물음은 「누구라도 같은 값을 얻는가」입니다. 합계와 횟수는 정의가 하나라 누가 만들어도 같고, 「가격 민감 고객」은 할인 구매 비율을 몇 %부터로 볼지 분석가가 정해야 값이 생깁니다. 파생변수의 다른 꼴로 날짜에서 요일·월·분기를 뽑거나, 키와 몸무게로 체질량지수를 계산하는 것도 있습니다.
스케일 변환
정규화
변수마다 단위와 범위가 다르면 거리나 기울기를 쓰는 모형이 큰 값을 가진 변수에 끌려갑니다. 연봉(수천만 원)과 나이(수십 년)를 그대로 k-최근접 이웃에 넣으면 거리가 사실상 연봉 하나로 정해집니다. 이를 막으려고 값을 같은 잣대로 옮기는 것이 스케일 변환입니다.
좁은 뜻의 정규화는 최소-최대 정규화로, 값을 0과 1 사이로 옮깁니다.
키가 150·160·175·190cm라면 175cm는 입니다. 범위가 최솟값과 최댓값 두 점으로 정해지므로 이상값 하나가 범위를 늘리면 나머지가 한쪽에 몰립니다. 10번 노트는 Z-점수와 소수 스케일링까지 셋을 넓은 뜻의 정규화로 묶었는데, 변수 변환에서는 아래 표준화와 짝을 지어 이 하나만 정규화라 부르는 쪽이 일반적입니다.
표준화
표준화는 평균을 빼고 표준편차로 나눠 평균 0, 표준편차 1이 되게 옮기는 변환이고, 결과를 Z-점수라 부릅니다.
평균 50, 표준편차 4인 변수에서 44는 입니다. 범위에 상한이 없고, 이상값의 영향을 정규화보다 덜 받습니다. 평균과 표준편차마저 이상값에 끌리는 것이 걱정되면 중앙값을 빼고 IQR로 나누는 로버스트 스케일링을 씁니다.
| 변환 | 결과 범위 | 이상값 | 맞는 자리 |
|---|---|---|---|
| 최소-최대 정규화 | 0~1 | 크게 흔들린다 | 범위가 정해진 값, 이미지 픽셀 |
| 표준화 | 상한 없음, 평균 0 | 덜 흔들린다 | 정규분포에 가까운 값, 회귀·SVM |
스케일 변환은 분포의 모양을 바꾸지 않습니다. 오른쪽으로 쏠린 분포를 표준화해도 여전히 오른쪽으로 쏠려 있고 자리만 옮겨집니다. 모양을 바꾸는 것은 다음 절의 변환입니다.
분포 변환
로그와 제곱근
소득·거래 금액·조회 수처럼 대부분은 작고 몇 개만 아주 큰 값은 분포가 오른쪽으로 길게 늘어집니다. 로그 변환은 값에 로그를 씌워 큰 값 사이의 간격을 좁힙니다. 1,000·10,000·100,000·1,000,000원에 상용로그를 씌우면 3·4·5·6이 되어, 1,000배 차이가 3칸 차이로 줄어듭니다. 0이나 음수에는 로그를 못 씌우므로 0이 있는 횟수 데이터에는 1을 더한 뒤 씌웁니다.
제곱근 변환은 로그보다 약하게 펴는 변환입니다. 1·4·9·16이 1·2·3·4가 됩니다. 쏠림이 로그를 쓸 만큼 심하지 않거나 횟수처럼 0이 들어 있는 값에 씁니다. 왼쪽으로 쏠린 분포에는 반대로 제곱 변환을 써서 큰 쪽 간격을 넓힙니다.
박스콕스
박스콕스 변환은 로그·제곱근·역수를 한 식으로 묶고, 그중 데이터를 정규분포에 가장 가깝게 만드는 지수를 데이터에서 찾는 변환입니다.
λ가 0이면 로그 변환, 0.5면 제곱근 변환과 같은 모양, 1이면 1을 뺀 것뿐이라 모양이 그대로입니다. λ = 0.5일 때 16은 이 됩니다. 식에 로그와 거듭제곱이 들어 있어 양수에만 쓸 수 있습니다. 0이나 음수가 섞인 데이터에는 이 제약을 푼 여-존슨 변환을 씁니다.
import numpy as np
import pandas as pd
from scipy import stats
df = pd.DataFrame({
"income": [180, 220, 250, 310, 420, 650, 2400], # 만 원, 오른쪽 꼬리
"grade": ["실버", "골드", "실버", "브론즈", "골드", "실버", "골드"],
})
print(round(df["income"].skew(), 2)) # 2.44
df["log_income"] = np.log10(df["income"])
print(round(df["log_income"].skew(), 2)) # 1.54
bc, lam = stats.boxcox(df["income"])
print(round(lam, 2), round(pd.Series(bc).skew(), 2)) # -0.84 0.38
왜도는 분포가 한쪽으로 쏠린 정도로, 0에 가까울수록 대칭입니다. 로그로 2.44가 1.54로 줄었고, 박스콕스가 찾은 λ = -0.84에서는 0.38까지 내려갑니다.
비닝
등간격과 등빈도
비닝은 연속형 변수를 몇 개의 구간으로 나눠 범주형 변수로 바꾸는 변환으로, 구간화라고도 부릅니다. 나누는 방식이 둘입니다. 등간격 비닝은 구간의 폭을 같게 합니다 — 20~60세를 네 구간으로 나누면 폭 10씩입니다. 등빈도 비닝은 구간마다 든 개수를 같게 합니다 — 100명을 네 구간으로 나누면 25명씩이고, 경계는 사분위수가 됩니다. 값이 한쪽에 몰려 있으면 등간격은 몇몇 구간이 텅 비고, 등빈도는 구간 폭이 들쭉날쭉해집니다. 업무 기준이 있으면 그것을 경계로 씁니다(소득 300만 원 미만·이상처럼).
비닝의 득실
비닝은 잡음과 이상값의 영향을 줄이고, 값과 결과의 관계가 직선이 아닐 때 구간마다 다른 효과를 잡게 해 줍니다. 나이와 보험 사고율이 젊을 때와 나이 들 때 모두 높은 U자 모양이면 나이를 그대로 넣은 선형 모형은 이것을 못 잡지만, 연령대로 나눈 변수는 잡습니다. 대가는 정보 손실입니다. 같은 구간 안의 21세와 29세가 같은 값이 되므로, 구간을 너무 넓게 잡으면 쓸모 있는 차이가 사라집니다.
범주형 인코딩
원-핫과 더미변수
모형은 대부분 숫자만 받으므로 「실버·골드·브론즈」 같은 범주를 숫자로 옮겨야 합니다. 원-핫 인코딩은 범주마다 열을 하나씩 만들고 해당하는 열에만 1, 나머지에 0을 넣습니다. 범주가 k개면 열이 k개 생기고, 한 행에서 1은 언제나 하나입니다.
더미변수는 0과 1로 범주를 나타내는 변수이고, 회귀 분석에서는 범주가 k개일 때 k-1개만 만듭니다. 기준이 되는 범주 하나는 나머지가 모두 0인 행으로 나타나기 때문입니다. k개를 다 넣으면 열들을 더한 값이 언제나 1이 되어 절편과 완전히 겹치고, 회귀계수를 하나로 정할 수 없게 됩니다. 이것을 더미변수 함정이라 부릅니다.
라벨 인코딩
라벨 인코딩은 범주마다 정수 하나를 붙여 열 하나로 바꿉니다. 브론즈 0, 실버 1, 골드 2처럼입니다. 열이 늘지 않는 대신 숫자 사이에 크기와 간격이 생겨 버립니다. 등급처럼 순서가 있는 범주에는 맞지만, 「서울 0, 부산 1, 대구 2」처럼 순서가 없는 범주에 쓰면 선형 모형이 대구를 서울의 두 배로 읽습니다. 의사결정나무 계열은 값의 크기가 아니라 분기 기준만 보므로 라벨 인코딩의 영향을 덜 받습니다.
| 인코딩 | 열 수 | 순서 | 맞는 자리 |
|---|---|---|---|
| 원-핫 | k (더미는 k-1) | 만들지 않는다 | 순서 없는 범주, 선형 모형 |
| 라벨 | 1 | 만든다 | 순서 있는 범주, 트리 모형 |
df["band"] = pd.cut(df["income"], bins=[0, 300, 600, np.inf], labels=["저", "중", "고"]) # 앞 코드에 이어서
print(df["band"].tolist()) # ['저', '저', '저', '중', '중', '고', '고']
dummies = pd.get_dummies(df["grade"], prefix="grade", drop_first=True)
print(dummies.columns.tolist()) # ['grade_브론즈', 'grade_실버'] — 골드가 기준
pd.cut이 업무 기준 경계로 나눈 비닝이고, drop_first=True가 범주 셋에서 더미 둘을 만듭니다.
변환의 경계
정제의 데이터 변환
11번 노트의 데이터 변환은 「데이터 정제」 아래에 있습니다. 평활화·집계·일반화·정규화·속성 생성 다섯 기술로, 목적은 데이터를 쓸 수 있는 상태로 만드는 것입니다. 단위와 형식을 맞추고, 흔들림을 누그러뜨리고, 수준을 맞춥니다. 어느 모형을 쓸지와 상관없이 하는 일입니다.
처리의 변수 변환
이 노트의 변수 변환은 「분석 변수 처리」 아래에 있고, 목적이 모형입니다. 거리를 쓰는 모형이니 스케일을 맞추고, 선형 모형이니 쏠린 분포를 펴고 범주를 더미로 바꿉니다. 같은 데이터라도 트리 모형을 쓰면 스케일 변환이 필요 없듯, 어떤 변환을 할지가 모형에 따라 달라집니다.
두 자리에 같은 이름(정규화, 속성 생성과 파생변수)이 겹쳐 서는 것은 같은 기술이 두 목적에 다 쓰이기 때문입니다. 그래서 기술 이름이 아니라 목적으로 가릅니다. 「정제」 쪽은 오류를 줄이고 형식을 맞추며, 「처리」 쪽은 모형의 성능을 올립니다. 또 하나 지킬 순서가 있습니다 — 정규화와 표준화의 최솟값·평균 같은 기준값은 훈련 데이터에서만 구해 평가 데이터에 그대로 적용합니다. 이 순서는 다음 노트의 데이터 분할에서 다시 봅니다.
연습 문제
고객별 「최근 3개월 구매 횟수」와 「주 구매 시간대」를 차례로 바르게 부른 것은?
① 파생변수, 파생변수
② 요약변수, 파생변수
③ 파생변수, 요약변수
④ 요약변수, 요약변수②. 구매 횟수는 단위별로 모아 센 일반적인 값이라 요약변수이고, 주 구매 시간대는 분석가가 기준을 정해 뜻을 부여한 파생변수입니다.어떤 변수의 최솟값이 20, 최댓값이 70일 때 45를 최소-최대 정규화한 값은?
① 0.25
② 0.45
③ 0.5
④ 0.64③. 입니다.평균 120, 표준편차 15인 변수에서 표준화 값이 -2인 원래 값은?
① 90
② 105
③ 135
④ 150①. 입니다.박스콕스 변환에서 λ = 0일 때와 같은 변환은?
① 제곱 변환
② 로그 변환
③ 역수 변환
④ 변환하지 않음②. λ = 0이면 식이 로 정의됩니다. λ = 1이면 1을 뺄 뿐 모양이 그대로입니다.범주가 다섯인 변수를 회귀 분석에 더미변수로 넣을 때 만드는 변수의 수는?
① 1개
② 4개
③ 5개
④ 10개②. k-1 = 4개입니다. 다섯 개를 다 넣으면 합이 언제나 1이 되어 절편과 겹치는 더미변수 함정에 빠집니다.「서울·부산·광주」처럼 순서 없는 범주를 선형회귀에 넣을 때 라벨 인코딩이 문제가 되는 이유는?
① 열이 너무 많이 생긴다
② 범주 사이에 없는 크기와 간격이 생긴다
③ 결측값이 생긴다
④ 범주의 개수가 줄어든다②. 0·1·2라는 숫자가 크기 관계로 읽힙니다. 열이 많이 생기는 것은 원-핫 인코딩 쪽의 단점입니다.연속형 변수를 구간마다 같은 개수가 들도록 나누는 방법은?
① 등간격 비닝
② 등빈도 비닝
③ 원-핫 인코딩
④ 표준화②. 등간격은 폭을, 등빈도는 개수를 같게 합니다. 네 구간이면 경계가 사분위수가 됩니다.
이 단원은 변환을 「무엇을 바꾸는가」로 나누면 정리됩니다. 정규화와 표준화는 범위와 자리를, 로그·제곱근·박스콕스는 분포의 모양을, 비닝은 연속을 범주로, 인코딩은 범주를 숫자로 바꿉니다. 요약변수와 파생변수는 누가 만들어도 같은 값인가로, 정제의 데이터 변환과 처리의 변수 변환은 목적이 데이터인가 모형인가로 가릅니다.

