Databricks ML Associate

Databricks ML Associate 시험 노트개념 정리16 MIN

시나리오별 알고리즘 선택과 클래스 불균형

문제를 분류·회귀·군집으로 가르고 선형 모델과 트리 앙상블을 고르는 기준을 세운 뒤, 불균형 데이터에서 정확도가 속이는 이유와 오버샘플링·언더샘플링·SMOTE·class_weight로 맞서는 법을 정리합니다.

여기서부터 시험의 둘째로 큰 영역인 모델 개발로 들어갑니다. 첫 질문은 늘 같습니다 — 주어진 상황이 무엇을 예측하라는 것이고, 그 일에 어떤 계열의 모델이 맞는가. 이 노트는 그 판단을 순서대로 세우고, 실무와 시험에서 판단을 가장 쉽게 흐리는 함정인 클래스 불균형을 함께 다룹니다. 불균형은 알고리즘을 바꾸는 문제가 아니라 데이터와 손실을 다루는 문제라서, 고른 알고리즘 위에 얹는 처방으로 봅니다.

문제 유형

분류

분류는 정해진 범주 가운데 하나를 맞히는 문제입니다. 「이 고객이 다음 달에 이탈하는가」는 예·아니오 두 범주라 이진 분류이고, 「이 문의는 결제·배송·환불 중 어디인가」는 다중 분류입니다. 정답 라벨이 있어야 학습할 수 있으므로 지도 학습에 속합니다. 모델이 확률을 내고 임계값으로 범주를 정하는 경우가 많아, 지표를 고를 때 이 확률을 어떻게 다루는지가 따라 나옵니다.

회귀

회귀는 연속된 수를 맞히는 문제입니다. 다음 달 매출, 배송 소요 시간, 집값이 그렇습니다. 역시 정답 값이 있는 지도 학습입니다. 헷갈리는 자리는 결과가 수처럼 보이는 범주입니다. 별점 1~5를 맞히는 일은 값 사이 간격에 뜻이 있으면 회귀로, 다섯 등급 중 하나를 고르는 일로 보면 분류로 풉니다. 시나리오가 「얼마나」를 묻는지 「어느 것」을 묻는지로 가릅니다.

군집

군집은 라벨 없이 비슷한 것끼리 묶는 문제입니다. 「구매 패턴이 비슷한 고객 집단을 찾아라」에는 맞혀야 할 정답이 없습니다. 이것이 비지도 학습이고, Spark ML에서는 KMeans가 대표입니다. 시나리오에 과거 정답이 있느냐가 지도와 비지도를 가르는 첫 신호입니다.

시나리오의 말 유형 Spark ML 예
이탈할까, 사기인가, 어느 부서인가 분류 LogisticRegression, RandomForestClassifier
얼마나, 몇 분, 몇 개 회귀 LinearRegression, GBTRegressor
비슷한 무리, 세그먼트, 라벨 없음 군집 KMeans

모델 계열

선형 모델

선형 모델은 피처마다 가중치를 곱해 더한 값으로 예측합니다. 선형 회귀와 로지스틱 회귀가 여기 속합니다. 가중치가 곧 「이 피처가 한 단위 늘면 예측이 얼마나 움직이는가」라서 설명하기 쉽고, 학습이 빠르며, 피처가 수만 개인 희소 데이터에서도 잘 버팁니다. 대신 피처와 결과의 관계가 곧은 선이라고 가정하므로, 곡선이나 피처끼리의 상호작용은 사람이 피처를 만들어 넣어야 잡힙니다. 앞 노트의 원-핫 인코딩과 표준화가 이 계열에 특히 필요한 이유입니다.

트리 앙상블

트리 앙상블은 결정 트리 여러 개를 모아 예측하는 방법입니다. 랜덤 포레스트는 서로 다르게 뽑은 데이터로 트리를 따로 키워 평균을 내고, 그래디언트 부스팅은 앞 트리가 틀린 만큼을 다음 트리가 고쳐 가며 쌓습니다. 트리는 값을 기준점으로 가르기만 하므로 스케일 조정이 필요 없고, 비선형 관계와 상호작용을 스스로 찾습니다. 표 형태 데이터에서 정확도가 높은 대신, 예측 근거를 가중치 하나로 말할 수 없어 설명이 어렵고 학습이 더 무겁습니다.

고르는 기준

기준 선형 모델 쪽 트리 앙상블 쪽
설명 요구 규제 기관에 계수로 설명해야 함 성능이 우선
관계의 모양 대체로 곧음 곡선·상호작용이 많음
피처 고차원 희소(텍스트 단어 수 등) 수십~수백 개의 표 형태
전처리 스케일링·원-핫 필요 스케일링 불필요
자원과 시간 빠른 기준선이 필요 튜닝 시간을 쓸 수 있음

실무에서는 선형 모델로 기준선을 먼저 세우고, 트리 앙상블이 그 기준선을 의미 있게 넘는지 봅니다. 시나리오 문항은 「설명 가능성이 필수」나 「스케일이 제각각인 수치 피처가 많다」 같은 한 구절로 답을 가리키니 그 구절을 표의 왼쪽 열에 대 보면 됩니다.

클래스 불균형

정확도의 함정

클래스 불균형은 한 범주가 다른 범주보다 훨씬 많은 상태입니다. 카드 거래 1,000건 중 사기가 20건이라고 합시다. 모든 거래를 「정상」이라고 답하는 모델은 사기를 하나도 못 잡는데도 정확도가 980/1000=98%980 / 1000 = 98\% 입니다. 정확도는 전체 중 맞힌 비율이라 다수 범주가 점수를 다 채워 버립니다. 정작 알고 싶은 것은 소수 범주를 얼마나 잡았느냐인데 정확도에는 그 정보가 거의 안 남습니다.

대안 지표

그래서 불균형 데이터에서는 소수 범주를 따로 보는 지표를 씁니다. 실제 사기 중 잡아낸 비율인 재현율, 사기라고 한 것 중 진짜 사기인 비율인 정밀도, 둘을 묶은 F1, 그리고 임계값에 매이지 않는 PR 곡선 아래 넓이가 그렇습니다. 위의 「전부 정상」 모델은 재현율이 0이라 바로 드러납니다. 지표 자체는 다음다음 노트에서 자세히 다루고, 여기서는 「불균형이면 정확도로 모델을 고르지 않는다」만 붙잡습니다.

리샘플링

오버샘플링과 언더샘플링

데이터의 비율을 직접 바꾸는 방법이 리샘플링입니다. 언더샘플링은 다수 범주에서 일부만 남기고, 오버샘플링은 소수 범주를 복제해 늘립니다. 위 예에서 1:1로 맞추면 언더샘플링은 정상 20건만 남겨 40건이 되고, 오버샘플링은 사기 20건을 980건까지 늘려 1,960건이 됩니다. 언더샘플링은 빠르지만 버린 정상 960건의 정보를 잃고, 오버샘플링은 정보는 지키지만 같은 행을 수십 번 보게 해 그 행에 과적합하기 쉽습니다.

Spark에서는 범주마다 다른 비율로 뽑는 sampleBy로 언더샘플링합니다.

train_down = train_df.sampleBy("label", fractions={0: 0.1, 1: 1.0}, seed=42)

SMOTE

SMOTE(Synthetic Minority Over-sampling Technique)는 소수 범주를 복제하는 대신 새 점을 지어 냅니다. 소수 범주의 한 점 xx 와 그 이웃 가운데 하나 xnnx_{nn} 을 잇는 선분 위에서 0~1 사이 비율 λ\lambda 를 골라 x+λ(xnn−x)x + \lambda (x_{nn} - x) 를 새 점으로 씁니다. x=(2,4)x = (2, 4), xnn=(6,8)x_{nn} = (6, 8), λ=0.25\lambda = 0.25 면 새 점은 (3,5)(3, 5) 입니다. 같은 행을 되풀이하지 않으니 과적합이 덜하지만, 범주가 겹치는 경계에서는 다수 범주 영역 안에 점을 만들어 잡음을 늘릴 수 있습니다. 파이썬에서는 imbalanced-learn 라이브러리가 제공합니다(클러스터에 없으면 %pip install imbalanced-learn).

from imblearn.over_sampling import SMOTE

X_res, y_res = SMOTE(k_neighbors=5, random_state=42).fit_resample(X_train, y_train)

분할과 순서

리샘플링은 반드시 학습/검증 분할 뒤에 학습 쪽에만 합니다. 분할 전에 오버샘플링하면 같은 사기 거래의 복제본이나 그 이웃으로 지은 점이 검증 쪽에도 들어가, 모델이 외운 것을 맞히는 꼴이 되어 점수가 부풉니다. 검증 데이터는 실제 운영과 같은 비율로 남겨 두어야 운영 성능을 짐작할 수 있습니다. 결측값 대치를 분할 뒤에 하던 것과 같은 원리입니다.

가중치

class_weight

데이터를 건드리지 않고 손실에서 범주마다 무게를 달리하는 방법도 있습니다. 소수 범주를 틀렸을 때 더 큰 벌점을 주면 모델이 그쪽을 더 신경 씁니다. scikit-learn은 많은 분류기에 class_weight 인자를 두고, "balanced"를 주면 범주 cc 의 가중치를 n/(k⋅nc)n / (k \cdot n_c) 로 정합니다. nn 은 전체 행 수, kk 는 범주 수, ncn_c 는 그 범주의 행 수입니다. 위 예에서 사기는 1000/(2⋅20)=251000 / (2 \cdot 20) = 25, 정상은 1000/(2⋅980)≈0.511000 / (2 \cdot 980) \approx 0.51 입니다. 두 범주가 손실에 주는 몫의 합이 각각 500으로 같아집니다.

from sklearn.ensemble import RandomForestClassifier

clf = RandomForestClassifier(n_estimators=200, class_weight="balanced", random_state=42)
clf.fit(X_train, y_train)

비용 민감 학습

비용 민감 학습은 이 생각을 넓혀, 틀림의 종류마다 실제 비용을 손실에 반영하는 방식입니다. 사기를 놓치면 평균 50만 원을 잃고 정상 거래를 잘못 막으면 고객 문의 비용이 5천 원이라면, 두 실수의 무게를 100:1로 둡니다. Spark ML에는 class_weight가 없고 행마다 가중치 열을 만들어 weightCol로 넘깁니다.

from pyspark.sql import functions as F
from pyspark.ml.classification import LogisticRegression

n = train_df.count()
n_pos = train_df.filter("label = 1").count()
train_w = train_df.withColumn(
    "weight",
    F.when(F.col("label") == 1, n / (2 * n_pos)).otherwise(n / (2 * (n - n_pos))),
)
lr = LogisticRegression(featuresCol="features", labelCol="label", weightCol="weight")
model = lr.fit(train_w)

가중치는 행 수를 바꾸지 않으므로 정보를 버리지도, 복제본에 과적합하지도 않습니다. 그래서 불균형을 다룰 때 가장 먼저 시도하기 좋은 방법이고, 리샘플링은 모델이 가중치를 받지 않을 때나 비교 실험으로 씁니다.

연습 문제

  1. 「지난 3년의 거래 기록으로 다음 분기 각 매장의 매출액을 예측한다」에 맞는 문제 유형은?
    ① 이진 분류
    ② 다중 분류
    ③ 회귀
    ④ 군집
    ③. 연속된 금액을 맞히므로 회귀입니다.
  2. 은행이 대출 거절 사유를 감독 기관에 피처별 영향으로 설명해야 합니다. 먼저 고려할 모델은?
    ① 그래디언트 부스팅 트리
    ② 로지스틱 회귀
    ③ KMeans
    ④ 깊이 제한 없는 랜덤 포레스트
    ②. 계수가 곧 피처의 영향이라 설명 요구에 맞습니다. KMeans는 라벨이 있는 이 문제에 맞지 않습니다.
  3. 환자 5,000명 중 질병 양성이 100명입니다. 모두 음성이라고 답하는 모델의 정확도는?
    ① 2%
    ② 50%
    ③ 95%
    ④ 98%
    ④. 4900/5000=0.984900 / 5000 = 0.98 입니다. 양성을 하나도 못 잡는데도 98%라 정확도가 쓸모없는 상황입니다.
  4. 3번 데이터에 scikit-learn의 class_weight="balanced"를 쓰면 양성 범주의 가중치는?
    ① 0.5
    ② 1
    ③ 25
    ④ 50
    ③. 5000/(2⋅100)=255000 / (2 \cdot 100) = 25 입니다. 음성은 5000/(2⋅4900)≈0.515000 / (2 \cdot 4900) \approx 0.51 입니다.
  5. 소수 범주의 점 x=(1,10)x = (1, 10) 과 이웃 xnn=(5,2)x_{nn} = (5, 2) 사이에서 SMOTE가 λ=0.5\lambda = 0.5 로 만드는 새 점은?
    ① (3,6)(3, 6)
    ② (6,12)(6, 12)
    ③ (2,8)(2, 8)
    ④ (4,−8)(4, -8)
    ①. x+0.5(xnn−x)=(1,10)+0.5⋅(4,−8)=(3,6)x + 0.5 (x_{nn} - x) = (1, 10) + 0.5 \cdot (4, -8) = (3, 6) 입니다. ④는 차이 벡터 자체입니다.
  6. 불균형 데이터 처리 순서로 옳은 것은?
    ① 전체 데이터에 오버샘플링 → 학습/검증 분할 → 학습
    ② 학습/검증 분할 → 학습 데이터에만 오버샘플링 → 학습
    ③ 학습/검증 분할 → 검증 데이터에만 오버샘플링 → 학습
    ④ 학습/검증 분할 → 양쪽 모두 오버샘플링 → 학습
    ②. 분할 전에 하면 복제본이 검증에 새고, 검증은 운영과 같은 비율이어야 합니다.
  7. Spark ML LogisticRegression으로 소수 범주를 더 신경 쓰게 만드는 방법으로 옳은 것을 둘 고르시오.
    ① class_weight="balanced" 인자를 준다
    ② 행마다 가중치 열을 만들고 weightCol로 지정한다
    ③ sampleBy로 다수 범주를 줄인 데이터로 학습한다
    ④ 검증 데이터를 오버샘플링한다
    ⑤ 정확도가 가장 높은 모델을 고른다
    ②와 ③. Spark ML에는 class_weight 인자가 없고 가중치 열을 씁니다. 언더샘플링도 데이터 쪽 대처입니다.

먼저 무엇을 예측하는지로 유형을 정하고, 설명 요구와 데이터 모양으로 계열을 고르고, 불균형이면 가중치나 리샘플링을 얹되 정확도로 판정하지 않습니다.

Databricks ML Associate 시험 노트 전체 보기