지난 글에서 정확도·정밀도·재현율·F1의 공식을 배웠다. 이번에는 그 지표들이 실제로 어디서 어떻게 나오는지, 그 원천인 혼동 행렬(Confusion Matrix)을 집중적으로 다룬다. 숫자 하나가 아니라 행렬 전체를 읽을 수 있으면 모델이 어떤 클래스를 어떻게 헷갈리는지 훨씬 구체적으로 진단할 수 있다.
혼동 행렬의 구조
이진 분류 혼동 행렬은 2×2 표다. 행(Row)은 실제 클래스, 열(Column)은 예측 클래스를 나타낸다.
sklearn의 confusion_matrix는 다음 순서로 반환한다.
[[TN FP]
[FN TP]]즉, 음성(Negative)이 행·열의 첫 번째 인덱스(0)다. 혼동하기 쉬우니 항상 tn, fp, fn, tp = cm.ravel()로 명시적으로 추출하는 것이 좋다.
완전한 구현과 시각화
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import (confusion_matrix,
ConfusionMatrixDisplay,
classification_report)
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
# 데이터 준비
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, stratify=y, random_state=42)
# 학습
pipe = Pipeline([
('scaler', StandardScaler()),
('lr', LogisticRegression(max_iter=1000))
])
pipe.fit(X_train, y_train)
y_pred = pipe.predict(X_test)
# 혼동 행렬
cm = confusion_matrix(y_test, y_pred)
tn, fp, fn, tp = cm.ravel()
print(f"TP={tp} FP={fp}")
print(f"FN={fn} TN={tn}")
print(f"\n정밀도: {tp/(tp+fp):.4f}")
print(f"재현율: {tp/(tp+fn):.4f}")
print(f"특이도: {tn/(tn+fp):.4f}")
print(f"정확도: {(tp+tn)/(tp+fp+fn+tn):.4f}")
# 정규화 혼동 행렬 (비율 표시)
cm_norm = confusion_matrix(y_test, y_pred, normalize='true')
# normalize='true': 각 행의 합이 1 (실제 클래스별 비율)
# normalize='pred': 각 열의 합이 1 (예측 클래스별 비율)
# normalize='all' : 전체 합이 1
print(f"정규화 행렬:\n{cm_norm}")
# [[0.9722 0.0278]
# [0.0244 0.9756]]
# → 실제 악성(1)의 97.56%를 올바르게 예측다중 클래스 혼동 행렬
클래스가 n개일 때 혼동 행렬은 n×n이 된다. 각 행은 실제 클래스이고 각 열은 예측 클래스다. 대각선 원소는 올바른 예측, 비대각선 원소는 잘못된 예측이다.
from sklearn.datasets import load_digits
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import confusion_matrix
X, y = load_digits(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42)
rf = RandomForestClassifier(n_estimators=200, random_state=42)
rf.fit(X_train, y_train)
y_pred = rf.predict(X_test)
cm = confusion_matrix(y_test, y_pred)
print(f"혼동 행렬 shape: {cm.shape}") # (10, 10)
# 가장 많이 헷갈리는 쌍 찾기
np.fill_diagonal(cm, 0) # 대각선 제거
idx = np.unravel_index(cm.argmax(), cm.shape)
print(f"가장 많이 헷갈리는 쌍: {idx[0]}→{idx[1]} ({cm[idx]}회)")오류 패턴 분석: 어떤 샘플을 틀렸나
혼동 행렬에서 특정 오류를 보인 샘플들을 직접 확인하면 모델 개선 방향을 찾을 수 있다.
import numpy as np
# FN: 실제 양성인데 음성으로 예측한 인덱스
fn_idx = np.where((y_test == 1) & (y_pred == 0))[0]
# FP: 실제 음성인데 양성으로 예측한 인덱스
fp_idx = np.where((y_test == 0) & (y_pred == 1))[0]
print(f"False Negative {len(fn_idx)}건: 인덱스 {fn_idx[:5]}")
print(f"False Positive {len(fp_idx)}건: 인덱스 {fp_idx[:5]}")
# FN 샘플의 모델 확률 점수 확인
y_proba = pipe.predict_proba(X_test)[:, 1]
fn_proba = y_proba[fn_idx]
print(f"FN 샘플의 평균 확률: {fn_proba.mean():.4f}")
# → 모델이 음성으로 분류한 근거 점수
# 이 값들이 임계값(0.5) 근처면 경계선 케이스
# 임계값을 낮춰 FN 줄이기 (재현율 올리기)
threshold = 0.35 # 기본값 0.5에서 낮춤
y_pred_new = (y_proba >= threshold).astype(int)
cm_new = confusion_matrix(y_test, y_pred_new)
tn2, fp2, fn2, tp2 = cm_new.ravel()
print(f"임계값 {threshold} → FN: {fn} → {fn2}, FP: {fp} → {fp2}")불균형 데이터에서 혼동 행렬 읽기
클래스 불균형이 심할 때는 절대 수치보다 정규화 행렬을 봐야 한다.
# 클래스 9:1 불균형 시나리오
from sklearn.datasets import make_classification
X_imb, y_imb = make_classification(
n_samples=10000,
n_features=20,
weights=[0.9, 0.1], # 음성 90%, 양성 10%
random_state=42
)
X_tr, X_ts, y_tr, y_ts = train_test_split(
X_imb, y_imb, test_size=0.2,
stratify=y_imb, random_state=42)
from sklearn.ensemble import RandomForestClassifier
rf_imb = RandomForestClassifier(
n_estimators=100,
class_weight='balanced', # 클래스 가중치 자동 조정
random_state=42)
rf_imb.fit(X_tr, y_tr)
y_pred_imb = rf_imb.predict(X_ts)
cm_imb = confusion_matrix(y_ts, y_pred_imb)
print(f"원본 행렬:\n{cm_imb}")
cm_imb_norm = confusion_matrix(y_ts, y_pred_imb, normalize='true')
print(f"\n정규화 행렬:\n{cm_imb_norm.round(3)}")절대 수치로 보면 TN이 압도적으로 크고 모든 것이 잘 돼 보이지만, normalize='true'로 보면 각 클래스별 예측 성공률을 공평하게 비교할 수 있다.
지난 글: 분류 모델 평가 지표 완전 정복: 정확도·정밀도·재현율·F1
다음 글: ROC 곡선과 AUC: 임계값 독립적 분류 성능 평가
읽어주셔서 감사합니다. 😊