빅데이터분석기사

빅데이터분석기사 시험 노트개념 정리19 MIN

분석모형 선정·정의와 구축 절차

데이터를 만지기 전에 어떤 모형을 왜 쓰고 어떻게 만들지 정하는 단계입니다. 분석모형 설계의 자리, 지도·비지도·강화 학습에 따른 선정, 해석력·성능·자원 기준, 입력·목표 변수와 매개변수·초매개변수, 구축 절차 네 단계와 산출물, 검증 기준을 미리 정하는 이유를 봅니다.

앞의 노트들에서 데이터를 모으고, 다듬고, 변수를 추렸습니다. 그런데 무엇을 남기고 무엇을 버릴지는 결국 「이 데이터로 어떤 모형을 만들 것인가」가 정합니다. 그 질문에 먼저 답하는 일이 분석모형 설계입니다. 2027년 1월부터 적용되는 개정 출제기준은 이 「분석모형 설계」를 3과목에서 1과목 「빅데이터 분석 기획」으로 옮겼고, 아래 세세항목으로 분석모형 선정·분석모형 정의·분석모형 구축 절차 셋을 둡니다. 모형을 실제로 돌리는 일이 아니라 돌리기 전에 정하는 일이라 기획 과목에 섰다고 읽으면 자리가 잡힙니다.

분석모형 설계

분석 계획 속 자리

분석모형은 입력 데이터를 받아 예측이나 분류, 묶음 같은 결과를 내도록 짠 수학적 구조입니다. 회귀식 하나도, 의사결정나무 하나도 분석모형입니다. 분석모형 설계는 그 모형의 종류와 쓰임새, 만드는 순서를 데이터 분석 계획 안에서 미리 정해 두는 일입니다.

7번 노트의 빅데이터 분석 방법론에 대 보면 자리가 분명합니다. 분석 기획에서 문제를 정의하고, 데이터 준비에서 필요한 데이터를 정하고 모은 뒤, 데이터 분석 단계에서 모델링에 들어갑니다. 모형 설계는 기획과 준비 사이에 걸쳐 있습니다 — 어떤 모형을 쓸지가 정해져야 어떤 데이터를 얼마나 모을지, 목표 변수에 정답이 붙어 있어야 하는지가 정해지기 때문입니다.

설계의 세 물음

설계는 세 물음에 차례로 답하는 일입니다.

  1. 어떤 종류의 모형을 쓰는가 — 분석모형 선정
  2. 그 모형에 무엇을 넣고 무엇을 받으며, 무엇을 사람이 정하는가 — 분석모형 정의
  3. 어떤 단계를 거쳐 만들고 무엇으로 통과를 판정하는가 — 분석모형 구축 절차

분석모형 선정

지도 학습

지도 학습은 입력과 함께 정답, 곧 목표 변수의 값이 붙은 데이터로 학습하는 방식입니다. 정답이 숫자면 회귀, 범주면 분류입니다. 내일의 판매량을 맞히는 것은 회귀이고, 이 거래가 사기인지 아닌지를 맞히는 것은 분류입니다. 선형회귀·로지스틱 회귀·의사결정나무·서포트벡터머신·신경망이 여기에 섭니다. 로지스틱 회귀는 이름에 회귀가 들어 있지만 범주를 맞히는 분류 모형이라는 점을 갈라 둡니다.

비지도 학습과 강화 학습

비지도 학습은 정답 없이 입력만으로 데이터 안의 구조를 찾습니다. 비슷한 고객끼리 묶는 군집 분석, 함께 사는 상품을 찾는 연관 분석, 변수를 줄이는 차원 축소가 여기에 듭니다. 강화 학습은 정답 데이터 대신 환경과 주고받으며, 행동마다 받는 보상의 합이 커지도록 행동 규칙을 익힙니다. 로봇 제어나 게임, 재고 보충 같은 순차적 의사결정에 씁니다.

학습 방식 데이터에 있는 것 하는 일 예
지도 입력과 정답 정답을 맞히는 규칙을 배운다 분류, 회귀
비지도 입력만 데이터 안의 구조를 찾는다 군집, 연관, 차원 축소
강화 상태·행동·보상 보상을 키우는 행동을 익힌다 게임, 로봇 제어

선정은 분석 목적과 데이터가 함께 정합니다. 「이탈할 고객을 맞히고 싶다」는 목적이어도 과거 이탈 여부가 기록되지 않았다면 지도 학습을 쓸 수 없고, 먼저 정답을 붙이거나 비지도 방식으로 이탈 직전 고객의 무리를 찾는 쪽으로 돌아가야 합니다.

선정 기준

같은 분류 문제에도 후보 모형이 여럿입니다. 그중 하나를 고르는 잣대가 셋입니다.

  • 해석력 — 결과가 왜 그렇게 나왔는지 사람이 설명할 수 있는가. 대출 거절 사유를 고객에게 알려야 하는 업무라면 회귀나 의사결정나무처럼 계수와 규칙이 보이는 모형이 유리하다
  • 성능 — 새 데이터에서 얼마나 잘 맞히는가. 정확도·재현율·평균제곱오차처럼 문제에 맞는 지표로 잰다
  • 자원 — 학습과 예측에 드는 시간·비용·계산 장비, 그리고 데이터의 양. 딥러닝은 성능이 높을 수 있지만 데이터와 GPU를 많이 요구한다

셋은 서로 당깁니다. 앙상블이나 신경망은 대개 성능이 높고 해석이 어렵습니다. 그래서 「무조건 성능이 가장 높은 모형」이 정답이 아니라, 업무가 무엇을 양보할 수 없는지를 먼저 묻는 꼴의 문항이 나올 수 있습니다.

분석모형 정의

입력 변수와 목표 변수

분석모형 정의는 고른 모형에 무엇이 들어가고 무엇이 나오며 무엇이 그 사이를 정하는지를 못 박는 일입니다. 입력 변수는 모형이 받아 쓰는 변수로 독립변수·설명변수·특성이라고도 부르고, 목표 변수는 모형이 맞히려는 변수로 종속변수·반응변수·레이블이라고도 부릅니다. 고객 이탈 예측이라면 가입 기간·월 요금·상담 횟수가 입력 변수이고 이탈 여부가 목표 변수입니다. 비지도 학습에는 목표 변수가 없습니다.

정의 단계에서 목표 변수를 정확히 적어 두지 않으면 뒤에서 흔들립니다. 「이탈」이 해지 신청인지, 석 달 무사용인지에 따라 정답이 붙는 고객이 달라지고, 그러면 같은 모형도 다른 문제를 푸는 셈이 됩니다.

매개변수와 초매개변수

모형 안에는 두 종류의 값이 있고, 누가 정하느냐로 갈립니다. 매개변수는 학습이 데이터를 보고 스스로 정하는 값입니다 — 회귀식의 계수와 절편, 신경망의 가중치가 그것입니다. 초매개변수는 학습을 시작하기 전에 사람이 정해 주는 값으로, 학습이 어떻게 진행될지를 정합니다 — k-최근접 이웃의 k, 의사결정나무의 최대 깊이, 신경망의 학습률, 규제의 세기가 그것입니다. 매개변수는 학습의 결과이고 초매개변수는 학습의 설정이라, 초매개변수를 바꾸면 같은 데이터에서 다른 매개변수가 나옵니다.

구분 누가 정하는가 언제 예
매개변수 학습 알고리즘 학습 중 회귀계수, 가중치
초매개변수 분석가 학습 전 k, 트리 깊이, 학습률
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True)          # 입력 변수 30개, 목표 변수 0/1
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.2, stratify=y, random_state=0)

model = make_pipeline(StandardScaler(), LogisticRegression(C=1.0, max_iter=1000))  # C는 초매개변수
model.fit(X_tr, y_tr)
lr = model[-1]
print(lr.coef_.shape, lr.intercept_.shape)          # (1, 30) (1,) — 학습이 정한 매개변수
print(round(model.score(X_te, y_te), 3))            # 0.982

C는 분석가가 넣은 규제 세기이고, coef_ 30개와 intercept_ 하나는 fit이 데이터에서 찾은 값입니다. 초매개변수를 어떻게 고르는지는 4과목 「과대적합 방지와 초매개변수 최적화」 노트에서 다룹니다.

구축 절차

네 단계

분석모형 구축 절차는 모형을 요구사항에서 운영까지 끌고 가는 순서이고, 흔히 네 단계로 나눕니다.

  1. 분석 요건 정의 — 업무 담당자와 함께 무엇을 풀지, 어떤 데이터를 쓸지, 무엇을 결과로 받을지를 확정한다
  2. 모델링 — 분석용 데이터 마트를 만들고, 탐색적 분석으로 쓸 변수를 고르고, 모형을 학습시키고 성능을 잰다
  3. 검증 및 테스트 — 학습에 쓰지 않은 데이터와 실제 운영에 가까운 환경에서 다시 재고, 업무에 주는 영향을 평가한다
  4. 적용 — 운영 시스템에 넣어 자동으로 돌게 하고, 성능이 떨어지면 다시 학습시키는 주기를 정한다

모델링과 검증을 가르는 선은 「누구의 데이터로 재는가」입니다. 모델링 단계의 성능 평가는 분석가가 나눠 둔 데이터로 재고, 검증 및 테스트는 운영 상황이나 따로 떼어 둔 데이터로 다시 잽니다.

단계별 산출물

단계 산출물
분석 요건 정의 분석 요건 정의서, 수행 계획
모델링 모델링 마트, 학습된 모형, 성능 평가 결과
검증 및 테스트 테스트 결과서, 업무 영향도 평가
적용 운영 적용 결과, 모니터링과 재학습 계획

산출물을 단계와 짝지어 두면 「모델링 마트가 만들어지는 단계」나 「업무 영향도를 평가하는 단계」를 묻는 꼴이 풀립니다. 적용이 끝이 아니라는 점도 함께 잡아 둡니다. 데이터의 성질은 시간이 지나며 바뀌므로 운영 중인 모형의 성능을 계속 재고, 정해 둔 선 아래로 내려가면 다시 학습시키는 일까지 절차에 듭니다.

검증 기준

사전 확정

검증 기준은 모델링을 시작하기 전, 요건 정의 단계에서 정해 둡니다. 이유가 셋입니다.

  • 결과를 보고 기준을 고치면 어떤 모형이든 통과시킬 수 있다. 정확도가 70%로 나오자 「70%면 충분하다」로 바꾸는 식이다
  • 평가에 쓸 데이터를 미리 떼어 두지 않으면, 모델링 도중에 그 데이터를 보게 되어 성능이 실제보다 좋게 나온다
  • 업무 담당자와 분석가가 「성공」을 같은 뜻으로 쓰게 된다. 분석가는 정확도를, 업무 쪽은 손실 감소액을 떠올리고 있으면 끝나고 나서야 어긋남이 드러난다

기준의 구성

미리 적어 둘 것은 넷입니다. 어떤 지표로 잴지, 그 지표가 몇 이상이면 통과인지, 어느 데이터로 잴지, 지금 쓰는 방식보다 얼마나 나아야 하는지입니다. 사기 거래 탐지라면 「따로 떼어 둔 최근 석 달 거래에서 재현율 0.8 이상, 지금의 규칙 기반 탐지보다 재현율 10%p 이상 향상」처럼 적습니다. 지표를 무엇으로 고르는가는 문제의 성격이 정합니다 — 사기가 1%뿐인 데이터에서 정확도를 기준으로 삼으면 전부 정상이라고만 답해도 99%가 나오므로, 그런 문제에서는 재현율이나 정밀도를 씁니다.

연습 문제

  1. 과거 대출 고객의 연체 여부가 기록된 데이터로 새 신청자의 연체 여부를 예측하려 한다. 알맞은 학습 방식과 문제 유형은?
    ① 비지도 학습, 군집
    ② 지도 학습, 분류
    ③ 지도 학습, 회귀
    ④ 강화 학습
    ②. 연체 여부라는 정답이 있으므로 지도 학습이고, 그 정답이 범주이므로 분류입니다.
  2. 다음 중 초매개변수가 아닌 것은?
    ① k-최근접 이웃의 k
    ② 의사결정나무의 최대 깊이
    ③ 선형회귀의 회귀계수
    ④ 신경망의 학습률
    ③. 회귀계수는 학습이 데이터에서 정하는 매개변수입니다. 나머지 셋은 학습 전에 사람이 정합니다.
  3. 대출 심사 결과를 고객에게 사유와 함께 알려야 하는 업무에서 모형을 고를 때 가장 먼저 따질 기준은?
    ① 해석력
    ② 학습 속도
    ③ 데이터 저장 용량
    ④ 모형의 최신성
    ①. 사유를 설명해야 하므로 결과의 근거가 보이는 모형이 필요합니다. 성능이 조금 높더라도 근거를 못 보이는 모형은 이 요구를 채우지 못합니다.
  4. 분석모형 구축 절차에서 분석용 데이터 마트를 설계·구축하고 유의한 변수를 찾는 단계는?
    ① 분석 요건 정의
    ② 모델링
    ③ 검증 및 테스트
    ④ 적용
    ②. 데이터 마트 구축, 탐색적 분석과 변수 도출, 학습과 성능 평가가 모두 모델링 단계에 듭니다.
  5. 검증 기준을 모델링 전에 정해 두는 이유로 옳지 않은 것은?
    ① 결과를 보고 기준을 바꾸는 일을 막는다
    ② 평가용 데이터를 미리 떼어 두어 성능이 부풀지 않게 한다
    ③ 업무 담당자와 분석가가 성공의 뜻을 맞춘다
    ④ 기준을 정해 두면 모형의 성능이 그만큼 높아진다
    ④. 기준은 판정의 잣대일 뿐 성능 자체를 올리지 않습니다.
  6. 거래 1,000건 중 사기가 10건이다. 모든 거래를 정상으로 예측하는 모형의 정확도는?
    ① 1%
    ② 10%
    ③ 90%
    ④ 99%
    ④. 정상 990건을 모두 맞혀 990/1000=0.99990 / 1000 = 0.99 입니다. 사기는 하나도 못 잡았는데 정확도가 99%이므로, 이런 문제의 검증 기준으로는 재현율 같은 지표를 따로 정해야 합니다.

이 단원은 세 세세항목을 세 물음으로 이으면 정리됩니다. 선정은 정답의 유무와 형태로 학습 방식을 가르고 해석력·성능·자원 사이에서 고르는 일이고, 정의는 입력과 목표, 그리고 누가 정하는 값인가로 매개변수와 초매개변수를 가르는 일이며, 구축 절차는 네 단계와 산출물을 짝짓고 통과 기준을 맨 앞에 두는 일입니다.

빅데이터분석기사 시험 노트 전체 보기