지난 글에서 DVC로 데이터를 코드처럼 버전 관리하는 방법을 살펴봤다. 이번 글은 데이터 수집부터 모델 등록까지의 전 과정을 자동으로 이어 주는 ML 파이프라인이다. 한 번 세워 두면 새 데이터가 쌓일 때마다 사람 손 없이 새 모델이 후보로 올라오는 그림이다.
파이프라인이 없으면 어떤 일이 벌어지는지부터 보자. 데이터 엔지니어가 매주 월요일 아침 8시에 S3에 새 파일을 올린다. ML 엔지니어가 알아채면 노트북을 열고, 전처리 스크립트를 손으로 돌리고, 학습을 돌리고, 지표를 보고, 괜찮으면 배포 담당자에게 메시지를 보낸다. 이 사람이 휴가 중이면 새 모델은 2주 뒤에 나온다. 그리고 더 나쁜 것은, 지난번에 어떤 순서로 무엇을 돌렸는지가 그 사람의 기억에만 남는다는 점이다. 파이프라인은 이 의존성을 사람에서 코드로 옮긴다. 이 글은 그 코드를 어떤 도구로 쓸지보다, 어떻게 짜야 실패에 강하고 다시 돌려도 같은 결과가 나오는지에 무게를 둔다.
파이프라인 구조
다섯 단계
전형적인 ML 파이프라인은 다섯 단계로 이뤄진다.
- 데이터 수집 — DB 쿼리, API 호출, 이벤트 스트림에서 원시 데이터를 모은다
- 전처리 — 결측값 처리, 정규화, 인코딩 같은 정제 작업
- 피처 엔지니어링 — 도메인 지식으로 피처를 만들거나 피처 스토어에서 꺼낸다
- 학습 — GPU에서 모델을 학습하고 하이퍼파라미터를 고른다
- 평가·등록 — 성능 기준을 넘으면 모델 레지스트리에 후보로 올린다
이 단계들을 화살표로 이어 그린 그림이 DAG(Directed Acyclic Graph, 방향 비순환 그래프)다. 화살표는 「이 단계는 저 단계가 끝나야 시작한다」는 의존을 뜻하고, 비순환이라는 말은 그 화살표를 따라가다 같은 단계로 되돌아오는 고리가 없다는 뜻이다. 오케스트레이터가 하는 일은 이 그래프를 읽어 단계를 순서대로, 가능하면 병렬로 실행하고, 실패한 단계를 다시 시도하는 것이다.
단계 경계
다섯 단계는 개념상의 구분이고, 실제 코드에서 단계를 어디서 자를지는 따로 정해야 한다. 기준은 하나다. 단계 경계는 캐시를 다시 쓸 수 있는 단위와 같아야 한다. 단계가 끝나면 그 출력을 파일이나 테이블로 남기고, 다음 단계는 그 산출물만 읽는다. 그러면 학습 단계에서 실패했을 때 수집과 전처리를 다시 돌리지 않고 남은 산출물에서 이어 갈 수 있다.
너무 잘게 자르면 단계마다 산출물을 쓰고 읽는 비용이 실제 계산보다 커진다. 너무 크게 자르면 마지막 5분에서 실패했는데 앞의 두 시간을 다시 돈다. 실무의 어림은 「다시 돌리기 아까운 시간」이다. 10분 넘게 걸리는 계산은 따로 떼어 산출물을 남기고, 1분짜리 변환 여러 개는 한 단계로 묶는다. 그리고 GPU가 필요한 단계와 CPU면 되는 단계는 가른다. 같은 단계에 묶으면 전처리하는 동안에도 비싼 GPU를 붙잡고 있게 된다.
시간으로 따라가 보면 차이가 분명하다. 수집 20분, 전처리 40분, 피처 생성 30분, 학습 3시간, 평가 15분인 파이프라인이 학습 마지막에 디스크가 차서 실패했다고 하자. 전체가 한 단계라면 다시 돌리는 데 4시간 45분이 든다. 다섯 단계로 잘라 산출물을 남겼다면 학습과 평가만 다시 돌아 3시간 15분이다. 학습 안에서도 에폭마다 체크포인트를 남겼다면 마지막 에폭부터 이어 가 수십 분이면 끝난다. 단계를 자르는 일과 체크포인트를 남기는 일은 같은 원리를 다른 크기에 적용한 것이다.
오케스트레이터
Airflow
Airflow는 가장 오래되고 가장 널리 쓰이는 오케스트레이터다. 파이썬 파일에 DAG를 선언하고, 스케줄러가 그 파일을 주기적으로 읽어 정해진 시각마다 실행을 만든다. 실행 하나는 「어느 날짜 구간의 데이터를 처리하는가」라는 논리적 날짜를 갖는데, 이 설계가 날짜별 재처리와 과거 구간을 몰아서 돌리는 백필에 강하다. 실패하면 웹 화면에서 실패한 태스크만 지우고(Clear) 그 지점부터 다시 돌린다. 약점은 무게다. 스케줄러·웹서버·메타데이터 DB를 띄워야 해서 로컬에서 가볍게 돌려 보기가 번거롭고, 태스크 사이에 큰 데이터를 넘기는 용도로는 설계되지 않았다.
Prefect
Prefect는 일반 파이썬 함수에 데코레이터를 붙여 파이프라인으로 만든다. DAG를 따로 선언하지 않고, 함수가 다른 함수의 반환값을 받으면 그것으로 의존을 추론한다. 스크립트를 그대로 python flow.py로 실행할 수 있어 로컬 개발이 가볍다. 재시도와 캐싱이 태스크 단위 인자로 붙고, 스케줄은 배포(deployment)를 만들 때 따로 건다.
from prefect import flow, task
@task(retries=3, retry_delay_seconds=[10, 60, 300])
def fetch_data(ds: str) -> str:
...
@task
def train_model(path: str) -> float:
...
@flow
def ml_pipeline(ds: str):
path = fetch_data(ds)
return train_model(path) # 반환값을 넘긴 것이 곧 의존 선언이다
retry_delay_seconds에 목록을 주면 재시도마다 기다리는 시간이 늘어난다. 이 꼴이 뒤에서 다룰 백오프다.
Kubeflow Pipelines
Kubeflow Pipelines는 쿠버네티스 위에서 단계마다 컨테이너를 하나씩 띄운다. 단계가 서로 다른 이미지와 다른 자원(GPU 여부, 메모리)을 가질 수 있고, 같은 입력으로 같은 단계를 다시 돌리면 이전 결과를 꺼내 쓰는 캐싱이 기본으로 켜져 있다. 학습이 무겁고 팀이 이미 쿠버네티스를 운영하고 있다면 가장 자연스러운 선택이다. 대신 클러스터 없이는 아무것도 못 돌리고, 단계 하나를 고칠 때마다 이미지를 다시 빌드해야 해서 개발 순환이 느리다.
고르는 기준
| 기준 | Airflow | Prefect | Kubeflow Pipelines |
|---|---|---|---|
| 스케줄링 모델 | 논리적 날짜 단위 실행, 백필에 강함 | 배포마다 스케줄, 이벤트 실행이 쉬움 | 실행은 주로 외부에서 트리거 |
| 실패 재개 | 실패 태스크만 지우고 재실행 | 태스크 재시도, 결과 캐시로 건너뛰기 | 입력이 같은 단계는 캐시로 건너뛰기 |
| 로컬 실행 | 무겁다(스케줄러·DB 필요) | 스크립트 그대로 실행 | 클러스터가 있어야 한다 |
| 잘 맞는 팀 | 데이터 엔지니어링과 함께 쓰는 팀 | 파이썬 중심의 작은 ML 팀 | 쿠버네티스를 이미 운영하는 팀 |
도구를 고를 때 가장 큰 변수는 기능이 아니라 이미 있는 것이다. 회사의 데이터 팀이 Airflow를 운영하고 있다면 ML 파이프라인도 거기에 올리는 편이 대개 싸다. 운영할 시스템이 하나 늘어나는 비용은 기능 차이보다 크다.
두 도구를 섞어 쓰는 구성도 흔하다. 날짜별 수집과 전처리는 데이터 팀의 Airflow가 맡고, 학습 단계에 이르면 Airflow 태스크가 Kubeflow 파이프라인이나 클라우드의 학습 작업을 호출해 GPU 쪽 일을 넘기는 식이다. 이때 경계는 산출물이다. Airflow는 학습 데이터가 어느 경로에 준비되었는지만 넘기고, 학습 쪽은 그 경로를 읽어 모델을 레지스트리에 올린 뒤 결과의 식별자만 돌려준다. 두 시스템이 서로의 내부 상태를 들여다보지 않게 하면, 한쪽을 바꿀 때 다른 쪽을 건드리지 않아도 된다.
DAG 설계
팬아웃과 팬인
그림의 핵심은 팬아웃·팬인 꼴이다. 데이터 검증 뒤에 서로 독립인 전처리 둘을 병렬로 펼치고(팬아웃), 둘 다 끝나면 하나로 모아 학습을 시작한다(팬인). 아래 코드는 Airflow 2.x 기준이다. 2.4부터 schedule_interval 대신 schedule을 쓰고, Airflow 3에서는 옛 이름이 사라졌으며 연산자의 import 경로도 바뀌었다.
from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.python import PythonOperator, BranchPythonOperator
default_args = {
"retries": 2,
"retry_delay": timedelta(minutes=5),
"retry_exponential_backoff": True,
"execution_timeout": timedelta(hours=4),
}
with DAG(
"ml_weekly_retrain",
default_args=default_args,
schedule="0 2 * * 1", # 매주 월요일 02:00
start_date=datetime(2026, 1, 1),
catchup=False,
max_active_runs=1,
) as dag:
fetch = PythonOperator(task_id="fetch_data", python_callable=fetch_data)
validate = PythonOperator(task_id="validate_data", python_callable=validate)
preproc_a = PythonOperator(task_id="preprocess_a", python_callable=preprocess_a)
preproc_b = PythonOperator(task_id="preprocess_b", python_callable=preprocess_b)
train = PythonOperator(task_id="train_model", python_callable=train)
def check_metrics(**ctx):
score = ctx["ti"].xcom_pull(task_ids="train_model")
return "register" if score > 0.85 else "alert_fail"
branch = BranchPythonOperator(task_id="check_metrics", python_callable=check_metrics)
register = PythonOperator(task_id="register", python_callable=register_model)
alert = PythonOperator(task_id="alert_fail", python_callable=notify_failure)
fetch >> validate >> [preproc_a, preproc_b] >> train >> branch
branch >> [register, alert]
병렬로 펼친 두 전처리는 서로의 출력을 읽지 않아야 한다. 하나가 다른 하나의 중간 파일을 몰래 읽으면 그래프에는 없는 의존이 생기고, 실행 순서에 따라 결과가 달라진다. 의존은 반드시 화살표로 드러낸다.
분기와 게이트
check_metrics는 학습이 돌려준 점수를 보고 등록과 알림 중 한쪽으로 보낸다. 이 분기가 파이프라인의 품질 게이트다. 여기서 0.85 같은 고정값보다 「현재 운영 중인 모델의 점수보다 나은가」를 기준으로 두는 편이 맞다. 고정값은 데이터가 쉬워지거나 어려워지면 의미를 잃는다. 그리고 게이트를 통과한 모델도 곧바로 운영에 올리지 않고 레지스트리에 후보로만 등록해, 배포는 별도의 절차가 맡게 한다. 학습 파이프라인이 배포까지 직접 하면 학습 코드의 버그 하나가 곧바로 사용자에게 간다.
멱등성
멱등한 단계
멱등성은 같은 입력으로 같은 단계를 몇 번 돌려도 결과가 한 번 돌린 것과 같다는 성질이다. 파이프라인에서 재시도와 재실행은 일상이므로, 멱등하지 않은 단계는 언젠가 반드시 데이터를 망가뜨린다. 가장 흔한 위반은 추가 쓰기다. 「오늘 데이터를 테이블 끝에 붙인다」는 단계가 중간에 실패하고 재시도되면 오늘 데이터가 두 번 붙는다.
고치는 방법은 쓰기의 단위를 실행의 단위와 맞추는 것이다. 출력을 날짜별 파티션으로 나누고, 실행할 때마다 그 날짜의 파티션을 통째로 덮어쓴다. 2026-05-24 실행은 ds=2026-05-24 폴더만 지우고 다시 쓴다. 몇 번을 돌려도 그 폴더에는 한 벌만 남는다. 「지금 시각」 대신 실행이 받은 논리적 날짜를 쓰는 것도 같은 원칙이다. datetime.now()로 처리 범위를 정하는 단계는 다시 돌릴 때마다 다른 범위를 처리한다.
부분 재실행
멱등한 단계가 산출물을 남기면 부분 재실행이 공짜로 따라온다. 학습 단계에서 메모리 부족으로 실패했다면, 배치 크기를 고친 뒤 학습 단계부터만 다시 돌리면 된다. Airflow에서는 실패한 태스크와 그 아래를 지우면 되고, DVC 파이프라인이나 Kubeflow처럼 입력의 해시로 캐시를 관리하는 도구는 입력이 바뀌지 않은 단계를 알아서 건너뛴다.
여기서 지난 글의 데이터 버전 관리가 이어진다. 캐시를 해시로 고르려면 입력이 「같다」는 것을 확인할 방법이 있어야 하고, 데이터 버전이 그 방법이다. 코드 커밋과 데이터 버전이 같으면 같은 산출물이 나온다는 보장이 있어야 캐시를 믿고 건너뛸 수 있다.
백필
백필은 과거 구간을 몰아서 처리하는 실행이다. 전처리 로직을 고쳐서 지난 석 달 치를 새 로직으로 다시 만들어야 할 때 쓴다. 멱등한 파이프라인에서 백필은 날짜를 바꿔 같은 DAG를 90번 돌리는 일일 뿐이다. 멱등하지 않은 파이프라인에서는 백필이 사고다. 이미 처리된 날짜에 데이터가 겹쳐 쌓이고, 「지금 시각」을 쓰는 단계는 90번 모두 오늘 데이터를 처리한다. 백필을 한 번 돌려 보는 것이 파이프라인의 멱등성을 확인하는 가장 확실한 시험이다.
실패 복원
재시도와 백오프
실패에는 다시 하면 되는 실패와 다시 해도 안 되는 실패가 있다. 네트워크 순단, API 속도 제한, 스팟 인스턴스 회수는 앞쪽이다. 스키마 위반, 코드 버그, 디스크 용량 부족은 뒤쪽이다. 재시도는 앞쪽만을 위한 장치이므로, 횟수는 두세 번이면 충분하다. 뒤쪽 실패를 열 번 재시도하면 실패 알림만 늦어진다.
재시도 사이의 간격은 늘려 간다. 5분, 10분, 20분처럼 실패할 때마다 두 배로 늘리는 방식을 지수 백오프라 부른다. 속도 제한에 걸린 API에 1초 간격으로 다시 두드리면 제한이 더 길어질 뿐이다. 위 코드의 retry_exponential_backoff가 이 동작을 켠다. 여러 파이프라인이 같은 원천을 함께 두드린다면 간격에 약간의 무작위를 섞어, 모두가 같은 순간에 다시 몰리는 것을 피한다.
타임아웃과 알림
실패보다 나쁜 것은 끝나지 않는 실행이다. 학습이 데이터 로더에서 멈춰 GPU를 붙잡은 채 사흘을 보내면, 그동안 다음 실행은 줄을 서고 비용은 계속 나간다. 단계마다 평소 소요 시간의 두세 배로 타임아웃을 건다. 위 코드는 모든 태스크에 4시간을 걸었는데, 실제로는 학습처럼 긴 단계와 수집처럼 짧은 단계에 다른 값을 주는 편이 낫다.
타임아웃과 최종 실패는 사람에게 알려야 한다. 조용히 실패하는 파이프라인은 시끄럽게 실패하는 파이프라인보다 훨씬 위험하다. 월요일 재학습이 실패했는데 아무도 모르면, 운영 모델은 몇 주째 낡아 가는데 모두 새 모델이 매주 나오고 있다고 믿는다. 반대로 「성공」 알림까지 매번 보내면 알림 채널이 소음이 되어 실패 알림도 묻히므로, 성공은 대시보드에 남기고 알림은 실패와 지연에만 보낸다.
수동 개입 지점
모든 것을 자동으로 처리하려 하면 안 되는 자리가 있다. 품질 게이트에서 아슬아슬하게 떨어진 모델, 데이터 검증에서 격리된 행이 평소의 열 배인 날, 백필로 과거 모델 점수가 크게 바뀐 경우가 그렇다. 이런 자리에서 파이프라인은 판단하지 말고 멈춰서 사람을 불러야 한다. 승인 대기 상태로 두고, 담당자가 결과를 보고 「계속」이나 「중단」을 누르게 하는 것이다. 어디에서 사람을 부를지를 미리 정해 두면, 나머지 구간을 마음 놓고 자동으로 둘 수 있다.
사람을 부를 때는 판단에 필요한 것을 함께 보낸다. 「게이트 실패」 한 줄만 받은 담당자는 로그를 뒤지는 데 30분을 쓴다. 새 모델과 운영 모델의 점수, 그 차이가 난 세부 지표, 이번 실행에 쓰인 데이터 버전과 행 수, 격리된 행의 비율을 한 화면에 모아 보내면 판단은 몇 분이면 끝난다. 승인 대기에도 기한을 둔다. 사흘 동안 아무도 누르지 않으면 자동으로 중단되게 해 두어야, 대기 중인 실행이 다음 주 정기 실행과 겹치지 않는다.
트리거
세 가지 트리거
파이프라인을 언제 실행할지는 세 갈래다.
- 시간 기반 — 매일 자정, 매주 월요일처럼 정해진 주기로 돈다. 단순하고 예측할 수 있다
- 데이터 기반 — 새 파일이 버킷에 올라오거나 상류 테이블이 갱신되면 돈다
- 성능 기반 — 운영 모니터링이 성능 저하나 분포 변화를 감지하면 재학습을 건다
from airflow.providers.amazon.aws.sensors.s3 import S3KeySensor
wait_for_data = S3KeySensor(
task_id="wait_for_data",
bucket_key="s3://my-bucket/raw/{{ ds }}/data.parquet",
aws_conn_id="aws_default",
poke_interval=300, # 5분마다 확인
timeout=3600,
mode="reschedule", # 기다리는 동안 작업 슬롯을 비워 둔다
)
wait_for_data >> validate
센서는 시간 기반과 데이터 기반의 중간이다. 정해진 시각에 실행을 시작하되, 데이터가 실제로 도착할 때까지 기다렸다가 넘어간다. mode="reschedule"이 없으면 기다리는 한 시간 내내 실행 슬롯 하나를 붙잡는다.
중복 실행
트리거를 둘 이상 섞으면 같은 데이터로 파이프라인이 두 번 도는 일이 생긴다. 월요일 02시 정기 실행이 도는 중에, 01시 50분에 올라온 파일이 데이터 기반 트리거를 한 번 더 당기는 경우다. 두 실행이 같은 파티션을 동시에 쓰면 멱등성으로도 막을 수 없는 경합이 생기고, 같은 모델 후보가 레지스트리에 두 번 올라간다.
막는 방법은 세 겹이다. 첫째, 같은 파이프라인의 동시 실행 수를 하나로 제한한다. 위 DAG의 max_active_runs=1이 그 설정이다. 둘째, 실행마다 「무엇을 처리하는가」로 키를 만든다. 데이터 날짜나 입력 파일의 해시를 실행 키로 삼고, 같은 키의 실행이 이미 성공했으면 새 실행은 바로 끝낸다. 셋째, 트리거를 하나로 정리한다. 정기 실행을 남기고 싶다면 데이터 트리거 대신 센서를 써서 하나의 실행이 데이터를 기다리게 하면, 실행의 주인이 하나가 된다.
성능 기반 트리거가 더해지면 경우가 하나 더 생긴다. 모니터링이 성능 저하를 감지해 재학습을 걸었는데, 원인이 모델이 아니라 상류 데이터의 고장이었다면 재학습은 고장 난 데이터로 새 모델을 만든다. 그 모델이 게이트를 통과하면 문제를 고치는 대신 굳힌다. 그래서 성능 기반 트리거는 재학습을 바로 걸기보다, 먼저 데이터 검증 단계만 돌려 입력이 멀쩡한지 확인한 뒤에 학습으로 넘어가게 짠다. 데이터가 고장이라면 재학습이 아니라 사람에게 알리는 쪽으로 분기한다.
테스트와 배포
DAG 무결성 테스트
파이프라인 코드도 코드이므로 리뷰와 테스트를 거친다. 가장 싸고 효과가 큰 테스트는 DAG 파일이 에러 없이 읽히는지, 의존 관계가 의도대로인지를 보는 것이다. import 오타 하나로 DAG가 스케줄러 화면에서 통째로 사라지는 일이 흔하다.
from airflow.models import DagBag
def test_dags_import_cleanly():
bag = DagBag(dag_folder="dags/", include_examples=False)
assert bag.import_errors == {}
def test_training_waits_for_both_preprocessing_steps():
dag = DagBag(dag_folder="dags/", include_examples=False).get_dag("ml_weekly_retrain")
upstream = dag.get_task("train_model").upstream_task_ids
assert upstream == {"preprocess_a", "preprocess_b"}
두 번째 테스트처럼 팬인 구조를 못 박아 두면, 누군가 전처리 하나를 지우거나 화살표를 잘못 고쳤을 때 리뷰 전에 잡힌다.
단계 단위 테스트와 스모크 실행
각 단계의 함수는 오케스트레이터 없이 따로 테스트할 수 있어야 한다. 단계 함수가 날짜와 입력 경로를 인자로 받고 산출물 경로를 돌려주게 짜면, 테스트에서는 작은 표본 파일을 넣고 출력의 스키마와 행 수를 확인하면 된다. 오케스트레이터의 기능(XCom, 컨텍스트)에 깊이 기대는 함수일수록 테스트가 어려워진다.
그 위에 스모크 실행을 둔다. 전체 데이터의 1% 표본과 에폭 하나로 파이프라인 전체를 처음부터 끝까지 돌려, 단계 사이의 연결이 실제로 이어지는지만 본다. 성능은 보지 않는다. Airflow는 dag.test()로 스케줄러 없이 DAG 하나를 한 프로세스에서 돌려 볼 수 있다. 스모크 실행이 10분 안에 끝나면 변경마다 CI에서 돌릴 수 있고, 그러면 「단계 하나 고쳤더니 사흘 뒤 정기 실행에서 터졌다」는 일이 사라진다.
배포
테스트를 통과한 DAG 코드는 사람이 손으로 복사하지 않고 CI가 배포한다.
- name: Test DAG integrity
run: python -m pytest tests/test_dags.py -v
- name: Deploy DAGs
if: github.ref == 'refs/heads/main'
run: aws s3 sync dags/ s3://airflow-dags-bucket/ --delete
--delete는 저장소에서 지운 DAG를 배포 위치에서도 지운다. 이것이 없으면 지운 줄 알았던 옛 DAG가 계속 돌며 같은 테이블에 옛 로직으로 쓴다. 다음 글에서는 이렇게 자동화한 파이프라인이 학습한 가중치가 아니라 프롬프트와 인덱스를 다룰 때 운영이 어떻게 달라지는지, LLMOps로 넘어간다.
읽어주셔서 감사합니다. 😊

