Databricks ML Associate 시험 노트개념 정리18 MIN
온라인 피처 테이블과 오프라인 피처 테이블
Delta 기반 오프라인 피처 테이블과 저지연 키 조회용 온라인 테이블을 처리량과 지연으로 가르고, 동기화 모드와 피처 신선도, 모델 서빙 엔드포인트의 자동 조회, 둘 중 고르는 기준을 정리합니다.
앞 노트까지 다룬 피처 테이블은 학습 데이터를 만들고 score_batch로 수만 행에 한꺼번에 점수를 매기는 데 썼습니다. 그런데 결제 화면에서 고객 한 명의 이탈 위험을 지금 당장 알아야 한다면 이야기가 달라집니다. 요청 하나에 행 하나를 읽어 수십 밀리초 안에 답해야 하는데, 수십억 행을 열 단위로 훑도록 만든 저장소는 그 일에 맞지 않습니다. 그래서 같은 피처를 두 군데에 둡니다. 이 노트는 그 두 저장소가 각각 무엇을 잘하고, 둘을 어떻게 맞춰 두며, 언제 어느 쪽을 읽는지를 다룹니다.
두 저장소
오프라인 피처 테이블
오프라인 피처 테이블은 Unity Catalog에 등록된 Delta 테이블로, 피처의 원본이자 학습과 배치 추론이 읽는 곳입니다. 앞 노트에서 create_table로 만들고 write_table로 채운 그 테이블이 바로 이것입니다. Delta 테이블은 Parquet 파일 위에 트랜잭션 기록을 얹은 형식이라, 열 몇 개를 골라 수억 행을 훑거나 특정 시점의 버전으로 되돌아가 읽는 일에 강합니다. 시점 조회로 과거 라벨에 맞는 값을 붙이는 것도 이 테이블이 시간축을 들고 있어서 가능합니다.
온라인 테이블
온라인 테이블은 오프라인 피처 테이블을 원본으로 삼아 만든 읽기 전용 사본으로, 기본 키 하나로 행 하나를 빠르게 꺼내도록 행 단위로 저장합니다. 원본에서 고칠 것은 원본에서 고치고, 온라인 쪽은 그 변경을 받아 따라갈 뿐입니다. 사본을 만들 때 원본의 기본 키가 그대로 조회 키가 되므로, 원본에 기본 키가 없으면 온라인 테이블을 만들 수 없습니다. 원본과 사본은 둘 다 Unity Catalog 안에 세 마디 이름으로 서고, 권한도 같은 방식으로 줍니다.
Databricks는 이 사본을 담는 저장소로 Lakebase(관리형 Postgres) 기반의 온라인 피처 스토어도 내놓았고, 그쪽 문서에서는 publish_table로 같은 일을 하는 예가 보입니다. 이름과 호출은 달라도 「오프라인 원본 → 키로 조회하는 사본 → 서빙이 자동으로 읽는다」는 뼈대는 같으므로, 이 노트는 그 뼈대를 기준으로 설명합니다.
처리량과 지연
열 기반 스캔
배치 작업이 묻는 것은 「한 번에 얼마나 많이」입니다. 고객 천만 명의 이탈 점수를 밤새 매긴다면 한 행을 얼마나 빨리 꺼내느냐보다 전체를 몇 분에 끝내느냐가 중요합니다. 이것이 처리량, 곧 단위 시간에 처리하는 행의 양입니다. 열 기반 파일은 필요한 열만 읽고 압축이 잘 되므로 처리량에 유리합니다. 대신 고객 한 명을 찾으려 해도 파일을 열고 통계를 확인하는 비용이 들어 한 건의 응답이 초 단위로 늘어지기 쉽습니다.
키 조회
실시간 요청이 묻는 것은 「이 한 건이 얼마나 빨리」입니다. 이것이 지연, 곧 요청을 보내고 답을 받기까지 걸린 시간입니다. 행 기반 저장소는 키로 색인을 타고 바로 그 행에 가므로 지연이 밀리초 단위로 짧습니다. 그러나 천만 행을 한꺼번에 읽는 일에는 비싸고 느립니다. 한 저장소가 둘을 다 잘하기 어렵기 때문에 피처를 두 벌로 둡니다.
| 구분 | 오프라인 피처 테이블 | 온라인 테이블 |
|---|---|---|
| 저장 형식 | Delta(열 기반 Parquet) | 행 기반, 키 색인 |
| 강한 일 | 대량 스캔·조인 | 키 하나로 행 하나 조회 |
| 최적화 기준 | 처리량 | 지연 |
| 쓰는 곳 | 학습, score_batch 배치 추론 |
모델 서빙·피처 서빙 엔드포인트 |
| 쓰기 | write_table로 직접 |
원본에서 동기화로만 |
| 시간 이력 | 버전과 시계열 열을 보존 | 키마다 최신 값 |
마지막 줄이 중요합니다. 온라인 사본은 키마다 지금의 값을 빨리 주는 것이 목적이므로, 과거 시점의 값을 골라 붙이는 시점 조회는 오프라인 쪽의 일입니다.
동기화
동기화 모드
온라인 테이블을 만들 때 원본의 변경을 어떻게 따라갈지 고릅니다.
| 모드 | 동작 | 맞는 경우 |
|---|---|---|
| 스냅숏(Snapshot) | 갱신할 때마다 원본 전체를 다시 복사 | 원본이 통째로 다시 써지는 테이블 |
| 트리거(Triggered) | 실행할 때마다 지난번 이후 바뀐 행만 반영 | 피처가 정해진 주기로 갱신되는 배치 파이프라인 |
| 연속(Continuous) | 스트리밍으로 변경을 계속 반영 | 몇 초 단위의 신선도가 필요한 피처 |
트리거 모드는 수동으로 돌리거나 Jobs에 붙여, 피처를 채우는 write_table 작업 바로 뒤에 동기화가 따라오게 짭니다.
from databricks.sdk import WorkspaceClient
from databricks.sdk.service.catalog import (
OnlineTable, OnlineTableSpec, OnlineTableSpecTriggeredSchedulingPolicy,
)
w = WorkspaceClient()
spec = OnlineTableSpec(
source_table_full_name="ml.churn.customer_features",
primary_key_columns=["customer_id"],
run_triggered=OnlineTableSpecTriggeredSchedulingPolicy.from_dict({"triggered": "true"}),
)
w.online_tables.create_and_wait(
table=OnlineTable(name="ml.churn.customer_features_online", spec=spec)
)
콘솔에서는 다음 순서입니다.
- Catalog Explorer에서 원본 피처 테이블을 연다.
- Create 메뉴에서 Online table을 고른다.
- 기본 키와 동기화 모드를 정하고 만든다.
변경 데이터 피드
트리거와 연속 모드는 「지난번 이후 바뀐 행」을 알아야 합니다. 그 목록을 주는 것이 Delta의 변경 데이터 피드(Change Data Feed)로, 테이블 속성 delta.enableChangeDataFeed = true를 켜면 행 단위의 삽입·수정·삭제 기록이 남습니다. 꺼져 있으면 증분으로 따라갈 근거가 없으므로 원본 전체를 다시 베끼는 스냅숏만 쓸 수 있습니다.
ALTER TABLE ml.churn.customer_features
SET TBLPROPERTIES (delta.enableChangeDataFeed = true);
피처 신선도
피처 신선도는 서빙이 읽는 값이 원본의 최신 값에 얼마나 가까운가입니다. 원본이 매일 01시에 다시 계산되고 동기화가 02시에 한 번 돈다면, 01시~02시 사이의 요청은 전날 값을 받습니다. 원본 자체가 하루 한 번만 바뀌므로 온라인을 연속 모드로 바꿔도 신선도는 하루 단위에서 나아지지 않습니다. 신선도의 상한은 원본 파이프라인이 정하고, 동기화 모드는 그 상한에 얼마나 빨리 따라붙느냐를 정할 뿐입니다. 연속 모드는 원본이 스트리밍으로 자주 바뀔 때에만 값을 합니다.
자동 조회
모델 서빙 엔드포인트
앞 노트에서 fe.log_model에 training_set을 넘겨 모델에 피처 스펙을 실었습니다. 이 모델을 모델 서빙 엔드포인트에 올리면, 엔드포인트가 그 스펙을 읽고 각 피처 테이블에 대응하는 온라인 테이블을 찾아 요청이 올 때마다 피처를 꺼내 붙입니다. 이것이 자동 피처 조회입니다. 배치에서 score_batch가 오프라인 테이블로 하던 일을, 실시간에서는 엔드포인트가 온라인 테이블로 합니다.
조건은 둘입니다. 모델이 fe.log_model로 기록돼 피처 스펙을 들고 있어야 하고, 모델이 쓰는 피처 테이블마다 온라인 사본이 있어야 합니다. 일반 mlflow.sklearn.log_model로 남긴 모델은 피처가 어디서 오는지 모르므로 호출하는 쪽이 모든 피처 값을 채워 보내야 합니다.
요청과 응답
자동 조회가 켜진 엔드포인트에는 키만 보냅니다.
{
"dataframe_records": [
{"customer_id": 7, "region_id": 3}
]
}
엔드포인트는 customer_id로 고객 피처를, region_id로 지역 피처를 온라인 테이블에서 찾아 모델 입력을 완성하고 예측을 돌려줍니다. 요청에 피처와 같은 이름의 열을 함께 보내면 조회한 값 대신 보낸 값을 씁니다. 장바구니 금액처럼 요청 순간에만 아는 값을 넘기는 길이지만, 실수로 섞이면 조용히 다른 값으로 예측합니다. 모델 없이 피처 값만 돌려주는 피처 서빙 엔드포인트도 같은 온라인 테이블을 읽습니다. 다른 앱이 피처만 필요할 때 씁니다.
선택 기준
배치 스코어링
시험은 상황을 주고 어느 쪽을 쓸지 묻는 꼴로 이 단원을 다룹니다. 가르는 질문은 「답을 언제까지 줘야 하는가」입니다. 매일 밤 전 고객의 점수를 테이블로 남겨 다음 날 마케팅 캠페인이 읽는다면, 응답을 기다리는 사람이 없으므로 처리량이 기준입니다. 오프라인 테이블과 score_batch면 충분하고 온라인 사본을 만들 비용을 들일 까닭이 없습니다. 모델 학습도 같은 이유로 늘 오프라인 쪽입니다.
실시간 추론
결제 승인, 추천 위젯, 사기 탐지처럼 사용자가 화면 앞에서 기다리는 일은 지연이 기준입니다. 이때 오프라인 테이블을 요청마다 읽으면 응답이 늘어지므로 온라인 테이블과 모델 서빙 엔드포인트를 씁니다. 이어서 신선도 요구를 보고 동기화 모드를 고릅니다. 하루 한 번 계산하는 피처는 트리거로, 몇 초 전 거래까지 반영해야 하는 피처는 원본을 스트리밍으로 채우고 연속 모드로 따라갑니다.
정리하면 질문은 차례로 셋입니다. 기다리는 사람이 있는가(없으면 오프라인), 있다면 값이 얼마나 새로워야 하는가(모드 선택), 그 신선도를 원본 파이프라인이 낼 수 있는가(못 내면 모드를 바꿔도 소용없음).
연습 문제
다음 중 온라인 테이블에 대한 설명으로 옳은 것은?
①write_table로 직접 행을 써 넣는다
② 오프라인 피처 테이블을 원본으로 삼는 읽기 전용 사본이다
③ 과거 시점의 값을 골라 붙이는 시점 조회에 쓴다
④ 기본 키가 없는 테이블로도 만들 수 있다②. 쓰기는 원본에서만 하고 온라인은 동기화로 따라갑니다. 시점 조회는 오프라인 쪽의 일이고, 기본 키가 조회 키가 되므로 키가 없으면 만들 수 없습니다.원본 피처 테이블에 변경 데이터 피드가 꺼져 있습니다. 바로 쓸 수 있는 동기화 모드는?
① 스냅숏
② 트리거
③ 연속
④ 트리거와 연속 둘 다①. 증분 모드 둘은 바뀐 행 목록이 있어야 하므로 변경 데이터 피드가 필요합니다.고객 피처가 매일 01:00에 다시 계산되고, 트리거 동기화가 매일 03:00에 한 번 돕니다. 서빙이 받는 값이 원본의 최신 계산보다 뒤처질 수 있는 최대 시간은? (계산과 동기화에 드는 시간은 무시한다)
① 1시간
② 2시간
③ 22시간
④ 24시간②. 01:00에 새 값이 생기고 03:00에야 온라인에 반영되므로 01:00~03:00 사이 요청은 전날 값을 받습니다. 03:00 뒤로는 다음 날 01:00까지 원본과 같습니다.3번 상황에서 동기화를 연속 모드로 바꾸면 서빙 값이 「지금 이 순간의 고객 행동」에 얼마나 가까워지는가?
① 몇 초 단위로 가까워진다
② 원본이 하루 한 번만 바뀌므로 여전히 하루 단위다
③ 동기화가 끊겨 값이 비게 된다
④ 오프라인 테이블보다 더 최신이 된다②. 연속 모드는 원본의 변경에 빨리 따라붙을 뿐이고, 원본이 하루 한 번 바뀌면 신선도의 상한도 하루입니다.모델 서빙 엔드포인트에 키만 보내 예측을 받으려 합니다. 필요한 조건을 둘 고르시오.
① 모델을fe.log_model에training_set을 넘겨 기록했다
② 모델을mlflow.sklearn.log_model로 기록했다
③ 모델이 쓰는 피처 테이블마다 온라인 사본이 있다
④ 오프라인 피처 테이블을 지웠다
⑤ 요청에 모든 피처 열을 채워 보낸다①과 ③. 피처 스펙이 있어야 무엇을 찾을지 알고, 온라인 사본이 있어야 빨리 찾습니다. ⑤를 하면 키만 보내는 것이 아니게 됩니다.다음 중 온라인 테이블 없이 오프라인 테이블만으로 처리하는 것이 맞는 일은?
① 결제 승인 중 사기 점수 계산
② 쇼핑 앱 첫 화면의 실시간 추천
③ 매일 밤 전 고객의 이탈 점수를 테이블로 저장
④ 상담 챗봇이 대화 중 고객 등급 조회③. 응답을 기다리는 사람이 없어 처리량이 기준이므로score_batch로 충분합니다. 나머지 셋은 요청 하나에 바로 답해야 합니다.자동 조회가 켜진 엔드포인트에
{"customer_id": 7, "tenure_months": 0}을 보냈습니다.tenure_months는 온라인 테이블에도 있는 피처입니다. 모델이 받는tenure_months는?
① 온라인 테이블의 값
② 요청에 넣은 0
③ 오류로 거절된다
④ 두 값의 평균②. 요청에 피처와 같은 이름의 열이 있으면 조회 대신 그 값을 씁니다. 배치의score_batch와 같은 규칙입니다.
오프라인은 많이, 온라인은 빨리 읽는 저장소입니다. 원본은 하나이고 사본은 동기화로 따라가며, 신선도는 원본이 정하고 모드는 따라붙는 속도를 정합니다.

