Databricks Context Engineer Associate

Databricks Context Engineer Associate 시험 노트개념 정리15 MIN

Databricks AI Search 구성 진단

검색 품질이 나쁠 때 모델이 아니라 인덱스 구성에서 원인을 찾는 법을 정리합니다. DELTA_SYNC와 DIRECT_ACCESS, TRIGGERED와 CONTINUOUS, 원본과 인덱스의 동기화 어긋남, 비용까지 따진 해결 고르기를 다룹니다.

08번 노트에서 청크 테이블을 원천으로 검색 인덱스를 하나 세웠습니다. 이 노트는 그 인덱스가 세워진 뒤의 이야기입니다. 에이전트가 엉뚱한 문서를 들고 오거나 어제 고친 규정을 모른다고 할 때, 사람들은 먼저 프롬프트나 모델을 의심합니다. 그런데 원인이 인덱스를 만들 때 고른 값 몇 개에 있는 경우가 많고, 그러면 프롬프트를 아무리 고쳐도 낫지 않습니다. 시험 가이드는 이 기능을 Databricks AI Search라고 부르고, 검색 품질 문제의 근본 원인이 되는 구성을 찾아 고치는 것을 셋째 영역(비중 20%)의 출제목표 하나로 세워 두었습니다. 파이썬에서는 databricks.vector_search 패키지의 VectorSearchClient로 다룹니다.

인덱스 두 갈래

DELTA_SYNC 인덱스

DELTA_SYNC 인덱스는 원본 Delta 테이블을 바라보며 그 테이블의 변경을 따라오는 인덱스입니다. 원본에 행이 추가되거나 바뀌거나 지워지면, 인덱스가 그 변경을 읽어 해당 행만 다시 임베딩하고 반영합니다. 변경을 읽는 근거가 원본 테이블의 Change Data Feed(CDF)입니다. CDF는 Delta 테이블이 어느 행을 언제 어떻게 바꿨는지 기록해 두는 기능이라, 이것이 꺼진 테이블로는 DELTA_SYNC 인덱스를 만들 수 없습니다. 임베딩은 Databricks가 지정한 모델 엔드포인트로 대신 계산하게 할 수도 있고(embedding_source_column), 우리가 미리 계산한 벡터 컬럼을 넘길 수도 있습니다(embedding_vector_column).

DIRECT_ACCESS 인덱스

DIRECT_ACCESS 인덱스는 원본 테이블이 없는 인덱스입니다. 벡터와 메타데이터를 API로 직접 써 넣고(upsert), 지울 것도 직접 지웁니다(delete). 자동으로 따라오는 원본이 없으니 동기화라는 개념도 없고, 인덱스에 무엇이 들어 있는지는 전적으로 쓰는 쪽 코드가 책임집니다. 바깥 시스템이 이미 벡터를 만들어 실시간으로 흘려보내는 경우처럼, 데이터가 Delta 테이블을 거치지 않는 자리에 맞습니다.

from databricks.vector_search.client import VectorSearchClient

vsc = VectorSearchClient()
idx = vsc.create_direct_access_index(
    endpoint_name="docs_endpoint",
    index_name="main.docs.live_events_index",
    primary_key="event_id",
    embedding_dimension=1024,
    embedding_vector_column="vec",
    schema={"event_id": "string", "text": "string", "vec": "array<float>"},
)
idx.upsert([{"event_id": "e-1", "text": "배송 지연 공지", "vec": [0.1] * 1024}])
DELTA_SYNC DIRECT_ACCESS
원천 Delta 테이블 없음 — API로 직접 쓴다
변경 반영 원본 CDF를 읽어 자동 쓰는 코드가 upsert·delete
UC 계보 원본 테이블과 이어진다 인덱스에서 끊긴다
맞는 자리 문서 코퍼스가 Delta에 있다 바깥 시스템이 벡터를 흘려보낸다

동기화 방식

TRIGGERED

DELTA_SYNC 인덱스를 만들 때 pipeline_type을 고릅니다. TRIGGERED는 누군가 동기화를 요청할 때만 원본의 변경을 반영합니다. 요청은 index.sync() 호출이나 그것을 부르는 예약 작업으로 합니다. 동기화하지 않는 동안 파이프라인이 돌지 않으므로 비용이 적고, 대신 마지막 동기화 이후의 변경은 검색에 안 보입니다.

CONTINUOUS

CONTINUOUS는 파이프라인이 늘 켜져 있어 원본이 바뀌면 곧 인덱스에 반영합니다. 신선도가 높은 대신 계산 자원이 계속 돌아 비용이 큽니다. 둘을 가르는 질문은 「원본이 얼마나 자주 바뀌고, 바뀐 것이 몇 분 안에 검색되어야 하는가」 하나입니다. 하루 한 번 밤에 적재되는 규정 문서라면 적재 작업 끝에 sync()를 한 번 부르는 TRIGGERED로 충분하고, 몇 분마다 상태가 바뀌는 장애 공지라면 CONTINUOUS가 맞습니다.

동기화 어긋남

증상

동기화 어긋남은 원본 Delta 테이블과 인덱스가 서로 다른 내용을 들고 있는 상태입니다. 증상은 셋으로 나타납니다. 원본에서 고친 문구가 검색 결과에는 옛 문구로 나오고, 원본에서 지운 문서가 여전히 검색되며, 새로 넣은 문서는 아예 안 나옵니다. 이것은 02번 노트의 poisoning과 clash가 검색 경로로 들어오는 모습입니다 — 낡은 청크가 최신 청크와 함께 창에 실려 모델이 어느 쪽을 믿을지 모르게 됩니다.

원인 찾기

어긋남의 원인은 대개 다음 차례로 좁혀집니다.

  1. 인덱스 종류를 본다 — DIRECT_ACCESS면 쓰는 코드가 delete를 빠뜨렸는지 본다
  2. DELTA_SYNC면 pipeline_type을 본다 — TRIGGERED인데 sync()를 부르는 작업이 없거나 멈췄는지 본다
  3. 원본에 CDF가 켜져 있는지, 적재 작업이 테이블을 통째로 덮어쓰지 않는지 본다
  4. index.describe()로 인덱스 상태와 마지막 동기화 시점을 본다

원본을 통째로 덮어쓰면 행 단위 변경 기록이 남지 않아 인덱스가 전체를 다시 계산해야 하므로, 적재는 MERGE로 바뀐 행만 고치는 편이 동기화에도 비용에도 낫습니다. 시나리오가 「어제 고친 내용을 모른다」를 말하면 모델이 아니라 이 차례를 먼저 밟습니다.

검색 신호 품질

임베딩 대상 컬럼

인덱스가 최신인데도 결과가 엉뚱하면, 벡터가 애초에 무엇을 담고 있는지 봅니다. 검색 신호는 질문과 청크가 가까운지를 가르는 데 쓰이는 정보이고, 그 정보는 임베딩한 컬럼에서만 옵니다. embedding_source_column이 본문이 아니라 문서 제목이나 파일 이름을 가리키면, 질문이 본문의 한 문장을 묻는 한 아무리 해도 그 문장과 짝지어지지 않습니다. 이때 검색 신호를 가장 직접 올리는 조치는 임베딩 대상을 본문 청크 컬럼으로 바로잡는 것입니다.

필터와 하이브리드

신호를 보태는 조치는 그다음입니다. 메타데이터 필터는 부서나 문서 종류 같은 컬럼으로 후보를 먼저 줄여, 뜻은 비슷하지만 범위 밖인 청크를 걸러 냅니다. 하이브리드 검색은 벡터 유사도에 키워드 일치를 더해 제품 코드나 조항 번호처럼 정확히 맞아야 하는 낱말을 살립니다.

idx = vsc.get_index("docs_endpoint", "main.docs.policy_chunks_index")
hits = idx.similarity_search(
    query_text="VIP 등급 반품 기한",
    columns=["chunk_id", "chunk_text", "source_path"],
    filters={"doc_type": "refund_policy"},
    num_results=5,
    query_type="HYBRID",
)

리랭커를 덧붙여 상위 후보의 순서를 다시 매기는 방법도 있지만, 신호 자체가 틀린 컬럼에서 오고 있다면 순서를 다시 매겨도 맞는 청크가 후보에 없습니다. 원인이 있는 층을 고치는 것이 먼저입니다.

비용과 해결 고르기

비용 견주기

같은 증상에 해결이 여럿 보이면 비용을 함께 봅니다. 원본이 하루에 한 번 바뀌는데 신선도 문제가 생겼다고 CONTINUOUS로 바꾸면, 하루 스물세 시간 넘게 바뀔 것이 없는 파이프라인 값을 냅니다. 적재 작업 끝에 sync()를 붙이는 것으로 같은 신선도를 얻습니다. 반대로 몇 분 단위 신선도가 요구 조건에 적혀 있으면 예약 동기화를 아무리 촘촘히 해도 그 요구를 맞추기 어렵고, 그때는 CONTINUOUS의 비용을 치르는 것이 답입니다.

판단 순서

시나리오를 읽을 때는 다음을 차례로 묻습니다. 증상이 신선도인가 관련성인가. 신선도라면 인덱스 종류와 동기화 방식, 적재 방식 가운데 어디서 끊겼는가. 관련성이라면 임베딩 대상이 맞는가, 그다음에 필터와 하이브리드로 보탤 것이 있는가. 그리고 요구된 신선도를 가장 싼 구성으로 맞추는 것은 무엇인가. 시험 가이드가 이 목표에 「비용」을 함께 적고 있으므로, 보기에는 문제를 고치기는 하지만 필요 이상으로 비싼 해결이 섞여 나올 수 있습니다.

연습 문제

  1. 사내 규정 청크 테이블은 매일 새벽 2시에 한 번 적재됩니다. 인덱스는 DELTA_SYNC, pipeline_type="TRIGGERED"인데, 지난주부터 고친 규정이 검색되지 않습니다. 비용을 가장 적게 들이는 해결은?
    ① pipeline_type을 CONTINUOUS로 바꾼다
    ② 적재 작업 끝에 index.sync()를 부르는 단계를 둔다
    ③ DIRECT_ACCESS 인덱스로 옮긴다
    ④ 리랭커를 붙인다
    ②. 원본은 하루 한 번만 바뀌므로 적재 직후 한 번 동기화하면 충분합니다. ①도 고치지만 하루 내내 파이프라인 비용을 냅니다. ③은 동기화를 코드가 떠안게 할 뿐이고 ④는 신선도와 무관합니다.
  2. 원본 Delta 테이블에서 지운 문서가 DIRECT_ACCESS 인덱스에서 계속 검색됩니다. 가장 먼저 볼 곳은?
    ① 원본 테이블의 Change Data Feed 설정
    ② pipeline_type
    ③ 인덱스에 쓰는 코드가 지운 행에 대해 delete를 부르는지
    ④ 임베딩 모델 엔드포인트
    ③. DIRECT_ACCESS 인덱스는 원본을 따라오지 않으므로 CDF와 pipeline_type이 관여하지 않습니다. 지우는 일도 쓰는 코드의 몫입니다.
  3. 인덱스가 최신 상태인데, 질문이 본문 한 문장을 물으면 엉뚱한 문서가 나옵니다. 확인해 보니 embedding_source_column이 doc_title입니다. 검색 신호 품질을 가장 직접 올리는 조치는?
    ① 임베딩 대상을 본문 청크 컬럼으로 바꾼다
    ② num_results를 늘린다
    ③ CONTINUOUS로 바꾼다
    ④ 리랭커를 붙인다
    ①. 제목만 임베딩하면 본문의 문장은 벡터에 담기지 않습니다. ②와 ④는 맞는 청크가 후보에 없으면 소용없고 ③은 신선도 조치입니다.
  4. CONTINUOUS 인덱스 파이프라인이 시간당 1.2 DBU를 쓰고, TRIGGERED로 바꾸면 하루 한 번 동기화에 0.8 DBU가 든다고 합시다. 30일 기준 두 방식의 DBU 차이는?
    840 DBU. CONTINUOUS는 1.2×24×30=8641.2 \times 24 \times 30 = 864 DBU이고 TRIGGERED는 0.8×30=240.8 \times 30 = 24 DBU이므로 864−24=840864 - 24 = 840 DBU입니다. 원본이 하루 한 번 바뀐다면 이 차이를 내고 얻는 신선도가 없습니다.
  5. DELTA_SYNC 인덱스에 대해 옳은 것을 둘 고르시오.
    ① 원본 테이블에 Change Data Feed가 켜져 있어야 한다
    ② 벡터를 upsert로만 넣을 수 있다
    ③ 원본 테이블과 Unity Catalog 계보로 이어진다
    ④ 원본이 없는 실시간 이벤트를 받기에 가장 알맞다
    ⑤ pipeline_type을 정하지 않는다
    ①과 ③. ②와 ④는 DIRECT_ACCESS의 특징이고, pipeline_type은 DELTA_SYNC에서 정하는 값입니다.
  6. 장애 공지 테이블이 몇 분마다 바뀌고, 요구 조건에 「공지 후 5분 안에 에이전트가 알아야 한다」가 적혀 있습니다. 알맞은 구성은?
    ① TRIGGERED + 하루 한 번 sync()
    ② CONTINUOUS
    ③ 동기화 없이 하이브리드 검색
    ④ 청크 크기를 줄인다
    ②. 몇 분 단위 신선도가 요구 조건이면 늘 켜진 파이프라인의 비용을 치르는 것이 맞습니다. ①은 하루 지연이고 ③·④는 신선도와 무관합니다.
Databricks Context Engineer Associate 시험 노트 전체 보기