Databricks Context Engineer Associate

Databricks Context Engineer Associate 시험 노트개념 정리16 MIN

검색 실패 진단과 권위 있는 출처 제한

MLflow 평가 결과로 검색 실패가 어느 갈래인지 가르고, Unity Catalog 메타데이터로 원인을 좁힌 뒤, 권위 있는 자산만 검색 범위에 두고 PII와 정책을 배포 전에 적용하는 거버넌스 조치를 고르는 법을 정리합니다.

09번 노트가 인덱스 구성을, 10번 노트가 검색 시점을 봤다면, 이 노트는 검색이 틀렸다는 것을 어떻게 알아내고 그 뿌리를 어디서 자르는지를 봅니다. 답이 틀렸을 때 그것이 검색 탓인지 생성 탓인지부터 갈라야 하고, 검색 탓이라면 무엇이 검색됐기에 틀렸는지를 Unity Catalog에서 거슬러 올라가야 합니다. 원인이 「검색 범위에 들어가면 안 되는 자산이 들어가 있었다」로 밝혀지는 경우가 많아서, 처방도 모델이 아니라 거버넌스 쪽에 섭니다. 시험 가이드 셋째 영역(비중 20%)이 이 진단과 범위 제한을 출제목표로 둡니다.

평가 로그 읽기

검색 평가 지표

MLflow 3의 mlflow.genai.evaluate는 질문 묶음을 에이전트에 돌리고, 트레이스마다 스코어러를 붙여 점수를 남깁니다. 스코어러는 트레이스 하나를 받아 통과·실패와 그 근거를 돌려주는 채점 함수입니다. 검색을 따로 보는 스코어러가 셋 있습니다.

import mlflow
from mlflow.genai.scorers import (
    RetrievalRelevance, RetrievalSufficiency, RetrievalGroundedness,
)

results = mlflow.genai.evaluate(
    data=eval_df,
    predict_fn=agent_predict,
    scorers=[RetrievalRelevance(), RetrievalSufficiency(), RetrievalGroundedness()],
)

검색 결과가 트레이스에 남으려면 검색 단계가 retriever 종류의 span으로 기록되어야 합니다. 그래야 스코어러가 어느 청크가 실렸는지 읽습니다.

실패 갈래

세 점수가 가리키는 실패는 서로 다릅니다.

실패한 스코어러 뜻 먼저 볼 곳
RetrievalRelevance 실린 청크가 질문과 상관없다 검색 신호, 필터, 범위
RetrievalSufficiency 답에 필요한 정보가 청크에 없다 코퍼스에 문서가 있는지, 청킹, k
RetrievalGroundedness 청크는 맞는데 답이 청크를 벗어났다 생성 쪽 — 프롬프트와 모델

마지막 줄이 중요합니다. 검색이 맞는 청크를 가져왔는데 답이 틀렸다면, 검색을 아무리 고쳐도 낫지 않습니다. 반대로 Sufficiency가 낮은데 프롬프트를 고치는 것도 헛수고입니다. 평가 로그에서 어느 스코어러가 실패했는지를 먼저 세어야 고칠 층이 정해집니다.

평가 결과는 MLflow 실험에 실행 하나로 남고, 트레이스마다 스코어러 이름과 판정, 그렇게 판정한 근거 문장이 붙습니다. 실패한 트레이스를 스코어러별로 모아 몇 건씩인지 세고, 실패가 특정 주제의 질문에 몰리는지도 봅니다. 환불 질문에서만 Sufficiency가 무너진다면 코퍼스 전체가 아니라 환불 문서 쪽을 보면 되므로, 다음 단계에서 거슬러 올라갈 범위가 그만큼 좁아집니다. 고친 뒤에는 같은 질문 묶음으로 다시 평가해 그 갈래의 실패 수가 실제로 줄었는지 확인합니다.

메타데이터로 좁히기

청크에서 원본으로

Relevance나 Sufficiency 실패가 몰리는 질문을 골라, 그 트레이스에 실린 청크의 출처를 봅니다. 청크 테이블에 원본 경로 컬럼을 두었다면(08번 노트) 어느 파일·어느 테이블에서 왔는지가 바로 나오고, Unity Catalog의 계보(lineage)를 따라가면 그 청크 테이블이 어떤 원본에서 어떤 작업으로 만들어졌는지가 나옵니다. 여기서 흔히 드러나는 것이 「검색된 청크가 정식 규정 테이블이 아니라 누군가 분석용으로 떠 둔 사본에서 왔다」입니다.

테이블 설명과 태그

계보와 함께 UC가 들고 있는 메타데이터를 봅니다. 테이블 설명, 소유자, 마지막 수정 시각, 태그입니다. 설명이 「2024년 감사용 임시 추출」인 테이블이 인덱스 원천에 끼어 있거나, 소유자가 이미 퇴사한 사용자이거나, 마지막 수정이 1년 전이라면 그 테이블이 낡은 정보를 흘려보내는 자리입니다. 같은 이름의 테이블이 여러 스키마에 흩어져 있을 때도 이 메타데이터가 어느 쪽이 정본인지를 가려 줍니다. 메타데이터가 비어 있으면 이 판단 자체가 안 되므로, 07번 노트에서 본 메타데이터 보강이 진단의 전제이기도 합니다.

권위 있는 자산과 파생 자산

둘의 차이

권위 있는 자산(authoritative asset)은 그 정보의 정식 출처로 지정되어 소유자가 책임지고 갱신하는 테이블이나 볼륨입니다. 파생 자산(derived asset)은 권위 있는 자산에서 복사·가공해 만든 것으로, 분석용 사본, 요약 테이블, 임시 추출이 여기에 듭니다. 파생 자산은 만든 시점에 멈춰 있고 원본이 바뀌어도 따라가지 않는 경우가 많아, 검색 범위에 섞이면 02번 노트의 poisoning과 clash를 일으킵니다.

권위 있는 자산 파생 자산
갱신 소유자가 책임지고 갱신한다 만든 시점에 멈추기 쉽다
검색 범위 넣는다 기본으로 뺀다
계보에서 원천 쪽에 선다 원천에서 갈라져 나온다

표시하기

어느 쪽인지를 사람의 기억이 아니라 UC에 적어 둡니다. 태그를 붙이면 인덱스를 만드는 작업이나 검토하는 사람이 같은 기준으로 고릅니다.

ALTER TABLE main.policy.refund_rules SET TAGS ('source_tier' = 'authoritative');
ALTER TABLE main.sandbox.refund_rules_2024_copy SET TAGS ('source_tier' = 'derived');

배포 전 범위 제한

거버넌스 조치

원인이 범위에 있다면 처방도 범위에서 합니다. 고를 조치는 대략 셋입니다. 첫째, 인덱스의 원천을 권위 있는 테이블로 바꾸고 파생 사본으로 만든 인덱스를 내립니다. 둘째, 에이전트가 쓰는 서비스 주체에게 권위 있는 자산에만 읽기 권한을 주어, 파생 자산을 읽는 도구를 실수로 붙여도 읽히지 않게 합니다. 셋째, 한 인덱스 안에 여러 등급이 섞여 있다면 메타데이터 필터로 권위 있는 청크만 후보에 남깁니다. 세 조치 가운데 첫째와 둘째가 뿌리를 자르고, 셋째는 필터를 빠뜨린 호출 하나로 다시 뚫리는 조치라 보조로 씁니다.

배포 전에 하는 이유

이 범위 제한은 운영에 들어가기 전에 합니다. 배포 뒤에 파생 자산이 섞인 것을 알게 되면, 그동안 낡은 정보로 나간 답을 되돌릴 방법이 없습니다. 그래서 평가 묶음을 돌려 실패 갈래를 세고, 실린 청크의 출처가 모두 권위 있는 자산인지 확인한 뒤에 배포합니다. 시험 가이드가 이 목표를 「배포 전」으로 적고 있으므로, 시나리오는 운영 중 사고를 보여 주고 그것을 미리 막았어야 할 조치를 고르게 하는 꼴로도 세울 수 있습니다.

데이터 품질과 PII

인덱스에 넣기 전

검색 인덱스는 원본 텍스트를 복사해 들고 있습니다. 그래서 원본 테이블에 건 열 마스크나 행 필터가 인덱스에 담긴 청크 텍스트까지 자동으로 가려 준다고 기대하면 안 됩니다. 주민등록번호나 전화번호 같은 PII(개인 식별 정보)는 청크 테이블을 만드는 단계에서 걷어 내거나 가린 뒤에 인덱스에 넣습니다. 중복 문서, 빈 청크, 깨진 인코딩 같은 품질 문제도 같은 단계에서 거릅니다 — 인덱스에 들어간 뒤에는 검색 결과로만 드러납니다.

정책 적용

원본 테이블 쪽에서는 UC의 열 마스크와 행 필터로 사람과 에이전트가 볼 수 있는 범위를 정합니다. 열 마스크는 권한이 없는 사용자가 그 열을 읽으면 가린 값을 돌려주는 함수를 열에 붙이는 것이고, 행 필터는 조건에 맞는 행만 보이게 하는 함수를 테이블에 붙이는 것입니다. 이 정책은 함수 도구로 원본을 직접 질의하는 just-in-time 경로(10번 노트)에서 그대로 효력을 냅니다. 인덱스 경로와 질의 경로가 서로 다른 지점에서 정책을 받는다는 것을 알아 두어야, 「마스크를 걸었는데 검색 결과에 전화번호가 나온다」 같은 시나리오에서 고칠 자리를 바로 찾습니다.

연습 문제

  1. 평가 결과 RetrievalRelevance와 RetrievalSufficiency는 대부분 통과했고, RetrievalGroundedness만 많이 실패했습니다. 먼저 고칠 곳은?
    ① 청크 크기
    ② 인덱스의 임베딩 대상 컬럼
    ③ 생성 쪽의 프롬프트와 모델
    ④ 검색 범위의 태그
    ③. 맞는 청크가 충분히 실렸는데 답이 청크를 벗어났으므로 원인은 생성 단계에 있습니다.
  2. 평가 질문 200개 가운데 RetrievalSufficiency가 46개에서 실패했고, 그 46개 가운데 34개의 실린 청크가 main.sandbox 아래 사본 테이블에서 왔습니다. 사본에서 온 실패는 Sufficiency 실패의 몇 %이며, 전체 질문의 몇 %입니까? (소수 첫째 자리에서 반올림)
    약 74%와 17%. 34÷46≈0.73934 \div 46 \approx 0.739 이므로 약 74%, 34÷200=0.1734 \div 200 = 0.17 이므로 17%입니다. Sufficiency 실패의 대부분이 파생 자산에서 오므로 범위 제한이 가장 큰 개선 자리입니다.
  3. 검색된 청크가 분석팀이 작년에 떠 둔 사본 테이블에서 온다는 것을 확인했습니다. 뿌리를 자르는 조치를 둘 고르시오.
    ① 인덱스 원천을 권위 있는 정식 테이블로 바꾸고 사본 기반 인덱스를 내린다
    ② 에이전트 서비스 주체에게 권위 있는 자산에만 읽기 권한을 준다
    ③ 시스템 프롬프트에 「최신 정보를 우선하라」를 넣는다
    ④ num_results를 늘린다
    ⑤ 사본 테이블의 청크를 더 잘게 자른다
    ①과 ②. 낡은 자산이 범위에 들어온 것이 원인이므로 범위 자체를 고칩니다. ③은 모델이 어느 청크가 낡았는지 모르는 한 효과가 없고 ④·⑤는 원인과 무관합니다.
  4. 원본 고객 테이블의 전화번호 열에 열 마스크를 걸었는데, 같은 테이블로 만든 검색 인덱스의 결과에 전화번호가 그대로 나옵니다. 알맞은 조치는?
    ① 열 마스크 함수를 다시 만든다
    ② 청크 테이블을 만드는 단계에서 전화번호를 걷어 내거나 가린 뒤 인덱스를 다시 만든다
    ③ query_type을 HYBRID로 바꾼다
    ④ CONTINUOUS 동기화로 바꾼다
    ②. 인덱스는 원본 텍스트를 복사해 들고 있어 원본의 열 마스크가 청크 텍스트를 가리지 않습니다. PII는 인덱스에 넣기 전에 처리합니다.
  5. 파생 자산에 대한 설명으로 옳지 않은 것은?
    ① 권위 있는 자산에서 복사·가공해 만든다
    ② 원본이 바뀌어도 따라가지 않기 쉽다
    ③ 정식 출처로 지정되어 소유자가 갱신을 책임진다
    ④ 계보에서 원천으로부터 갈라져 나온 자리에 선다
    ③. 정식 출처로 지정되어 소유자가 책임지는 것은 권위 있는 자산의 정의입니다.
  6. 검색 실패의 원인 테이블을 좁히려는데 UC의 테이블 설명과 태그가 모두 비어 있습니다. 진단을 이어 가기 위해 먼저 할 일로 알맞은 것은?
    ① 테이블 설명·소유자·등급 태그를 채워 어느 것이 정식 출처인지 적는다
    ② 모델을 더 큰 것으로 바꾼다
    ③ 평가를 끄고 운영에 배포한다
    ④ 모든 테이블을 인덱스 원천에 넣는다
    ①. 메타데이터가 없으면 권위 있는 자산과 파생 자산을 가를 근거가 없습니다. 07번 노트의 메타데이터 보강이 이 진단의 전제입니다.
Databricks Context Engineer Associate 시험 노트 전체 보기