Databricks Context Engineer Associate 시험 노트개념 정리16 MIN
사전 적재 검색과 just-in-time 검색
모델을 부르기 전에 임베딩 검색 결과를 미리 실어 두는 방식과, 에이전트가 필요할 때 도구를 불러 꺼내 오는 방식을 가르고, 동적 Delta 테이블 질의까지 포함해 사용 사례마다 검색 전략을 고르는 법을 정리합니다.
09번 노트가 검색 인덱스가 제대로 서 있는지를 봤다면, 이 노트는 그 인덱스를 언제 부르는지를 봅니다. 같은 인덱스라도 모델을 부르기 전에 한 번 검색해 결과를 실어 둘 수도 있고, 에이전트가 일하는 도중 필요하다고 판단할 때 도구로 부르게 할 수도 있습니다. 앞쪽이 사전 적재 검색, 뒤쪽이 just-in-time 검색입니다. 어느 쪽이 맞는지는 과제가 무엇을 알아야 끝나는지에 달려 있으므로, 먼저 과제에 필요한 컨텍스트가 무엇인지부터 나눕니다. 시험 가이드 셋째 영역(비중 20%)의 출제목표 하나가 이 선택을 사용 사례별로 묻습니다.
과제에 필요한 컨텍스트
범위 짓기와 실행
에이전트가 과제를 끝내려면 두 종류의 정보가 필요합니다. 하나는 과제를 범위 짓는 정보로, 무엇을 해야 하고 어디까지가 일이며 무엇이 금지되는지를 말합니다. 목표, 제약, 사용자의 역할과 권한이 여기에 듭니다. 다른 하나는 과제를 실행하는 정보로, 실제로 답을 만들거나 행동하는 데 쓰는 사실입니다. 규정 문구, 주문 상태, 재고 수량 같은 것입니다. 범위 짓는 정보는 과제가 시작될 때 이미 정해져 있고 도중에 잘 바뀌지 않지만, 실행하는 정보는 과제가 진행되며 무엇이 필요한지 드러납니다.
정적인 것과 바뀌는 것
실행하는 정보도 다시 둘로 갈립니다. 규정과 설명서처럼 하루 이틀 사이에 바뀌지 않는 정적 지식과, 주문 상태나 재고처럼 몇 분 사이에도 바뀌는 동적 데이터입니다. 정적 지식은 미리 인덱스에 넣어 두고 꺼내 쓸 수 있지만, 동적 데이터를 인덱스에 넣으면 09번 노트의 동기화 어긋남이 늘 따라옵니다. 이 두 축 — 언제 필요한지 아는가, 얼마나 자주 바뀌는가 — 이 아래의 검색 전략을 가릅니다.
사전 적재 검색
임베딩 기반 사전 적재
사전 적재 검색(pre-inference retrieval)은 모델을 부르기 전에 사용자 질문을 임베딩해 인덱스에서 가까운 청크를 찾고, 그 결과를 프롬프트에 함께 실어 보내는 방식입니다. 08번 노트에서 본 흐름이 그대로 이것입니다. 모델은 검색이 있었는지조차 모르고, 이미 창에 놓인 청크를 읽고 답할 뿐입니다.
def answer(question: str) -> str:
hits = idx.similarity_search(
query_text=question,
columns=["chunk_text", "source_path"],
num_results=4,
)
context = "\n\n".join(row[0] for row in hits["result"]["data_array"])
return llm.invoke(f"근거:\n{context}\n\n질문: {question}")
강점과 약점
사전 적재는 호출 한 번에 검색 한 번이라 지연이 예측 가능하고, 구현이 단순하며, 무엇이 실렸는지 트레이스에서 바로 보입니다. 질문 하나가 문서 몇 조각으로 답이 끝나는 FAQ나 규정 안내에 맞습니다. 약점은 질문이 무엇을 필요로 하든 같은 양을 싣는다는 점입니다. 인사말에도 청크 네 개가 실리고, 여러 단계를 거쳐야 드러나는 정보는 첫 질문만으로는 찾을 수 없습니다. 03번 노트의 주의 예산을 쓸 데 없는 곳에 쓰는 셈입니다.
사전 적재의 양을 조절하는 손잡이는 num_results와 청크 크기 둘입니다. 질문 대부분이 한두 조각으로 답이 끝나는데 다섯 조각을 싣고 있다면 줄이는 것만으로 토큰과 distraction이 함께 줄어듭니다. 반대로 답에 필요한 조각이 자주 후보에서 빠진다면 늘리기 전에 09번 노트의 검색 신호부터 봅니다.
just-in-time 검색
도구 호출로 꺼내기
just-in-time 검색은 검색을 도구로 에이전트에게 쥐여 주고, 에이전트가 필요하다고 판단한 순간에 그 도구를 부르게 하는 방식입니다. 모델이 먼저 과제를 읽고 무엇이 모자란지 정한 뒤에 검색하므로, 필요 없는 턴에는 아무것도 싣지 않고 필요한 턴에는 필요한 것만 싣습니다. 첫 검색 결과를 보고 다음 검색어를 고칠 수도 있어 여러 단계를 거쳐야 드러나는 정보에 닿습니다. 대가는 호출 횟수와 지연이 늘고, 에이전트가 검색을 건너뛰거나 엉뚱하게 부르는 실패가 새로 생긴다는 점입니다.
동적 Delta 테이블 질의
동적 데이터는 인덱스가 아니라 원본 테이블에 바로 질의하게 합니다. Unity Catalog 함수로 질의를 감싸 두면 그것이 에이전트의 도구가 되고, 권한도 UC가 그대로 매깁니다. 함수 설명(COMMENT)이 곧 에이전트가 읽는 도구 설명이므로, 무엇을 언제 돌려주는지 분명히 적습니다.
CREATE OR REPLACE FUNCTION main.ops.order_status(order_id STRING)
RETURNS TABLE (status STRING, updated_at TIMESTAMP)
COMMENT '주문 번호 하나의 현재 배송 상태와 마지막 갱신 시각을 돌려준다'
RETURN SELECT status, updated_at FROM main.ops.orders WHERE id = order_id;
from databricks_langchain import UCFunctionToolkit
tools = UCFunctionToolkit(function_names=["main.ops.order_status"]).tools
이렇게 하면 동기화할 인덱스가 없으니 어긋남도 없고, 에이전트는 질의하는 순간의 값을 받습니다. 집계나 조건이 자유로운 질문이라면 테이블 묶음을 Genie 스페이스로 세워 도구로 연결하는 길도 있습니다(05·07번 노트).
| 사전 적재 검색 | just-in-time 검색 | |
|---|---|---|
| 검색 시점 | 모델 호출 전 | 에이전트가 도구를 부를 때 |
| 검색어 | 사용자 질문 그대로 | 에이전트가 정한다 |
| 창에 싣는 양 | 매번 같다 | 필요한 턴에만 |
| 새로 생기는 실패 | 쓸데없는 청크가 실린다 | 검색을 건너뛰거나 잘못 부른다 |
사용 사례별 전략
고르는 기준
전략은 정보의 성질에서 거꾸로 고릅니다. 질문 하나가 정적 문서 몇 조각으로 끝나면 사전 적재가 싸고 확실합니다. 무엇이 필요한지 과제를 진행해 봐야 드러나면 just-in-time 검색이 맞습니다. 값이 분 단위로 바뀌면 인덱스가 아니라 Delta 테이블 질의 도구입니다. 그리고 범위 짓는 정보, 곧 사용자의 역할이나 금지 사항은 어떤 검색 전략을 쓰든 시스템 프롬프트에 처음부터 둡니다 — 에이전트가 검색하기로 마음먹어야 나타나는 금지 사항은 금지 사항이 아닙니다.
섞어 쓰기
실제 에이전트는 둘을 섞습니다. 고객 상담 에이전트라면 상담 규정의 핵심 몇 조각은 첫 턴에 사전 적재하고, 개별 주문 상태는 주문 번호가 나온 턴에 함수 도구로 질의하고, 드문 예외 조항은 검색 도구로 그때그때 찾게 합니다. 시나리오가 「긴 다단계 과제에서 컨텍스트가 넘친다」를 말하면 사전 적재 양을 줄이고 just-in-time으로 옮기는 쪽을, 「실시간 값이 틀리다」를 말하면 인덱스를 테이블 질의로 바꾸는 쪽을 봅니다. 시험 가이드가 이 목표를 「사용 사례에 맞는 전략 고르기」로 적고 있으므로, 사례 설명 안에서 정보가 언제 필요하고 얼마나 자주 바뀌는지를 찾아내는 것이 풀이의 절반입니다.
트레이스로 확인
전략을 바꾼 뒤에는 MLflow 트레이스로 결과를 잽니다. 사전 적재에서는 턴마다 실린 청크 가운데 답에 실제로 인용된 것이 몇 개인지를 보고, 인용되지 않는 청크가 대부분이면 싣는 양을 줄이거나 just-in-time으로 옮길 자리입니다. just-in-time에서는 검색 도구 호출이 있어야 할 턴에 호출이 빠졌는지, 같은 검색을 여러 번 되풀이하는지를 봅니다. 앞쪽은 도구 설명과 시스템 프롬프트에 「규정을 묻는 질문에는 먼저 검색한다」 같은 조건을 적어 고치고, 뒤쪽은 도구 결과를 스크래치패드에 남겨 다시 부르지 않게 해서 고칩니다. 바꾸기 전과 뒤를 같은 질문 묶음으로 평가해, 정답률과 턴당 토큰을 함께 견주어야 전략을 바꾼 값이 숫자로 남습니다.
연습 문제
사내 휴가 규정 안내 봇입니다. 질문은 「육아휴직은 몇 개월인가」처럼 한 번에 끝나고, 규정은 분기에 한 번 바뀝니다. 알맞은 검색 전략은?
① 질문을 임베딩해 규정 청크를 미리 싣는 사전 적재 검색
② 매 턴 인사 테이블을 질의하는 함수 도구
③ 규정 전체를 매번 컨텍스트에 싣는다
④ 검색 없이 모델의 사전 지식에 맡긴다①. 정적 문서 몇 조각으로 끝나는 단발 질문이라 사전 적재가 단순하고 확실합니다. ③은 주의 예산을 낭비하고 ④는 사내 규정을 모릅니다.물류 에이전트가 「주문 A-1032가 지금 어디 있나」에 답합니다. 배송 상태는 몇 분마다 바뀝니다. 상태 정보를 가져올 방법으로 알맞은 것은?
① 주문 테이블을 DELTA_SYNC 인덱스로 만들어 사전 적재한다
② 주문 테이블을 질의하는 Unity Catalog 함수를 도구로 준다
③ 시스템 프롬프트에 모든 주문 상태를 적는다
④ few-shot 예시에 주문 상태를 넣는다②. 분 단위로 바뀌는 값은 질의하는 순간의 원본을 읽어야 합니다. ①은 동기화 지연과 어긋남이 따라오고 ③·④는 곧 낡습니다.사전 적재 방식에서 청크 500토큰을 4개씩 매 턴 싣습니다. 한 대화가 10턴이고, 그 가운데 실제로 문서가 필요한 턴은 3턴입니다. just-in-time으로 바꿔 필요한 3턴에만 청크 500토큰을 2개씩 싣는다면, 대화 하나에서 검색 결과로 쓰는 토큰은 얼마나 줄어듭니까?
17,000토큰. 사전 적재는 토큰, just-in-time은 토큰이므로 토큰이 줄어듭니다.just-in-time 검색으로 바꾼 뒤 새로 생길 수 있는 실패를 둘 고르시오.
① 에이전트가 검색이 필요한 턴에 도구를 부르지 않는다
② 인사말 턴에도 청크가 실린다
③ 검색어를 엉뚱하게 정해 관련 없는 결과를 받는다
④ 호출 한 번에 검색 한 번이라 지연이 고정된다
⑤ 원본 테이블의 Change Data Feed가 꺼진다①과 ③. 검색 시점과 검색어를 에이전트가 정하므로 그 판단이 틀리는 실패가 생깁니다. ②와 ④는 사전 적재의 특징이고 ⑤는 검색 전략과 무관합니다.「VIP 고객에게는 환불 수수료를 면제하지 않는다」는 금지 사항을 어디에 두어야 합니까?
① 환불 규정 인덱스에 넣고 에이전트가 검색하게 한다
② 시스템 프롬프트에 처음부터 둔다
③ 고객 테이블을 질의하는 도구의 결과에 넣는다
④ 대화가 끝난 뒤 장기 메모리에 쓴다②. 과제를 범위 짓는 금지 사항은 에이전트가 검색하기로 정해야 보이는 자리에 두면 안 됩니다. 처음부터 창에 있어야 합니다.사전 적재 검색의 특징으로 옳지 않은 것은?
① 검색어가 사용자 질문 그대로다
② 무엇이 실렸는지 트레이스에서 바로 보인다
③ 첫 결과를 보고 검색어를 고쳐 다시 찾는다
④ 질문과 상관없이 매번 같은 양을 싣는다③. 결과를 보고 검색어를 고치는 것은 에이전트가 검색을 쥐는 just-in-time 쪽의 일입니다.

