Databricks Context Engineer Associate

Databricks Context Engineer Associate 시험 노트개념 정리20 MIN

컨텍스트 엔지니어링과 Databricks 도구 지도

에이전트가 추론 시점에 받는 지시·검색 지식·메모리·도구 결과를 나누고, Unity Catalog·Lakebase·MCP·MLflow 3가 각각 어느 재료를 맡는지 시나리오로 가르는 법을 정리합니다.

Databricks Certified Context Engineer Associate는 인증 페이지가 측정 대상을 한 문장으로 적습니다 — AI 에이전트 시스템이 추론 시점에 받는 정보를 설계하고, 조립하고, 통제하는 능력입니다("design, assemble, and govern the information that AI agent systems receive at inference time"). 시험 가이드의 일곱 영역 가운데 첫 영역인 Foundations of Context Engineering이 16%를 차지하고, 그 출제목표 하나가 「Databricks 제품 스택에서 맞는 도구 고르기」입니다. 이 노트는 그 목표를 위해 지도를 한 장 그립니다. 컨텍스트가 무엇으로 이루어지는지를 먼저 나누고, 재료마다 어느 Databricks 도구가 맡는지 짝을 지은 뒤, 시나리오에서 그 짝을 찾아내는 순서를 연습합니다. 뒤에 이어질 스물네 편은 이 지도의 한 칸씩을 파고듭니다.

컨텍스트 엔지니어링

추론 시점의 입력

언어 모델은 학습이 끝나면 가중치가 고정됩니다. 그 뒤로 모델의 답을 바꿀 수 있는 것은 호출할 때 함께 넣어 주는 토큰뿐이고, 한 번의 호출에 들어가는 토큰 전체를 컨텍스트라고 부릅니다. 모델이 한 번에 받을 수 있는 토큰의 상한이 컨텍스트 창(context window)입니다. 그러면 컨텍스트 엔지니어링은 그 창에 무엇을 얼마나 어떤 순서로 넣을지를 정하는 일, 곧 모델 바깥에서 모델의 입력을 설계하는 일이 됩니다.

에이전트에서는 이 일이 한 번으로 끝나지 않습니다. 에이전트는 모델이 도구를 부르고 그 결과를 다시 받아 다음 행동을 정하는 고리를 여러 번 도는 시스템이라, 고리를 한 바퀴 돌 때마다 컨텍스트가 새로 조립됩니다. 첫 바퀴에는 지시와 사용자 질문뿐이던 창이 열 바퀴 뒤에는 도구 결과와 중간 생각으로 가득 찹니다. 그래서 이 시험이 묻는 것은 「좋은 프롬프트 한 줄」이 아니라 바퀴가 돌수록 쌓이는 입력을 어떻게 관리하느냐입니다.

프롬프트 엔지니어링과의 차이

프롬프트 엔지니어링은 모델에게 주는 지시문의 말을 다듬는 일입니다. 컨텍스트 엔지니어링은 그것을 품는 더 넓은 일이고, 둘의 경계는 다루는 대상에 있습니다.

프롬프트 엔지니어링 컨텍스트 엔지니어링
다루는 것 지시문의 문장 창에 들어가는 모든 토큰
바뀌는 때 사람이 고칠 때 에이전트가 한 바퀴 돌 때마다
실패의 모양 지시를 잘못 알아들음 필요한 정보가 없거나, 틀린 정보·쓸데없는 정보가 섞임
고치는 자리 문장 검색·메모리·도구 정의·압축 같은 시스템 부품

시나리오 문항에서 「시스템 프롬프트에 한 줄을 더한다」 같은 보기를 만나면 먼저 원인이 어디인지 봅니다. 문제가 지시의 말이 아니라 창에 들어간 재료에서 생겼다면 그 보기는 증상을 덮을 뿐입니다.

컨텍스트의 네 재료

지시

시험 가이드가 컨텍스트를 이루는 것으로 드는 갈래는 넷입니다. 첫째가 지시(instructions)입니다. 시스템 프롬프트, 역할 정의, 출력 형식 규칙, few-shot 예시가 여기에 듭니다. 지시는 매 바퀴 똑같이 들어가는 고정 비용이라, 한 줄을 더하면 그 줄이 대화가 끝날 때까지 모든 호출에 실립니다. Genie 스페이스의 일반 지시(instructions)와 예시 질문도 이 재료이고 둘째 영역(9%)이 따로 다룹니다.

검색 지식

둘째는 검색 지식(retrieved knowledge)입니다. 모델이 학습하지 않은 사내 문서·테이블을 질문에 맞춰 찾아 창에 넣는 것이고, 찾아서(retrieval) 생성을 보강한다(augmented generation)는 뜻에서 RAG라고 부릅니다. 검색은 두 시점에 일어날 수 있습니다. 모델을 부르기 전에 미리 찾아 넣는 사전 적재(pre-inference)와, 에이전트가 필요할 때 도구를 불러 찾는 just-in-time 검색입니다. 이 구분은 셋째 영역(20%)의 출제목표이고 03번 노트에서 창 압력과 함께 다시 봅니다.

메모리

셋째는 메모리입니다. 같은 세션 안에서 앞서 오간 대화가 단기 메모리이고, 세션이 끝나도 남아야 하는 사용자 선호·과거 결정이 장기 메모리입니다. 실패가 잘 나는 자리는 둘을 바꿔 쓰는 것입니다 — 세션 안에 이미 있는 정보를 장기 저장소에서 다시 꺼내거나, 세션을 넘어 남아야 할 정보를 세션 이력에만 기대는 것입니다. 넷째 영역(18%)이 통째로 이 재료를 다룹니다.

도구 결과

넷째는 도구 결과(tool outputs)입니다. 에이전트가 부른 함수·SQL·API가 돌려준 값이 다음 바퀴의 창에 들어갑니다. 도구 결과는 통제하기 가장 어려운 재료입니다. 도구가 얼마나 긴 결과를 돌려줄지 모델이 정하지 않고, 한 번 들어온 결과는 지우기 전까지 남기 때문입니다. 수천 행짜리 SQL 결과가 그대로 창에 들어오는 것이 대표적인 낭비이고, 03번 노트의 도구 결과 범위 좁히기가 그 처방입니다.

Unity Catalog와 Lakebase

거버넌스와 메타데이터

Unity Catalog(UC)는 Databricks의 데이터·AI 자산에 카탈로그.스키마.객체 세 마디 이름을 붙이고 권한을 매기는 거버넌스 층입니다. 이 시험에서 UC가 서는 자리는 두 겹입니다.

첫 겹은 통제입니다. 에이전트가 읽을 수 있는 테이블, 부를 수 있는 함수, 검색할 수 있는 인덱스가 전부 UC 권한을 지납니다. PII가 든 컬럼을 가리거나 권위 있는 원본만 검색 범위에 넣는 일도 여기서 합니다. 둘째 겹은 메타데이터입니다. 테이블·컬럼 설명, 태그, 계보(lineage)가 UC에 붙어 있고, Genie나 에이전트는 그 설명을 읽고 어느 컬럼이 무엇인지 판단합니다. 설명이 비어 있으면 모델은 컬럼 이름만 보고 짐작하고, 그 짐작이 틀린 SQL이 됩니다.

세션을 넘는 상태

Lakebase는 Databricks가 관리하는 Postgres 호환 운영 데이터베이스입니다. 분석용 Delta 테이블이 큰 데이터를 한꺼번에 읽는 데 맞춰져 있다면, Lakebase는 한 행을 빠르게 읽고 쓰는 일에 맞춰져 있습니다. 에이전트 메모리가 바로 그런 일입니다 — 대화 한 턴이 끝날 때마다 상태를 저장하고, 사용자가 다음 날 돌아오면 그 상태를 곧바로 불러옵니다.

그래서 「세션이 끝나도 사용자 선호를 기억해야 한다」·「에이전트가 중간에 멈췄다가 이어 가야 한다」는 요구가 보이면 Lakebase가 답의 후보입니다. 반대로 「지난 분기 매출을 집계해야 한다」는 분석 질의는 Delta 테이블의 일이지 Lakebase의 일이 아닙니다.

MCP와 MLflow 3

도구 연결

MCP(Model Context Protocol)는 에이전트가 외부 도구와 데이터 원천을 같은 방식으로 발견하고 부를 수 있게 정한 개방형 프로토콜입니다. 도구를 제공하는 쪽이 MCP 서버를 띄우면, 에이전트는 서버에 어떤 도구가 있는지 목록을 받고 이름·설명·파라미터 스키마를 보고 골라 부릅니다. Databricks는 UC 함수, 벡터 검색 인덱스, Genie 스페이스를 MCP 서버로 내주는 관리형 서버를 두고, 주소가 UC 이름을 그대로 따릅니다.

https://<workspace-host>/api/2.0/mcp/functions/{catalog}/{schema}
https://<workspace-host>/api/2.0/mcp/vector-search/{catalog}/{schema}
https://<workspace-host>/api/2.0/mcp/genie/{genie_space_id}

주소에 카탈로그와 스키마가 들어간다는 것은 그 스키마 아래의 도구가 한꺼번에 노출된다는 뜻입니다. 도구 정의도 컨텍스트이므로 스키마 하나에 함수를 마흔 개 몰아 두면 그 마흔 개의 설명이 창을 먹습니다. 다섯째 영역(13%)이 이 비용을 줄이는 점진적 공개를 다룹니다.

트레이스와 평가

MLflow 3는 에이전트가 실제로 무엇을 했는지 기록하고 그 결과를 평가하는 층입니다. 트레이스(trace)는 요청 하나가 지난 단계 전체의 기록이고, 단계 하나하나를 스팬(span)이라 부릅니다 — 검색 스팬, 모델 호출 스팬, 도구 호출 스팬이 입력·출력·토큰 수와 함께 남습니다. 컨텍스트 실패를 진단하려면 창에 실제로 무엇이 들어갔는지를 봐야 하는데, 그것을 보여 주는 것이 트레이스입니다.

import mlflow

@mlflow.trace(span_type="RETRIEVER")
def retrieve(query: str) -> list[str]:
    # 검색 결과가 이 스팬의 출력으로 트레이스에 남는다
    return ["refund policy v3 ...", "refund policy v2 ..."]

retrieve("환불 기한이 얼마인가")
traces = mlflow.search_traces(max_results=20)  # pandas DataFrame
print(traces[["request", "response"]].head())

평가는 그 기록 위에서 돕니다. mlflow.genai.evaluate에 평가 데이터와 판정 함수(scorer)를 넘기면 응답마다 점수가 매겨지고, 컨텍스트 구성 둘을 같은 데이터로 돌려 견줄 수 있습니다. 「프롬프트를 바꿨더니 나아졌는가」를 감이 아니라 실험으로 답하는 자리입니다.

도구 고르기

시나리오 판별

지도를 한 줄로 줄이면 이렇습니다. UC는 무엇을 볼 수 있고 그것이 무엇인지를 쥐고, Lakebase는 세션을 넘는 상태를 쥐고, MCP는 도구와 원천을 잇고, MLflow 3는 무슨 일이 일어났는지를 기록하고 잽니다. 시나리오를 만나면 요구 문장에서 동사를 찾습니다.

요구 문장의 신호 맡는 도구
접근을 막는다, 민감 컬럼, 권위 있는 원본만, 컬럼 뜻을 알려 준다 Unity Catalog
다음 세션에도 기억한다, 중단 뒤 이어 간다, 대화 상태 저장 Lakebase
외부 도구를 표준 방식으로 붙인다, 도구 목록을 에이전트에 노출 MCP
어느 단계에서 틀렸는지 본다, 두 구성을 비교한다, 품질 점수 MLflow 3

헷갈리는 짝

보기에서 가장 많이 겹치는 짝이 둘입니다. 하나는 Lakebase와 Delta 테이블입니다. 둘 다 데이터를 저장하지만 Lakebase는 한 사용자의 상태를 빠르게 읽고 쓰는 일, Delta는 많은 행을 모아 분석하는 일입니다. 「메모리」라는 말이 나와도 그 메모리를 수십만 건 모아 패턴을 분석한다면 Delta 쪽입니다.

다른 하나는 MLflow 트레이스와 UC 계보입니다. 둘 다 「어디서 왔는가」를 보여 주지만 트레이스는 요청 하나가 실행된 과정이고, 계보는 테이블과 모델이 어떤 원천에서 만들어졌는지입니다. 「에이전트가 이번 답에서 낡은 문서를 인용했다」는 트레이스로 찾고, 「그 낡은 문서가 왜 검색 범위에 들어 있었나」는 UC에서 고칩니다. 진단하는 도구와 고치는 도구가 다른 시나리오가 많으므로, 보기를 볼 때는 그것이 찾는 일인지 고치는 일인지를 먼저 가릅니다.

연습 문제

  1. 다음 중 추론 시점에 에이전트의 컨텍스트로 들어가는 재료가 아닌 것은?
    ① 시스템 프롬프트의 출력 형식 규칙
    ② 벡터 검색으로 찾은 정책 문서 청크
    ③ 모델 사전학습에 쓰인 말뭉치
    ④ 직전 바퀴에서 SQL 도구가 돌려준 결과
    ③. 사전학습 말뭉치는 가중치에 녹아 있을 뿐 호출할 때 창에 들어가지 않습니다. ①은 지시, ②는 검색 지식, ④는 도구 결과입니다.
  2. 고객 지원 에이전트가 사용자의 선호 언어와 지난 문의 요약을 다음 날 세션에서도 곧바로 불러와야 합니다. 한 턴마다 상태를 저장하고 빠르게 읽어야 합니다. 알맞은 저장소는?
    ① Lakebase
    ② 시스템 프롬프트에 사용자별 문단을 추가
    ③ 주 1회 갱신하는 Delta 집계 테이블
    ④ MLflow 실험의 파라미터
    ①. 세션을 넘는 상태를 한 행 단위로 빠르게 읽고 쓰는 일이 Lakebase의 자리입니다. ③은 갱신 주기가 맞지 않고, ②는 모든 사용자의 정보를 고정 비용으로 싣게 됩니다.
  3. 에이전트가 낡은 환불 정책을 인용했습니다. 원인을 찾는 단계와 고치는 단계에 맞는 도구를 둘 고르시오.
    ① MLflow 트레이스에서 검색 스팬의 출력을 확인한다
    ② 시스템 프롬프트에 「최신 정책만 인용하라」를 추가한다
    ③ Unity Catalog에서 검색 범위를 권위 있는 최신 정책 테이블로 좁힌다
    ④ 모델을 더 큰 것으로 바꾼다
    ⑤ 컨텍스트 창이 더 큰 모델로 바꾼다
    ①과 ③. 트레이스가 낡은 문서가 실제로 창에 들어갔는지 보여 주고, 들어간 이유인 검색 범위는 UC에서 고칩니다. ②는 낡은 문서가 여전히 창에 들어오므로 증상만 덮습니다.
  4. 함수에 @mlflow.trace(span_type="RETRIEVER")를 붙였습니다. 그 함수의 결과가 트레이스에 어떤 갈래의 단계로 남는지 정하는 것은?
    ① query
    ② span_type
    ③ 함수의 반환 타입 표기
    ④ mlflow.search_traces
    ②. span_type이 그 스팬의 갈래를 정합니다. mlflow.search_traces는 남은 트레이스를 조회하는 함수이고 기록 방식과 무관합니다.
  5. 스키마 main.support 아래의 UC 함수들을 Databricks 관리형 MCP 서버로 노출할 때 주소에 들어가는 경로로 알맞은 것은?
    ① /api/2.0/mcp/functions/main/support
    ② /api/2.0/mcp/genie/main/support
    ③ /api/2.0/mcp/vector-search/main.support
    ④ /api/2.0/mcp/functions/support
    ①. 함수 서버는 functions 뒤에 카탈로그와 스키마를 차례로 둡니다. ②는 Genie 스페이스 id를 받고, ④는 카탈로그가 빠졌습니다.
  6. 두 시스템 프롬프트 구성 가운데 어느 쪽이 같은 평가 데이터에서 더 나은 답을 내는지 판단하려 합니다. 알맞은 방법은?
    ① 두 구성을 각각 열 번씩 써 보고 느낌으로 고른다
    ② mlflow.genai.evaluate로 같은 데이터와 판정 함수를 써서 두 구성을 각각 돌려 점수를 견준다
    ③ Unity Catalog 계보에서 두 구성의 원천을 비교한다
    ④ Lakebase에 두 구성을 저장해 둔다
    ②. 같은 데이터·같은 판정 기준으로 돌려야 차이가 구성에서 왔다고 말할 수 있습니다. ③의 계보는 데이터 자산의 출처를 보여 줄 뿐 응답 품질을 재지 않습니다.
Databricks Context Engineer Associate 시험 노트 전체 보기