Databricks Context Engineer Associate

Databricks Context Engineer Associate 시험 노트개념 정리16 MIN

시스템 프롬프트 보정과 few-shot 선별

관찰된 실패 패턴에 맞춰 시스템 프롬프트를 표적 수정하고, few-shot 예시를 한계 기여도로 고르며, MLflow 실험 추적으로 두 프롬프트 구성의 비용과 성능을 견주는 법을 정리합니다.

둘째 영역의 나머지 세 출제목표는 한 갈래입니다. 관찰된 실패에 맞춰 시스템 프롬프트를 고치는 것, few-shot 예시를 고르는 것, 그리고 두 프롬프트 구성을 실험으로 견주는 것입니다. 셋을 잇는 물음은 하나입니다 — 프롬프트에 넣은 이 토큰이 그 값을 하는가. 시스템 프롬프트는 에이전트의 모든 호출 앞에 고정으로 실리는 지시문이라, 한 줄을 더하면 그 줄이 모든 호출의 비용이 되고 모든 실패의 용의자가 됩니다. 이 노트는 고치는 법, 예시를 고르는 법, 고친 것을 재는 법을 차례로 봅니다.

표적 수정

실패 패턴 모으기

표적 수정은 관찰된 실패 하나하나에 맞춰 그 실패를 고치는 데 필요한 만큼만 프롬프트를 바꾸는 방식입니다. 출발점은 느낌이 아니라 모아 둔 실패입니다. MLflow 트레이스나 평가 결과에서 틀린 응답을 모으고, 같은 원인으로 묶습니다. 예를 들어 실패 30건을 열어 보니 17건이 날짜를 미국식으로 적은 것, 9건이 환불 정책 질문에 도구를 안 부르고 추측한 것, 4건이 제각각이었다면 고칠 순서가 정해집니다. 가장 큰 묶음인 날짜 서식부터 고치되, 고칠 문장은 그 실패를 직접 겨냥합니다.

증상 덮기와의 차이

표적 수정의 반대는 실패가 날 때마다 일반적인 다짐을 덧붙이는 것입니다. 「정확하게 답하라」, 「신중히 생각하라」 같은 문장은 어떤 실패도 겨냥하지 않아 고쳐지는 것이 없고 토큰만 늘립니다. 또 실패의 원인이 프롬프트가 아닐 수도 있습니다. 02번 노트의 갈래로 말하면 검색이 틀린 문서를 가져온 poisoning이나 도구가 너무 많은 confusion은 문장을 더해서 고쳐지지 않습니다. 그래서 수정 전에 트레이스로 원인이 지시의 말에 있는지부터 확인합니다.

표적 수정 일반 다짐 추가
근거 묶어 둔 실패 사례 막연한 불만
문장의 모양 「날짜는 YYYY-MM-DD로 적는다」 「정확하게 답하라」
확인 같은 평가를 다시 돌린다 확인하지 않는다

지시의 비용

토큰 비용

시스템 프롬프트의 토큰은 호출마다 다시 실립니다. 프롬프트를 600토큰 늘리면 하루 20만 번 호출하는 에이전트에서 입력 토큰이 600×200,000=120,000,000600 \times 200{,}000 = 120{,}000{,}000 개, 곧 하루 1억 2천만 개 늘어납니다. 프롬프트 캐싱이 이 비용을 줄여 주는 경우도 있지만 컨텍스트 창을 차지하는 것은 그대로라, 03번 노트의 주의 예산 문제는 남습니다.

유지보수 부담

비용은 토큰만이 아닙니다. 규칙이 쌓이면 서로 부딪히는 문장이 생기고, 어느 문장이 어느 실패를 막으려고 들어왔는지 아무도 기억하지 못하게 됩니다. 그러면 모델을 바꾸거나 도구를 고칠 때 어느 문장을 지워도 되는지 알 수 없습니다. 그래서 수정할 때마다 무엇을 왜 바꿨는지를 기록하고, 프롬프트를 버전으로 관리합니다. MLflow 프롬프트 레지스트리는 프롬프트를 이름과 버전으로 등록해 두고 불러 쓰게 합니다.

import mlflow

mlflow.genai.register_prompt(
    name="main.support.agent_system",
    template="고객 지원 상담원이다. 날짜는 YYYY-MM-DD로 적는다. {{policy_note}}",
    commit_message="날짜 서식 실패 17건에 대응",
)
prompt = mlflow.genai.load_prompt("prompts:/main.support.agent_system/2")

few-shot 예시

한계 기여도

few-shot 예시는 프롬프트에 넣어 두는 입력과 기대 출력의 짝으로, 모델이 원하는 형식과 판단을 보고 따라 하게 합니다. 예시 하나도 시스템 프롬프트처럼 매 호출에 실리므로, 고를 때의 기준은 한계 기여도, 곧 그 예시 하나를 더했을 때 성능이 얼마나 더 오르는가입니다. 예시 0개에서 2개로 늘릴 때 정답률이 0.70에서 0.82로 오르고, 2개에서 6개로 늘릴 때 0.82에서 0.84로 오른다면, 뒤쪽 네 개는 한 개당 0.005씩 기여하면서 토큰은 앞쪽 두 개의 두 배를 씁니다. 대개 처음 몇 개가 기여의 대부분을 하고 그 뒤로는 줄어듭니다.

예시가 값을 하는 자리

예시가 특히 값을 하는 자리가 셋 있습니다. 첫째는 모델이 아직 시험해 보지 않은 도구 경로입니다. 새로 붙인 도구를 언제 어떤 인자로 부르는지 한 번 보여 주면 설명 문장 여럿보다 잘 통합니다. 둘째는 출력 구조를 보여 주는 것입니다. 정해진 JSON 모양이나 표 형식은 말로 설명하기보다 한 번 보여 주는 것이 확실합니다. 셋째는 모호한 입력을 어떻게 처리하는지 보여 주는 것입니다. 「지난번 그 주문」처럼 대상이 불분명한 질문에 되묻는 예시를 두면, 추측해서 답하는 실패가 줄어듭니다. 반대로 모델이 이미 잘하는 쉬운 경우를 보여 주는 예시는 기여도가 거의 없습니다.

예시 고르는 법

예시는 머릿속에서 지어내기보다 실제로 실패한 입력에서 고릅니다. 앞 절에서 묶은 실패 묶음마다 대표 입력 하나를 골라 올바른 출력을 붙이면, 예시 하나가 실패 묶음 하나를 겨냥합니다. 고른 예시끼리는 서로 달라야 합니다. 같은 모양의 예시 셋은 하나와 거의 같은 일을 하면서 토큰은 세 배를 씁니다. 이미 예시가 여럿 들어가 있다면 하나씩 빼 보고 성능을 다시 재는 제거 실험(ablation)이 가장 확실한 선별법입니다. 빼도 점수가 그대로인 예시는 한계 기여도가 0에 가까우니 지웁니다. 예시는 실패 사례의 실제 고객 정보를 그대로 담지 않도록 값을 바꿔 넣습니다. 프롬프트에 실린 내용은 모든 호출의 트레이스에 함께 남기 때문입니다.

실험 비교

두 구성 견주기

프롬프트를 고쳤다면 고치기 전과 후를 같은 평가 데이터로 견줘야 합니다. MLflow 실험 추적은 각 구성을 하나의 런으로 남기고, 런마다 프롬프트 버전, 평가 점수, 토큰 사용량을 기록해 나란히 놓고 보게 합니다.

import mlflow
from mlflow.genai.scorers import Correctness, Guidelines

scorers = [Correctness(), Guidelines(name="date_format", guidelines="날짜는 YYYY-MM-DD 형식이다")]

for version in [1, 2]:
    with mlflow.start_run(run_name=f"system_prompt_v{version}"):
        mlflow.log_param("prompt_version", version)
        mlflow.genai.evaluate(
            data=eval_df,
            predict_fn=make_agent(version),
            scorers=scorers,
        )

두 런이 같은 eval_df와 같은 채점기를 쓰는 것이 핵심입니다. 데이터나 채점기가 다르면 점수 차이가 프롬프트에서 왔는지 알 수 없습니다.

비용-성능 차이

견줄 때는 점수만 보지 않습니다. 구성 A가 정답률 0.86에 호출당 입력 2,400토큰이고 구성 B가 0.87에 호출당 4,100토큰이라면, B는 1%p를 얻으려고 입력을 4,100−2,400=1,7004{,}100 - 2{,}400 = 1{,}700 토큰, 약 71% 더 씁니다. 차이를 만든 요소가 무엇인지도 짚습니다. 대개 길이 차이는 few-shot 예시 개수, 긴 정책 원문의 통째 삽입, 겹치는 규칙에서 옵니다. 런을 나눠 그 요소 하나만 바꿔 보면 어느 요소가 성능을 올리고 어느 요소가 비용만 올리는지 갈립니다.

어느 쪽을 남길지는 점수 차이 하나로 정하지 않습니다. 1%p가 하루 수천 건의 잘못된 환불 안내를 막는 시스템이라면 71%의 토큰을 더 쓸 값이 있고, 사내 문서 요약처럼 틀려도 사람이 바로 고치는 시스템이라면 값이 없습니다. 평가 데이터가 작으면 1%p 차이는 우연일 수도 있습니다. 문항 100개에서 1%p는 한 문항 차이이므로, 차이가 작을수록 평가 데이터를 늘려 다시 재 보고 판단합니다.

보정 순서

진단에서 확인까지

이 영역의 목표들을 한 줄로 이으면 다음 순서가 됩니다.

  1. 트레이스와 평가 결과에서 실패를 모은다
  2. 원인으로 묶고 프롬프트가 원인인 묶음만 고른다
  3. 가장 큰 묶음을 겨냥해 문장 또는 예시 하나를 바꾼다
  4. 같은 평가 데이터로 새 런을 돌려 이전 런과 견준다
  5. 점수와 토큰을 함께 보고 남길지 되돌릴지 정한다

헷갈리는 선택

시나리오에서 그럴듯한 오답은 셋입니다. 실패가 날 때마다 예시를 더하는 것은 한계 기여도가 떨어지는 구간에서 토큰만 늘립니다. 프롬프트를 고친 뒤 몇 개 질문을 손으로 넣어 보고 끝내는 것은 다른 질문이 망가졌는지 모릅니다. 평가 데이터를 바꿔 가며 두 구성을 견주는 것은 차이의 원인을 가리지 못합니다. 시험 가이드가 이 영역을 「관찰된 실패」와 「실험 추적」으로 적은 것처럼, 수정의 근거와 확인이 둘 다 데이터에서 와야 한다는 점을 묻는 꼴로 시나리오를 세울 수 있습니다.

연습 문제

  1. 에이전트 실패 40건을 묶으니 출력 JSON에 필수 필드가 빠진 것이 22건, 정책을 잘못 인용한 것이 12건, 나머지가 6건입니다. 정책 오인용은 트레이스상 검색이 낡은 문서를 가져온 탓입니다. 시스템 프롬프트 수정으로 먼저 다룰 것은?
    ① 정책 오인용 12건
    ② 필수 필드 누락 22건
    ③ 나머지 6건
    ④ 「정확하게 답하라」를 맨 앞에 더한다
    ②. 가장 큰 묶음이고 원인이 출력 지시에 있습니다. 정책 오인용은 검색 쪽 문제라 프롬프트로 고쳐지지 않습니다.
  2. 시스템 프롬프트를 450토큰 늘렸고 에이전트는 하루 8만 번 호출됩니다. 하루에 늘어나는 입력 토큰은?
    3,600만 토큰. 450×80,000=36,000,000450 \times 80{,}000 = 36{,}000{,}000 입니다.
  3. few-shot 예시 수에 따른 정답률이 0개 0.66, 1개 0.75, 3개 0.81, 6개 0.83입니다. 3개에서 6개로 늘릴 때 예시 한 개당 정답률 증가는?
    약 0.0067. (0.83−0.81)÷3≈0.0067(0.83 - 0.81) \div 3 \approx 0.0067 이고, 0개에서 1개로 늘릴 때의 0.09보다 훨씬 작습니다.
  4. few-shot 예시가 특히 값을 하는 자리를 둘 고르시오.
    ① 새로 붙여 아직 시험해 보지 않은 도구를 부르는 경로
    ② 정해진 JSON 출력 구조
    ③ 모델이 이미 잘 답하는 단순 인사
    ④ 검색 인덱스가 낡은 문서를 돌려주는 문제
    ⑤ 모든 호출에 같은 정책 원문 전체
    ①과 ②. 낯선 도구 경로와 출력 모양은 보여 주는 것이 설명보다 확실합니다. ④는 검색 쪽에서 고칩니다.
  5. 두 프롬프트 구성을 MLflow로 견줄 때 반드시 같게 두어야 하는 것은?
    ① 런 이름
    ② 평가 데이터와 채점기
    ③ 프롬프트 버전
    ④ 실험을 돌린 시각
    ②. 데이터나 채점기가 다르면 점수 차이가 프롬프트에서 온 것인지 가릴 수 없습니다. 프롬프트 버전은 바꾸려는 대상입니다.
  6. 구성 A는 정답률 0.80에 호출당 입력 1,800토큰, 구성 B는 0.84에 3,000토큰입니다. B가 A보다 입력을 몇 % 더 씁니까?
    약 66.7%. (3,000−1,800)÷1,800≈0.667(3{,}000 - 1{,}800) \div 1{,}800 \approx 0.667 입니다. 4%p를 얻는 값이 그만한지는 호출량과 오류 비용으로 정합니다.
Databricks Context Engineer Associate 시험 노트 전체 보기