Databricks Context Engineer Associate

Databricks Context Engineer Associate 시험 노트개념 정리17 MIN

컨텍스트 실패 네 갈래와 처방

context poisoning·distraction·confusion·clash를 에이전트 트레이스에서 가려 읽는 법과, 갈래마다 가장 직접적인 컨텍스트 관리 기법을 짝지어 정리합니다.

시험 가이드의 첫 영역에는 에이전트 트레이스를 보고 컨텍스트 실패를 진단하라는 출제목표가 있고, 그 목표가 갈래 이름 넷을 그대로 적습니다 — context poisoning, context distraction, context confusion, context clash. 같은 영역의 다른 목표는 에이전트 실패를 보고 「가장 직접적인」 컨텍스트 관리 기법을 고르라고 합니다. 둘을 이으면 이 노트의 일이 정해집니다. 갈래마다 트레이스에서 어떤 자국이 남는지 알아 두고, 그 자국을 가장 짧은 길로 지우는 처방을 짝지어 두는 것입니다. 네 갈래는 모두 「창에 무엇이 들어갔는가」의 문제라서, 모델을 바꾸거나 창을 늘리는 보기는 어느 갈래에서도 직접적인 처방이 되지 못합니다.

Context Poisoning

환각의 고착

Context poisoning은 틀린 정보가 컨텍스트에 한 번 들어간 뒤 에이전트가 그것을 사실로 여기고 거듭 참조하는 실패입니다. 들어오는 길은 셋입니다. 모델이 앞 바퀴에서 지어낸 내용(환각), 도구가 돌려준 잘못된 값, 검색으로 섞여 들어온 낡은 문서입니다. 어느 길로 왔든 한 번 창에 들어가면 다음 바퀴의 모델은 그것을 자기가 확인한 사실과 구별하지 못합니다.

위험한 것은 그 오류가 목표나 계획 자리에 박힐 때입니다. 「고객 등급은 VIP다」라는 틀린 추론이 계획 메모에 적히면, 뒤의 모든 바퀴가 VIP 할인 규칙을 찾고 적용하는 쪽으로 움직입니다. 오류가 한 번 쓰이고 끝나는 것이 아니라 행동의 근거로 계속 재사용된다는 점이 다른 갈래와 가르는 표시입니다.

격리와 검증

처방은 틀린 내용을 창에서 걷어 내는 것과, 다시 못 들어오게 막는 것 둘입니다. 걷어 내는 쪽은 오염된 항목을 지우거나 그 지점 이전의 깨끗한 상태에서 다시 시작하는 것입니다. 막는 쪽은 컨텍스트 격리(context quarantine)입니다 — 확인되지 않은 탐색을 별도 하위 에이전트나 별도 스레드에서 돌리고, 검증된 결론만 주 컨텍스트로 넘깁니다. 장기 메모리에 쓰기 전에 사실을 확인하는 단계를 두는 것도 같은 처방입니다. 오염이 메모리로 넘어가면 다음 세션까지 따라오기 때문입니다.

Context Distraction

이력 쏠림

Context distraction은 컨텍스트가 너무 길어져 모델이 새로 추론하기보다 쌓인 이력에 쏠리는 실패입니다. 창에 든 정보가 모두 맞는데도 생깁니다. 이력이 길수록 모델은 앞서 했던 행동을 되풀이하고, 학습으로 알고 있던 일반 지식이나 새 계획을 덜 씁니다. 트레이스에서는 비슷한 도구 호출이 같은 인자로 반복되거나, 막힌 자리에서 같은 시도를 돌고 도는 모양으로 보입니다.

poisoning과 갈리는 기준은 내용의 참거짓입니다. 이력에 틀린 사실이 없고 그저 길 뿐이라면 distraction이고, 특정한 틀린 사실이 반복해서 인용된다면 poisoning입니다.

요약과 컴팩션

처방은 이력을 줄이되 결론은 남기는 것입니다. 컴팩션(compaction)은 긴 대화 이력을 요약으로 바꿔 창을 비우고, 그 요약 위에서 작업을 이어 가는 기법입니다. 남겨야 할 것은 지금까지의 결정, 풀린 문제와 안 풀린 문제, 다음 단계이고, 버려도 되는 것은 이미 쓸모를 다한 원시 도구 출력입니다. 컴팩션을 어떻게 튜닝하는지는 여섯째 영역(11%)이 따로 다루고, 컴팩션 전에 압력을 줄이는 선제 기법은 03번 노트가 다룹니다.

Context Confusion

남는 도구

Context confusion은 지금 과제와 상관없는 내용이 창에 들어 있어 모델이 그것을 끌어다 쓰는 바람에 답의 질이 떨어지는 실패입니다. 모델은 창에 있는 것을 무시하지 못하고 어떤 식으로든 주의를 나눕니다. 가장 흔한 원인은 도구가 너무 많은 것입니다. 도구 정의 마흔 개가 다 실려 있으면 날씨를 묻는 질문에 재고 조회 도구를 부르는 식의 엉뚱한 선택이 늘어납니다. 관련 없는 검색 청크가 섞여 들어오는 것도 같은 갈래입니다.

도구 구성 줄이기

처방은 지금 과제에 필요한 것만 남기는 것입니다. 과제에 맞는 도구만 골라 싣는 것을 도구 구성(tool loadout) 관리라고 부르고, 도구 설명을 검색해 관련 있는 몇 개만 창에 넣는 방법도 있습니다. 검색 쪽에서는 청크 수를 줄이거나 메타데이터 필터로 범위를 좁힙니다. 이 갈래에서 「시스템 프롬프트에 엉뚱한 도구를 쓰지 말라고 적는다」는 처방이 되지 못합니다. 쓸데없는 도구가 여전히 창에 있고, 지시 한 줄이 오히려 창을 더 키우기 때문입니다.

Context Clash

단계별 정보 충돌

Context clash는 창 안의 정보끼리 서로 어긋나는 실패입니다. confusion이 「관계없는 것이 섞인」 문제라면 clash는 「관계있는 것끼리 다투는」 문제입니다. 정보가 여러 단계에 걸쳐 조금씩 들어올 때 잘 생깁니다. 사용자가 첫 턴에 예산을 100으로 말했다가 다섯째 턴에 150으로 바꿨는데 두 값이 다 창에 남아 있으면, 모델은 앞 턴에서 세운 잘못된 가정을 붙든 채 답을 냅니다. 검색이 같은 정책의 v2와 v3를 함께 가져온 경우나, 도구 결과가 시스템 프롬프트의 규칙과 다른 말을 하는 경우도 clash입니다.

가지치기와 정리

처방은 어긋나는 것 가운데 하나만 남기는 것입니다. 컨텍스트 가지치기(context pruning)는 낡았거나 대체된 정보를 창에서 지우는 일이고, 단계마다 바뀐 요구를 하나의 정리된 상태로 다시 적어 넣는 것도 같은 처방입니다. 검색 쪽이라면 권위 있는 최신 원천만 범위에 두는 것이 뿌리를 자르는 처방이고, Unity Catalog의 거버넌스가 그 범위를 묶습니다. 정보를 창 밖의 스크래치패드나 상태 객체에 두고 필요할 때 최신값만 읽어 오게 하는 컨텍스트 오프로딩(context offloading)도 clash를 줄입니다.

트레이스 읽기

스팬 순서

진단은 트레이스를 바퀴 순서대로 읽는 데서 시작합니다. MLflow 트레이스는 요청 하나를 스팬의 나무로 남기므로, 모델 호출 스팬마다 그 시점의 입력 메시지를 열어 보면 창이 어떻게 자라 왔는지가 보입니다. 처음으로 이상한 행동이 나온 바퀴를 찾고, 그 바퀴의 입력에 무엇이 새로 들어왔는지를 봅니다. 원인은 대개 그 바로 앞 스팬의 출력, 곧 직전에 끼어든 도구 결과나 검색 결과에 있습니다.

import mlflow

trace = mlflow.get_trace("tr-1234")  # 진단할 요청의 트레이스 id
for span in trace.data.spans:
    print(span.span_type, span.name, str(span.outputs)[:80])

갈래 판별표

자국과 갈래를 짝지으면 이렇습니다.

트레이스에 남는 자국 갈래 가장 직접적인 처방
틀린 사실 하나가 이후 바퀴마다 근거로 인용된다 poisoning 오염 항목 제거, 격리, 메모리 쓰기 전 검증
내용은 맞는데 이력이 길어지며 같은 행동을 반복한다 distraction 요약·컴팩션
과제와 무관한 도구·청크를 고르거나 인용한다 confusion 도구 구성 축소, 검색 범위 좁히기
같은 대상에 대해 서로 다른 값이 창에 함께 있다 clash 낡은 정보 가지치기, 상태 정리

처방 고르기

직접성

출제목표가 「가장 직접적인」 기법을 고르라고 하는 것은 보기 여럿이 다 조금씩 도움이 될 수 있기 때문입니다. 직접적이라는 것은 원인을 창에서 바로 걷어 내는 처방을 뜻합니다. 예를 들어 confusion에 컴팩션을 걸면 이력이 줄어 조금 나아질 수는 있지만, 남는 도구 마흔 개는 그대로입니다. 반대로 distraction에 도구를 줄이면 도구 몇 개분의 토큰은 줄지만 길어진 이력은 그대로입니다. 갈래를 먼저 정하고, 그 갈래의 원인을 지우는 보기를 고릅니다.

헷갈리는 처방

그럴듯해 보이는 간접 처방이 셋 있습니다. 첫째, 컨텍스트 창이 더 큰 모델로 바꾸는 것은 네 갈래 어느 것도 지우지 못합니다. 창이 커지면 오히려 더 많은 이력과 도구가 쌓일 자리가 생깁니다. 둘째, 시스템 프롬프트에 경고를 더하는 것은 원인이 창에 남아 있는 한 증상을 덮을 뿐입니다. 셋째, 모델 온도를 낮추는 것은 출력의 무작위성을 줄일 뿐 창의 내용과는 관계가 없습니다. 이 셋을 걸러 내면 남는 보기 가운데 갈래에 맞는 하나가 보입니다.

연습 문제

  1. 에이전트가 세 번째 바퀴에서 「이 고객은 연간 계약」이라고 잘못 추론해 계획 메모에 적었고, 이후 열 바퀴 동안 연간 계약 할인 규칙을 찾아 적용했습니다. 이 실패의 갈래는?
    ① context poisoning
    ② context distraction
    ③ context confusion
    ④ context clash
    ①. 틀린 사실 하나가 계획에 박혀 이후 행동의 근거로 거듭 쓰였습니다. 이력의 길이가 아니라 특정 오류의 재사용이 원인입니다.
  2. 에이전트에 도구 마흔다섯 개가 실려 있고, 배송 조회 질문에 재고 예측 도구를 부르는 일이 늘었습니다. 가장 직접적인 처방은?
    ① 컨텍스트 창이 더 큰 모델로 바꾼다
    ② 대화 이력을 컴팩션한다
    ③ 과제에 맞는 도구만 골라 싣도록 도구 구성을 줄인다
    ④ 시스템 프롬프트에 도구 선택 주의 문구를 더한다
    ③. 관계없는 도구가 창에 있어 생긴 confusion이므로 그 도구를 창에서 빼는 것이 직접적입니다. ②는 이력을 줄일 뿐 도구 정의는 그대로입니다.
  3. 사용자가 첫 턴에 마감일을 금요일로, 넷째 턴에 다음 주 화요일로 바꿨습니다. 에이전트가 금요일 기준 일정을 냈습니다. 이 실패에 맞는 처방을 둘 고르시오.
    ① 대체된 마감일 정보를 창에서 지운다
    ② 바뀐 요구를 하나의 정리된 상태로 다시 적어 넣는다
    ③ 모델 온도를 낮춘다
    ④ 도구 수를 줄인다
    ⑤ 더 큰 컨텍스트 창을 쓴다
    ①과 ②. 같은 대상에 서로 다른 값이 남은 clash이므로 낡은 값을 가지치기하거나 최신 상태로 정리합니다. ③·④·⑤는 어긋난 두 값을 그대로 둡니다.
  4. 트레이스를 보니 틀린 사실은 없지만 대화가 길어지면서 같은 SQL 도구를 같은 인자로 다섯 번 연속 불렀습니다. 갈래와 처방의 짝으로 알맞은 것은?
    ① poisoning — 메모리 쓰기 전 검증
    ② distraction — 요약·컴팩션
    ③ confusion — 도구 구성 축소
    ④ clash — 가지치기
    ②. 내용은 맞는데 길어진 이력에 쏠려 행동을 반복하는 모양이 distraction이고, 이력을 결론만 남긴 요약으로 바꾸는 것이 직접적인 처방입니다.
  5. 특정 요청의 MLflow 트레이스를 id로 불러와 스팬을 차례로 살펴보려 합니다. 알맞은 함수는?
    ① mlflow.get_trace
    ② mlflow.log_metric
    ③ mlflow.start_run
    ④ mlflow.register_model
    ①. mlflow.get_trace가 trace id로 트레이스 하나를 돌려주고, 그 data.spans를 차례로 읽을 수 있습니다. 나머지는 실험 지표 기록, 실행 시작, 모델 등록입니다.
  6. 탐색 중인 하위 에이전트가 확인되지 않은 가설을 많이 만들어 냅니다. 이 가설이 주 에이전트의 컨텍스트를 오염시키지 않게 하는 기법은?
    ① 컨텍스트 격리 — 하위 에이전트는 별도 컨텍스트에서 돌고 검증된 결론만 넘긴다
    ② 하위 에이전트의 전체 트레이스를 주 에이전트에 그대로 붙인다
    ③ 주 에이전트의 시스템 프롬프트를 길게 늘린다
    ④ 모든 가설을 장기 메모리에 바로 저장한다
    ①. 격리는 검증 전 내용이 주 창에 들어오는 길을 막습니다. ②와 ④는 확인되지 않은 가설을 그대로 퍼뜨립니다.
Databricks Context Engineer Associate 시험 노트 전체 보기