Databricks Context Engineer Associate

Databricks Context Engineer Associate 시험 노트개념 정리17 MIN

주의 예산과 선제적 컨텍스트 관리

컨텍스트를 한정된 주의 예산으로 보고, 최소 도구 집합·just-in-time 검색·도구 결과 범위 좁히기로 컴팩션이 필요해지기 전에 창 압력을 줄이는 법과 주의를 많이 먹는 요소를 찾는 법을 정리합니다.

02번 노트에서 본 네 갈래의 실패는 대부분 창이 차 갈수록 잘 생깁니다. 그래서 시험 가이드 첫 영역에는 사후 처방과 짝을 이루는 출제목표가 따로 있습니다 — 최소 도구 집합, just-in-time 검색, 도구 결과 범위 좁히기처럼 컴팩션이 필요해지기 전에 창 압력을 줄이는 선제 전략을 고르는 것, 그리고 주의 예산(attention budget)을 지나치게 먹는 컨텍스트 요소를 찾는 것입니다. 이 노트는 먼저 주의 예산이라는 관점을 세우고, 세 가지 선제 기법을 차례로 본 뒤, 창에서 무엇이 예산을 먹고 있는지 재는 법으로 마무리합니다.

주의 예산

컨텍스트 로트

트랜스포머 모델은 토큰 하나를 만들 때 창 안의 모든 토큰을 서로 견주는 어텐션(attention) 연산으로 무엇에 주목할지를 정합니다. 토큰이 nn 개면 견줄 짝이 대략 n2n^2 개라, 창이 길어질수록 같은 주의가 더 많은 짝에 나뉩니다. 창이 길어지면 특정 정보를 찾아 쓰는 정확도가 떨어지는 현상이 여러 실험에서 보고됐고, 이를 컨텍스트 로트(context rot)라고 부릅니다. 긴 문서의 가운데에 놓인 정보를 앞뒤보다 덜 쓰는 경향도 같은 계열의 관찰입니다.

여기서 나오는 관점이 주의 예산입니다. 컨텍스트 창의 크기는 넣을 수 있는 상한일 뿐이고, 모델이 그 안의 정보를 고르게 잘 쓰는 양은 그보다 작습니다. 창에 들어가는 토큰 하나하나가 그 한정된 주의를 나눠 쓰므로, 토큰을 넣을 때는 「들어가는가」가 아니라 「이 토큰이 예산을 쓸 만한가」를 물어야 합니다.

토큰마다 드는 값

예산의 관점에서 창의 재료는 두 종류로 갈립니다. 매 바퀴 똑같이 실리는 고정 비용은 시스템 프롬프트와 도구 정의이고, 바퀴마다 쌓이는 누적 비용은 대화 이력과 도구 결과입니다. 고정 비용은 한 줄이 작아 보여도 바퀴 수만큼 곱해지고, 누적 비용은 한 번 들어오면 지우기 전까지 이후 모든 바퀴에 남습니다. 선제 관리의 세 기법은 각각 이 가운데 하나를 겨냥합니다 — 최소 도구 집합은 고정 비용, just-in-time 검색은 미리 넣는 검색 지식, 도구 결과 범위 좁히기는 누적 비용입니다.

최소 도구 집합

도구 정의의 비용

도구 하나를 에이전트에 붙이면 그 이름·설명·파라미터 스키마가 창에 들어갑니다. 정의 하나가 수백 토큰이면 도구 마흔 개는 호출마다 만 토큰을 넘기고, 그 값이 바퀴마다 다시 실립니다. 비용만이 아닙니다. 도구가 많을수록 모델이 고를 후보가 늘어 엉뚱한 도구를 부르기 쉬워지는데, 그것이 02번 노트의 context confusion입니다.

최소 도구 집합(minimal tool set)은 이 과제를 해내는 데 꼭 필요한 도구만 싣는 원칙입니다. 사람이 보기에 어느 도구를 써야 할지 망설여지는 집합이라면 모델도 망설입니다. 도구를 과제 단위로 묶어 두고 그 과제에서 필요한 묶음만 싣거나, 처음에는 도구 목록의 요약만 보여 주고 필요할 때 상세 정의를 불러오는 점진적 공개가 그 방법입니다. 점진적 공개는 MCP와 함께 다섯째 영역에서 다시 다룹니다.

겹치는 도구

도구 수를 줄일 때 먼저 볼 것은 기능이 겹치는 짝입니다. get_customer와 lookup_customer_profile처럼 설명만 보고는 무엇이 다른지 모를 두 도구가 있으면, 모델은 그 둘 사이에서 번갈아 부르며 바퀴를 낭비합니다. 하나로 합치거나 설명에 쓰임의 경계를 적어 갈라 둡니다. 겹침을 없애는 것은 토큰을 줄이는 일이면서 선택의 모호함을 줄이는 일입니다.

Just-in-time 검색

사전 적재와의 차이

검색 지식을 넣는 시점은 두 가지입니다. 사전 적재(pre-inference) 검색은 모델을 부르기 전에 질문으로 관련 청크를 찾아 창에 미리 넣습니다. just-in-time 검색은 미리 넣지 않고, 에이전트가 과제를 풀다가 필요하다고 판단한 순간에 검색 도구나 Delta 테이블 질의를 불러 그때 필요한 만큼만 가져옵니다.

사전 적재 just-in-time
넣는 때 첫 호출 전 한 번 필요할 때마다
맞는 과제 질문 하나로 필요한 지식이 정해지는 단답형 풀면서 무엇이 필요한지 드러나는 다단계 과제
비용 지연이 짧고 바퀴가 적다 도구 호출 바퀴가 늘어 지연이 길어진다
위험 안 쓸 청크가 처음부터 예산을 먹는다 에이전트가 검색할 때를 놓칠 수 있다

시나리오에서 「대부분의 청크가 답에 쓰이지 않는다」·「과제가 진행되며 필요한 테이블이 달라진다」가 보이면 just-in-time 쪽이 답입니다.

가벼운 식별자

just-in-time 검색을 가능하게 하는 것은 가벼운 식별자입니다. 문서 본문 대신 테이블 이름, 파일 경로, 문서 id, 저장된 질의 같은 짧은 참조만 창에 두고, 본문은 필요할 때 그 참조로 불러옵니다. Unity Catalog의 3단 이름이 이 역할을 잘 합니다. main.sales.orders라는 이름과 한 줄 설명만 창에 있으면, 에이전트는 주문 데이터가 필요해진 순간 그 테이블을 질의해 필요한 행만 가져옵니다. 이 방식은 메타데이터가 좋을수록 잘 돕니다 — 설명이 비어 있으면 에이전트는 어느 식별자를 펼쳐야 할지 모릅니다.

도구 결과 범위 좁히기

반환 크기 제한

도구 결과 범위 좁히기(tool result scoping)는 도구가 돌려주는 값을 다음 바퀴에 필요한 만큼으로 줄이는 설계입니다. 도구 결과는 누적 비용이라, 수천 행짜리 질의 결과가 한 번 들어오면 그 바퀴만이 아니라 이후 모든 바퀴의 예산을 먹습니다. 가장 먼저 할 일은 도구 자체가 크게 돌려주지 못하게 하는 것입니다.

def search_orders(customer_id: str, limit: int = 20) -> list[dict]:
    """고객의 최근 주문을 최대 limit건 돌려준다. 필요한 필드만 담는다."""
    limit = min(int(limit), 50)  # 모델이 큰 값을 넘겨도 50건에서 자른다
    rows = spark.sql(
        "SELECT order_id, status, total FROM main.sales.orders "
        f"WHERE customer_id = :cid ORDER BY order_ts DESC LIMIT {limit}",
        args={"cid": customer_id},
    ).collect()
    return [r.asDict() for r in rows]

필드와 행 거르기

크기를 자르는 것만큼 중요한 것이 무엇을 남기느냐입니다. 위 함수는 주문 테이블의 수십 개 컬럼 가운데 다음 판단에 쓰이는 세 컬럼만 고르고, 최근 순으로 정렬해 잘라도 쓸모가 남게 했습니다. 결과가 정말 커야 하는 경우에는 원본을 테이블이나 파일에 두고 요약과 그 위치만 돌려주는 방법이 있습니다. 에이전트는 요약으로 판단하고, 세부가 필요하면 위치로 다시 읽습니다. 이것이 앞 절의 가벼운 식별자와 같은 발상입니다.

창 압력 진단

선제와 사후

컴팩션은 창이 거의 찼을 때 이력을 요약으로 바꾸는 사후 처방입니다. 컴팩션 자체도 요약을 만드는 모델 호출이라 비용이 들고, 요약하면서 미묘한 맥락을 잃을 수 있습니다. 선제 기법은 창이 그 지점에 덜 자주 닿게 만드는 것이라 둘은 바꿔 쓰는 관계가 아니라 순서가 있는 관계입니다. 시나리오가 「컴팩션이 너무 자주 일어난다」·「컴팩션 전에 할 수 있는 일」을 물으면 답은 컴팩션 프롬프트 튜닝이 아니라 무엇이 창을 그렇게 빨리 채우는지를 줄이는 쪽입니다.

주의를 먹는 요소 찾기

무엇을 줄일지는 재 봐야 압니다. 트레이스에서 모델 호출 스팬의 입력 메시지를 재료별로 묶어 토큰을 세면 창의 구성이 보입니다.

from collections import Counter

def budget_share(messages: list[dict]) -> dict[str, float]:
    """역할별 글자 수 비중. 토큰의 근사로 쓴다."""
    size = Counter()
    for m in messages:
        size[m["role"]] += len(str(m.get("content", "")))
    total = sum(size.values())
    return {role: round(n / total, 2) for role, n in size.items()}

print(budget_share([
    {"role": "system", "content": "x" * 2000},
    {"role": "user", "content": "x" * 200},
    {"role": "tool", "content": "x" * 7800},
]))  # {'system': 0.2, 'user': 0.02, 'tool': 0.78}

이 예에서는 도구 결과가 창의 78%를 차지하므로 결과 범위를 좁히는 것이 가장 큰 효과를 냅니다. 시스템 프롬프트가 큰 비중을 차지하면 드물게 쓰는 지시를 걷어 내고 도구 정의를 줄이는 쪽입니다. 시험 문항은 이런 구성비나 트레이스 요약을 주고 무엇을 먼저 줄일지를 묻는 꼴로 세울 수 있으므로, 비중이 가장 큰 재료와 그 재료를 겨냥하는 기법을 짝지어 읽습니다.

연습 문제

  1. 에이전트에 도구 마흔 개가 실려 있고 도구 정의 하나가 평균 300토큰입니다. 대화 한 번에 모델을 20번 부를 때 도구 정의만으로 처리되는 입력 토큰은 모두 몇 개입니까? 도구를 과제에 맞는 여섯 개로 줄이면 몇 토큰이 줄어듭니까?
    줄이기 전에는 호출마다 40×300=12,00040 \times 300 = 12{,}000 토큰이고 20번이면 240,000240{,}000 토큰입니다. 여섯 개로 줄이면 호출마다 6×300=1,8006 \times 300 = 1{,}800 토큰, 20번이면 36,00036{,}000 토큰이라 240,000−36,000=204,000240{,}000 - 36{,}000 = 204{,}000 토큰이 줄어듭니다.
  2. 다단계 분석 에이전트가 첫 호출 전에 관련 문서 청크 서른 개를 미리 넣는데, 트레이스를 보면 그중 두세 개만 답에 쓰이고 과제가 진행되며 필요한 테이블이 달라집니다. 가장 알맞은 선제 전략은?
    ① 청크 수를 예순 개로 늘린다
    ② just-in-time 검색으로 바꿔 필요한 순간에 도구로 가져오게 한다
    ③ 매 바퀴 컴팩션을 건다
    ④ 시스템 프롬프트에 청크 요약을 추가한다
    ②. 필요한 지식이 진행하며 드러나는 과제라 미리 넣은 청크 대부분이 예산만 먹습니다. ③은 사후 처방이고 처음부터 쓸모없는 청크가 들어오는 것을 막지 못합니다.
  3. 컴팩션 전에 창 압력을 줄이는 선제 기법을 둘 고르시오.
    ① 과제에 필요한 도구만 싣는다
    ② 도구가 필요한 필드와 행만 돌려주게 한다
    ③ 창이 90% 찼을 때 이력을 요약한다
    ④ 컨텍스트 창이 더 큰 모델로 바꾼다
    ⑤ 모델 온도를 높인다
    ①과 ②. 최소 도구 집합과 도구 결과 범위 좁히기입니다. ③은 컴팩션 자체이고, ④는 압력을 줄이지 않고 상한만 미룹니다.
  4. 한 트레이스의 모델 입력 구성이 시스템 프롬프트 18%, 사용자 메시지 4%, 도구 결과 71%, 이전 응답 7%입니다. 가장 먼저 손댈 자리는?
    ① 시스템 프롬프트를 줄인다
    ② 도구 결과의 범위를 좁힌다
    ③ 사용자 메시지를 요약한다
    ④ 이전 응답을 지운다
    ②. 비중이 가장 큰 재료가 도구 결과이고, 누적 비용이라 이후 바퀴에도 계속 남습니다.
  5. 다음 중 just-in-time 검색을 돕는 「가벼운 식별자」로 알맞은 것은?
    ① 주문 테이블 전체를 JSON으로 덤프한 문자열
    ② main.sales.orders 같은 테이블 이름과 한 줄 설명
    ③ 지난 대화 이력 전문
    ④ 모든 도구의 파라미터 스키마 전문
    ②. 짧은 참조만 창에 두고 본문은 필요할 때 불러오는 것이 just-in-time의 방식입니다. ①·③·④는 본문을 미리 넣는 것입니다.
  6. 도구 get_customer와 lookup_customer_profile의 설명이 거의 같아 에이전트가 둘을 번갈아 부릅니다. 알맞은 조치는?
    ① 둘 다 그대로 두고 시스템 프롬프트에 둘의 차이를 길게 적는다
    ② 하나로 합치거나 설명에 쓰임의 경계를 분명히 적어 가른다
    ③ 도구를 더 추가해 선택지를 넓힌다
    ④ 컴팩션 주기를 짧게 한다
    ②. 겹치는 도구는 토큰과 선택의 모호함을 함께 늘리므로 도구 쪽에서 정리합니다. ①은 고정 비용을 더 늘립니다.
Databricks Context Engineer Associate 시험 노트 전체 보기