Databricks Context Engineer Associate

Databricks Context Engineer Associate 시험 노트개념 정리16 MIN

추론 모드 선택과 긴 대화의 성능 저하

standard·extended thinking·reduced thinking을 토큰 예산과 창 영향으로 고르는 법, 컨텍스트가 길어지며 검색 정확도와 추론 품질이 떨어지기 시작하는 지점을 트레이스로 재는 법, 성능을 되돌리는 개입을 정리합니다.

첫 영역의 마지막 두 출제목표는 서로 붙어 있습니다. 하나는 토큰 예산과 컨텍스트 창에 주는 영향을 근거로 추론 모드(standard·extended thinking·reduced thinking)를 고르는 것이고, 다른 하나는 긴 상호작용에서 컨텍스트 길이가 검색 정확도와 추론 품질을 떨어뜨리기 시작하는 지점을 찾고 성능을 되돌리는 개입을 고르는 것입니다. 둘을 잇는 것은 같은 물음입니다 — 모델이 쓰는 토큰이 늘수록 답이 좋아지는가, 나빠지는가. 생각에 쓰는 토큰은 늘릴수록 어려운 과제에서 도움이 되고, 창에 쌓이는 토큰은 늘수록 주의가 흐려집니다. 이 노트는 앞쪽을 먼저 보고, 뒤쪽을 재는 법과 고치는 법으로 넘어갑니다.

추론 모드

standard

추론 모드는 모델이 답을 내기 전에 생각하는 토큰을 얼마나 쓰게 할지를 정하는 설정입니다. standard 모드는 따로 생각하는 단계 없이 곧바로 답을 만듭니다. 답 토큰만 쓰므로 지연이 짧고 비용이 낮습니다. 질문 하나로 필요한 정보가 정해지고 그 정보를 찾아 옮기면 되는 과제 — 정책 문서에서 기한 찾기, 테이블에서 값 조회하기 — 에 맞습니다.

extended thinking

extended thinking은 답을 내기 전에 모델이 중간 추론을 길게 펼치도록 생각 토큰의 예산을 크게 주는 모드입니다. 제약 조건이 여럿 얽힌 계획, 여러 단계의 계산, 서로 어긋나는 근거를 따져야 하는 판단처럼 첫 생각이 틀리기 쉬운 과제에서 품질이 오릅니다. 대가는 그만큼의 출력 토큰과 지연입니다. 생각 토큰은 출력으로 세어 과금되고, 답이 나오기 전에 다 만들어져야 하므로 사용자가 기다리는 시간이 늘어납니다.

reduced thinking

reduced thinking은 생각 단계를 두되 그 예산을 작게 잡는 모드입니다. 같은 일을 많이 반복하는 대량 처리, 지연이 중요한 대화형 단계, 이미 앞 단계에서 계획이 서서 실행만 남은 하위 작업처럼 깊은 추론이 필요 없지만 약간의 점검은 쓸모 있는 자리에 맞습니다. 세 모드는 품질 순서가 아니라 과제와 예산의 짝입니다.

standard reduced thinking extended thinking
생각 토큰 없음 적음 많음
지연과 비용 가장 낮다 중간 가장 높다
맞는 과제 찾아 옮기는 단답, 단순 조회 대량 반복, 계획이 선 실행 단계 얽힌 제약, 다단계 계산, 근거 다툼
창에 주는 부담 답만 남는다 생각을 이력에 남기면 조금 는다 생각을 이력에 남기면 크게 는다

시나리오 문항은 과제의 성격과 함께 비용·지연 제약을 주는 꼴로 세울 수 있습니다. 과제가 어려운데 지연 제약이 빡빡하다면, 어려운 단계 하나에만 큰 예산을 주고 나머지는 낮추는 혼합이 답이 되는 경우가 많습니다.

모드 고르기

토큰 예산

모드를 고를 때 첫 근거는 토큰 예산입니다. 에이전트는 한 과제에서 모델을 여러 번 부르므로 생각 토큰은 호출 수만큼 곱해집니다. 생각 예산 8,000토큰에 답 1,000토큰인 호출을 30번 하면 출력 토큰이 30×9,000=270,00030 \times 9{,}000 = 270{,}000 개이고, 같은 일을 standard로 하면 30×1,000=30,00030 \times 1{,}000 = 30{,}000 개입니다. 아홉 배의 차이가 정당화되려면 그만큼 품질이 올라야 합니다. 그래서 흔한 설계는 모든 호출에 같은 모드를 거는 것이 아니라, 계획을 세우는 한두 호출에는 extended thinking을, 계획을 따르는 실행 호출에는 standard나 reduced를 거는 것입니다.

창에 남는 생각

둘째 근거는 컨텍스트 창에 주는 영향입니다. 생각 토큰을 대화 이력에 그대로 남기면 다음 바퀴의 입력이 되어 창을 먹습니다. 긴 생각은 결론에 이르기까지 버려진 가설과 계산을 담고 있어, 이력에 남으면 03번 노트의 주의 예산을 쓸모없이 쓰고 02번 노트의 clash나 poisoning을 부를 수 있습니다. 그래서 생각은 그 호출 안에서 쓰고 이력에는 결론만 남기는 것이 기본입니다. 시나리오가 「extended thinking을 켠 뒤 대화가 길어질수록 품질이 떨어진다」를 말한다면, 모드 자체보다 생각이 이력에 쌓이고 있는지를 먼저 의심합니다.

길이에 따른 저하

검색 정확도

창이 길어지면 먼저 흔들리는 것은 창 안의 특정 정보를 찾아 쓰는 능력입니다. 앞에서 사용자가 말한 조건, 열 바퀴 전 도구가 돌려준 값처럼 이미 창에 있는 정보를 놓치거나 비슷한 다른 값과 헷갈립니다. 이것은 외부 검색 시스템의 정확도가 아니라 창 안 검색, 곧 모델이 자기 컨텍스트에서 필요한 조각을 끌어오는 정확도입니다. 03번 노트의 컨텍스트 로트가 이 현상의 이름입니다.

추론 품질

다음으로 떨어지는 것은 여러 조각을 엮어 결론을 내는 능력입니다. 조각 하나하나는 찾아도 그것들을 함께 고려해야 하는 판단 — 세 조건을 동시에 만족하는 일정, 앞의 결정과 모순되지 않는 다음 단계 — 이 무너집니다. 저하는 창이 꽉 찼을 때 갑자기 오는 것이 아니라 상한보다 한참 앞에서 서서히 시작됩니다. 그래서 「창이 아직 절반밖에 안 찼는데 왜 나빠지나」는 이상한 일이 아닙니다. 저하가 시작되는 길이는 모델과 과제에 따라 다르므로 문서의 수치를 외우는 것이 아니라 자기 시스템에서 재야 합니다.

저하 지점 재기

길이별 평가

재는 법은 같은 과제를 컨텍스트 길이만 바꿔 가며 평가하는 것입니다. 평가 데이터의 각 예시에 입력 토큰 수를 붙이고, 길이 구간마다 정답률을 내면 어디서 꺾이는지가 보입니다.

import pandas as pd

df = pd.DataFrame({
    "input_tokens": [6_000, 14_000, 22_000, 38_000, 52_000, 71_000, 95_000, 118_000],
    "correct":      [1,     1,      1,      1,      1,      0,      0,      0],
})
bins = [0, 32_000, 64_000, 96_000, 128_000]
df["bucket"] = pd.cut(df["input_tokens"], bins)
print(df.groupby("bucket", observed=True)["correct"].mean())

실제로는 구간마다 수십 개 이상의 예시를 두어야 정답률이 흔들리지 않습니다. 구간 정답률이 앞 구간보다 눈에 띄게 떨어지기 시작하는 첫 구간이 저하 지점이고, 그 길이가 컴팩션이나 가지치기를 걸 문턱의 근거가 됩니다.

트레이스 지표

운영 중인 에이전트에서는 MLflow 트레이스가 같은 일을 합니다. 모델 호출 스팬마다 입력 토큰 수가 남고, 평가 판정이나 사용자 피드백이 트레이스에 붙어 있으면 그 둘을 함께 놓고 볼 수 있습니다. 트레이스를 모아 입력 토큰 구간별로 판정 결과를 집계하면 운영 데이터에서 저하 지점을 찾을 수 있습니다. 한 대화 안에서라면 몇 번째 바퀴부터 앞의 조건을 놓치기 시작했는지를 바퀴 번호와 그때의 입력 토큰으로 짚습니다. 「대화가 길면 나빠진다」는 느낌을 「입력이 약 6만 토큰을 넘는 구간에서 정답률이 떨어진다」 같은 측정으로 바꾸는 것이 이 목표의 뜻입니다.

성능 되돌리기

개입 고르기

저하 지점을 알면 개입은 창을 그 지점 아래로 되돌리는 것입니다. 이력이 길어진 것이 원인이면 결정과 남은 일만 남기는 컴팩션을 저하 지점보다 앞에서 겁니다. 낡거나 대체된 정보가 쌓인 것이 원인이면 가지치기로 지웁니다. 하위 과제가 길게 탐색해야 한다면 그 탐색을 하위 에이전트의 별도 창에서 돌리고 결론만 받습니다. 놓치기 쉬운 핵심 조건은 창의 앞쪽 한 곳에 정리된 상태로 다시 적어 넣어, 흩어진 이력에서 찾지 않아도 되게 합니다. 어느 개입이든 효과는 같은 길이별 평가를 다시 돌려 확인합니다.

헷갈리는 개입

두 개입은 그럴듯하지만 저하를 되돌리지 못합니다. 첫째, 컨텍스트 창이 더 큰 모델로 바꾸는 것은 상한을 늘릴 뿐 저하가 시작되는 길이를 바꾸지 않습니다. 저하는 상한에 닿기 전에 시작된다는 것이 앞 절의 요점이었습니다. 둘째, 모든 호출을 extended thinking으로 올리는 것은 출력 비용을 크게 늘리고, 생각을 이력에 남기면 창을 더 빨리 채웁니다. 추론 모드는 과제의 난도에 맞춰 고르는 것이고, 길이 때문에 생긴 저하는 길이를 줄여서 고칩니다.

연습 문제

  1. 에이전트가 한 과제에서 모델을 25번 부릅니다. 모든 호출에 생각 예산 6,000토큰을 주고 답이 평균 800토큰이면 출력 토큰은 모두 몇 개입니까? 계획 호출 2번만 그 설정으로 두고 나머지 23번을 standard(답 800토큰)로 바꾸면 몇 개입니까?
    모두 extended thinking이면 25×(6,000+800)=170,00025 \times (6{,}000 + 800) = 170{,}000 토큰입니다. 바꾼 뒤에는 2×6,800+23×800=13,600+18,400=32,0002 \times 6{,}800 + 23 \times 800 = 13{,}600 + 18{,}400 = 32{,}000 토큰입니다.
  2. 사내 정책 문서에서 연차 신청 기한을 찾아 답하는 질의가 하루 수만 건 들어옵니다. 알맞은 추론 모드는?
    ① extended thinking
    ② standard
    ③ 모든 질의에 생각 예산을 최대로 준다
    ④ 질의마다 extended thinking으로 두 번 돌려 답을 견준다
    ②. 필요한 정보를 찾아 옮기는 과제라 깊은 추론이 품질을 올리지 않고 비용과 지연만 늘립니다.
  3. 길이별 평가 결과가 다음과 같습니다. 016K 정답률 0.91, 16K32K 0.90, 32K48K 0.89, 48K64K 0.78, 64K80K 0.70. 저하가 시작되는 구간은?
    ① 0
    16K
    ② 16K32K
    ③ 32K
    48K
    ④ 48K~64K
    ④. 앞 세 구간은 0.91·0.90·0.89로 거의 같고, 48K~64K에서 0.78로 0.11 떨어집니다. 컴팩션 문턱은 48K 앞에 두는 것이 근거 있는 선택입니다.
  4. 대화가 길어질수록 에이전트가 앞에서 사용자가 준 조건을 놓칩니다. 창은 아직 상한의 40%만 찼습니다. 성능을 되돌리는 개입을 둘 고르시오.
    ① 저하 지점보다 앞에서 컴팩션을 걸어 결정과 남은 일만 남긴다
    ② 사용자 조건을 창 앞쪽에 정리된 상태로 다시 적어 넣는다
    ③ 컨텍스트 창이 두 배인 모델로 바꾼다
    ④ 모든 호출을 extended thinking으로 올린다
    ⑤ 상한에 닿을 때까지 아무것도 하지 않는다
    ①과 ②. 저하는 상한 전에 시작되므로 길이를 줄이거나 핵심을 찾기 쉬운 자리에 둡니다. ③은 상한만 늘리고, ④는 출력 비용과 창 소비를 늘립니다.
  5. 본문의 길이별 평가 코드에서 입력 토큰 수를 구간으로 나누는 데 쓴 pandas 함수는?
    ① pd.cut
    ② pd.merge
    ③ pd.pivot
    ④ pd.concat
    ①. pd.cut이 연속값을 주어진 경계로 구간에 넣습니다. 그 뒤 groupby로 구간별 정답률 평균을 냅니다.
  6. extended thinking을 켠 에이전트가 대화가 길어질수록 앞뒤가 안 맞는 결정을 냅니다. 트레이스를 보니 바퀴마다의 긴 생각이 대화 이력에 그대로 쌓여 있습니다. 가장 직접적인 조치는?
    ① 생각은 그 호출 안에서만 쓰고 이력에는 결론만 남긴다
    ② 생각 예산을 두 배로 늘린다
    ③ 시스템 프롬프트에 일관성을 지키라는 문장을 더한다
    ④ 도구를 더 붙인다
    ①. 버려진 가설이 담긴 생각이 이력에 쌓여 창을 먹고 서로 어긋나는 정보를 남깁니다. ②는 쌓이는 양을 더 늘립니다.
Databricks Context Engineer Associate 시험 노트 전체 보기