Databricks Context Engineer Associate

Databricks Context Engineer Associate 시험 노트개념 정리15 MIN

UC 문서 코퍼스 RAG와 청킹 고르기

Unity Catalog로 관리하는 문서 코퍼스에서 청크를 검색해 에이전트 컨텍스트에 넣는 흐름과, 문서 구조·임베딩 모델 컨텍스트 길이·질의 유형에 맞춰 chunk size와 overlap을 고르는 법을 정리합니다.

07번 노트가 테이블에 붙은 메타데이터로 Genie의 정확도를 올렸다면, 이 노트는 테이블이 아니라 문서에서 지식을 꺼내는 쪽입니다. 사내 정책, 제품 설명서, 계약서처럼 행과 열로 정리되지 않은 지식은 SQL로 조회할 수 없으므로, 문서를 작은 조각으로 잘라 두고 질문과 가까운 조각을 찾아 컨텍스트에 넣습니다. 이 방식이 RAG(검색 증강 생성)입니다. 시험 가이드의 셋째 영역은 이 흐름을 Unity Catalog로 관리되는 문서 코퍼스 위에서 묻고, 그 가운데 문서를 어떻게 자를지, 곧 청킹 전략을 고르는 목표가 따로 서 있습니다.

UC 문서 코퍼스

볼륨과 Delta 테이블

문서 코퍼스는 검색 대상이 되는 문서 전체의 모음입니다. Databricks에서 원본 파일은 Unity Catalog 볼륨에 둡니다. 볼륨은 테이블이 아닌 파일을 UC 이름(카탈로그.스키마.볼륨) 아래 두고 권한을 매기는 객체라, PDF나 HTML 원본도 테이블과 같은 방식으로 통제됩니다. 원본에서 뽑은 텍스트와 그것을 자른 청크는 Delta 테이블에 담습니다. 그러면 원본 파일, 청크 테이블, 그 위의 검색 인덱스가 모두 UC 객체가 되어, 누가 무엇을 읽을 수 있는지와 어느 청크가 어느 파일에서 왔는지가 한 곳에서 관리됩니다.

거버넌스가 주는 것

코퍼스를 UC에 두는 이점은 두 가지입니다. 첫째, 검색 범위를 권한으로 정할 수 있습니다. 인사 규정 청크는 인사팀 권한이 있는 사용자의 에이전트만 찾도록 할 수 있습니다. 둘째, 계보(lineage)가 남아 답에 인용된 청크에서 원본 파일까지 거슬러 올라갈 수 있습니다. 낡은 문서가 답을 오염시킬 때(02번 노트의 poisoning) 원인 파일을 찾아 빼는 일이 여기서 가능해집니다. 권위 있는 원본만 검색 범위에 두는 일은 11번 노트 주제인 검색 실패 진단에서 이어서 다룹니다.

검색과 주입

흐름

문서가 에이전트 컨텍스트에 들어가기까지는 다음 순서를 거칩니다.

  1. 원본 파일을 UC 볼륨에 올린다
  2. 파일에서 텍스트를 뽑아 Delta 테이블에 쓴다
  3. 텍스트를 청크로 잘라 청크 테이블에 쓴다
  4. 청크 테이블을 원천으로 벡터 검색 인덱스를 만든다
  5. 질문이 오면 인덱스에서 가까운 청크 k개를 찾는다
  6. 찾은 청크를 출처와 함께 에이전트 컨텍스트에 넣는다

청크는 검색과 주입의 단위가 되는 문서 조각이고, 임베딩은 텍스트를 뜻이 가까우면 가까운 벡터가 되도록 바꾼 숫자 목록입니다. 4번에서 각 청크의 임베딩을 만들고, 5번에서 질문의 임베딩과 가까운 것을 찾습니다.

from databricks.vector_search.client import VectorSearchClient

vsc = VectorSearchClient()
index = vsc.create_delta_sync_index(
    endpoint_name="docs_endpoint",
    index_name="main.docs.policy_chunks_index",
    source_table_name="main.docs.policy_chunks",
    pipeline_type="TRIGGERED",
    primary_key="chunk_id",
    embedding_source_column="chunk_text",
    embedding_model_endpoint_name="databricks-gte-large-en",
)

컨텍스트에 넣는 양

찾은 청크는 컨텍스트에 실리는 순간 03번 노트의 주의 예산을 씁니다. 청크 500토큰짜리를 k = 8개 넣으면 4,000토큰이고, 에이전트가 한 과제에서 검색을 다섯 번 하면 5×4,000=20,0005 \times 4{,}000 = 20{,}000 토큰이 창에 쌓입니다. 그래서 청크 크기와 k는 함께 정합니다. 청크를 크게 자르면 k를 줄이고, 작게 자르면 k를 늘릴 여유가 생깁니다. 청크마다 원본 파일 경로와 절 제목을 붙여 넣으면 모델이 출처를 인용할 수 있고, 사람이 틀린 답을 거슬러 올라갈 수 있습니다.

구조에 맞춘 분할

고정 길이 분할

가장 단순한 분할은 정해진 토큰 수마다 자르는 것입니다. chunk size는 청크 하나의 길이이고, overlap은 이웃한 두 청크가 겹치는 길이입니다. 겹침을 두는 까닭은 문장이나 문단이 경계에서 잘려도 그 앞뒤가 어느 한 청크에는 함께 남게 하려는 것입니다. 다음 청크는 앞 청크 시작점에서 chunk size − overlap만큼 옮긴 자리에서 시작하므로, 길이 L인 문서의 청크 수는 대략 다음과 같습니다.

청크 수=⌈L−overlapsize−overlap⌉\text{청크 수} = \left\lceil \frac{L - \text{overlap}}{\text{size} - \text{overlap}} \right\rceil

6,000토큰 문서를 size 500, overlap 100으로 자르면 ⌈5,900÷400⌉=⌈14.75⌉=15\lceil 5{,}900 \div 400 \rceil = \lceil 14.75 \rceil = 15 개입니다. overlap을 늘리면 청크 수와 저장·임베딩 비용이 함께 늡니다.

구조 기반 분할

고정 길이 분할은 문서의 구조를 모릅니다. 표 한가운데를 자르거나, 「3.2 환불 예외」 절의 앞 절반과 「3.3 배송」 절의 첫 문단을 한 청크에 섞기도 합니다. 구조 기반 분할은 제목, 절, 조항, 표 같은 문서의 경계를 따라 자르는 방식입니다. 설명서와 규정처럼 제목이 뚜렷한 문서는 제목 경계로 먼저 나누고, 그래도 긴 절만 다시 길이로 나눕니다. 이때 청크 앞에 그 청크가 속한 제목 경로(「환불 정책 > 예외」)를 붙여 두면, 잘린 조각만 봐서는 알 수 없는 맥락이 함께 검색됩니다.

고정 길이 분할 구조 기반 분할
자르는 기준 토큰 수 제목·절·조항·표
맞는 문서 구조 없는 긴 글, 대화 기록 설명서, 규정, 계약서
약점 의미 단위를 자른다 절 길이가 들쭉날쭉하다

임베딩 모델 한도

컨텍스트 길이

임베딩 모델에도 한 번에 받을 수 있는 입력의 상한이 있습니다. Databricks Foundation Model API 문서는 databricks-gte-large-en의 상한을 8,192토큰, databricks-bge-large-en의 상한을 512토큰으로 적고 있습니다. 청크가 이 상한보다 길면 넘는 부분이 잘려 임베딩에 반영되지 않습니다. 오류가 나지 않고 조용히 잘리는 것이 위험한 점입니다 — 청크 뒷부분에만 있는 내용은 검색에서 찾을 수 없게 됩니다.

크기 정하기

그래서 chunk size의 상한은 임베딩 모델의 컨텍스트 길이가 정합니다. 512토큰 모델을 쓰면서 1,000토큰 청크를 만들면 절반 가까이가 버려집니다. 상한 안이라도 청크가 길수록 여러 주제가 한 벡터에 섞여 뜻이 흐려지므로, 상한은 넘지 말아야 할 선이지 맞춰야 할 목표가 아닙니다. 시나리오가 「청크 뒷부분에 있는 정보만 검색되지 않는다」를 말하면, 청크 길이와 임베딩 모델의 상한을 먼저 견줍니다.

질의 유형과 크기

넓은 질문과 좁은 조회

맞는 chunk size는 들어올 질문의 모양에 따라 다릅니다. 「우리 회사의 데이터 보존 원칙은 무엇인가」 같은 넓은 개념 질문은 답이 여러 문단에 걸쳐 있어, 큰 청크가 맥락을 한 번에 담아 유리합니다. 「VIP 등급의 반품 기한은 며칠인가」 같은 좁은 조회는 답이 한 문장이라, 작은 청크가 그 문장과 질문을 더 가깝게 짝지어 줍니다. 큰 청크 안에서는 그 한 문장이 주변의 다른 내용에 묻혀 벡터가 흐려집니다.

질의 유형 맞는 chunk size 함께 볼 것
넓은 개념 질문 크게 k는 작게
좁은 사실 조회 작게 제목 경로를 붙여 맥락 보완
둘이 섞인다 질의 유형별로 인덱스를 나누거나 작은 청크를 찾고 주변을 함께 넣는다 평가로 확인

overlap 고르기

overlap은 경계에서 잘리는 정보를 살리는 장치라, 구조 기반 분할로 경계가 이미 의미 단위에 맞으면 작게 둡니다. 고정 길이로 자를 때는 chunk size의 10~20% 정도에서 시작해 평가로 조정하는 것이 흔한 출발점입니다. 정답이 정해진 질문 묶음을 두고 설정마다 정답 청크가 상위 k 안에 드는 비율을 재면, 어느 설정이 그 코퍼스와 질문에 맞는지 숫자로 갈립니다. 시험 가이드가 이 목표를 문서 구조, 임베딩 모델 컨텍스트 길이, 질의 유형 세 가지로 적고 있으므로, 시나리오는 셋 중 어느 조건이 주어졌는지에 따라 chunk size와 overlap을 고르게 하는 꼴로 세울 수 있습니다.

연습 문제

  1. 9,000토큰 문서를 chunk size 600, overlap 150으로 고정 길이 분할합니다. 청크는 몇 개입니까?
    20개. 한 번에 600−150=450600 - 150 = 450 토큰씩 옮기므로 ⌈(9,000−150)÷450⌉=⌈19.67⌉=20\lceil (9{,}000 - 150) \div 450 \rceil = \lceil 19.67 \rceil = 20 입니다.
  2. 임베딩 모델로 databricks-bge-large-en(입력 상한 512토큰)을 쓰면서 청크를 1,024토큰으로 만들었습니다. 생기는 문제는?
    ① 인덱스 생성이 오류로 멈춘다
    ② 청크 뒷부분이 잘려 임베딩에 반영되지 않는다
    ③ 검색 결과 k가 자동으로 두 배가 된다
    ④ 청크가 두 벡터로 나뉘어 저장된다
    ②. 상한을 넘는 입력은 잘리고, 잘린 부분의 내용은 검색으로 찾을 수 없습니다. 오류 없이 조용히 생기는 문제입니다.
  3. 제품 설명서처럼 제목과 절이 뚜렷한 문서에서, 한 청크에 두 절의 내용이 섞여 엉뚱한 답이 나옵니다. 알맞은 조치는?
    ① overlap을 크게 늘린다
    ② 제목·절 경계를 따라 자르는 구조 기반 분할로 바꾼다
    ③ k를 늘린다
    ④ 임베딩 모델을 상한이 더 큰 것으로 바꾼다
    ②. 고정 길이 분할이 의미 단위를 자른 것이 원인입니다. overlap을 늘리면 섞이는 범위가 오히려 넓어집니다.
  4. 질문 대부분이 「VIP 등급 반품 기한」처럼 한 문장으로 답이 끝나는 좁은 조회입니다. 지금 청크는 2,000토큰입니다. 검색 정확도를 올릴 조치를 둘 고르시오.
    ① chunk size를 줄인다
    ② 청크 앞에 제목 경로를 붙여 맥락을 보완한다
    ③ chunk size를 4,000토큰으로 늘린다
    ④ 원본 파일을 UC 볼륨 밖으로 옮긴다
    ⑤ 검색을 끄고 문서 전체를 넣는다
    ①과 ②. 큰 청크에서는 답 문장이 주변 내용에 묻힙니다. 작게 자르고 제목 경로로 잘린 맥락을 메웁니다.
  5. 청크 400토큰을 k = 6개씩, 한 과제에서 4번 검색해 넣습니다. 검색 결과가 컨텍스트에 쌓는 토큰은?
    9,600토큰. 400×6×4=9,600400 \times 6 \times 4 = 9{,}600 입니다.
  6. 원본 문서를 Unity Catalog 볼륨에 두고 청크 테이블과 인덱스를 UC 객체로 관리할 때 얻는 것으로 옳지 않은 것은?
    ① 사용자 권한에 따라 검색 범위를 나눌 수 있다
    ② 답에 쓰인 청크에서 원본 파일까지 계보를 따라갈 수 있다
    ③ 청크 크기를 자동으로 최적값에 맞춰 준다
    ④ 원본 파일도 테이블과 같은 방식으로 권한을 매긴다
    ③. UC는 거버넌스와 메타데이터 층이지 청킹 전략을 정하지 않습니다. chunk size는 문서 구조·임베딩 모델 상한·질의 유형을 보고 평가로 정합니다.
Databricks Context Engineer Associate 시험 노트 전체 보기