AWS GenAI Developer – Professional 시험 노트개념 정리15 MIN
청킹 방식과 임베딩 모델 고르기
Bedrock Knowledge Bases의 청킹 방식 다섯과 Lambda로 만드는 고정 크기·사용자 지정 청킹, Titan 임베딩의 차원과 도메인 적합성, 임베딩 모델 평가와 일괄 생성까지 검색의 첫 두 결정을 정리합니다.
문서를 벡터 저장소에 넣기 전에 정해야 하는 것이 둘입니다. 문서를 어떤 크기로 자를지, 자른 조각을 어떤 모델로 벡터로 바꿀지입니다. 이 둘은 한 번 정하면 되돌리는 값이 큽니다 — 바꾸면 이미 넣은 문서 전부를 다시 자르고 다시 임베딩해야 합니다. 그래서 Task 1.5(검색 메커니즘 설계)는 이 둘을 첫머리에 둡니다. 이 노트는 청킹과 임베딩 모델을 다루고, 하이브리드 검색·리랭커·쿼리 변환은 다음 노트들이 이어받습니다.
청킹의 기준
청크 크기의 맞교환
청킹은 문서를 검색 단위인 조각(청크)으로 나누는 일입니다. 크기는 맞교환입니다. 청크가 작으면 질문과 딱 맞는 문장을 정확히 집지만, 그 문장이 기대는 앞뒤 맥락이 잘려 나가 모델이 근거를 반쯤만 받습니다. 청크가 크면 맥락은 살지만 한 벡터에 여러 주제가 섞여 유사도가 흐려지고, 프롬프트에 넣을 토큰이 늘어 비용과 지연이 커집니다.
겹침
경계에서 문장이 잘리는 문제를 줄이는 장치가 겹침(overlap)입니다. 앞 청크의 끝 일부를 다음 청크의 앞에 다시 넣어, 경계에 걸친 문장이 적어도 한 청크에는 온전히 들게 합니다. 겹침이 크면 같은 내용이 여러 청크에 중복돼 저장량과 임베딩 호출이 늘어납니다.
청크 크기를 토큰, 겹침을 토큰이라 하면 청크는 토큰씩 앞으로 나아갑니다. 길이 인 문서의 청크 수는 다음과 같습니다.
300토큰 청크에 겹침 20%(60토큰)면 240토큰씩 나아가고, 3,000토큰 문서는 개로 잘립니다. 겹침이 없으면 10개이므로, 20% 겹침이 임베딩 호출을 30% 늘린 셈입니다.
Bedrock의 청킹 방식
다섯 가지 방식
Bedrock Knowledge Bases는 데이터 소스마다 청킹 방식을 고릅니다.
| 방식 | 하는 일 | 맞는 문서 |
|---|---|---|
| 기본 | 약 300토큰 단위로 자름 | 고민 없이 시작할 때 |
| 고정 크기 | 최대 토큰 수와 겹침 비율을 직접 정함 | 길이가 고른 문서 |
| 계층적 | 부모 청크와 그 안의 자식 청크 두 층 | 절·소절이 있는 긴 문서 |
| 의미 기반 | 문장 사이 의미 거리가 크게 벌어지는 곳에서 자름 | 주제가 자주 바뀌는 문서 |
| 청킹 없음 | 파일 하나를 한 청크로 | 미리 잘라 둔 짧은 문서 |
의미 기반 청킹은 이웃 문장을 임베딩해 거리를 재고, 거리가 정해 둔 백분위를 넘는 자리를 경계로 삼습니다. 경계를 정하는 데 임베딩 모델 호출이 더 들므로 수집 비용이 고정 크기보다 큽니다.
청킹 앞에는 파싱이 있습니다. 파싱은 PDF·이미지 같은 파일에서 글자와 구조를 뽑는 단계이고, 기본 파서는 텍스트만 읽습니다. 표와 그림이 많은 문서라면 FM을 파서로 쓰는 고급 파싱을 골라 표를 구조째 옮긴 뒤에 자릅니다. 파싱이 표를 한 줄의 글자 덩어리로 뭉개 놓으면, 그 뒤에 어떤 청킹 방식을 골라도 숫자와 머리글의 짝은 되살아나지 않습니다. 청킹 방식을 고르기 전에 파싱 결과부터 열어 보는 까닭입니다.
계층적 청킹
계층적 청킹은 크기의 맞교환을 두 층으로 푸는 방식입니다. 문서를 큰 부모 청크로 나누고, 부모마다 작은 자식 청크로 다시 나눕니다. 검색은 자식으로 합니다 — 작아서 질문과 정확히 맞습니다. 그런데 모델에 넘길 때는 그 자식이 속한 부모로 바꿔 넘깁니다 — 커서 맥락이 삽니다. 여러 자식이 같은 부모를 가리키면 부모 하나로 합쳐지므로, 검색 결과 수가 요청한 수보다 적게 돌아올 수 있습니다. 매뉴얼·계약서처럼 절 구조가 있고 한 조항이 앞 조항에 기대는 문서에 맞습니다.
Lambda로 만드는 청킹
고정 크기 구현
내장 방식으로 안 되는 자름은 Lambda로 만듭니다. Knowledge Bases의 사용자 지정 변환은 파싱이 끝난 문서를 중간 S3 위치에 두고 Lambda를 부르며, 함수는 청크 목록을 다시 S3에 써서 돌려줍니다. 가장 단순한 함수는 고정 크기 청킹입니다.
def fixed_chunks(tokens, size=300, overlap=60):
step = size - overlap
chunks = []
for start in range(0, len(tokens), step):
chunks.append(tokens[start:start + size])
if start + size >= len(tokens):
break
return chunks
3,000토큰을 넣으면 시작점이 0, 240, …, 2880으로 13개가 나와 위의 식과 맞습니다. 내장 고정 크기와 같은 일을 굳이 Lambda로 하는 까닭은 경계 규칙을 덧붙이기 위해서입니다 — 표 한가운데서는 자르지 않는다, 코드 블록은 통째로 둔다 같은 규칙입니다.
구조 기반 청킹
콘텐츠 구조를 따르는 자름도 같은 자리에서 만듭니다. 마크다운이나 HTML이라면 제목 태그를 경계로 절을 한 청크로 삼고, 절이 너무 길면 그 안에서만 다시 고정 크기로 자릅니다. 각 청크에는 위 제목들의 경로(「3장 › 3.2 환불」)를 메타데이터로 붙이면, 잘려 나간 맥락의 일부를 짧은 꼬리표로 되살릴 수 있습니다. 이는 계층적 청킹을 구조에 맞춰 손으로 짓는 것과 같습니다.
임베딩 모델
Titan 임베딩과 차원
임베딩 모델은 텍스트를 고정 길이 숫자 벡터로 바꾸는 모델이고, 벡터의 길이가 차원입니다. Amazon Titan Text Embeddings V2는 출력 차원을 1,024·512·256 가운데 고를 수 있고, 입력은 8,192토큰까지 받습니다. 이전 세대인 Titan Embeddings G1 – Text는 1,536차원 하나입니다. 이미지와 텍스트를 같은 공간에 놓아야 하면 Titan Multimodal Embeddings를, 한국어처럼 영어 밖의 언어가 섞이면 다국어를 지원하는 모델(Cohere Embed Multilingual 등)을 후보에 올립니다.
차원은 저장량과 검색 비용을 직접 정합니다. float32 벡터는 차원마다 4바이트이므로 1,024차원 벡터 100만 개는 약 4.1GB, 256차원이면 약 1.0GB입니다. 차원을 줄이면 저장소와 메모리가 4분의 1로 줄지만 표현력도 줄어 검색 품질이 떨어질 수 있습니다. 얼마나 떨어지는지는 문서마다 다르므로 재 봐야 압니다.
도메인 적합성
일반 문서로 학습한 임베딩 모델은 의료 약어나 사내 제품 코드처럼 학습 때 드물던 낱말을 잘 가르지 못합니다. 그래서 도메인 적합성은 모델 설명서가 아니라 우리 데이터로 확인합니다. 그리고 넣을 때와 찾을 때는 반드시 같은 모델·같은 차원을 씁니다. 다른 모델의 벡터는 서로 다른 공간에 있어 거리가 뜻을 갖지 않습니다. 모델을 바꾸면 전체 재임베딩이 따라오는 까닭입니다.
모델 평가와 일괄 생성
성능 특성 평가
임베딩 모델 후보를 견줄 때는 질문과 정답 문서를 짝지은 평가 묶음을 만들고, 모델마다 문서를 임베딩해 질문으로 검색합니다. recall@k는 상위 k개 결과 안에 정답 문서가 든 질문의 비율이고, 검색 품질의 기본 지표입니다. 질문 200개 중 상위 5개에 정답이 든 것이 172개면 recall@5는 0.86입니다. 여기에 질문 한 건의 임베딩 지연, 100만 토큰당 비용, 차원에 따른 저장량을 함께 적어 표 하나로 놓고 고릅니다. 품질 차이가 작으면 차원이 작고 싼 쪽이 이깁니다. 평가 묶음의 질문은 실제 사용자가 칠 법한 말투로 적어야 합니다 — 문서 제목을 그대로 베낀 질문으로 재면 어느 모델이나 높은 점수가 나옵니다.
Lambda로 일괄 생성
평가에 쓸 문서나 Knowledge Bases 밖의 저장소에 넣을 문서는 직접 임베딩합니다. Titan Text Embeddings V2는 호출 한 번에 텍스트 하나를 받으므로, Lambda가 청크 목록을 돌며 부르고 결과를 모아 씁니다.
import json, boto3
brt = boto3.client("bedrock-runtime")
def embed(text):
body = json.dumps({"inputText": text, "dimensions": 512, "normalize": True})
resp = brt.invoke_model(modelId="amazon.titan-embed-text-v2:0", body=body)
return json.loads(resp["body"].read())["embedding"]
건수가 많으면 Lambda의 실행 시간 한도와 호출 한도에 걸립니다. 그때는 SQS로 청크를 나눠 여러 Lambda가 병렬로 처리하게 하고, 스로틀링에는 지수 백오프로 재시도합니다. 실시간일 필요가 없는 대량 작업이라면 입력을 JSONL로 S3에 두고 Bedrock 배치 추론 작업으로 한꺼번에 돌리는 길도 있습니다.
연습 문제
청크 크기 500토큰, 겹침 100토큰으로 4,100토큰 문서를 자릅니다. 청크 수는?
10개. 한 번에 토큰씩 나아가므로 입니다. 시작점이 0, 400, …, 3600이고 마지막 청크가 3600~4100을 덮습니다.1,024차원 float32 벡터 300만 개를 256차원으로 바꾸면 줄어드는 저장량은?
① 약 3.1GB
② 약 9.2GB
③ 약 12.3GB
④ 줄지 않는다②. 1,024차원은 GB, 256차원은 약 3.07GB이므로 약 9.2GB가 줄어듭니다.계약서 검색에서 작은 조항은 정확히 찾되, 모델에는 그 조항이 속한 절 전체를 넘기고 싶습니다. 알맞은 청킹 방식은?
① 청킹 없음
② 기본 청킹
③ 계층적 청킹
④ 겹침 0의 고정 크기 청킹③. 자식 청크로 찾고 부모 청크로 넘깁니다.다음 가운데 임베딩 모델을 Titan Embeddings G1 – Text에서 Titan Text Embeddings V2로 바꿀 때 함께 해야 하는 일을 둘 고르시오.
① 이미 넣은 모든 청크를 새 모델로 다시 임베딩한다
② 질문 임베딩도 새 모델로 바꾼다
③ 원본 문서를 S3에서 지운다
④ 바뀐 문서만 증분으로 다시 임베딩한다
⑤ 청크 크기를 반드시 두 배로 늘린다①과 ②. 두 모델의 벡터는 다른 공간이라 섞어 쓸 수 없습니다. ④는 내용이 안 바뀐 문서의 옛 벡터를 남깁니다.임베딩 후보 둘을 질문 250개로 견줬습니다. A는 상위 5개 안에 정답이 든 질문이 220개, B는 205개입니다. 두 모델의 recall@5는?
A는 , B는 입니다. 품질은 A가 높고, 고를 때는 여기에 지연·비용·차원을 함께 놓습니다.표 한가운데서 청크가 잘려 숫자와 머리글이 갈라집니다. Knowledge Bases를 그대로 쓰면서 이 문제를 고치는 방법은?
Knowledge Bases의 사용자 지정 변환에 Lambda를 걸어, 표 안에서는 자르지 않는 경계 규칙을 둔 청킹을 직접 구현합니다.

