문서 분할부터 검색, 재정렬, 생성, 평가까지 RAG 시스템의 핵심 고리를 연결합니다.
핵심 요약
- 좋은 RAG는 검색 정확도와 답변 충실도를 따로 측정합니다.
- Chunk 크기와 메타데이터가 검색 품질의 출발점입니다.
- 검색된 문서가 많다고 답변 품질이 자동으로 높아지지는 않습니다.
RAG를 파이프라인으로 보기
RAG는 모델 밖의 지식을 검색해 프롬프트에 넣는 구조입니다. 하지만 실제 품질은 문서를 준비하는 단계부터 답변을 검증하는 단계까지 연결된 전체 파이프라인에서 결정됩니다.
질문을 그대로 검색어로 쓰기 어려운 경우에는 쿼리 재작성이나 분해가 필요합니다. 검색 뒤에는 후보 문서를 재정렬하고, 답변에 사용할 근거를 압축하는 과정도 들어갈 수 있습니다.
검색 품질을 결정하는 세 가지
첫째는 문서를 어떤 단위로 나눌지입니다. 둘째는 의미와 키워드를 어떤 비율로 검색할지입니다. 셋째는 후보 문서가 질문에 실제로 도움이 되는지 다시 판단하는 재정렬입니다.
- 문맥을 보존하는 Chunk 전략
- Dense와 Sparse 검색의 조합
- Cross-Encoder 또는 LLM 기반 재정렬
답변보다 먼저 근거를 평가하기
최종 답변만 평가하면 실패 원인을 찾기 어렵습니다. 정답 문서가 검색되었는지, 불필요한 문서가 섞였는지, 답변이 근거를 벗어나지 않았는지를 단계별로 측정해야 합니다.
이렇게 분리하면 모델을 바꿔야 하는지, 검색 인덱스를 손봐야 하는지, 프롬프트를 고쳐야 하는지 판단할 수 있습니다.