지난 글 끝에서 조건 하나를 남겨 두었다. 청크에 「3장 > 3.2 환불 규정」 같은 헤딩 경로를 붙이려면, 파서가 그 줄을 헤딩으로 알아봤어야 한다는 조건이다. PDF에서 잘라 온 문서라면 그 보장이 없다.
검색이 안 되는 원인을 좇아가다 보면 이 자리에서 끝나는 경우가 많다. 임베딩 모델도 아니고 청킹 크기도 아니고, 애초에 색인에 들어간 글자가 원문과 다른 것이다. 그리고 이 단계는 뒤에서 손댈 수 없다 — 무너진 텍스트를 아무리 잘 잘라도 무너진 청크가 나온다.
여기서 다루는 일을 문서 파싱이라고 부른다. 원본 파일을 읽어 뒤 단계(청킹·임베딩·색인)가 받을 수 있는 텍스트와 구조로 바꾸는 일이고, 그 일을 하는 프로그램이 파서다. RAG 파이프라인의 맨 앞이라 눈에 잘 안 띄지만, 뒤의 모든 단계가 이 출력만 보고 일한다.
PDF의 내부 구조
그리기 명령의 목록
PDF는 인쇄 결과를 재현하려고 만든 형식이다. 어느 프린터에서, 어느 화면에서 열어도 같은 모양이 나와야 한다는 것이 이 형식의 약속이고, 그 약속을 지키는 가장 쉬운 방법은 모양 자체를 적어 두는 것이다. 그래서 파일 안에 실제로 들어 있는 것은 「이 글자를 이 좌표에 이 글꼴로 그려라」라는 명령의 목록이다.
문단, 단, 제목, 표, 목록, 각주는 하나도 들어 있지 않다. 그것들은 사람이 눈으로 보고 만들어 내는 구조다. 글자가 크고 굵으면 제목으로 읽고, 줄 사이가 벌어지면 문단이 바뀐 것으로 읽고, 세로선과 가로선이 격자를 이루면 표로 읽는다. 파일은 그런 판단을 하나도 대신해 주지 않는다. 심지어 「안」과 「녕」이 한 낱말이라는 사실도 적혀 있지 않다 — 두 글자가 가까운 좌표에 그려진다는 사실만 있다.
이 명령들 가운데 글자를 그리는 명령의 모음을 텍스트 레이어라고 부른다. 워드프로세서에서 바로 내보낸 PDF에는 이 층이 온전히 있어서 글자 자체는 정확히 꺼낼 수 있다. 스캔본은 쪽마다 사진 한 장이 들어 있을 뿐이라 이 층이 아예 없고, 그때는 글자를 꺼내는 것이 아니라 그림에서 읽어 만들어야 한다.
추출이 아닌 복원
그래서 텍스트 추출기가 하는 일은 「추출」이 아니라 복원이다 — 흩어진 글자 좌표에서 원래 구조를 되짚어 세우는 일이고, 되짚기이므로 틀릴 수 있다. 글자와 글자 사이가 얼마나 벌어지면 띄어쓰기로 볼지, 줄과 줄 사이가 얼마나 벌어지면 문단으로 볼지, 글자 크기가 본문보다 얼마나 크면 제목으로 볼지가 전부 파서가 고른 임계값이다.
이 점을 알고 나면 「파서가 텍스트를 잘못 뽑았다」는 말을 다르게 읽게 된다. 글자를 잘못 읽은 것이 아니라 구조를 잘못 추측한 것이고, 추측이므로 문서마다 맞는 정도가 다르다. 같은 파서가 사내 보고서에서는 완벽하고 학회 논문에서는 엉망인 것이 이상한 일이 아니다.
읽기 순서
가장 자주 틀리는 것이 순서다. 글자를 어떤 차례로 이어 붙여 한 줄의 글로 만들지를 읽기 순서라고 하는데, 파일에는 이것도 적혀 있지 않다. 그리기 명령의 순서가 있긴 하지만 그건 만든 프로그램이 그린 순서이지 사람이 읽는 순서가 아니다.
좌표를 위에서 아래로만 훑으면 2단 편집에서 왼쪽 단 첫 줄, 오른쪽 단 첫 줄, 왼쪽 단 둘째 줄 순으로 나온다. 문장 한가운데가 다른 단의 문장과 이어 붙는다. 이 상태로 청킹하면 청크마다 두 주제가 번갈아 섞인 글이 된다. 왼쪽 단이 환불 규정이고 오른쪽 단이 배송 안내라면, 「환불은 결제일로부터 배송은 영업일 기준」 같은 문장이 색인에 들어간다. 검색기는 이 청크를 환불 질문에도 배송 질문에도 어중간하게 걸고, 모델은 두 규정을 섞은 답을 낸다.
추출 오류의 네 갈래
읽기 순서 말고도 자주 어긋나는 자리가 넷 더 있다. 넷 다 눈으로 PDF를 볼 때는 전혀 문제가 없어 보인다는 점이 같다.
머리말과 꼬리말
쪽마다 「팔딘 내부 문서 · 12」 같은 줄이 반복되면 청크마다 그 문장이 들어간다. 청크 100개가 모두 같은 문장을 품고 있으면 벡터가 그쪽으로 조금씩 끌려간다. 청크 하나만 보면 문장 하나가 끼었을 뿐이지만, 저장소 전체로 보면 서로 다른 주제의 청크들이 같은 방향으로 한 걸음씩 다가간 셈이라 검색 결과가 덜 갈린다.
더 나쁜 경우는 꼬리말이 문장 한가운데에 끼는 것이다. 한 문단이 쪽을 넘어가면 앞 쪽 마지막 줄과 다음 쪽 첫 줄 사이에 꼬리말·쪽 번호·머리말이 차례로 들어가, 「환불 신청은 팔딘 내부 문서 13 2026년 2분기 실적 보고서 결제일로부터」 같은 줄이 된다.
각주 표시
각주 표시 숫자가 본문 낱말 사이에 그대로 들어가 「환불은 7일2 이내」 같은 문자열이 된다. 위첨자는 화면에서 작고 높게 그려질 뿐 파일 안에서는 그냥 숫자 「2」다. 사람은 그 숫자를 각주로 읽지만 키워드 검색은 「7일2」를 한 낱말로 보고, 「7일 이내」로 묻는 질문과 맞지 않는다. 각주 본문은 쪽 아래에 따로 그려지므로, 읽기 순서를 잘못 잡으면 본문 한가운데로 끌려 들어오기도 한다.
띄어쓰기
자간을 좌표로 조절한 문서에서는 글자 사이 간격을 공백으로 볼지 말지가 임계값 문제가 된다. 양쪽 정렬로 줄 끝을 맞춘 문단은 줄마다 글자 사이가 조금씩 다르게 벌어져 있고, 파서는 그 틈마다 공백인지 아닌지를 골라야 한다. 한글 문서에서 특히 자주 어긋난다. 「환불 규정」이 「환불규정」이나 「환 불 규 정」으로 나오는 식이다. 앞의 것은 형태소 분석이 어느 정도 구해 주지만 뒤의 것은 키워드 검색에서 아예 안 걸린다.
표의 평탄화
표의 셀을 왼쪽 위부터 훑어 이어 붙이면 「구분 2024년 2025년 매출 120 138 영업이익 8 11」 같은 줄이 나온다. 이렇게 격자를 한 줄로 펴는 것을 평탄화라고 부른다. 평탄화된 줄에서는 어느 숫자가 어느 해의 어느 항목인지 사라진다. 사람은 숫자의 차례로 대응을 짐작할 수 있지만, 열이 다섯을 넘거나 빈 칸이 하나 끼면 그 짐작이 어긋난다. 표만의 문제가 꽤 크므로 따로 한 편을 들여 다룬다.
파서 선택
파서의 세 갈래
여기서 흔한 실수는 저장소 전체에 파서 하나를 고르는 것이다. 문서마다 필요한 것이 다르므로, 파일 하나씩 물어서 정하는 것이 맞다. 먼저 고를 수 있는 것이 무엇인지부터 본다. 갈래는 셋이다.
| 갈래 | 하는 일 | 강한 곳 | 약한 곳 |
|---|---|---|---|
| 텍스트 추출기 | 글자와 좌표를 그대로 꺼낸다 | 워드에서 바로 뽑은 PDF, 한 단짜리 문서 | 다단, 표, 스캔본 |
| 레이아웃 모델 파서 | 블록을 검출해 종류를 붙이고 순서를 정한다 | 2단 논문, 보고서, 헤딩이 필요한 문서 | 느리고 비싸다 |
| 비전 모델 파서 | 쪽 이미지를 모델이 읽고 마크다운으로 적는다 | 복잡한 표, 도형 안 글자 | 없는 글자를 지어낼 수 있다 |
가운데 갈래의 레이아웃 모델은 쪽을 그림으로 보고 「여기는 제목, 여기는 본문 단, 여기는 표, 여기는 그림 설명」처럼 영역을 잘라 종류를 붙이는 모델이다. 글자는 텍스트 레이어에서 그대로 가져오고, 모델은 그 글자들이 어느 영역에 속하는지와 영역끼리의 차례만 정한다. 그래서 글자 자체는 첫째 갈래만큼 정확하고, 구조는 첫째 갈래보다 훨씬 잘 남는다. 셋째 갈래는 그 둘을 한 번에 한다 — 쪽 이미지를 통째로 모델에 넣고 글자와 구조를 함께 적게 한다.
필요 없는 단계를 태우면 정확도가 오히려 떨어진다. 텍스트 레이어가 멀쩡한 PDF를 이미지로 바꿔 OCR을 돌리면, 원래 정확했던 글자에 인식 오류가 새로 생긴다. OCR은 그림 속 글자 모양을 보고 어떤 글자인지 알아맞히는 일인데, 이미 정답이 파일 안에 있는 문서에서 정답을 버리고 다시 알아맞히는 셈이다. 무거운 파서가 항상 나은 것이 아니다.
틀리는 방식의 차이
셋째 갈래가 요즘 늘고 있는데, 대가가 다르다는 점을 알고 써야 한다. 앞의 둘은 틀리면 순서가 어긋나거나 글자가 빠진다. 비전 모델은 틀리면 원문에 없는 그럴듯한 글자를 적는다. 표의 「138」을 「136」으로 적어도 문장은 매끄럽고 형식도 반듯하다. 틀렸다는 표시가 어디에도 남지 않는다.
이 차이가 중요한 것은 고장을 찾는 방법이 달라지기 때문이다. 순서가 뒤엉킨 텍스트는 눈으로 훑으면 바로 보이고, 아래에서 다룰 자동 신호에도 걸린다. 숫자 하나가 조용히 바뀐 표는 사람이 원본과 한 칸씩 맞춰 보지 않는 한 안 보인다. 같은 오류율이라도 보이는 오류와 안 보이는 오류는 무게가 다르다.
그래서 금액·기한·수량이 답의 근거가 되는 문서에서는 원본 셀 값과 대조하는 검사가 따로 있어야 한다. 텍스트 레이어가 있는 문서라면 비전 모델이 적은 숫자가 텍스트 레이어에도 있는지 확인할 수 있다. 숫자 목록을 양쪽에서 뽑아 견주는 것만으로도 지어낸 숫자의 상당수가 걸린다.
파일별 결정 트리
고르는 법은 질문 몇 개를 위에서부터 차례로 묻는 것이다. 이렇게 갈래마다 하나씩 물어 내려가는 절차를 결정 트리라고 부른다.
첫 질문은 본문 글자가 파일 안에 들어 있는가, 곧 텍스트 레이어가 있는가다. 없으면 OCR이 먼저다. 있으면 둘째로 편집이 단·표·그림이 섞인 모양인지 묻는다. 한 단짜리 줄글이면 텍스트 추출기에서 멈춘다 — 가장 싸고 빠르며, 이 경우에는 결과도 가장 정확하다. 섞인 편집이면 레이아웃을 알아보는 파서로 가고, 셋째로 표가 답의 근거가 되는지 물어 그렇다면 표를 본문과 따로 떼어 다룬다.
이 질문들은 문서 종류마다 한 번 답해 두면 되는 경우가 많다. 사내 규정집은 전부 한 단짜리 워드 문서이고, 외부 논문은 전부 2단이고, 계약서 스캔본은 전부 텍스트 레이어가 없다. 그렇게 갈리면 폴더나 출처로 라우팅하면 된다.
자동 판별과 출력 형식
출처만으로 안 갈리는 저장소에서는 파일을 열어 보고 판별한다. 텍스트 레이어 유무는 쪽마다 꺼낸 글자 수로 거의 확실하게 가린다. 단 수는 글자 좌표의 가로 분포를 보면 대략 보인다 — 한가운데가 비어 있으면 2단이다. 표 비중은 선의 개수나 숫자 비율로 어림한다.
판별은 틀린다. 그래서 틀렸을 때의 경로를 미리 정해 둔다. 가벼운 파서로 보낸 문서가 아래의 품질 신호에 걸리면 한 단계 무거운 파서로 다시 보내는 식이다. 처음부터 전부 무거운 파서에 태우는 것보다 싸고, 가벼운 파서에서 무너진 문서를 그대로 색인하는 것보다 안전하다.
파서를 섞어 쓰면 출력 형식이 갈린다. 하나는 마크다운 헤딩을 쓰고, 하나는 블록 목록에 종류 표시를 달고, 하나는 줄글만 낸다. 청킹 단계가 세 형식을 다 알아야 하는 상태는 오래 못 간다. 파싱의 마지막 단계에서 하나의 형식으로 맞춰 두고, 뒤 단계는 그 형식만 보게 한다. 마크다운이 흔한 선택인 것은 헤딩·목록·표를 모두 담으면서도 사람이 그대로 읽을 수 있기 때문이다.
헤딩 보존
구조가 남는 출력
파서를 고를 때 기준으로 삼을 것은 「텍스트가 얼마나 예쁘게 나오는가」가 아니라 구조가 남는가이다. 그 구조 가운데 가장 값을 하는 것이 헤딩, 곧 문서의 장·절·소절 제목이다. 파서가 마크다운으로 내보내면 헤딩이 #의 개수로 층까지 남는다.
# 2026년 2분기 실적 보고서
## 3. 구독 부문
### 3.2 환불 규정
이번 분기 매출은 전년 대비 3% 늘었습니다.
이 형태가 되면 세 가지가 자동으로 따라온다. 셋 다 모델을 한 번도 부르지 않고 얻는다는 점이 같다.
절 단위 청킹
청킹 전략에서 문단·절 경계를 지키라고 한 그 경계가 헤딩이다. 글자 수로만 자르면 절 한가운데가 잘리는데, 헤딩이 있으면 절 단위로 자르고 긴 절만 나눌 수 있다. 「3.2 환불 규정」이 한 청크가 되면 그 청크는 환불 이야기만 한다. 검색 단위와 뜻의 단위가 겹치는 것이 청킹이 바라는 전부다.
헤딩 경로와 메타데이터
지난 글의 표에 있던 「상위 헤딩 이어 붙이기」가 그대로 된다. 위로 거슬러 올라가며 헤딩을 이은 줄을 헤딩 경로라고 부른다. 모델을 부르지 않고도 청크마다 「2026년 2분기 실적 보고서 > 3. 구독 부문 > 3.2 환불 규정」을 붙일 수 있다. 지난 글에서 모델에게 청크마다 맥락 문장을 써 달라고 했던 일의 상당 부분을, 구조가 남은 문서에서는 문자열 이어 붙이기로 끝낸다. 문서가 만 개면 모델 호출 수십만 번의 차이다.
헤딩을 청크의 속성으로 따로 저장해 두면 「3장에서만 찾아라」 같은 조건이 가능해진다. 이렇게 청크에 붙여 두는 본문 밖의 속성을 메타데이터라고 하고, 검색 전에 그 속성으로 후보를 좁히는 것을 필터라고 부른다. 같은 낱말이 여러 장에 나오는 문서에서 특히 효과가 크다 — 「환불」은 구독 부문에도 하드웨어 부문에도 있지만, 묻는 사람은 대개 그중 하나를 묻는다.
헤딩 인식률
반대로 헤딩이 평범한 문단으로 내려앉으면 이 셋이 한꺼번에 사라진다. 절 경계가 없어 글자 수로 자르게 되고, 헤딩 경로가 비어 맥락을 모델에게 다시 써 달라고 해야 하고, 장으로 거르는 조건을 걸 속성이 없다. 한 자리의 실패가 세 단계를 동시에 무너뜨린다. 그래서 파서 비교는 헤딩 인식률부터 본다 — 원본 목차와 파서가 낸 헤딩 목록을 견주어, 몇 개가 살아남았고 층이 맞는지를 센다. 목차가 있는 문서라면 이 검사는 사람 손 없이도 돈다.
PDF 밖의 형식
HTML과 DOCX
다른 형식에도 각자의 함정이 있다.
| 형식 | 자주 무너지는 자리 | 대응 |
|---|---|---|
| HTML | 네비게이션·광고·푸터가 본문에 섞인다 | 본문 추출기로 먼저 걸러 낸다 |
| DOCX | 변경 이력·주석이 본문으로 섞인다 | 수락된 최종본만 남기고 주석은 뺀다 |
| 슬라이드 | 도형 안 글자라 순서가 없다 | 쪽 단위로 묶고 발표자 노트를 함께 담는다 |
| 이메일 | 인용된 이전 메일이 반복해서 들어간다 | 인용 부분을 잘라 내고 스레드 하나를 한 문서로 |
| 스프레드시트 | 시트가 문서가 아니라 표다 | 표로 다룬다 — 줄글로 펴지 않는다 |
HTML과 DOCX는 PDF와 반대 처지다. 구조가 파일 안에 들어 있어서 헤딩도 목록도 표도 태그로 남아 있다. 문제는 본문이 아닌 것까지 같은 구조 안에 들어 있다는 점이다. 웹 문서의 메뉴와 푸터는 쪽마다 반복되므로 PDF의 머리말과 같은 일을 하고, DOCX의 변경 이력은 지운 문장과 새 문장을 함께 남겨 「환불은 7일 14일 이내」 같은 줄을 만든다. 구조를 복원할 필요는 없지만 걸러 낼 것은 PDF보다 많다.
슬라이드
슬라이드는 도형마다 좌표만 있어 읽기 순서 문제가 PDF보다 심하다. 제목 상자, 글머리 상자, 화살표 옆 설명이 각자 떠 있고, 만든 사람이 상자를 추가한 순서가 곧 파일 안의 순서다. 쪽 하나를 한 단위로 묶어 두는 것이 가장 단순한 대응이다 — 쪽 안의 순서가 틀려도 같은 청크 안에 있으면 피해가 작다.
그리고 발표자 노트를 함께 담을지 정해야 한다. 슬라이드 본문은 낱말 몇 개뿐이고 실제 설명은 노트에 있는 경우가 많아서, 노트를 빼면 검색에 걸릴 문장이 거의 안 남는다. 반대로 노트가 발표 연습용 메모라면 본문과 어긋나는 말이 섞인다. 문서 종류마다 한 번 정해 두면 된다.
이메일 스레드
이메일은 스레드가 길수록 같은 문장이 여러 문서에 중복 색인된다. 답장마다 앞 메일 전체를 인용하므로, 다섯 통짜리 스레드의 첫 메일은 다섯 번 색인된다. 중복된 문장은 검색 결과 상위를 자기들끼리 채워 다른 문서를 밀어낸다. 상위 다섯 칸을 뽑았는데 다섯이 전부 같은 첫 메일의 사본이면, 사실상 근거를 하나만 넘긴 것이다.
대응은 인용 부분을 잘라 내고 스레드 하나를 한 문서로 묶는 것이다. 인용 표시가 형식마다 달라 완벽하게 잘리지는 않으므로, 색인 뒤에 거의 같은 청크를 찾아 하나만 남기는 중복 제거를 한 번 더 거는 편이 안전하다. 이 문제는 이메일만의 것이 아니다 — 같은 규정을 판만 바꿔 여러 번 올린 저장소에서도 똑같이 생긴다.
파싱 품질 신호
자동 신호 넷
파싱 품질은 눈으로 보면 알지만, 문서가 만 개면 눈으로 볼 수 없다. 자동 신호 몇 개를 걸어 두고 걸린 것만 본다.
- 빈 쪽 비율 — 텍스트가 거의 안 나온 쪽이 있으면 스캔본이거나 추출 실패다
- 한 줄 길이 분포 — 평균이 지나치게 짧으면 줄바꿈이 과하게 들어간 것이고, 지나치게 길면 문단 경계가 다 뭉개진 것이다
- 반복 문자열 비율 — 같은 줄이 쪽마다 나오면 머리말·꼬리말이 안 걸러진 것이다
- 헤딩 개수 — 200쪽 문서에서 헤딩이 0개면 구조가 통째로 사라진 것이다
넷 다 숫자 하나로 나오므로 문서마다 기록해 두고 분포에서 튀는 것만 꺼내 본다. 절대 기준보다 같은 종류 문서끼리의 비교가 잘 맞는다. 보고서 평균 헤딩이 마흔인데 한 편만 셋이면, 그 한 편을 열어 볼 이유가 충분하다.
조용한 오류
자동 신호는 「무너졌다」를 잡지 「조용히 틀렸다」를 못 잡는다. 2단이 섞여 문장이 뒤엉켜도 한 줄 길이 분포는 멀쩡하고, 비전 모델이 숫자 하나를 바꿔도 헤딩 개수는 그대로다. 앞의 네 신호는 고장 난 문서를 골라내는 거름망이지 맞게 읽었다는 증명이 아니다.
그래서 문서 종류마다 표본 열 개씩은 사람이 읽는다. 원본 PDF를 옆에 띄워 두고 파서 출력과 한 쪽씩 견주는 일이다. 열 개면 오후 한나절이고, 새 종류의 문서가 들어올 때마다 이 검수를 한 번씩 하는 것이 가장 확실하다.
표본 검수와 회귀 세트
검수한 표본은 그대로 회귀 세트가 된다. 회귀 세트는 바꾼 뒤에도 예전에 맞던 것이 여전히 맞는지 확인하려고 모아 둔 입력과 정답의 묶음이다. 파서를 바꿀 때 같은 파일을 다시 돌려 결과를 비교하면, 「좋아졌다는데 어디가 나빠졌는지 모르는」 상태를 피할 수 있다.
파서 교체는 생각보다 자주 일어난다. 더 싼 파서가 나오고, 쓰던 파서가 판을 올리며 동작을 바꾸고, 문서 종류가 늘어 라우팅을 다시 짠다. 그때마다 저장소 전체를 다시 파싱하기 전에 회귀 세트부터 돌린다. 몇십 개 파일로 몇 분이면 끝나고, 무너진 것이 있으면 다시 색인하기 전에 멈출 수 있다.
정리
- PDF 안에는 글자와 좌표만 있다. 문단·단·헤딩·표는 파서가 되짚어 세우는 것이다
- 2단 편집의 읽기 순서, 머리말·꼬리말, 각주, 띄어쓰기, 표가 자주 어긋나는 자리다
- 파서는 저장소가 아니라 문서마다 고른다. 필요 없는 단계를 태우면 오히려 나빠진다
- 비전 모델 파서는 없는 글자를 지어낼 수 있다. 숫자가 근거인 문서에서는 대조 검사가 따로 필요하다
- 파서 비교의 기준은 예쁜 텍스트가 아니라 헤딩이 남는가다 — 청킹 경계·헤딩 경로·필터가 거기서 나온다
- 자동 신호로 무너진 것을 걸러 내고, 종류마다 표본은 사람이 읽어 회귀 세트로 쓴다
결정 트리의 첫 갈래에서 「아니오」로 빠지는 문서, 곧 텍스트 레이어가 없는 스캔본은 이 글에서 다루지 않았다. 거기서는 글자를 꺼내는 것이 아니라 만들어 내야 하고, 만들어 낸 글자는 틀리는 방식이 또 다르다. 다음 글에서 OCR이 RAG에 들여오는 오류를 따라간다.
읽어주셔서 감사합니다. 😊

