지난 글에서 그림과 표가 섞인 자료를 검색하는 이야기를 했다. 거기서는 많은 문서 가운데 관련 있는 것을 찾는 일이 문제였다. 이번에는 반대 방향이다. 문서 하나가 이미 주어져 있고, 그 안에서 정해진 값을 정확히 읽어 내야 한다. 세금계산서에서 공급가액을, 계약서에서 해지 조항의 통지 기간을, 실적 보고서에서 3분기 영업이익률을 뽑는 일이다.
이 일을 "OCR을 붙이면 되는 것"으로 잡으면 대개 첫 배포에서 막힌다. 글자를 다 뽑아냈는데도 문서를 못 읽는 상황이 계속 나오기 때문이다.
읽는 차례
가장 먼저 깨지는 것이 순서다. OCR(광학 문자 인식)은 이미지 속 글자와 그 위치를 알려 주지만 어느 글자가 어느 글자 다음에 오는지는 알려 주지 않는다. 글자 상자들이 페이지 위에 흩어진 점처럼 나올 뿐이고, 그 점들을 한 줄의 글로 꿰는 일은 따로 해야 한다.
단 구조
두 단으로 짠 보고서를 위에서 아래로 한 줄씩 훑으면 왼쪽 단의 첫 줄과 오른쪽 단의 첫 줄이 이어 붙는다. 왼쪽 단이 「올해 매출은 전년 대비」로 끝나고 오른쪽 단이 「해지 통지는 30일 전까지」로 시작하면, 훑은 결과는 「올해 매출은 전년 대비 해지 통지는 30일 전까지」가 된다. 각각은 멀쩡한 문장인데 합쳐 놓으면 뜻이 없다.
더 나쁜 것은 이것이 오류로 잡히지 않는다는 점이다. 글자 인식은 한 글자도 안 틀렸으므로 OCR 쪽 지표는 깨끗하다. 뒤에 붙은 LLM은 그 뒤죽박죽 텍스트를 받아 그럴듯한 답을 만들어 낸다. 질문이 「해지 통지 기간은?」이면 30일을 맞게 답할 수도 있고, 바로 앞에 붙은 매출 문장의 숫자를 섞어 엉뚱한 답을 낼 수도 있다. 어느 쪽이든 로그에는 정상 응답으로 남는다.
본문 밖 영역
순서 말고도 이 단계에서 가려야 하는 것이 몇 가지 더 있다.
- 머리말과 쪽 번호는 본문이 아니다. 페이지마다 반복되어 들어오면 문맥을 오염시킨다
- 각주는 본문의 흐름 밖에 있다. 문단 중간에 끼워 넣으면 문장이 끊긴다
- 표는 줄 단위로 읽으면 안 된다. 셀 사이의 공백이 사라지면 어느 값이 어느 열인지 알 수 없다
- 캡션은 그림에 붙어야 한다. 떨어지면 그림도 캡션도 쓸모가 없다
머리말은 사소해 보여도 쌓이면 크다. 40쪽짜리 계약서에 「본 계약서는 대외비입니다 · 3 / 40」 같은 줄이 쪽마다 들어오면 같은 문장이 마흔 번 반복된다. 검색이나 요약 단계에서 이 문장이 가장 자주 나오는 문장이 되고, 정작 본문의 조항들이 그 밑에 깔린다.
레이아웃 분석
그래서 문서 파싱의 첫 단계는 글자 인식이 아니라 레이아웃 분석이다. 페이지에서 제목·문단·표·그림·머리말·각주가 차지하는 영역을 상자로 먼저 찾는 일이다. 차례는 셋이다 — 영역을 검출하고, 영역끼리의 읽는 차례를 정하고, 그다음에 각 영역 안에서 글자를 뽑는다. OCR은 첫 단계가 아니라 마지막 단계다.
이 차례를 지키면 앞의 두 단 문제는 자연스럽게 풀린다. 왼쪽 단과 오른쪽 단이 서로 다른 영역으로 잡히고, 영역 차례가 「왼쪽 단 위에서 아래 → 오른쪽 단 위에서 아래」로 정해지므로, 그 안의 줄을 이어 붙여도 문장이 섞이지 않는다. 머리말 영역은 버리거나 따로 두고, 각주는 본문 끝에 모으고, 표 영역은 줄 단위가 아니라 셀 단위로 다음 단계에 넘긴다.
파이프라인과 VLM
문서 이해를 구현하는 길은 크게 둘이다. 어느 쪽을 고르느냐보다 둘이 실패하는 모양이 어떻게 다른지가 설계를 정한다.
두 접근
전통 파이프라인은 단계를 나눈다. 레이아웃 검출 → OCR → 표 구조 인식 → 후처리로 이어지고, 각 단계에 전용 모델이 붙는다. 단계마다 입력과 출력이 눈에 보이므로 어디서 틀렸는지 짚을 수 있다.
VLM(시각 언어 모델)은 이미지와 글을 함께 입력으로 받는 언어 모델이다. 문서에 쓰면 페이지 이미지를 그대로 넣고 원하는 것을 바로 뽑는다. 중간 단계가 없으니 구축은 빠르지만, 안에서 무슨 일이 일어났는지는 출력만 보고 짐작해야 한다.
| 전통 파이프라인 | VLM 단일 모델 | |
|---|---|---|
| 정해진 서식 | 아주 강하다. 좌표 규칙으로 못 박을 수 있다 | 서식이 고정이어도 매번 추론한다 |
| 처음 보는 서식 | 규칙이 없으면 못 한다 | 상당히 잘한다. 가장 큰 강점 |
| 좌표 | 자연스럽게 나온다 | 따로 요구해야 하고 정확도가 들쭉날쭉하다 |
| 실패 지점 찾기 | 어느 단계에서 틀렸는지 보인다 | 통째로 틀린다. 원인 추적이 어렵다 |
| 지어내기 | 없다. 없는 글자는 안 나온다 | 있다. 흐린 칸을 그럴듯한 값으로 채운다 |
| 비용 | 낮다 | 페이지 이미지 토큰이 붙는다 |
| 구축 기간 | 단계마다 손이 든다 | 프롬프트만으로 시작할 수 있다 |
실패의 모양
표 일곱 줄 가운데 결정을 정하는 것은 지어내기 줄 하나다. 전통 파이프라인이 못 읽으면 빈칸이 나오지만, VLM이 못 읽으면 그럴듯한 값이 나온다. 세금계산서에서 흐릿한 숫자를 「12,500,000」으로 채워 넣었을 때 그것이 맞는지 틀리는지는 사람이 원본을 봐야만 알 수 있다. 빈칸은 눈에 띄지만 틀린 값은 안 띈다.
숫자로 따라가 보면 차이가 더 분명하다. 한 달에 1만 건을 처리하고 두 방식 모두 필드 하나에서 2%를 제대로 못 읽는다고 하자. 파이프라인 쪽 200건은 빈칸으로 나오므로 200건 전부가 검수 큐로 간다. VLM 쪽 200건은 값이 채워져 나오므로 아무 경보도 울리지 않고, 그 가운데 운 좋게 맞은 것을 빼면 나머지가 그대로 회계 시스템에 들어간다. 정확도 숫자는 같은데 사고가 나는 쪽은 한쪽뿐이다.
나머지 줄을 가르는 축은 둘이다. 서식이 고정인가 처음 보는 것인가, 그리고 좌표가 필요한가. 거래처 몇 곳의 고정 서식만 받는다면 파이프라인과 좌표 규칙이 싸고 정확하다. 수백 곳에서 제각각 만든 서식이 들어온다면 규칙을 매번 짤 수 없으니 VLM의 일반화가 필요하다.
섞어 쓰기
그래서 실제 시스템은 대체로 섞어 쓴다. 레이아웃과 OCR은 전용 도구로 하고, 뽑아낸 텍스트와 페이지 이미지를 함께 VLM에 넣어 구조화한다. 흐린 칸이 있으면 OCR 신뢰도가 먼저 알려 주고, 서식이 처음 보는 것이면 VLM이 감당한다.
텍스트와 이미지를 함께 넣는 것이 요점이다. 텍스트만 넣으면 표의 칸 구조를 잃고, 이미지만 넣으면 작은 글자를 VLM이 직접 읽다가 틀린다. 둘을 함께 주면 모델은 글자는 OCR 결과에서 가져오고 구조는 이미지에서 확인한다. 그리고 VLM이 낸 값이 OCR 텍스트 안에 실제로 있는지를 코드가 대조할 수 있게 된다 — 이 대조가 뒤에서 신뢰도를 만드는 재료가 된다.
표
문서 이해의 난도를 실제로 정하는 것은 표다. 표에서 대부분의 시간이 간다. 표 이해에서 다룬 문제들이 여기서 그대로 나온다.
병합 셀과 열 이름
병합된 셀은 세로로 합친 칸의 값이 아래 행에도 적용되는데, 뽑아내면 첫 행에만 붙는다. 「영업본부」를 세 행에 걸쳐 합쳐 놓은 표를 그대로 풀면 첫 행만 영업본부이고 아래 두 행은 본부가 비어 있는 행이 된다.
여러 층의 열 이름은 더 까다롭다. 「2026년」 아래에 「1분기」「2분기」가 있고 옆에 「2025년」 아래에도 같은 두 칸이 있는 구조에서, 값 하나를 지목하려면 두 층을 다 알아야 한다. 아래층 이름만 붙이면 「1분기」 열이 둘이 되어 어느 해의 값인지 사라진다. 그래서 다층 열 이름은 뽑을 때 「2026년 · 1분기」처럼 위층부터 이어 붙인 한 줄의 이름으로 펴 두는 편이 뒤 단계가 편하다.
빈칸과 여러 쪽
여러 쪽에 걸친 표는 다음 쪽에서 열 이름 없이 이어진다. 이것을 별개의 표로 처리하면 뒷부분이 통째로 못 쓰게 된다 — 열 이름이 없는 숫자 덩어리가 되기 때문이다. 앞 쪽 표의 열 수와 열 위치가 다음 쪽 첫 표와 맞으면 이어 붙이는 규칙을 둔다.
괘선 없이 공백으로만 정렬한 표는 열 경계를 찾는 것 자체가 어렵다. 그리고 빈칸의 뜻이 서식마다 다르다. 값이 0인지, 해당 없음인지, 그냥 안 적은 것인지를 표가 말해 주지 않는다. 이 셋을 모두 0으로 바꾸면 평균과 합계가 틀어지고, 모두 비워 두면 「0원」이라는 정당한 값이 사라진다. 스키마에서 이 셋을 구별할 칸을 미리 만들어 두는 것이 낫다.
자체 검산
여기서 실용적인 요령 하나. 자체 검산은 표를 뽑아낸 뒤 표가 스스로 들고 있는 합계와 소계를 실제로 다시 계산해 맞춰 보는 일이다. 계산이 안 맞으면 그 표는 잘못 읽은 것이다.
세금계산서라면 이렇다. 품목 세 줄이 7,000,000 · 4,000,000 · 1,500,000이면 더해서 12,500,000이 공급가액 칸과 같아야 하고, 세액은 그 10%인 1,250,000, 합계는 13,750,000이어야 한다. 셋 중 하나라도 어긋나면 어느 칸을 잘못 읽었는지까지 좁혀진다. 품목 합만 다르면 품목 줄 하나가, 세액만 다르면 세액 칸이 의심 대상이다. 사람이 보기 전에 기계가 잡아내는 가장 값싼 검사다.
근거 추출
문서 이해 시스템이 실무에서 쓸 만해지는지 아닌지를 가르는 설계 결정이 하나 있다. 뽑아낸 값만 내놓을 것인가, 그 값이 어디서 나왔는지까지 함께 내놓을 것인가.
근거 좌표
값과 함께 그 값이 적힌 페이지와 상자 좌표를 내놓는 것을 근거 좌표라 부르자. 값만 있으면 확인하려는 사람이 문서를 열고 눈으로 찾아야 한다. 좌표가 붙어 있으면 화면에서 그 자리를 바로 띄워 준다. 검수 한 건에 드는 시간이 3분에서 3초로 바뀐다. 자동화의 실제 이득은 여기서 나온다.
하루 300건을 검수한다고 하면, 건당 3분이면 15시간이고 3초면 15분이다. 같은 검수 인력으로 처리할 수 있는 물량이 수십 배가 되는 셈이고, 「완전 자동이 안 되면 의미가 없다」는 판단이 틀린 이유가 이 계산에 있다.
출력 필드
출력 구조에 넣을 것은 넷이다.
- 페이지와 좌표 — 어디를 보면 되는지
- 신뢰도 — 낮은 것만 골라 사람에게 보내기 위해
- 원문 그대로의 문자열 — 모델이 정규화한 값과 문서에 실제로 적힌 글자를 나눠 둔다
- 출처 종류 — 표에서 나왔는지, 본문 문장에서 나왔는지, 도장이나 손글씨에서 나왔는지
셋째가 가장 자주 빠진다. 12500000과 "12,500,000"을 둘 다 갖고 있으면 변환에서 생긴 오류를 잡을 수 있다. 원문이 「1,250만 원」인데 정규화 값이 125,000,000이면 자릿수를 하나 잘못 옮긴 것이고, 두 값을 나란히 들고 있어야 이것이 눈에 띈다. 정규화 값만 남겨 두면 원문을 다시 봐야만 알 수 있다.
스키마와 재시도
출력 형식은 JSON 스키마로 못 박는다. 자유 형식으로 받으면 필드 이름이 「supply_amount」였다가 「공급가액」이었다가 하고 값 타입이 문자열과 숫자 사이를 오가서, 뒤에 붙는 처리가 매번 깨진다. 출력 검증을 파이프라인의 한 단계로 넣어 스키마에 안 맞는 응답은 재시도한다.
재시도에는 상한을 둔다. 같은 페이지가 두세 번 연속 스키마를 못 맞추면 그 문서는 모델이 다룰 수 있는 범위 밖에 있을 가능성이 크다. 계속 돌리면 비용만 늘어나므로 그때는 문서 전체를 사람에게 넘기는 갈래로 보낸다.
신뢰도와 검수
근거를 뽑아 두었으면 그다음은 어느 값을 믿고 어느 값을 사람에게 보낼지 가르는 일이다. 그 판단의 재료가 신뢰도이고, 그 판단을 받는 자리가 검수다.
자기 보고 신뢰도
「신뢰도를 함께 내라」고 프롬프트에 적으면 모델이 숫자를 하나 적어 주기는 한다. 그런데 그 숫자는 대체로 실제 정확도와 잘 맞지 않는다. 틀린 값에 0.95를 붙이는 일이 흔하다. 모델이 적는 숫자도 결국 그럴듯한 출력의 일부라서, 값을 지어낼 때 신뢰도도 함께 지어낸다.
맞는지 보는 방법은 단순하다. 검수가 끝난 문서 수백 건을 모아 모델이 0.9 이상을 붙인 필드만 골라 실제 정답률을 센다. 그 정답률이 0.9 근처가 아니라 0.7이면 그 숫자는 쓸 수 없다.
다섯 신호
쓸 만한 신뢰도는 다른 데서 만든다.
- OCR 자체의 신뢰도. 글자 인식 단계에서 나오는 값이고, 흐린 부분·기울어진 부분에서 실제로 떨어진다. 가장 믿을 만하다
- 두 번 돌려 비교하기. 같은 페이지를 온도를 올려 두 번 뽑고 값이 다르면 그 필드를 의심 대상으로 표시한다. 비용은 두 배지만 잡아내는 것이 확실하다
- 두 경로로 뽑아 대조하기. 전통 파이프라인 결과와 VLM 결과가 다른 필드를 표시한다
- 규칙 검사. 사업자등록번호 검증식, 날짜 형식, 세액이 공급가액의 10%인지, 합계가 항목의 합인지. 문서 종류마다 이런 규칙이 열 개쯤 나온다
- 필드가 아예 안 나온 것. 필수 필드가 비어 있으면 그 자체가 강한 신호다
이 신호들을 합쳐 필드마다 점수를 하나 붙인다. 처음에는 단순하게 시작한다 — 규칙 검사 실패나 두 경로 불일치가 하나라도 있으면 무조건 낮음, 그 밖에는 OCR 신뢰도를 그대로 쓰는 식이다. 검수 기록이 쌓이면 어느 신호가 실제 오류를 잘 맞혔는지 보고 무게를 조정한다.
세 갈래 분류
문서 이해 시스템에서 자주 하는 실수가 완전 자동을 목표로 만들고 정확도가 안 나오면 그때 사람을 붙이는 순서다. 이러면 검수 화면이 급하게 만들어지고, 좌표가 없어서 검수자가 문서를 뒤져야 하고, 고친 값이 다시 학습에 안 쓰인다.
처음부터 임계값을 정하고 문서를 세 갈래로 나눈다. 전부 통과한 것은 그대로 넘기고, 일부 필드가 낮은 것은 그 필드만 검수 큐에 넣고, 여러 필드가 낮거나 서식을 아예 못 알아본 것은 문서 전체를 사람에게 보낸다. 1,000건이 들어와 700건이 통과, 250건이 필드 검수, 50건이 전체 검수로 갔다면 사람이 실제로 들여다보는 것은 필드 몇백 개와 문서 50건이다. 임계값을 올리면 통과가 줄고 검수가 늘며, 내리면 반대가 된다. 이 값은 놓친 오류 하나의 비용과 검수 한 건의 비용을 견줘 정한다.
검수 화면과 되먹임
검수 화면은 근거 좌표를 쓴다. 값 옆에 원본 이미지의 해당 부분을 잘라 보여 주면 검수자가 문서를 열 필요가 없다.
그리고 고친 값을 모은다. 어떤 필드가 자주 틀리는지, 어느 서식에서 많이 틀리는지가 여기서 나온다. 이게 다음 개선의 유일한 재료이고, 나중에 평가 집합이 된다. 검수율 자체를 지표로 삼는 것도 이 자리다. 「정확도 몇 %」보다 「사람 손이 몇 건에 갔는가」가 사업 쪽에 훨씬 잘 통한다.
평가
필드 단위 정확도만 재면 실제 쓸모를 놓친다. 무엇을 세느냐에 따라 같은 시스템이 아주 좋아 보이기도 하고 쓸모없어 보이기도 한다.
필드와 문서
필드 20개짜리 문서에서 19개를 맞히면 정확도 95%인데, 그 문서는 여전히 사람이 봐야 한다. 한 칸만 틀려도 그 건은 자동 처리가 안 되기 때문이다.
이 차이는 생각보다 크다. 필드마다 독립적으로 95% 확률로 맞는다고 단순하게 놓으면, 20개가 전부 맞을 확률은 0.95를 스무 번 곱한 값으로 약 36%다. 필드 정확도 95%짜리 시스템이 문서의 3분의 2를 사람에게 보낸다는 뜻이다. 필드 정확도를 99%로 올리면 같은 계산이 약 82%가 된다. 필드에서 4%포인트가 문서에서 46%포인트로 불어난다.
그래서 두 가지를 함께 본다. 필드 정확도는 어느 필드가 약한지 찾는 용도이고, 문서 완전 일치율은 모든 필드가 맞은 문서의 비율이다. 후자가 자동화율의 상한이다. 앞 절의 세 갈래 분류에서 「통과」 갈래가 이 값을 넘을 수는 없다 — 넘었다면 틀린 문서가 통과하고 있다는 뜻이다.
평가 집합 구성
평가 집합은 서식별로 고르게 만든다. 실제 유입 비율대로만 뽑으면 흔한 서식에 묻혀 드문 서식의 실패가 안 보인다. 유입의 80%가 한 거래처 서식이면 그 서식만 잘해도 평균이 높게 나오고, 나머지 수십 개 서식의 실패는 평균 아래로 가라앉는다.
그리고 품질이 나쁜 스캔을 일부러 넣는다. 기울어진 것, 흐린 것, 도장이 글자에 겹친 것, 손글씨가 섞인 것이 실제 유입에는 늘 있다. 깨끗한 PDF만으로 만든 평가 집합은 배포 첫 주에 바로 무너지는 숫자를 만든다. 서식별 점수와 품질별 점수를 따로 내 두면, 다음에 무엇을 고쳐야 하는지가 표 한 장에서 보인다.
정리
- 글자를 다 뽑아도 읽는 차례가 틀리면 뜻이 사라진다. 레이아웃 분석이 OCR보다 앞이다
- 머리말·쪽 번호·각주·캡션은 본문 흐름에서 따로 가려낸다
- 전통 파이프라인은 정해진 서식에 강하고 좌표가 자연스럽게 나온다. VLM은 처음 보는 서식에 강하다
- 결정적인 차이는 실패 모양이다. 파이프라인은 빈칸을 내고 VLM은 그럴듯한 값을 낸다. 틀린 값은 빈칸보다 훨씬 위험하다
- 그래서 섞어 쓴다 — 레이아웃과 OCR은 전용 도구로, 구조화는 텍스트와 페이지 이미지를 함께 넣은 VLM으로
- 난도를 실제로 정하는 것은 표다. 병합 셀·다층 열 이름·여러 쪽에 걸친 표·선 없는 표·빈칸의 뜻
- 표는 자체 검산으로 잡는다. 합계와 소계를 실제로 더해 본다
- 값만 뽑지 말고 페이지·좌표·신뢰도·원문 문자열·출처 종류를 함께 뽑는다. 검수 한 건이 3분에서 3초가 된다
- 모델이 스스로 적은 신뢰도는 잘 안 맞는다. OCR 신뢰도·두 번 돌려 비교·두 경로 대조·규칙 검사로 만든다
- 사람 검수를 처음부터 설계에 넣는다. 임계값으로 세 갈래로 나누고, 좌표로 검수 화면을 만들고, 고친 값을 모은다
- 평가는 필드 정확도와 문서 완전 일치율을 함께 본다. 후자가 자동화율의 상한이다
다음 글에서는 이 글이 표 하나로 넘긴 자리 가운데 막대그래프·꺾은선 같은 차트와 복잡한 표를 따로 붙잡고, 그림 속 숫자를 값으로 되돌리는 일을 다룬다.
읽어주셔서 감사합니다. 😊

