비전·음성·추천

DOMAIN / 44번째 글

현대 OCR — 찾는 모델과 읽는 모델, 그리고 그 경계가 사라진 자리

텍스트 검출과 문자 인식으로 나뉘던 OCR이 VLM 한 번으로 끝나기까지의 지형을 정리합니다. 두 방식이 각각 무엇을 잘하고 무엇을 못 하는지, 한글에서 특히 어려운 것, CER과 필드 완전 일치율의 차이, 그리고 둘을 겹쳐 쓰는 실무 구성입니다.

PALDYN Team30 MIN READ

지난 글까지는 그림을 만드는 쪽이었고, 이번에는 다시 읽는 쪽이다. OCR은 이미지 속 글자를 컴퓨터가 다룰 수 있는 텍스트로 바꾸는 일로, 컴퓨터 비전에서 가장 오래된 과제 중 하나이고 "이미 다 풀린 문제"로 취급받는다. 실제로 붙여 보면 그렇지 않다. 인쇄된 A4 문서는 정말 다 풀렸다. 간판, 손글씨, 구겨진 영수증, 화면을 찍은 사진, 세로쓰기, 도장 위에 겹친 글자는 여전히 어렵다.

이 글은 지금 OCR의 지형을 정리한다. 오래 쓰인 두 단계 구조가 무엇이었는지, 각 단계가 어디서 틀어지는지, 시각-언어 모델이 그 경계를 어떻게 지웠는지, 그리고 그 결과를 무엇으로 재야 실제로 쓸 수 있는지다.

검출과 인식

두 문제의 성격

OCR을 한 문장으로 정의하면 "이미지에서 글자를 텍스트로 바꾸는 일"이지만, 그 안에는 성격이 아주 다른 두 문제가 들어 있다.

텍스트 검출은 "글자가 어디 있는가"를 찾는 일이다. 무엇이라고 쓰였는지는 몰라도 된다. 사진 한 장에서 글자 영역 스물세 개를 찾아 그 테두리를 돌려주는 것이 목표다. 문자 인식은 "이 조각에 무엇이라고 쓰였는가"를 읽는 일이다. 검출이 잘라 준 한 줄짜리 이미지를 받아 문자열을 낸다. 검출의 출력이 인식의 입력이므로, 둘은 앞뒤로 이어진 한 줄의 공정이다.

텍스트 검출과 문자 인식으로 나뉜 단계형 파이프라인, 그리고 한 모델이 끝까지 처리하는 방식

둘을 나눈 이유는 실용적이다. 검출은 위치를 다루므로 객체 검출과 뼈대가 같다 — 특징 지도를 뽑고 그 위에서 영역을 예측한다. 인식은 순서 있는 문자열을 만드는 문제라 오히려 언어 모델에 가깝다. 앞 글자가 무엇이었는지가 다음 글자를 예측하는 데 쓰이고, 출력 길이가 그때그때 다르다. 하나는 "어디"를, 다른 하나는 "무엇을 어떤 순서로"를 묻는 셈이라 각각 다른 모델로 푸는 편이 자연스러웠다.

남은 지형

이렇게 나눠 풀면서 인쇄 문서는 거의 끝났다. 흰 바탕에 검은 글자가 가지런히 놓이고 줄이 수평이면 검출은 쉽고, 인식도 폰트가 몇 종류뿐이라 학습 데이터로 다 덮인다.

남은 것은 이 가정이 하나씩 깨지는 자리다. 간판과 제품 사진은 원근 때문에 글자가 기울고 배경이 복잡하다. 손글씨는 같은 사람이 쓴 같은 글자도 매번 모양이 다르다. 영수증은 감열지가 바래고 구겨져 획이 끊긴다. 화면을 찍은 사진에는 모아레 무늬가 끼고, 세로쓰기와 도장은 줄의 방향과 겹침이라는 가정 자체를 깬다. 아래 절들은 대부분 이 자리들에서 무엇이 왜 틀어지는지에 관한 이야기다.

텍스트 검출

다각형 출력

일반 객체 검출과 텍스트 검출의 가장 큰 차이는 모양이다. 사람이나 자동차는 축에 나란한 사각형에 대체로 담기지만, 글자는 그렇지 않다. 간판은 기울어져 있고, 컵에 인쇄된 글자는 휘어 있고, 한 줄이 가로로 아주 길쭉하다.

기울어진 줄을 축에 나란한 사각형으로 감싸면 위아래 줄의 글자가 함께 들어온다. 이 조각을 인식기에 넘기면 두 줄이 겹친 이미지를 한 줄로 읽으려다 엉뚱한 문자열을 낸다. 그래서 텍스트 검출은 사각형 대신 다각형을 낸다. 꼭짓점이 네 개면 기울어진 줄을, 더 많으면 휘어진 줄을 감쌀 수 있고, 인식 전에 그 다각형을 펴서 수평 한 줄로 만든다.

이 펴는 단계가 생각보다 중요하다. 인식기는 대부분 수평으로 놓인 한 줄을 보고 학습했기 때문에, 15도만 기울어도 정확도가 눈에 띄게 떨어진다. 다각형의 꼭짓점을 기준으로 이미지를 원근 변환해 직사각형으로 펴 주면, 검출이 조금 넉넉하게 잡은 테두리라도 인식기는 익숙한 모양을 받는다. 반대로 검출이 꼭짓점 하나를 잘못 찍으면 펴진 줄이 비틀려, 인식 오류처럼 보이는 것이 실은 검출 오류인 경우가 생긴다. 오류를 볼 때 잘라 낸 조각 이미지를 같이 띄워 보는 습관이 그래서 필요하다.

확률 지도와 이진화

DBNet 계열은 픽셀마다 "여기가 글자인가"를 확률로 예측한다. 그 결과가 확률 지도, 곧 이미지와 같은 크기의 판에 0과 1 사이 값이 칠해진 것이다. 이 판을 어떤 값 위는 글자, 아래는 배경으로 가르는 것이 이진화이고, 가른 덩어리의 외곽선을 따라 다각형을 뽑는다.

요점은 가르는 기준인 임계값 자체를 모델이 픽셀마다 학습으로 정하게 만든 데 있다. 고정 임계값 하나를 쓰면 밝은 간판과 어두운 문서에서 동시에 잘 되기 어렵다 — 0.5로 두면 흐린 영수증의 글자가 끊기고, 0.3으로 내리면 붙어 있는 두 줄이 한 덩어리로 엉긴다. 자리마다 기준을 달리 두면 이 줄다리기가 꽤 풀린다.

글자 단위 연결

CRAFT는 다른 길을 간다. 줄을 통째로 찾는 대신 글자 하나하나의 중심과 글자 사이의 이음새를 각각 예측한 뒤, 이음새로 이어진 글자들을 묶어 줄을 만든다. 글자 단위로 붙여 나가므로 휘어진 줄이 곡선을 그려도 그대로 따라가고, 원형 도장의 둥근 글씨처럼 덩어리로 보기 어려운 배치에 강하다. 대신 글자 사이가 넓게 벌어진 제목이나 자간을 크게 준 디자인 글씨에서는 이음새를 놓쳐 한 줄이 여러 조각으로 갈리기 쉽다.

줄 묶기

검출 단계에서 실무적으로 가장 시간을 먹는 것은 줄을 어떻게 묶느냐다. 같은 문장이 두 줄로 나뉘어 검출되면 인식은 문장을 반으로 잘라 읽고, 뒤의 후처리는 "주소" 필드에서 앞 절반만 받는다. 반대로 표의 인접한 두 칸이 한 줄로 묶이면 품목 이름과 금액이 한 문자열로 붙어 나온다. 두 오류는 서로 반대 방향이라, 한쪽을 줄이려고 병합을 느슨하게 하면 다른 쪽이 늘어난다.

그래서 이 부분은 모델을 바꾸는 것보다 임계값과 병합 규칙을 데이터에 맞추는 일이 대부분이다. 영수증은 가로 간격이 좁아도 다른 칸일 때가 많고, 계약서 본문은 줄 간격이 넓어도 한 문단이다. 우리 문서 수십 장을 직접 띄워 놓고 갈림과 엉김을 세어 보면서 값을 조정하는 것이 가장 빠르다.

문자 인식

CTC

잘라 낸 한 줄 이미지에서 문자열을 만들 때의 어려움은, 글자가 몇 개인지 미리 모른다는 것이다. 이미지 가로 폭은 정해져 있지만 거기 글자가 세 개일 수도 열두 개일 수도 있다.

오랫동안 표준이었던 해법이 CTC(connectionist temporal classification)다. 이미지를 세로로 잘게 썰어 조각마다 문자를 하나씩 예측하게 하되, 아무 글자도 아니라는 뜻의 빈칸 기호를 하나 더 둔다. 그다음 두 규칙으로 줄인다 — 같은 기호가 연속으로 나오면 하나로 합치고, 그 뒤에 빈칸을 지운다. 조각 여섯의 예측 서서__울울이 합치기에서 서_울이 되고, 빈칸을 지워 서울로 정리되는 식이다. 빈칸이 있어야 같은 글자가 진짜로 두 번 오는 경우를 남길 수 있다 — 다_다는 다다가 되지만 빈칸 없는 다다는 다 하나로 합쳐진다.

CTC가 조각별 예측을 합치고 빈칸을 지워 문자열로 줄이는 세 걸음

이 방식의 큰 이점은 학습 라벨이 단순하다는 것이다. "몇 번째 조각이 어느 글자인가"라는 정렬 정보를 사람이 달 필요 없이 이미지와 정답 문자열만 있으면 된다. 학습 과정이 가능한 정렬을 전부 더해 정답 문자열의 확률을 높이기 때문이다. 수십만 줄의 학습 데이터를 만드는 비용이 이 차이로 크게 갈린다.

인코더-디코더

지금은 여기에 인코더-디코더 방식이 더해졌다. 인코더가 이미지를 특징의 나열로 바꾸고, 디코더가 그 특징을 보며 문자를 하나씩 이어 쓴다. TrOCR처럼 Vision Transformer로 인코딩하고 언어 모델 디코더로 문자열을 뽑는 구조가 대표적이다. 디코더는 앞서 쓴 글자를 보고 다음 글자를 고르므로 언어 지식이 들어가고, 획이 반쯤 지워진 글자를 문맥으로 메운다. "대한민_"의 마지막 글자가 흐려도 "국"이라고 읽어 낸다.

속도도 다르다. CTC는 조각 전부를 한 번에 예측하고 규칙으로 줄이므로 한 줄을 읽는 데 모델을 한 번만 돌린다. 디코더는 글자를 하나 쓸 때마다 모델을 다시 돌리므로, 서른 글자짜리 줄이면 서른 번이다. 영수증 한 장에 줄이 마흔 개라면 이 차이가 장당 처리 시간으로 그대로 쌓인다. 같은 양식 수만 장을 밤새 돌리는 일이면 정확도 몇 %보다 이 배수가 먼저 결정을 정하기도 한다.

문맥 보정의 위험

다만 이 이점이 그대로 약점이기도 하다. 문맥으로 메운다는 것은 안 보이는 글자를 그럴듯하게 지어낼 수 있다는 뜻이다. 계좌번호나 일련번호, 제품 코드처럼 앞 글자가 다음 글자에 대해 아무것도 알려 주지 않는 필드에서는 언어 지식이 도움이 안 되고, 오히려 자주 나오는 숫자열 쪽으로 끌려간다.

CTC 계열은 조각마다 따로 예측하므로 안 보이면 안 보이는 대로 틀린다. 틀린 자리의 확률이 낮게 나와 걸러 내기도 쉽다. 그래서 "더 똑똑한 모델이 언제나 낫다"가 아니라, 문장처럼 문맥이 있는 텍스트에는 디코더가, 문맥이 없는 코드값에는 CTC가 더 정직하다는 식으로 필드마다 갈린다.

한글 인식

출력 클래스

한글 OCR에는 다른 언어에 없는 어려움이 몇 가지 있다. 첫째는 글자 종류다. 현대 한글로 조합할 수 있는 음절은 11,172자이고, 실제로 쓰이는 것만 추려도 2,500자 안팎이다. 인식기가 조각마다 고르는 후보, 곧 출력 클래스가 알파벳 26자에 비하면 두 자릿수 배로 많다.

클래스가 많으면 클래스마다 보여 줄 예시도 그만큼 필요하다. 영문 인식기는 "e"를 수백만 번 보지만, 한글 인식기는 "쀍" 같은 드문 음절을 거의 못 본다. 자주 쓰는 2,500자 밖의 글자는 학습 데이터에서 희귀해, 이름이나 상호처럼 드문 음절이 몰리는 필드에서 오류가 집중된다.

이 빈자리를 메우는 흔한 방법이 합성 데이터다. 폰트 수십 종으로 드문 음절을 찍어 배경·기울기·흐림을 섞어 학습 줄을 만들면, 실제 사진을 모으지 않고도 클래스마다 예시를 고르게 채울 수 있다. 다만 합성 글자는 인쇄체라서 손글씨나 바랜 감열지의 획과는 모양이 다르다. 합성으로 글자 종류를 넓히고, 실제 문서 몇천 줄로 그 위를 다듬는 순서가 보통이다.

받침과 해상도

한글은 모아쓰기라서 부분이 비슷한 글자가 많다. 왼과 외, 밝과 밖, 쁘와 쁨처럼 획 하나로 갈리는 쌍이 흔하다. 해상도가 조금만 떨어지면 받침의 작은 획이 먼저 사라진다.

이 때문에 한글은 다른 언어보다 입력 해상도에 민감하다. 경험적으로 줄 높이가 20픽셀 아래로 내려가면 정확도가 급격히 떨어지는데, 한 음절 안에 초성·중성·종성이 세로로 쌓여 종성 하나에 돌아가는 픽셀이 몇 줄뿐이기 때문이다. 휴대폰으로 멀리서 찍은 영수증이 잘 안 읽히면 모델보다 먼저 촬영 거리나 잘라 낸 뒤의 확대 배율을 볼 일이다.

문자 체계 혼동

주소 한 줄에 서울특별시 강남구 테헤란로 137, 5F처럼 한글·숫자·영문 세 문자 체계가 섞이는 것이 보통이다. 글자 폭도 서로 달라, 한글 한 음절이 차지하는 폭에 숫자가 두 개 들어가기도 한다. 여기서 특히 자주 나는 오류가 숫자와 알파벳의 혼동이다 — 0과 O, 1과 l, 5와 S. 모양이 거의 같고, 어느 쪽이 맞는지는 글자 자체가 아니라 그 자리의 쓰임이 정한다.

후처리 규칙

그래서 이 혼동은 모델로 푸는 것보다 후처리로 푸는 것이 확실하다. 후처리는 인식이 낸 문자열을 그 필드의 성격에 맞춰 고치거나 걸러 내는 규칙 단계다. 그 필드가 숫자만 들어가는 자리라면 인식 결과의 O를 0으로 바꾸는 규칙 한 줄이 모델 교체보다 낫다. 날짜 필드는 달이 13을 넘을 수 없고, 금액 필드는 품목 합과 합계가 맞아야 한다.

사업자등록번호처럼 검증 규칙이 있는 값은 체크섬으로 걸러 낼 수도 있다. 체크섬은 번호의 앞자리들로 계산한 값이 마지막 자리와 맞는지 보는 검산으로, 한 자리만 잘못 읽어도 대개 맞지 않게 된다. 틀린 값을 고쳐 주지는 못해도 "이 값은 사람이 봐야 한다"고 정확히 짚어 준다.

VLM 추출

지시 기반 추출

VLM(시각-언어 모델)은 이미지와 글을 함께 입력으로 받아 글로 답하는 모델이다. 이 모델이 좋아지면서 흐름이 하나 더 생겼다. 검출도 인식도 후처리도 따로 두지 않고 이미지와 지시를 함께 넣고 결과를 바로 받는 것이다.

이 영수증 이미지에서 다음을 JSON으로 뽑아 주세요.
{ "상호": ..., "사업자번호": ..., "합계금액": 정수, "품목": [{"이름":..., "금액": 정수}] }
읽을 수 없는 항목은 null로 두고, 추측하지 마세요.

파이프라인이 통째로 사라지므로 붙이는 비용이 압도적으로 싸다. 그리고 "글자를 다 뽑는 일"이 아니라 "필요한 값을 뽑는 일"을 바로 시킬 수 있다 — 앞의 문서 이해에서 다룬 그 차이다. 단계형에서는 줄 묶기와 필드 매핑 규칙을 양식마다 짜야 했는데, 여기서는 양식이 바뀌어도 지시문 한 줄만 고치면 된다. 세로쓰기, 회전된 글자, 표 구조 같은 것도 모델이 알아서 다룬다.

좌표와 신뢰도

대신 잃는 것이 둘이다.

첫째, 좌표가 안 남는다. 값이 문서의 어디에서 왔는지 모르니 사람이 검수할 화면, 곧 원본 이미지 위에 뽑은 값의 자리를 상자로 그려 주는 화면을 만들 수 없다. 틀렸을 때 어디를 봐야 하는지도 모르고, 감사에서 "이 금액은 문서의 어디에 적혀 있었나"를 물으면 답할 근거가 없다. 좌표를 같이 달라고 지시할 수는 있지만, 모델이 내는 좌표는 글자보다 훨씬 덜 정확해서 그대로 믿기 어렵다.

둘째, 조용히 지어낸다. 안 보이는 글자를 그럴듯한 것으로 채우는 것이 언어 모델의 기본 성질이고, 앞의 인코더-디코더보다 언어 지식이 훨씬 크니 그 힘도 크다. 흐릿한 137을 자신 있게 137이라고 답하는데 실제로는 187인 경우가 생기고, 글자마다의 확률값이 없으니 걸러 낼 방법도 마땅치 않다. 지시문의 "추측하지 마세요"는 도움이 되지만 보장은 아니다.

겹쳐 쓰는 구성

실무에서 가장 자주 보는 구성은 둘 중 하나를 고르는 게 아니라 겹쳐 쓰는 것이다. 검출기로 글자 영역과 좌표를 먼저 잡고, 그 조각들만 VLM에 넘겨 값을 뽑는다. 좌표는 검출기에서 얻고 읽기 정확도와 구조 이해는 VLM에서 얻으니 검수 화면도 만들 수 있다. 같은 조각을 단계형 인식기로도 읽어 두 결과가 다르면 그 필드만 사람에게 보내는 식으로, 확률값이 없는 VLM의 빈자리를 두 판독의 일치 여부로 메우기도 한다.

고르는 기준을 정리하면 이렇다.

필요한 것 맞는 방식
값이 문서의 어디에서 왔는지 (검수·감사) 단계형 (검출 좌표가 남는다)
글자 단위 신뢰도 점수 단계형 (인식 확률이 나온다)
표·다단·세로쓰기 같은 복잡한 배치 VLM
형식 있는 값을 바로 JSON으로 VLM
같은 양식 수만 장을 값싸게 단계형 (호출 비용이 훨씬 싸다)
양식이 매번 다른 소량 문서 VLM
둘 다 검출로 좌표 → 조각만 VLM

평가

CER

OCR의 표준 지표는 CER(character error rate, 문자 오류율)이다. 인식 결과를 정답 문자열로 바꾸는 데 필요한 편집 연산 — 다른 글자로 바꾸는 치환, 빠진 글자를 넣는 삽입, 남는 글자를 빼는 삭제 — 의 최소 개수를 정답 길이로 나눈다.

CER=S+I+DN\text{CER} = \frac{S + I + D}{N}

0에 가까울수록 좋고, 값이 연속적이라 후보 모델 셋을 같은 데이터에 돌려 어느 쪽이 나은지 비교할 때 편하다. 한 글자 차이도 숫자에 드러나므로 작은 개선이 보인다.

필드 완전 일치율

문제는 CER이 필드 단위 쓸모와 어긋난다는 것이다. 필드 완전 일치율은 주소·금액 같은 필드 하나를 단위로, 한 글자도 틀리지 않고 통째로 맞은 비율이다.

한 글자가 틀렸을 때 CER과 필드 완전 일치율이 갈리는 모습

주소 한 줄 16글자에서 번지수 한 글자가 틀리면 CER은 6.3%로 매우 좋아 보이지만 필드 완전 일치는 0이고, 그 주소는 못 쓴다. 계좌번호도, 금액도, 사업자등록번호도 마찬가지다. 한 글자가 곧 값인 필드에서는 부분 점수가 의미가 없다.

그래서 실무 평가는 둘을 함께 본다. CER은 모델을 고를 때 쓰고, 필드 완전 일치율은 자동화 비율을 정할 때 쓴다. 이 값이 92%라면 대략 열두 건 중 한 건은 사람이 손을 대야 한다는 뜻이고, 그게 실제로 아낄 수 있는 인건비의 상한이다. 필드마다 따로 재는 것도 중요하다 — 상호명은 98%인데 금액이 85%라면 평균 91%는 아무것도 말해 주지 않는다.

자동 통과선

여기에 하나 더 붙이면 좋은 것이 신뢰도와 실제 정확도의 대응이다. 단계형 파이프라인은 인식 확률이 나오므로, 검수용 데이터 수백 건을 확률 구간별로 나눠 각 구간의 실제 필드 일치율을 잰다. 그러면 "확률 0.95 이상은 자동 통과, 그 아래는 검수"라는 선을 근거를 갖고 그을 수 있다. 이 선이 자동 통과선이다.

인식 확률 구간마다 실제 정확도를 재어 자동 통과선을 긋는 모습

선을 올리면 자동으로 넘어가는 건의 정확도는 오르지만 사람에게 가는 건이 늘고, 내리면 반대다. 그래서 선은 "넘어간 건 중 틀린 것을 몇 %까지 받아들일 수 있나"라는 업무 쪽 숫자로 정한다. 모델의 확률은 그대로 믿을 수 있는 값이 아니어서 0.95라고 실제로 95%가 맞는다는 보장이 없다는 점도, 구간별로 직접 재야 하는 까닭이다. VLM 쪽에서 이걸 흉내 내려면 같은 이미지를 두세 번 물어 답이 일치하는지 보는 방법이 있는데, 호출이 두세 배 드는 만큼 값이 중요한 필드에만 쓴다.

정리

  • OCR은 글자를 찾는 일과 읽는 일 두 문제이고, 오래 그렇게 나뉘어 풀렸다
  • 검출은 글자가 사각형에 안 담기므로 다각형을 낸다. 실무의 대부분은 줄 묶기 규칙 조정이다
  • 인식은 글자 수를 모른다는 문제를 CTC로 풀었고, 지금은 언어 모델 디코더가 문맥을 메운다 — 그 이점이 곧 지어내기 위험이다
  • 한글은 글자 종류가 많고 받침 하나로 갈리므로 해상도에 특히 민감하다. 문자 체계 혼동은 후처리 규칙과 체크섬이 확실하다
  • VLM은 파이프라인을 통째로 지우지만 좌표와 신뢰도를 함께 지운다
  • 실무 구성은 겹쳐 쓰는 것이다 — 검출로 좌표를 잡고 그 조각만 VLM에 넘긴다
  • CER은 모델을 고를 때, 필드 완전 일치율은 자동화 비율을 정할 때 쓴다. 자동 통과선은 확률 구간별 실제 정확도로 긋는다

읽어주셔서 감사합니다. 😊

LATEST

비전·음성·추천의 최신 글

비전·음성·추천2026.09.07

오프라인 강화학습 — 쌓인 로그만으로 정책을 배우기

실제 서비스에서 탐색은 곧 사용자에게 나쁜 행동을 해 보는 일입니다. 이미 쌓인 로그만으로 정책을 배우려 할 때 왜 Q값이 혼자 부풀어 오르는지, 그 부풀음을 누르는 세 갈래 대응, 행동 복제라는 기준선의 무게, 그리고 배포 전에 성능을 재는 일이 왜 가장 어려운지를 정리합니다.

30 MIN
비전·음성·추천2026.09.07

다국어 전이 — 라벨 없는 언어에서 모델이 동작하는 이유

영어 라벨만으로 학습한 분류기가 한국어 문장을 그대로 처리하는 일이 실제로 일어납니다. 여러 언어가 한 표현 공간에 겹쳐 놓이는 원리, 그 겹침이 무너지는 조건, 번역해서 학습할지 번역해서 추론할지 고르는 기준, 그리고 언어별로 나눠 재야 하는 이유를 정리합니다.

29 MIN
비전·음성·추천2026.09.07

정보 추출 — 글 한 덩이를 표 한 줄로 바꾸는 일

계약서와 이메일을 데이터베이스에 넣으려면 글에서 값을 뽑아 칸에 채워야 합니다. 개체명·관계·사건의 세 층위, 값을 정규화하는 일이 왜 절반인지, 근거 위치를 함께 남겨야 하는 이유, 규칙·전용 모델·언어 모델의 갈림길, 그리고 필드별로 재는 평가법을 정리합니다.

31 MIN