비전·음성·추천

DOMAIN / 41번째 글

차트와 표 읽기 — 그림 속 숫자를 값으로 되돌린다

차트 이미지와 복잡한 표에서 값을 뽑아낼 때 무엇이 왜 틀리는지 정리합니다. 축과 범례를 읽는 문제, 계층 머리를 가진 표가 한 줄로 펴질 때 생기는 손실, 그림에 바로 묻기와 값으로 되돌리기의 갈림, 그리고 상대 오차로 재는 평가입니다.

PALDYN Team29 MIN READ

지난 글에서 문서 하나에서 정해진 값을 뽑는 이야기를 했다. 거기서 "표에서 대부분의 시간이 간다"고 적고 넘어갔는데, 실제로 리포트 자동화를 붙여 보면 막히는 자리가 거의 늘 두 곳이다. 차트로 그려진 숫자와 머리가 여러 층인 표다.

둘은 겉보기에 다르지만 같은 문제를 공유한다. 원래 데이터가 있었고, 사람이 보기 좋게 배치하는 과정에서 그 데이터가 위치 정보 속으로 녹아들어 갔다. 막대의 높이, 셀이 놓인 행과 열, 병합된 머리 칸. 값을 되찾으려면 이 배치를 거꾸로 풀어야 한다. 이 글은 그 거꾸로 푸는 일이 어디서 틀어지는지, 그리고 그 틀어짐을 모델을 바꾸지 않고 줄이는 방법을 차례로 본다.

배치 속 데이터

픽셀에서 값으로

막대그래프 하나를 만들 때 무슨 일이 일어났는지 생각해 보자. {"Q1": 62, "Q2": 88, "Q3": 104, "Q4": 141} 이라는 표가 있었고, 렌더러가 이걸 픽셀 높이로 바꿨다. 62는 69픽셀이 되었고, 축에는 0과 150 두 눈금만 붙었다. 렌더러 입장에서는 값 하나를 곱셈 한 번으로 높이로 바꾼 것뿐이지만, 그 곱셈의 계수는 그림 어디에도 적혀 있지 않다. 남은 것은 눈금 글자와 막대의 위치다.

모델이 이 그림에서 62를 되찾으려면 세 단계를 거쳐야 한다. 먼저 축의 눈금 두 개를 읽어 픽셀과 값 사이의 비례 관계를 세운다. 0이 세로 400픽셀 자리에, 150이 233픽셀 자리에 있으면 167픽셀이 150에 해당한다. 다음으로 막대의 밑변과 윗변 위치를 재서 높이 69픽셀을 얻는다. 마지막으로 69를 167로 나누고 150을 곱한다. 답은 61.98이고, 반올림하면 62다.

픽셀 높이를 값으로 되돌리는 세 단계 — 눈금 둘로 비례를 세우고, 막대 높이를 재고, 비례로 되돌린다

사람이 눈대중으로 하는 일이 바로 이것이지만, 사람도 정확히는 못 한다. 세 단계 하나하나에 오차가 끼어든다. 눈금 글자를 잘못 읽으면 계수가 통째로 틀리고, 막대 윗변을 몇 픽셀 잘못 짚으면 값이 몇 단위씩 흔들린다. 위 예에서 윗변을 4픽셀만 높게 잡아도 높이가 73픽셀이 되어 값은 65.6이 된다. 비전 모델은 이 계산을 명시적으로 하지 않고 이미지 전체를 보고 한 번에 숫자를 내놓으므로, 어느 단계에서 틀렸는지도 겉으로 드러나지 않는다.

원본 찾기

그래서 실무에서 가장 먼저 물어야 하는 것은 모델이 아니라 데이터다. 그림을 만든 원본이 어디엔가 남아 있지 않은가. 사내 대시보드라면 그 뒤에 쿼리가 있다. 보고서 PPT라면 차트 개체 안에 원본 표가 들어 있어서, python-pptx로 chart.plots[0].categories와 각 계열의 series.values를 그대로 꺼낼 수 있다. 논문이라면 부록이나 보충 자료에 표가 있을 때가 많고, 웹 페이지의 차트라면 그림을 그리는 스크립트가 받아 온 JSON이 네트워크 요청에 남아 있기도 하다.

원본이 파일 안에 숨어 있는 경우도 있다. PDF로 내보낸 보고서의 차트가 이미지가 아니라 벡터로 그려져 있으면, 막대는 사각형 도형으로, 눈금 숫자는 글자로 페이지 안에 그대로 남는다. 이때는 그림을 픽셀로 바꿔 모델에 넣을 것이 아니라 PDF에서 도형의 좌표와 글자를 꺼내, 앞에서 본 세 단계를 코드로 계산하면 된다. 막대 윗변의 위치를 어림할 필요 없이 좌표 그대로 읽으므로 오차가 거의 없다. 같은 PDF라도 차트가 스크린샷으로 붙어 있으면 이 길은 막힌다.

이 확인에 드는 시간은 몇 분이고, 얻는 것은 오차 0인 값이다. 그림을 읽는 것은 원본을 도저히 구할 수 없을 때의 마지막 수단이다. 스캔된 옛 보고서, 외부에서 받은 PDF 캡처, 화면을 찍은 사진처럼 원본과의 연결이 정말로 끊긴 자리에서만 아래의 이야기가 필요해진다.

차트 오류 유형

눈금 사이 어림

값이 틀리는 방식은 무작위가 아니다. 몇 가지로 모이고, 가장 흔한 것이 눈금 사이 어림이다. 축 눈금이 0과 150뿐이면 62인지 65인지 가를 근거가 막대의 위치밖에 없고, 그 위치는 위에서 본 것처럼 몇 픽셀만 흔들려도 값이 바뀐다. 눈금이 25 간격으로 촘촘하면 62는 50과 75 사이의 절반 아래라는 식으로 범위가 좁혀지고, 막대 위에 값 라벨이 붙어 있으면 아예 그 글자를 읽으면 된다. 이 경우 문제는 그림 읽기가 아니라 글자 인식이 되고, 정확도는 확 올라간다.

누적과 그룹

두 번째는 차트 종류를 잘못 아는 것이다. 누적 막대에서 두 번째 구간의 값은 막대 전체 높이가 아니라 구간의 두께다. 아래 구간이 40이고 위 구간 윗변이 100 자리에 있으면 위 구간의 값은 60이지 100이 아니다. 그룹 막대와 누적 막대는 색 구성이 비슷해 첫눈에 헷갈리고, 여기를 뒤집으면 값이 두 배쯤 틀린다. 꺾은선에서는 범례 대응이 같은 자리를 차지한다. 색이 다섯 개인 꺾은선에서 어느 선이 어느 계열인지는 범례의 색을 선의 색과 맞춰야 아는데, 색이 비슷하거나 선이 교차하면 두 계열의 값이 통째로 뒤바뀐다.

축과 각도

세 번째는 사람도 속는 셋이다. y축이 0에서 시작하지 않는 잘린 축에서는 "두 배 높으니 두 배 큰 값"이 성립하지 않는다. 축이 50에서 시작하면 높이가 두 배인 막대의 값은 두 배보다 훨씬 작다. 60과 70인 두 막대는 축 위로 각각 10과 20만큼 솟으므로 높이는 두 배인데, 값의 차이는 17%뿐이다. 모델이 축의 시작값을 0으로 가정하고 비례를 세우면 두 값을 각각 크게 틀리고, 그 둘로 계산한 증감률은 더 크게 틀린다. 잘린 축은 대개 작은 차이를 눈에 띄게 보이려고 쓰는 것이라, 정확히 그 차이를 묻는 질문에서 가장 크게 어긋난다. 로그 축은 눈금 간격이 같아도 값은 열 배씩 뛰므로, 비례를 직선으로 세우면 전부 틀린다. 파이 차트는 조각의 각도에서 비율을 되찾아야 하는데, 각도 판단은 길이 판단보다 훨씬 부정확하다. 값 라벨이 없는 파이 차트는 거의 못 읽는다고 보는 편이 낫다.

위험 차트 분류

이 목록이 쓸모 있는 이유는 어떤 차트가 위험한지 미리 거를 수 있기 때문이다. 값 라벨이 붙은 단순 막대 차트는 잘 읽힌다. 값 라벨 없는 누적 막대에 로그 축이면 안 읽힌다. 그러니 파이프라인 앞단에서 값을 뽑기 전에 차트 종류, 값 라벨 유무, 축의 시작값과 눈금 종류를 먼저 분류해 둔다. 이 분류는 값 읽기보다 훨씬 쉬운 문제라 모델이 잘 맞히고, 그 결과로 위험한 조합만 사람에게 보내면 사람의 검수 시간이 전체가 아니라 일부에만 든다. 예를 들어 한 달에 차트 2,000장이 들어오고 그중 값 라벨이 붙은 단순 막대·꺾은선이 1,600장이라면, 사람이 볼 것은 나머지 400장으로 줄어든다. 분류가 가끔 틀리는 것은 감수할 만하다. 위험한 차트를 안전하다고 잘못 분류하는 쪽만 막으면 되므로, 애매하면 위험 쪽으로 보내도록 기준을 기울여 둔다.

계층 머리 표

셀 하나의 이름 셋

표는 차트와 문제의 성격이 다르다. 글자는 다 읽히는데 글자끼리의 관계가 사라진다. 머리가 두 층인 표에서 12라는 셀은 "수도권"이자 "2025년"이자 "상반기"다. 행 머리에서 이름 하나, 열 머리의 위층에서 하나, 아래층에서 하나가 붙는다. 사람은 눈으로 위와 왼쪽을 훑어 그 셋을 한 번에 모으지만, 그 모으는 일은 화면 위의 위치 관계에 기대고 있다. 지역이 다섯, 연도가 둘, 반기가 둘이면 셀은 스무 개이고, 스무 개 모두가 이렇게 이름 셋을 위치에서 빌려 온다. 표를 옮기는 일은 결국 이 스무 번의 빌려 오기를 하나도 틀리지 않는 일이다.

계층 머리를 가진 표가 한 줄로 펴질 때 값이 어느 머리에 속하는지 사라진다

자리 번호의 붕괴

이 표를 마크다운이나 CSV로 펴는 순간 머리 두 층이 서로 다른 줄로 갈라진다. 위층의 "2025년"은 병합되어 두 칸을 덮고 있었는데 한 줄로 펴면 첫 칸에만 남고 둘째 칸은 비어 버린다. 그러면 12가 어느 조합에 속했는지는 열의 자리 번호로만 남는다. 모델이 그 자리 번호를 세다가 한 칸만 밀리면 2025년 상반기 값이 2026년 값으로 보고된다. 틀린 값이 그럴듯한 숫자로 나오므로 겉으로는 티가 안 난다.

여기에 병합 셀, 각주 기호가 붙은 머리, 소계 행, 머리에 적힌 단위("단위: 백만 원")가 겹치면 오류가 겹겹이 쌓인다. 소계 행은 합계를 한 번 더 세게 만들고, 각주 기호 ¹은 숫자에 붙어 12를 121로 읽히게 하며, 단위 줄을 놓치면 모든 값이 백만 배 틀린다.

긴 형식

고치는 방법은 단순하다. 자리 번호에 기대지 않는 모양으로 뽑는 것이다. 가장 흔한 것이 셀 하나를 한 줄로 펴고 머리를 전부 이름으로 붙이는 모양이다.

{"rows": [
  {"지역": "수도권", "연도": "2025", "반기": "상", "값": 12},
  {"지역": "수도권", "연도": "2025", "반기": "하", "값": 15},
  {"지역": "수도권", "연도": "2026", "반기": "상", "값": 18}
]}

이 모양을 긴 형식(long format)이라고 한다. 원래 표의 넓은 모양에서는 이름이 위와 왼쪽에 한 번씩만 적히고 셀은 그 이름을 위치로 물려받았다면, 긴 형식에서는 셀마다 제 이름을 직접 들고 다닌다. 같은 이름이 줄마다 되풀이되니 토큰은 셀 수에 비례해 늘어나지만, 줄의 순서가 뒤섞여도 뜻이 안 변한다. 한 줄이 빠지면 그 값 하나만 사라지고 나머지가 밀리지 않는다는 것이 더 큰 이득이다. 검수도 쉬워진다. 사람이 원본 표를 옆에 두고 줄마다 이름 셋과 값 하나를 맞춰 보면 되므로, 넓은 표에서 칸을 세어 가며 확인할 때보다 놓치는 자리가 줄어든다.

HTML 표

다른 하나는 표를 HTML로 뽑아 rowspan과 colspan을 그대로 살리는 방법이다. 병합된 머리가 몇 칸을 덮는지가 속성으로 남으므로 원래 구조가 보존되고, 뒤에서 pandas의 read_html로 받으면 병합 칸을 풀어 다단 머리를 가진 데이터프레임으로 만들어 준다. 긴 형식보다 토큰이 적게 들고 사람이 브라우저로 열어 바로 검수할 수 있다는 장점이 있다. 대신 모델이 colspan 값을 하나 틀리면 그 뒤 열 전체가 밀리므로, 자리 번호 문제를 완전히 없앤 것이 아니라 속성 하나로 옮겨 놓은 것이다. 머리가 단순하면 HTML, 머리가 세 층 이상이거나 병합이 복잡하면 긴 형식을 고르는 편이 안전하다.

바로 묻기와 되돌리기

두 갈래

차트나 표에서 답을 얻는 접근은 둘이고, 갈림이 뚜렷하다. 하나는 이미지와 질문을 함께 넣고 답을 바로 받는 것이고, 다른 하나는 이미지를 먼저 표로 되돌린 뒤 그 표 위에서 코드로 계산하는 것이다.

차트를 읽는 두 갈래 — 그림에 바로 묻기와 값으로 되돌린 뒤 계산하기

그림에 바로 묻기 값으로 되돌린 뒤 계산
하는 일 이미지 + 질문 → 답 이미지 → 표 → 코드로 계산
호출 수 1회 2회 이상
검산 불가능 중간 표를 사람이 볼 수 있다
계산 정확도 모델의 암산에 의존 코드가 하므로 정확
강한 자리 "가장 높은 분기는?" 같은 읽기 질문 합계·증감률·비교
약한 자리 여러 값을 조합하는 계산 표로 못 뽑히는 그림(산점도 등)

고르는 기준

"가장 큰 값은?"처럼 한 번 보고 답하는 질문은 바로 묻는 편이 낫다. 막대 넷 중 가장 긴 것을 고르는 데는 정확한 값이 필요 없고, 길이 비교는 값 읽기보다 훨씬 덜 틀린다. 반대로 값 두 개 이상을 조합하는 질문은 되돌리는 편이 낫다. "4분기가 1분기의 몇 배인가"를 그림에 바로 물으면 모델은 141과 62를 읽는 일과 나누는 일을 한 번에 해야 하고, 둘 중 아무 데서나 틀릴 수 있다. 게다가 답이 2.3배로만 나오면 읽기가 틀렸는지 나누기가 틀렸는지 알 길이 없다.

import json

table = json.loads(model_output)          # {"Q1": 62, ..., "Q4": 141}
ratio = table["Q4"] / table["Q1"]         # 2.274...
delta = (table["Q4"] - table["Q1"]) / table["Q1"] * 100
print(f"{ratio:.2f}배 · {delta:.1f}% 증가")

표로 뽑아 두면 나누기는 코드가 하고, 사람은 중간 표의 네 숫자만 원본 그림과 대조하면 된다. 실무에서 안정적인 구성은 되돌리기를 표준으로 잡고, 산점도나 지도처럼 표로 안 되는 그림에서만 바로 묻는 쪽으로 떨어지는 것이다. 모델에게는 읽는 일만 시키고 세는 일은 시키지 않는다. 이게 차트·표 파이프라인에서 가장 값싸게 정확도를 올리는 방법이다. 호출이 한 번 늘어나는 비용은 검산이 가능해진다는 것 하나로 충분히 갚는다. 되돌린 표는 저장해 두었다가 같은 차트에 다른 질문이 들어오면 다시 쓸 수도 있다. 바로 묻기는 질문마다 이미지를 다시 넣어야 하므로, 한 차트에 질문이 셋만 붙어도 호출 수가 오히려 역전된다.

상대 오차 평가

허용 오차 τ

차트에서 읽은 값은 눈금 사이 어림이 섞여 있으므로 정답과 소수점까지 같기를 요구하면 거의 다 오답이 된다. 위 예에서 62를 61.98로 읽어도, 62.4로 읽어도 정확 일치로는 틀린 것이다. 그래서 이 분야에서 흔히 쓰는 지표는 상대 오차 허용 정확도다. 예측값이 정답의 일정 비율 안에 들면 맞은 것으로 친다.

correct(y^,y)=1 ⁣[∣y^−y∣∣y∣≤τ]\text{correct}(\hat{y}, y) = \mathbb{1}\!\left[\frac{|\hat{y} - y|}{|y|} \le \tau\right]

ChartQA 계열 벤치마크가 쓰는 τ\tau 는 보통 0.050.05, 즉 5%다. 62를 60이라고 답하면 오차 3.2%이므로 맞은 것이고, 55라고 답하면 11.3%이므로 틀린 것이다. 이 임계값은 벤치마크의 관행일 뿐이니 우리 쓰임새에 맞춰 다시 정해야 한다. 대략의 추세만 보는 요약이라면 10%도 넉넉하지만, 금액을 옮겨 적는 일이라면 5%도 못 쓴다. 그런 자리는 애초에 차트를 읽을 게 아니라 원본을 찾아야 한다.

정답이 0일 때

y=0y = 0 인 값이 섞이면 분모가 0이 되어 식이 무너진다. 그대로 두면 코드가 0으로 나누다 멈추거나, 무한대가 나와 늘 오답으로 세진다. 보통은 정답이 0이면 예측도 정확히 0일 때만 맞은 것으로 센다. 정답이 0에 아주 가까운 값일 때도 비슷한 문제가 생긴다. 정답이 0.4인데 0.5로 읽으면 절대 차이는 작아도 상대 오차는 25%가 된다. 이런 값이 많은 데이터라면 축 범위에 대한 절대 오차를 함께 보는 규칙을 미리 정해 두는 편이 낫다.

필드 완전 일치율

표 추출은 지표가 다르다. 셀 단위 정확도와 함께 구조 정확도를 본다. 셀 값은 다 맞았는데 행이 하나 밀렸다면 셀 정확도는 높게 나오지만 표로서는 못 쓴다. 그래서 실무에서는 문서 이해에서 쓴 것과 같은 방식으로, 그 표에서 뽑아야 하는 필드가 전부 맞았는지를 표 하나 단위로 센다. 이것이 필드 완전 일치율이다. 셀 정확도가 98%여도 필드가 스무 개인 표에서 하나씩만 틀리면 완전 일치율은 크게 떨어지고, 사람의 손을 안 거치고 통과시킬 수 있는 표의 비율은 바로 이 값이 상한이다.

질문 설계

해상도

정확도가 안 나올 때 모델을 바꾸기 전에 볼 것이 몇 가지 있다. 첫째가 해상도다. 차트와 표는 잔글씨가 많아 입력 해상도에 특히 민감하다. 대부분의 비전 모델은 긴 변을 정해진 크기로 줄여서 받는데, 그 과정에서 축 눈금 숫자가 뭉개진다. 눈금 "150"이 "160"으로 읽히면 앞에서 본 비례의 계수가 통째로 틀리고 모든 값이 같은 방향으로 어긋난다. 큰 이미지를 타일로 잘라 넣는 방식을 지원하는 모델이라면 그 옵션을 켜고, 아니면 차트 영역만 잘라 확대해서 넣는다. 이것만으로 값 읽기 정확도가 눈에 띄게 올라가는 경우가 흔하다.

질문 쪼개기

"이 그림에서 모든 값을 뽑고 증감률도 계산해 줘"는 실패하기 좋은 요청이다. 한 응답 안에서 읽기와 계산이 섞이면 틀린 답이 나와도 어느 쪽 탓인지 모른다. 값 뽑기와 계산을 나누면 앞의 두 갈래에서 본 되돌리기와 같은 구조가 되고, 어디서 틀렸는지도 보인다. 계열이 여럿인 차트라면 계열마다 따로 묻는 것도 방법이다. 한 번에 스무 개 값을 뽑게 하면 뒤쪽 값일수록 범례 대응이 흐트러지기 쉽다.

축과 범례 먼저

값을 묻기 전에 "y축의 최솟값·최댓값·단위는?"과 "범례의 계열 이름과 색은?"을 먼저 뽑아 두면, 모델이 비례 관계와 계열 대응을 명시적으로 세운 뒤에 값을 읽게 된다. 앞에서 본 세 단계 가운데 첫 단계를 따로 떼어 확인할 수 있게 되는 것이다. 더 큰 이득은 잘린 축과 로그 축을 여기서 걸러 낼 수 있다는 점이다. 최솟값이 0이 아니거나 눈금이 1, 10, 100으로 뛰면 그 차트는 위험 차트로 분류해 다른 경로로 보낸다.

구조 알려 주기

같은 양식의 보고서를 반복해서 처리한다면 열 이름과 단위를 프롬프트에 적어 준다. 월간 보고서의 표가 매달 같은 머리를 갖고 있다면, 모델이 머리 구조를 추측할 필요 없이 값만 채우면 된다. 계층 머리 표에서 가장 흔한 오류였던 자리 번호 밀림이 여기서 대부분 사라진다. 양식이 바뀌었는데 프롬프트가 그대로면 이번에는 틀린 이름에 값을 채우므로, 첫 행의 머리를 읽어 기대한 이름과 같은지 확인하는 검사를 하나 붙여 둔다.

정리

차트와 표는 원본 데이터가 배치 속으로 녹아든 그림이다. 원본을 구할 수 있으면 그림을 읽지 않는 것이 가장 정확한 방법이고, 그림을 읽어야 한다면 무엇이 틀리는지가 정해져 있다는 사실을 이용한다. 차트에서는 눈금 사이 어림, 누적과 그룹의 혼동, 범례 대응, 잘린 축과 로그 축, 파이 차트의 각도가 오류의 대부분이고, 그중 위험한 조합을 앞단에서 분류해 사람에게 보낸다.

표는 글자가 아니라 글자 사이의 관계를 잃는다. 머리를 이름으로 붙인 긴 형식이나 rowspan을 살린 HTML로 뽑으면 자리 번호에 덜 기댄다. 값 두 개 이상을 조합하는 질문은 표로 되돌린 뒤 코드로 계산하고, 모델에게는 읽는 일만 시킨다. 평가는 상대 오차 허용이 기본이되 임계값은 쓰임새에 맞춰 다시 정하고, 표는 필드 완전 일치율을 함께 본다. 모델을 바꾸기 전에 해상도, 질문 쪼개기, 축·범례 먼저 묻기, 구조 알려 주기를 먼저 시도한다.

여기까지는 그림 한 장이었다. 영상은 그림이 수만 장 이어진 것인데, 그 앞에서 부딪히는 문제는 한 장을 얼마나 정확히 읽느냐가 아니라 수만 장 가운데 어느 몇 장을 모델에 넣느냐다. 다음 글에서 그 이야기를 한다.


읽어주셔서 감사합니다. 😊

LATEST

비전·음성·추천의 최신 글

비전·음성·추천2026.09.07

오프라인 강화학습 — 쌓인 로그만으로 정책을 배우기

실제 서비스에서 탐색은 곧 사용자에게 나쁜 행동을 해 보는 일입니다. 이미 쌓인 로그만으로 정책을 배우려 할 때 왜 Q값이 혼자 부풀어 오르는지, 그 부풀음을 누르는 세 갈래 대응, 행동 복제라는 기준선의 무게, 그리고 배포 전에 성능을 재는 일이 왜 가장 어려운지를 정리합니다.

30 MIN
비전·음성·추천2026.09.07

다국어 전이 — 라벨 없는 언어에서 모델이 동작하는 이유

영어 라벨만으로 학습한 분류기가 한국어 문장을 그대로 처리하는 일이 실제로 일어납니다. 여러 언어가 한 표현 공간에 겹쳐 놓이는 원리, 그 겹침이 무너지는 조건, 번역해서 학습할지 번역해서 추론할지 고르는 기준, 그리고 언어별로 나눠 재야 하는 이유를 정리합니다.

29 MIN
비전·음성·추천2026.09.07

정보 추출 — 글 한 덩이를 표 한 줄로 바꾸는 일

계약서와 이메일을 데이터베이스에 넣으려면 글에서 값을 뽑아 칸에 채워야 합니다. 개체명·관계·사건의 세 층위, 값을 정규화하는 일이 왜 절반인지, 근거 위치를 함께 남겨야 하는 이유, 규칙·전용 모델·언어 모델의 갈림길, 그리고 필드별로 재는 평가법을 정리합니다.

31 MIN