비전·음성·추천

DOMAIN / 27번째 글

멀티모달 AI 평가: MMBench·MMMU·VQA 벤치마크 완전 해설

VQA·MMBench·MMMU·MMStar 등 멀티모달 평가 벤치마크 구조, LLM-as-Judge 방식, 멀티모달 환각 평가 POPE·HallusionBench, Python 평가 코드까지 완전 해설합니다.

PALDYN Team30 MIN READ

지난 글에서는 CLIP, BLIP-2, LLaVA 같은 비전-언어 모델의 구조와 학습 방식을 살펴봤습니다. 이제 자연스럽게 다음 질문이 떠오릅니다. "이 모델들이 실제로 얼마나 잘하는지 어떻게 알 수 있을까?" 이미지 설명이 그럴듯하게 들린다고 해서 모델이 진짜로 이미지를 '이해'하고 있다는 보장은 없습니다. 이미지를 거의 보지 않고 질문 문장만으로 그럴듯한 답을 만드는 경우도 흔합니다. 멀티모달 평가는 이런 함정을 걸러 내고, 모델이 그림에서 실제로 무엇을 읽어 내는지를 재는 방법입니다.

이 글은 벤치마크 이름을 외우는 것보다 점수 하나를 어떻게 읽을 것인가에 무게를 둡니다. 어떤 벤치마크가 무엇을 재는지, 점수를 매기는 방식이 결과를 어떻게 바꾸는지, 환각은 어떻게 세는지, 그리고 리더보드 숫자가 우리 데이터에서의 성능과 왜 갈리는지를 차례로 봅니다. 마지막에는 자기 문제에 맞는 평가셋을 만드는 순서로 마무리합니다.

멀티모달 평가의 어려움

텍스트 전용 LLM 평가는 비교적 단순합니다. 정답이 있는 문제라면 정확도를 재면 되고, 생성 품질은 BLEU·ROUGE 같은 자동 지표나 사람의 평가로 잴 수 있습니다. 멀티모달 모델에는 여기에 두 가지 어려움이 더 붙고, 그 둘을 다루는 점검 하나가 따라옵니다.

정답의 두 유형

"이 그래프에서 2023년 값은?" 같은 질문은 정답이 하나입니다. 반면 "이 이미지를 설명하세요" 같은 개방형 질문은 정답이 여럿이고, 같은 장면을 놓고도 무엇을 먼저 말할지가 사람마다 다릅니다. 앞쪽은 문자열을 맞춰 보면 채점이 끝나지만 뒤쪽은 그렇게 할 수 없습니다. 그래서 좋은 벤치마크는 두 유형을 섞어 담되 채점 방식을 따로 설계합니다 — 정답이 하나인 문항은 정확도로, 여럿인 문항은 사람이나 심판 모델의 채점으로 잽니다. 두 유형을 한 숫자로 평균 내면 어느 쪽이 약한지가 묻힙니다.

언어 편향

"사과는 무슨 색입니까?"라는 질문은 이미지 없이도 "빨간색"이라고 답할 수 있습니다. 이렇게 그림이 아니라 질문 문장과 세상 상식만으로 답을 맞히는 경향을 언어 편향(language bias)이라 부릅니다. 초기 VQA 데이터셋이 이 편향을 충분히 걸러 내지 못해, 이미지를 거의 보지 않고도 높은 점수를 받는 모델이 나왔습니다. 「몇 개입니까」에 「2」, 「무슨 운동입니까」에 「테니스」라고만 답해도 상당 부분이 맞았던 것입니다.

막는 방법은 둘입니다. 하나는 반례 쌍(counter-example pair)으로, 같은 질문에 답이 다른 이미지 두 장을 짝지어 넣는 것입니다. 「사과는 무슨 색입니까」를 빨간 사과와 초록 사과에 함께 물으면 상식만으로는 둘 중 하나를 반드시 틀립니다. 다른 하나는 답의 분포를 고르게 맞추는 것이라, 「예」가 70%인 질문 묶음이면 「예」만 외쳐도 70점이 나오는 구멍을 막습니다.

텍스트만 준 점수

벤치마크를 만든 쪽이 편향을 걸렀다고 해서 우리 데이터도 깨끗하다는 보장은 없습니다. 가장 싸고 확실한 점검은 이미지를 빼고 질문만 넣은 점수를 함께 재는 것입니다. 같은 모델에 같은 문항을 이미지와 함께, 그리고 이미지 없이 각각 풀게 하면 두 점수의 차이가 곧 시각 능력이 실제로 보탠 몫입니다.

같은 문항을 이미지와 함께, 질문만으로, 무작위로 풀었을 때의 점수와 시각 능력의 몫

예를 들어 보기가 넷인 선택형 셋에서 이미지와 함께 78%, 질문만으로 52%가 나왔다면 무작위로 찍는 25%와의 사이에서 27점은 언어가, 26점은 그림이 만든 것입니다. 78이라는 숫자만 보면 시각 능력이 뛰어난 모델 같지만, 실제로 그림을 읽어서 맞힌 것은 그 3분의 1 정도입니다. 이 차이가 작은 문항은 평가셋에서 빼거나 따로 표시해 둡니다.

인식과 추론 벤치마크

벤치마크는 크게 세 갈래로 묶입니다. 그림에 있는 것을 읽어 내는 인식, 읽은 것에 지식을 얹어 결론을 내는 추론, 그리고 여러 능력을 한꺼번에 재는 종합 벤치마크입니다.

멀티모달 벤치마크 분류

인식 벤치마크

VQA v2는 멀티모달 평가의 표준으로 자리 잡은 데이터셋입니다. COCO 이미지 위에 20만 개 넘는 이미지-질문-답 묶음을 쌓았고, 앞 절의 반례 쌍이 바로 이 데이터셋의 설계 원칙입니다. GQA는 이미지 속 물체와 그 관계를 그래프로 적은 씬 그래프(scene graph)에서 질문을 기계적으로 뽑아, 답의 분포가 더 고르고 「빨간 물체 왼쪽에 있는 것은 무엇인가」 같은 여러 단계의 공간 추론이 들어 있습니다.

TextVQA는 간판·메뉴판·상표처럼 그림 안에 자연스럽게 섞인 글자를 읽어야 답이 나오는 문항으로 이루어져 OCR과 언어 이해를 함께 요구합니다. OCRBench는 한 걸음 더 나아가 수식·표·손글씨·다국어 문서처럼 글자 읽기의 어려운 경우를 모아 둔 것이라, 문서 처리에 VLM을 쓰려 할 때 특히 참고가 됩니다.

추론 벤치마크

MMMU는 대학 수준의 시험 문제를 교재와 시험지에서 모은 벤치마크로, 예술·생물·화학·법·경제 등 서른 개 넘는 세부 분야를 다룹니다. 그림을 읽는 것만으로는 안 되고 그 분야의 지식을 얹어야 풀리므로, 발표 당시 GPT-4V가 56% 안팎에 머물렀을 만큼 어려웠습니다. MathVista는 함수 그래프·기하 도형·통계 차트에서 수학적 결론을 끌어내야 하는 문항을, ScienceQA는 초중고 과학 교과 문제를 해설(rationale)과 함께 담아 추론 과정을 단계별로 볼 수 있게 했습니다.

MMStar는 앞 절의 「텍스트만 준 점수」를 벤치마크 제작에 그대로 쓴 경우입니다. 기존 벤치마크에서 이미지 없이도 풀리는 문항과, 학습 데이터에 섞여 들어가 외워서 풀릴 가능성이 큰 문항을 걸러 내고 1,500문항만 남겼습니다. 점수가 다른 벤치마크보다 낮게 나오는 것은 그만큼 그림을 실제로 봐야 하는 문항만 남았기 때문입니다.

종합 벤치마크

MMBench는 OpenCompass 팀이 만든 선택형 벤치마크로, 물체 위치·속성·관계·세기·글자 인식 등 스무 개 안팎의 세부 능력으로 문항을 나눠 어느 능력이 약한지를 따로 보여 줍니다. SEED-Bench는 1만 9천 개 넘는 선택형 문항에 비디오까지 넣어 시간 순서 이해를 함께 잽니다. 반대로 MM-Vet과 LLaVA-Bench는 개방형 답을 받아 심판 모델이 채점하는 방식이라, 「이 레시피 사진을 보고 재료를 나열하고 칼로리를 어림하라」처럼 OCR·지식·계산이 한 문항에 섞인 과제를 낼 수 있습니다.

벤치마크 고르기

벤치마크를 고르는 기준은 이름값이 아니라 우리 입력과 얼마나 닮았는가입니다. 영수증·계약서를 읽는 서비스라면 OCRBench와 문서 문항이, 대시보드 캡처를 해석하는 서비스라면 차트 문항이, 상품 사진을 분류하는 서비스라면 인식 문항이 가깝습니다. MMMU 점수가 높다고 영수증을 잘 읽는 것은 아닙니다 — 대학 시험 문제를 푸는 능력과 흐릿한 감열지에서 숫자를 읽는 능력은 다른 능력입니다. 종합 벤치마크는 첫 후보를 추리는 데 쓰고, 마지막 결정은 우리 문제에 가장 가까운 한두 벤치마크와 자체 평가셋으로 내립니다.

채점 방식

같은 답이라도 어떻게 채점하느냐에 따라 점수가 달라집니다. 벤치마크 점수를 비교할 때 채점 방식이 같은지부터 보는 것은 그래서입니다.

소프트 정확도

VQA v2는 문항마다 열 명의 사람이 답을 적어 두었고, 모델의 답이 그중 몇 명과 일치하는지로 점수를 줍니다. 세 명 이상과 일치하면 만점이고 그보다 적으면 부분 점수를 받는 이 방식을 소프트 정확도라 부릅니다.

Acc(a)=min⁡(그 답을 적은 사람 수3, 1)\text{Acc}(a) = \min\left(\frac{\text{그 답을 적은 사람 수}}{3},\ 1\right)

「흰색」이라고 답했는데 열 명 중 둘이 「흰색」, 여덟이 「회색」이라고 적었다면 0.67점입니다. 사람끼리도 답이 갈리는 문항에서 모델 하나만 탓하지 않으려는 장치입니다. 다만 표기가 조금만 달라도 일치로 안 치므로, 답을 소문자로 바꾸고 관사·숫자 표기를 맞추는 정규화 단계가 점수에 꽤 큰 영향을 줍니다. 평가 도구마다 정규화 규칙이 다르면 같은 모델의 점수가 몇 점씩 벌어집니다.

선택형 문항

MMBench·SEED-Bench처럼 보기를 주고 고르게 하면 채점이 문자 하나 비교로 끝나 자동화가 쉽습니다. 대신 잃는 것이 있습니다. 모델이 보기 없이 스스로 답을 만들어 내는 능력은 재지 않고, 왜 그 보기를 골랐는지 근거도 남지 않으며, 네 보기 중 셋을 지워 가는 소거법으로 맞힐 수도 있습니다. 실제 서비스에서 모델은 보기 없이 답을 써야 하므로, 선택형 점수가 높은 모델이 개방형 답에서는 덜 정확할 수 있다는 점을 기억해 둡니다.

위치 편향

선택형에는 모델이 내용과 무관하게 특정 자리의 보기, 예컨대 늘 A를 더 자주 고르는 위치 편향이 끼어듭니다. 점검은 간단합니다. 같은 문항의 보기 순서를 돌려 가며 여러 번 풀게 하고, 정답이 어느 자리에 있든 같은 답을 고르는지 봅니다. MMBench가 쓰는 순환 평가(CircularEval)가 이 방식이라, 보기를 한 칸씩 돌린 모든 판에서 맞혀야 그 문항을 맞힌 것으로 칩니다. 이렇게 재면 점수가 눈에 띄게 내려가는 모델이 있고, 그 차이만큼이 운이나 자리 버릇으로 얻은 점수였던 셈입니다.

환각 평가

VLM의 가장 큰 문제 중 하나는 환각(hallucination), 곧 그림에 없는 것을 있다고 말하는 것입니다. 없는 물체를 지어내거나, 있는 물체의 색·개수를 틀리게 말하는 경우가 대표적입니다. 설명문이 길수록 이런 자리가 늘어나므로 따로 재야 합니다.

물체 환각

POPE는 물체 환각을 재는 가장 널리 쓰이는 벤치마크입니다. 이미지를 보여 주고 「이 이미지에 [물체]가 있습니까?」라고 예·아니오로 묻습니다. 개방형 설명문에서 지어낸 물체를 하나하나 찾아내는 것은 어렵지만, 질문을 예·아니오로 바꾸면 이진 분류가 되어 정밀도·재현율로 깔끔하게 셀 수 있습니다.

# POPE 평가 예시 - 예/아니오 이진 분류
def evaluate_pope(model, image, question):
    """
    question: "Is there a [object] in the image?"
    returns: "yes" or "no"
    """
    response = model.generate(image, question)
    answer = response.lower().strip()
    return "yes" if "yes" in answer else "no"

# 정밀도, 재현율, F1 계산
from sklearn.metrics import f1_score, precision_score, recall_score

labels = [1 if a == "yes" else 0 for a in ground_truth]
preds  = [1 if a == "yes" else 0 for a in model_answers]

print(f"F1: {f1_score(labels, preds):.4f}")
print(f"Precision: {precision_score(labels, preds):.4f}")
print(f"Recall: {recall_score(labels, preds):.4f}")

F1과 함께 「예」라고 답한 비율을 꼭 같이 봅니다. 문항은 있는 물체와 없는 물체가 반반이므로 이 비율이 50%에서 크게 벗어나면 모델이 무엇을 묻든 「예」로 기우는 버릇이 있다는 뜻입니다. 이런 모델은 재현율은 높고 정밀도는 낮게 나옵니다.

샘플링 난도

POPE가 「없는 물체」를 고르는 방법은 셋이고, 이 선택이 난도를 정합니다. 무작위로 아무 물체나 고르면 「거실 사진에 기린이 있습니까」처럼 쉽게 아니라고 할 수 있습니다. 데이터 전체에서 자주 나오는 물체를 고르면 조금 어려워지고, 이 이미지에 있는 물체와 함께 자주 나오는 물체를 고르면 가장 어렵습니다. 식탁 사진에 포크가 있으면 나이프도 있으리라 짐작하게 되는데, 모델도 학습 데이터에서 그 짝을 수없이 봤기 때문에 그림을 확인하지 않고 「예」라고 답하기 쉽습니다. 그래서 세 점수를 나란히 놓으면 마지막 것이 가장 낮고, 그 낙폭이 모델이 그림 대신 짝지어 외운 것에 얼마나 기대는지를 보여 줍니다.

시각 착각과 지식 충돌

HallusionBench는 다른 각도에서 환각을 찌릅니다. 뮬러-라이어 착시처럼 사람도 속는 그림을 보여 주거나, 착시 그림을 살짝 고쳐 실제로는 두 선의 길이가 다르게 만든 뒤 「어느 선이 더 깁니까」라고 묻습니다. 유명한 착시를 외운 모델은 그림이 바뀌었는데도 「같다」고 답합니다. 지도·차트를 고쳐 상식과 다른 값을 넣어 두고 묻는 문항도 있습니다. 여기서 재는 것은 그림과 사전 지식이 부딪힐 때 그림을 따르는가입니다. 실무로 옮기면, 지난달 보고서와 숫자가 바뀐 이번 달 차트를 읽을 때 모델이 바뀐 숫자를 읽는지를 묻는 일과 같습니다.

심판 모델

개방형 답은 사람이 채점하는 것이 가장 정확하지만 비쌉니다. 그래서 강한 모델에게 채점을 맡기는 LLM-as-Judge, 곧 심판 모델 방식이 널리 쓰입니다. MM-Vet과 LLaVA-Bench가 이 방식이고, 여러 벤치마크를 한 인터페이스로 돌리는 lmms-eval 같은 도구도 심판 채점을 지원합니다.

VQA 평가 자동화 코드

# lmms-eval 설치 및 실행
pip install lmms-eval

python -m lmms_eval \
    --model llava \
    --model_args pretrained=llava-hf/llava-1.5-7b-hf \
    --tasks mmbench_en,vqav2,pope \
    --batch_size 8 \
    --output_path ./results

심판의 편향

심판도 모델이라 버릇이 있습니다. 내용이 같아도 더 긴 답에 높은 점수를 주는 길이 편향, 목록과 굵은 글씨로 정리된 답을 선호하는 형식 편향, 그리고 자기와 같은 계열 모델의 말투를 좋게 보는 자기 선호가 대표적입니다. 두 답을 나란히 놓고 고르게 하면 먼저 놓인 답을 고르는 위치 편향도 끼어듭니다. 이 편향들은 모델 비교 결과를 통째로 뒤집을 만큼 크게 작용할 수 있어서, 심판 점수는 채점 설정을 함께 적어 두지 않으면 다른 실험과 견줄 수 없습니다.

채점 기준

편향을 줄이는 첫걸음은 채점 기준을 문장으로 적어 심판에게 주는 것입니다. 「1~10점으로 채점하라」 대신 「참조 답의 핵심 사실 셋을 모두 담으면 만점, 하나 빠질 때마다 감점, 그림에 없는 내용을 말하면 0점」처럼 무엇을 보고 몇 점을 주는지 정해 둡니다. 그리고 점수만 받지 말고 근거를 먼저 쓰고 점수를 나중에 쓰게 합니다. 근거가 있으면 이상한 점수가 나왔을 때 사람이 읽고 기준이 잘못됐는지, 심판이 잘못 읽었는지 가를 수 있습니다.

def llm_judge_score(judge_model, question, image, model_answer, reference_answer):
    """기준을 적어 주고 근거 → 점수 순으로 받는다"""
    prompt = f"""질문: {question}
참조 답변: {reference_answer}
모델 답변: {model_answer}

기준: 참조 답변의 핵심 사실을 모두 담으면 10점, 하나 빠질 때마다 3점 감점.
이미지에 없는 내용을 단정하면 0점. 길이와 형식은 점수에 넣지 않는다.
먼저 근거를 두세 문장으로 쓰고, 마지막 줄에 '점수: N'을 쓰세요."""

    response = judge_model.generate(image, prompt)
    return extract_score(response)  # 마지막 줄에서 점수 파싱

사람 평가와의 상관

심판을 쓰기 전에 심판 자체를 한 번 검증합니다. 문항 50~100개를 골라 사람이 같은 기준으로 채점하고, 심판 점수와의 상관을 잽니다. 상관이 낮으면 기준 문장이 모호하거나 심판이 그 일에 맞지 않는 것이니 기준을 고치거나 심판을 바꿉니다. 이 검증은 한 번으로 끝나지 않습니다. 평가 대상 모델이 바뀌어 답의 모양이 달라지면 심판의 버릇이 다르게 작용할 수 있으므로, 큰 변경이 있을 때마다 작은 표본으로 다시 확인합니다.

리더보드와 자체 평가셋

벤치마크 점수는 후보를 추리는 데는 쓸모가 있지만, 그 숫자가 우리 서비스에서의 성능을 그대로 말해 주지는 않습니다. 이 글에 특정 모델의 점수표를 싣지 않은 이유이기도 합니다 — 리더보드는 몇 주 단위로 바뀌고, 같은 모델도 평가 설정에 따라 몇 점씩 달라져서, 숫자 한 줄이 실린 날부터 틀려 갑니다.

데이터 오염

데이터 오염(data contamination)은 벤치마크 문항이 모델의 학습 데이터에 섞여 들어가, 모델이 문제를 푸는 대신 외운 답을 내는 상황입니다. 공개 벤치마크는 인터넷에 올라가 있고 대형 모델은 인터넷을 대량으로 학습하므로 피하기 어렵습니다. 의심할 신호가 몇 가지 있습니다. 보기 없이 문항 앞부분만 줘도 뒷부분이나 정답을 그대로 이어 쓰는 경우, 공개 문항과 비공개 문항의 점수 차가 유난히 큰 경우, 그리고 문항의 숫자나 그림을 살짝 바꾼 변형판에서 점수가 크게 떨어지는 경우입니다.

오염을 완전히 막을 수는 없으므로 대응은 의심하는 쪽에 가깝습니다. 벤치마크가 공개된 지 오래될수록 오염 가능성이 커진다고 보고 최근에 만든 벤치마크나 비공개 문항을 둔 벤치마크에 더 무게를 둡니다. 그리고 우리 평가셋은 인터넷에 올리지 않습니다. 사내 문서로 만든 문항이 외부에 새지 않는 한, 그 셋의 점수만큼은 외운 답이 섞일 수 없는 숫자로 남습니다.

지표마다 갈리는 순위

같은 모델들을 놓고도 지표마다 순위가 뒤집힙니다. 전문 지식이 필요한 추론 벤치마크에서는 대개 큰 상용 모델이 앞서지만, 예·아니오 환각 벤치마크에서는 작은 오픈 모델이 앞서는 일이 흔합니다. 작은 모델이 그림을 더 잘 봐서라기보다, 「예」를 덜 남발하도록 조정된 차이가 그 지표에서 크게 드러나는 경우가 많습니다. 그래서 「어느 모델이 가장 좋은가」라는 질문은 「어떤 지표로」를 붙이지 않으면 답이 정해지지 않습니다. 하나의 종합 점수보다 우리에게 중요한 두세 지표를 따로 보는 편이 결정을 덜 틀리게 합니다.

자체 평가셋

결국 결정은 우리 데이터로 내립니다. 순서는 이렇습니다. 실제 서비스에 들어올 입력 100건을 모아 정답을 적고 시작합니다. 후보 모델로 돌린 뒤 오답을 하나하나 읽어 어떤 종류의 실패인지 — 글자를 못 읽었는지, 표의 칸을 헷갈렸는지, 없는 것을 지어냈는지 — 이름을 붙이고, 많이 나온 실패 종류의 문항을 더 모아 늘립니다. 앞서 본 「텍스트만 준 점수」 점검을 여기서도 돌려, 이미지 없이 풀리는 문항은 걸러 내거나 따로 표시합니다.

회귀 검사와 합격선

만든 셋은 모델을 바꾸거나 프롬프트를 고칠 때마다 다시 돌립니다. 평균 점수가 올랐어도 전에 맞히던 문항을 새로 틀리는 일이 있으므로 문항별 결과를 견주어 회귀, 곧 나빠진 자리를 찾습니다. 합격선은 정확도 숫자가 아니라 업무 단위로 정합니다. 예컨대 「신뢰도가 높은 답의 98%가 맞으면 그 구간은 사람 검수 없이 통과시킨다」로 정하면, 그 구간에 드는 비율이 곧 자동화 비율이 됩니다. 정확도 85%라는 숫자보다 「입력의 60%를 사람 손 없이 처리한다」는 숫자가 모델을 바꿀지 말지를 정하는 데 훨씬 쓸모 있습니다.

정리

멀티모달 평가에서 먼저 볼 것은 숫자가 무엇을 쟀느냐입니다. 이미지를 빼고 질문만 준 점수와 견주면 그림이 실제로 보탠 몫이 드러나고, 채점 방식과 보기 순서를 바꿔 보면 운으로 얻은 점수가 걸러집니다.

벤치마크를 읽는 순서

인식·추론·종합 벤치마크는 각각 다른 능력을 재므로 우리 입력과 닮은 것부터 봅니다. 환각은 POPE의 세 샘플링과 「예」 비율로, 그림과 지식의 충돌은 HallusionBench로 따로 잽니다. 개방형 답을 심판 모델에 맡길 때는 기준을 문장으로 적고, 근거를 먼저 받고, 사람 채점과의 상관으로 심판을 먼저 검증합니다.

결정을 내리는 자리

리더보드는 후보를 추리는 자리이고 결정은 자체 평가셋에서 내립니다. 실제 입력 100건에서 시작해 오답을 읽으며 늘리고, 모델을 바꿀 때마다 같은 셋으로 회귀를 잡고, 합격선을 자동화 비율로 바꿔 적으면 평가가 곧 운영 판단이 됩니다.


읽어주셔서 감사합니다. 😊

LATEST

비전·음성·추천의 최신 글

비전·음성·추천2026.09.07

오프라인 강화학습 — 쌓인 로그만으로 정책을 배우기

실제 서비스에서 탐색은 곧 사용자에게 나쁜 행동을 해 보는 일입니다. 이미 쌓인 로그만으로 정책을 배우려 할 때 왜 Q값이 혼자 부풀어 오르는지, 그 부풀음을 누르는 세 갈래 대응, 행동 복제라는 기준선의 무게, 그리고 배포 전에 성능을 재는 일이 왜 가장 어려운지를 정리합니다.

30 MIN
비전·음성·추천2026.09.07

다국어 전이 — 라벨 없는 언어에서 모델이 동작하는 이유

영어 라벨만으로 학습한 분류기가 한국어 문장을 그대로 처리하는 일이 실제로 일어납니다. 여러 언어가 한 표현 공간에 겹쳐 놓이는 원리, 그 겹침이 무너지는 조건, 번역해서 학습할지 번역해서 추론할지 고르는 기준, 그리고 언어별로 나눠 재야 하는 이유를 정리합니다.

29 MIN
비전·음성·추천2026.09.07

정보 추출 — 글 한 덩이를 표 한 줄로 바꾸는 일

계약서와 이메일을 데이터베이스에 넣으려면 글에서 값을 뽑아 칸에 채워야 합니다. 개체명·관계·사건의 세 층위, 값을 정규화하는 일이 왜 절반인지, 근거 위치를 함께 남겨야 하는 이유, 규칙·전용 모델·언어 모델의 갈림길, 그리고 필드별로 재는 평가법을 정리합니다.

31 MIN