지난 글에서 모든 픽셀에 클래스를 붙이는 시맨틱 분할부터 같은 클래스의 물체까지 개별로 가르는 인스턴스 분할까지, 이미지를 픽셀 단위로 읽어내는 방법을 살펴봤다. 거기서 입력은 이미 (3, H, W) 격자로 가지런히 들어와 있었다. 이번에는 다루는 데이터가 텍스트로 바뀌는데, 텍스트는 그런 격자로 오지 않는다.
실제 텍스트 데이터는 HTML 태그, 특수문자, 오타, 중복 공백, 이모지, 구어체 표현으로 가득하다. 이 잡음을 걷어내고 모델이 다룰 수 있는 단위로 쪼개 가지런히 만드는 과정이 텍스트 전처리(text preprocessing)다. 데이터 일을 하는 사람들이 「시간의 대부분이 전처리에 들어간다」고 말하는 것은 과장이 아니다.
다만 이 글이 강조하고 싶은 것은 「많이 걸수록 좋다」가 아니라는 점이다. 전처리는 정보를 버리는 일이고, 무엇을 버려도 되는지는 그 텍스트로 무엇을 할지가 정한다. 같은 이모지가 어떤 작업에서는 잡음이고 어떤 작업에서는 정답의 절반이다. 그래서 각 단계를 소개할 때마다 그 단계가 무엇을 지우는지, 지워서 손해 보는 자리는 어디인지를 함께 본다.
전처리가 바꾸는 것
어휘 폭발과 희소성
모델은 입력의 패턴을 학습한다. 전처리 없이 학습하면 먼저 어휘가 터진다. "run", "runs", "running", "ran"이 모두 다른 낱말로 처리되고, "The"와 "the"도 따로 센다. 한국어는 더 심하다 — 「먹었다」·「먹는다」·「먹겠다」·「먹었는데」가 전부 다른 어절이다.
이것이 문제가 되는 것은 전통적인 텍스트 모델이 낱말마다 칸을 하나씩 두기 때문이다. 대표가 TF-IDF다. 문서마다 낱말이 몇 번 나왔는지(TF)를 세고, 모든 문서에 흔히 나오는 낱말일수록 무게를 깎아(IDF) 낱말마다 점수를 매긴 벡터를 만든다. 낱말 종류가 20만이면 벡터의 칸도 20만이고, 문서 하나는 그중 몇백 칸만 채운다. 대부분이 0인 이 상태를 희소성(sparsity)이라 한다. 「먹었다」를 본 문서와 「먹는다」를 본 문서는 같은 이야기를 하는데도 겹치는 칸이 없어 서로 닮지 않은 문서로 계산된다. 어휘를 줄이면 이 겹침이 살아나고, 같은 데이터로 더 많은 것을 배운다.
서브워드 시대의 전처리
BERT나 GPT 같은 요즘 언어 모델은 낱말 대신 서브워드(subword) 단위로 텍스트를 자른다. 서브워드는 자주 나오는 글자 조각을 단위로 삼는 방식으로, 「running」을 「run + ning」처럼 쪼개 처음 보는 낱말도 아는 조각으로 덮는다. 이런 모델은 어휘 폭발 문제를 스스로 풀고, 대소문자나 활용형의 차이도 학습으로 흡수한다. 그래서 「요즘은 전처리가 필요 없다」는 말이 나온다.
절반은 맞다. 언어 모델에 넣을 때는 앞 단의 정규화와 불용어 제거를 오히려 줄여야 한다 — 모델은 원문 그대로의 텍스트로 사전학습되었으므로, 우리가 소문자로 바꾸고 조사를 지운 텍스트는 모델이 본 적 없는 낯선 분포가 된다. 하지만 전처리가 남는 자리도 분명하다. 검색 색인은 여전히 낱말 단위로 돌고, 도메인 문서로 모델을 추가 학습할 때는 HTML 찌꺼기와 중복 문서를 걷어 내야 하며, 규칙 기반 필터는 정규화된 텍스트에서만 제대로 걸린다. 정제는 언제나 필요하고, 정규화·불용어·어간은 모델에 따라 고른다.
과한 전처리
전처리를 세게 걸어서 오히려 나빠지는 대표적인 예가 감성 분석이다. 영화 리뷰 「not good at all 😞」에 영어 불용어 목록을 그대로 적용하면 not, at, all이 모두 지워진다 — NLTK의 기본 영어 불용어 목록에 셋 다 들어 있다. 이어 특수문자 정리로 이모지까지 걷으면 남는 것은 「good」 하나이고, 모델은 이것을 긍정으로 판정한다.
느낌표도 같다. 「좋네요」와 「좋네요!!!」, 「좋네요...」는 감성의 세기와 방향이 다르다. 분류 정확도를 올리려고 넣은 단계가 판정에 가장 중요한 단서를 지운 것이다. 그래서 전처리 단계를 하나 넣을 때마다 그 단계를 넣기 전과 후의 검증 점수를 따로 재 보는 것이 원칙이다.
정제
정제(cleaning)는 텍스트의 내용과 무관한 잡음을 걷어내는 첫 단계다. 뒤 단계가 무엇이든 정제는 대개 들어간다.
마크업과 URL
웹에서 긁어 온 데이터나 뉴스 기사에는 HTML 태그가 섞여 있다. 정규식으로 간단히 지울 수 있다.
import re
def remove_html(text):
"""HTML 태그 제거"""
return re.sub(r'<[^>]+>', '', text)
text = "<p>안녕하세요! <b>NLP</b>를 배워봐요.</p>"
print(remove_html(text))
# → "안녕하세요! NLP를 배워봐요."
URL과 이메일 주소는 지울지 자리표시자로 바꿀지를 고른다. 자리표시자는 원래 값 대신 그 종류만 남기는 표시로, https://...를 <URL>로 바꾸는 식이다. 스팸 판별에서는 「링크가 있다」는 사실 자체가 강한 신호이므로 지우지 말고 <URL>로 남긴다. 반대로 주제 분류에서는 주소 문자열이 잡음일 뿐이라 지워도 된다. 개인정보가 섞인 데이터라면 이메일·전화번호를 자리표시자로 바꾸는 것이 정제이자 보호 조치가 된다.
이모지와 반복 표현
특수문자는 작업에 따라 다르게 처리해야 한다. 앞에서 본 대로 감성 분석에서는 이모지와 「ㅋㅋㅋㅋ」가 중요한 신호다. 반면 뉴스 주제 분류에서는 거의 쓸모가 없다.
def clean_special_chars(text, keep_punctuation=False):
"""특수문자 처리"""
if keep_punctuation:
# 한글, 영어, 숫자, 기본 구두점만 유지
return re.sub(r'[^\w\s\.,!?]', ' ', text)
else:
# 한글, 영어, 숫자만 유지
return re.sub(r'[^\w\s]', ' ', text)
def normalize_whitespace(text):
return re.sub(r'\s+', ' ', text).strip()
가르는 기준은 하나다 — 그 기호가 정답과 상관이 있는가. 감성 분석이라면 긍정 리뷰와 부정 리뷰에서 「ㅋㅋ」와 「ㅠㅠ」가 나오는 비율을 세어 보면 바로 답이 나온다. 차이가 크면 남기고, 지우기보다는 <웃음>·<울음> 같은 자리표시자로 묶어 종류를 줄이는 편이 낫다. 「ㅋㅋ」와 「ㅋㅋㅋㅋㅋ」를 한 토큰으로 모으면 희소성도 함께 준다.
중복 제거
웹 데이터에는 같은 문서가 여러 번 들어 있다. 퍼 나른 기사, 같은 공지의 재게시, 템플릿만 다른 상품 설명이 흔하다. 중복은 정제 단계의 맨 앞에서 지운다. 뒤 단계를 거친 뒤에는 원래 다른 문서가 같아 보이거나 같은 문서가 달라 보일 수 있고, 무엇보다 중복이 학습 데이터와 평가 데이터에 나뉘어 들어가면 점수가 부풀려진다 — 모델이 외운 것을 맞힌 것인데 일반화한 것처럼 보인다.
완전히 같은 문서는 해시값으로 쉽게 걸러진다. 어려운 것은 날짜 한 줄이나 광고 문구만 다른 근사 중복이다. 흔한 방법은 문서를 글자 몇 개짜리 조각들의 집합으로 바꾸고, 두 집합이 얼마나 겹치는지를 MinHash 같은 근사 계산으로 빠르게 견주는 것이다. 겹침이 0.8이나 0.9를 넘으면 같은 문서로 보고 하나만 남긴다.
토큰화
토큰화(tokenization)는 텍스트를 분석 단위, 곧 토큰으로 자르는 과정이다. 언어마다 무엇을 단위로 볼지가 달라 방식도 다르다.
영어 토큰화
영어는 공백으로 자르는 것이 출발점이지만 그것만으로는 안 된다. 구두점이 낱말에 붙어 있고("world!"), 축약형은 낱말 둘이 한 덩어리이며("don't"), 약어에는 마침표가 들어 있다("U.S.A.").
import re
def simple_tokenize(text):
"""기본 영어 토큰화"""
text = re.sub(r'([.,!?;:])', r' \1 ', text)
return text.lower().split()
text = "Hello, world! This is NLP."
print(simple_tokenize(text))
# → ['hello', ',', 'world', '!', 'this', 'is', 'nlp', '.']
이 단순한 함수는 "U.S.A."를 마침표마다 잘라 「U」·「S」·「A」로 흩어 놓는다. NLTK의 word_tokenize나 spaCy의 토크나이저는 이런 예외를 규칙으로 들고 있어 "don't"를 "do"와 "n't"로 가르고 약어는 한 덩어리로 둔다. 직접 정규식을 짜기보다 이런 도구를 쓰는 이유가 이 예외 목록에 있다.
한국어 형태소 분석
한국어는 교착어다. 낱말의 뿌리에 조사와 어미가 차례로 붙어 뜻과 문법을 만든다 — 「먹었다」는 「먹-」에 과거를 뜻하는 「-었-」과 끝맺음 「-다」가 붙은 것이다. 띄어쓰기 단위인 어절 하나에 이렇게 여러 의미 단위가 들어 있으므로, 공백으로 자르면 「학교에」·「학교를」·「학교에서」가 전부 다른 토큰이 된다. 게다가 띄어쓰기 오류도 잦아서 「나는밥을먹었다」처럼 붙여 쓴 글이 흔하다.
그래서 한국어는 뜻을 가진 가장 작은 단위인 형태소로 자른다. 이 일을 하는 도구가 형태소 분석기이고, 영어의 어간 추출과 원형 복원에 해당하는 일까지 함께 한다. KoNLPy는 여러 형태소 분석기를 같은 사용법으로 묶어 둔 파이썬 라이브러리다.
from konlpy.tag import Okt
okt = Okt()
text = "나는 오늘 정말 좋은 영화를 봤어요!"
print(okt.morphs(text))
# → ['나', '는', '오늘', '정말', '좋은', '영화', '를', '봤어요', '!']
print(okt.pos(text))
# → [('나', 'Noun'), ('는', 'Josa'), ('오늘', 'Noun'),
# ('정말', 'Adverb'), ('좋은', 'Adjective'), ('영화', 'Noun'),
# ('를', 'Josa'), ('봤어요', 'Verb'), ('!', 'Punctuation')]
print(okt.morphs(text, norm=True, stem=True))
# → ['나', '는', '오늘', '정말', '좋다', '영화', '를', '보다', '!']
분석기마다 성격이 다르다. Okt(예전 이름 Twitter)는 구어체와 SNS 글에 강하고, Komoran은 사용자 사전을 붙이기 쉬워 전문 용어가 많은 문서에 맞으며, Mecab은 가장 빨라 대용량 처리에 쓴다(따로 설치해야 한다). Hannanum은 KAIST에서 만든 분석기다. 같은 문장도 분석기마다 자르는 위치가 다르므로, 한 프로젝트 안에서는 하나를 정해 끝까지 쓴다.
서브워드 토크나이저와의 관계
언어 모델에 넣을 텍스트라면 이야기가 달라진다. 모델에는 자기 토크나이저가 딸려 있고, 그 토크나이저는 원문 그대로의 텍스트를 받도록 만들어져 있다. 여기에 형태소 분석을 먼저 걸어 「영화 를 보 았 다」처럼 띄운 텍스트를 넣으면 모델이 사전학습 때 본 적 없는 띄어쓰기가 들어가 오히려 성능이 떨어진다.
그래서 언어 모델 앞에서는 전처리를 정제까지만 하고 토큰화는 모델의 토크나이저에 맡긴다. 형태소 분석이 의미를 갖는 것은 검색 색인, TF-IDF 같은 전통적 모델, 키워드 추출처럼 사람이 읽을 낱말 단위가 필요한 자리다.
정규화
정규화(normalization)는 같은 뜻을 가진 여러 표기를 한 가지로 통일하는 과정이다. 어휘를 줄이는 효과가 가장 크지만, 통일하는 순간 둘을 가르던 정보도 사라진다.
대소문자
영어에서는 소문자로 통일하는 것이 기본이다. 문장 첫머리의 "The"와 가운데의 "the"를 한 낱말로 모으면 어휘가 줄고 통계가 모인다.
손해를 보는 곳은 대소문자가 뜻을 가르는 자리다. 회사 "Apple"과 과일 "apple", 약어 "US"와 대명사 "us", 질병명 약어와 같은 철자의 일반 낱말이 그렇다. 개체명 인식처럼 고유명사를 찾아야 하는 작업에서는 대문자가 가장 강한 단서이므로 소문자로 바꾸지 않는다. 절충안은 전부 소문자로 바꾸되 「원래 대문자였다」는 표시를 따로 특성으로 남기는 것이다.
유니코드 정규화
같은 글자가 서로 다른 유니코드 코드 포인트로 표현될 수 있다. "café"의 'é'는 하나의 코드 포인트(U+00E9)로 쓰이기도 하고, 'e'(U+0065)와 결합 악센트(U+0301)의 조합으로 쓰이기도 한다. 앞의 꼴로 모으는 것을 NFC, 뒤의 꼴로 푸는 것을 NFD라 한다.
import unicodedata
def normalize_unicode(text):
"""유니코드 NFC 정규화"""
return unicodedata.normalize('NFC', text)
decomposed = unicodedata.normalize('NFD', '안녕')
print(len('안녕'), len(decomposed)) # 2 6 — 자모로 풀린 쪽은 여섯 글자다
한글에서 이것이 실제 버그를 만든다. 맥의 파일 시스템은 오랫동안 파일 이름을 NFD로 저장했기 때문에, 맥에서 만든 한글 파일 이름이나 거기서 복사한 텍스트를 다른 환경에서 열면 「ㅎㅏㄴㄱㅡㄹ」처럼 자모가 풀려 보이는 일이 흔하다. 눈에는 같은 「안녕」인데 문자열 비교가 실패하고, 사전 조회가 안 되고, 글자 수가 두 배 넘게 나온다. 데이터를 읽어 들이는 첫 줄에서 NFC로 맞춰 두면 이 부류의 문제가 통째로 사라진다.
반복 문자와 숫자
「최고오오오오」처럼 감정을 실어 늘인 표현은 반복 횟수를 줄여 묶는다.
def normalize_repeated_chars(text, max_repeat=2):
"""연속 반복 문자를 최대 max_repeat개로 제한"""
return re.sub(r'(.)\1{' + str(max_repeat) + r',}', r'\1' * max_repeat, text)
print(normalize_repeated_chars("최고오오오오오")) # "최고오오"
아예 한 글자로 줄이지 않고 둘을 남기는 것은 「늘였다」는 사실을 보존하려는 것이다. 「최고」와 「최고오오」는 세기가 다르다.
숫자·단위·날짜도 정규화 대상이다. 「3시」, 「15:00」, 「오후 세 시」는 같은 시각이고, 가격 「12,000원」과 「1만 2천 원」도 같다. 작업이 그 값 자체를 쓰지 않는다면 <NUM>, <DATE> 같은 자리표시자로 바꿔 어휘를 크게 줄인다. 값이 중요한 작업, 예를 들어 금액 추출이나 일정 파악에서는 바꾸면 안 된다. 기준은 정제 때와 같다 — 그 값이 정답과 상관이 있는가.
불용어와 어간
불용어 제거
불용어(stopword)는 문법적 기능만 하고 뜻을 거의 싣지 않는 낱말이다. 영어의 "the", "is", "a", "and" 같은 것들이고, 거의 모든 문서에 나오므로 문서를 가르는 데 도움이 안 된다.
from nltk.corpus import stopwords
import nltk
nltk.download('stopwords')
stop_words = set(stopwords.words('english'))
def remove_stopwords(tokens):
return [t for t in tokens if t not in stop_words]
tokens = ['this', 'is', 'an', 'example', 'of', 'nlp']
print(remove_stopwords(tokens))
# → ['example', 'nlp']
그러나 앞에서 본 대로 기본 목록에는 not, no, nor 같은 부정어가 들어 있다. 감성 분석이나 의미가 뒤집히는 문장을 다루는 작업에서는 이 낱말들을 목록에서 빼고 써야 한다. 기본 목록은 출발점일 뿐이고, 작업마다 목록을 다시 본다.
어간 추출과 원형 복원
어간 추출(stemming)은 낱말 끝의 접사를 규칙에 따라 기계적으로 잘라 뿌리를 찾는다. 빠르지만 결과가 사전에 있는 낱말이 아닐 수 있다.
from nltk.stem import PorterStemmer, WordNetLemmatizer
stemmer = PorterStemmer()
print([stemmer.stem(w) for w in ['running', 'runs', 'runner', 'ran']])
# → ['run', 'run', 'runner', 'ran']
lemmatizer = WordNetLemmatizer()
print(lemmatizer.lemmatize('ran', pos='v')) # 'run'
print(lemmatizer.lemmatize('better', pos='a')) # 'good'
원형 복원(lemmatization)은 품사 정보와 사전을 써서 올바른 기본형을 찾는다. 불규칙 활용인 "ran"을 "run"으로, "better"를 "good"으로 되돌리는 것은 원형 복원만 할 수 있다. 대신 품사를 먼저 알아야 하므로 느리다. 수백만 문서를 색인하는 검색 엔진은 속도 때문에 어간 추출을 쓰는 경우가 많고, 정확한 낱말이 필요한 분석에는 원형 복원을 쓴다. 한국어에서는 형태소 분석기의 stem=True 같은 옵션이 원형 복원에 해당한다 — 「봤어요」를 「보다」로 되돌린다.
한국어 불용어 목록
한국어에는 모두가 쓰는 표준 불용어 목록이 없다. 조사(「이」·「가」·「은」·「는」)와 「것」·「수」·「등」 같은 의존 명사가 흔히 들어가지만, 무엇을 넣을지는 데이터마다 다르다. 그래서 데이터에서 직접 뽑는다.
절차는 이렇다. 형태소 분석을 마친 뒤 토큰마다 몇 개의 문서에 나왔는지를 센다. 전체 문서의 절반이 넘는 문서에 나오는 토큰을 후보로 뽑고, 사람이 그 목록을 훑어 뜻이 있는 것을 다시 뺀다. 이를테면 상품 리뷰 데이터에서는 「배송」이 거의 모든 리뷰에 나와 후보로 뽑히지만, 배송 불만을 가려야 하는 작업이라면 뺄 수 없는 낱말이다. 숫자가 기준을 정하고 판단은 사람이 한다.
파이프라인 고정
완성된 파이프라인
지금까지의 단계를 한 클래스로 묶으면 이렇다. 정제 → 정규화 → 형태소 분석과 불용어 제거의 순서다.
import re
import unicodedata
from konlpy.tag import Okt
class KoreanTextPreprocessor:
def __init__(self):
self.okt = Okt()
self.stopwords = {
'이', '가', '은', '는', '을', '를', '의', '에', '에서',
'로', '으로', '와', '과', '도', '만', '까지', '부터',
'그', '저', '것', '수', '등', '및', '또한', '하다'
}
def clean(self, text):
text = unicodedata.normalize('NFC', text)
text = re.sub(r'<[^>]+>', '', text)
text = re.sub(r'https?://\S+|www\.\S+', '', text)
text = re.sub(r'\S+@\S+\.\S+', '', text)
text = re.sub(r'[^\w\s가-힣]', ' ', text)
return re.sub(r'\s+', ' ', text).strip()
def normalize(self, text):
return re.sub(r'(.)\1{2,}', r'\1\1', text)
def tokenize(self, text, remove_stopwords=True):
tokens = []
for morph, pos in self.okt.pos(text, norm=True, stem=True):
if pos in ['Noun', 'Verb', 'Adjective', 'Adverb']:
if remove_stopwords and morph in self.stopwords:
continue
if len(morph) > 1:
tokens.append(morph)
return tokens
def preprocess(self, text, remove_stopwords=True):
return self.tokenize(self.normalize(self.clean(text)), remove_stopwords)
pre = KoreanTextPreprocessor()
print(pre.preprocess("<p>나는 오늘 <b>정말</b> 좋은 영화를 봤어요!!!</p>"))
# → ['오늘', '정말', '좋다', '영화', '보다']
유니코드 정규화를 정제의 맨 앞에 둔 것에 주의한다. 정규식 가-힣은 완성형 한글만 잡으므로, NFD로 풀린 글자가 들어오면 다음 줄이 한글을 통째로 특수문자로 보고 지운다. 순서 하나로 데이터가 사라지는 자리다. 한 글자 토큰을 버리는 규칙도 마찬가지로 일부러 고른 것이다 — 「안」·「못」 같은 부정 부사가 함께 사라지므로 감성 분석이라면 이 줄을 고쳐야 한다.
학습과 추론의 일치
전처리에서 가장 값비싼 사고는 학습 때와 서비스 때 서로 다른 전처리를 쓰는 것이다. 학습은 데이터 과학자의 노트북에서 한 함수로 하고, 서비스는 다른 팀이 다른 언어로 다시 짠 함수로 하면, 두 함수가 어딘가에서 다르게 동작한다. 한쪽은 이모지를 지우고 한쪽은 남기거나, 분석기 버전이 달라 자르는 위치가 다르다. 모델은 처음 보는 꼴의 입력을 받고, 오류는 나지 않으며, 정확도만 몇 점씩 조용히 떨어진다.
막는 방법은 전처리를 코드 한 벌로 두고 학습과 서비스가 같은 것을 불러 쓰게 하는 것이다. 그리고 전처리의 버전을 모델 체크포인트와 함께 기록한다. 불용어 목록 한 줄만 고쳐도 모델이 보는 입력이 바뀌므로, 「이 모델은 전처리 v3으로 학습했다」가 남아 있어야 나중에 성능이 떨어졌을 때 원인을 짚을 수 있다.
단계별 토큰 수 확인
파이프라인을 짰으면 단계마다 남는 토큰 수를 세어 본다. 표본 1,000문서를 넣고 정제 뒤, 정규화 뒤, 불용어 제거 뒤의 전체 토큰 수와 어휘 크기를 나란히 적는 것이다. 어느 단계가 얼마나 지웠는지가 숫자로 보인다.
이 숫자가 예상과 다르면 거기에 버그가 있다. 정제 단계에서 토큰이 절반으로 줄었다면 정규식이 한글까지 지우고 있을 가능성이 크고, 불용어 제거 뒤에 문서의 몇 퍼센트가 빈 문서가 되었다면 목록이 너무 넓다. 빈 문서가 된 예를 몇 개 뽑아 원문과 나란히 읽어 보면 원인이 대개 바로 보인다.
도메인별 규칙
의료와 법률
전문 분야 텍스트에는 일반 사전이 모르는 낱말이 많다. 의료 기록에서는 「고혈압」과 「HTN」이 같은 것이고, 「당뇨」·「DM」·「당뇨병」도 하나로 모아야 한다. 이런 대응을 담은 약어 사전을 만들어 정규화 단계에서 한쪽으로 통일한다. 법률 문서에서는 「제3조 제2항」 같은 조문 표기가 하나의 단위로 다뤄져야 하는데, 일반 분석기는 이것을 숫자와 낱말로 흩어 놓는다.
형태소 분석기의 사용자 사전이 이 자리를 맡는다. 전문 용어를 사전에 등록하면 분석기가 그것을 쪼개지 않고 한 덩어리로 둔다. 「심근경색」이 「심근」과 「경색」으로 갈리면 검색과 통계가 모두 흐려진다.
섞인 언어
한국어 문장 사이에 영어가 섞이는 일은 기술 문서나 SNS에서 흔하다. 「이번 release에서 bug fix 했어요」 같은 문장이다. 한국어 분석기는 영어 부분을 대개 덩어리째 외국어로 표시하고 넘어가므로, 영어 부분에는 따로 소문자 통일과 영어 어간 추출을 걸어야 한다.
순서는 이렇다. 먼저 글자 종류로 한글 구간과 로마자 구간을 가른다. 각 구간에 맞는 정규화와 토큰화를 건 다음 원래 순서대로 다시 잇는다. 「AI」·「GPU」처럼 한국어 문장에서 고유명사처럼 쓰이는 약어는 소문자로 바꾸지 않도록 예외 목록에 둔다.
오류 분석의 반복
좋은 전처리 파이프라인은 한 번에 짜이지 않는다. 모델을 한 번 학습시킨 뒤 틀린 예측 50건을 뽑아 원문과 전처리 결과를 나란히 놓고 읽는다. 그러면 「부정어가 지워졌다」, 「신조어가 잘게 쪼개졌다」, 「HTML 엔티티 &가 남았다」 같은 원인이 몇 갈래로 모인다. 가장 많은 갈래 하나를 규칙으로 고치고, 다시 학습하고, 다시 50건을 읽는다.
이 반복이 두세 번 돌면 대개 전처리로 고칠 수 있는 오류가 바닥나고 모델의 한계가 남는다. 그때가 전처리를 멈출 때다. 이렇게 다듬은 텍스트는 다음 단계에서 인물명·기관명·지명 같은 고유한 의미 단위를 찾아내는 개체명 인식(NER)의 입력이 된다.
읽어주셔서 감사합니다. 😊

