지난 글에서 원시 텍스트를 정제하고 형태소 분석을 통해 모델 입력에 적합한 형태로 변환하는 전처리 파이프라인을 구성했다. 이제 그 전처리된 텍스트에서 의미 있는 정보를 추출하는 단계로 넘어간다. 개체명 인식(Named Entity Recognition, NER)은 텍스트에서 인물명, 기관명, 지명, 날짜 등 특정 범주에 속하는 의미 단위를 자동으로 찾아 분류하는 NLP 태스크다. "홍길동이 서울대학교에서 발표했다"라는 문장을 보고 "홍길동"이 사람이고 "서울대학교"가 기관임을 인식하는 것, 그것이 NER이다.
NER은 정보 추출(Information Extraction)의 앞머리에 놓인다. 뉴스 기사에서 언급된 기업과 주가를 연결하거나, 의료 기록에서 약품명과 부작용을 추출하거나, 법률 문서에서 관련 인물과 날짜를 파악하는 일이 전부 「먼저 개체를 찾는다」에서 시작한다. 이 글은 NER을 분류 문제가 아니라 경계를 맞히는 문제로 읽는 데서 출발해, 그 관점이 태깅 방식·채점·운영을 어떻게 정하는지 차례로 따라간다.
스팬 추출
출력의 구조
문장 분류는 문장 하나에 레이블 하나를 낸다. NER은 다르다. 출력의 단위가 스팬, 곧 문장 안에서 이어진 글자나 토큰의 구간이고, 스팬마다 시작 위치·끝 위치·유형 셋이 한 벌로 나온다. 여기서 토큰은 모델이 입력을 자른 낱낱의 조각이다 — 형태소일 수도 있고 음절이나 그보다 작은 조각일 수도 있다.
예를 들어 "2024년 1월 이순신 장군 동상이 서울 광화문에 세워졌다"를 처리하면(끝 위치는 그 글자를 포함하지 않는 자리다):
- (0, 8) → DATE: "2024년 1월"
- (9, 12) → PER: "이순신"
- (20, 22) → LOC: "서울"
- (23, 26) → LOC: "광화문"
같은 문장에 개체가 몇 개 있을지 미리 알 수 없고, 하나도 없을 수도 있다. 그래서 「문장의 유형을 고른다」로는 풀 수 없고, 어디서 시작해 어디서 끝나는지를 함께 내야 한다. 이 세 값이 한 벌이라는 것이 뒤의 모든 선택을 정한다.
채점 단위
세 값이 한 벌이므로 채점도 한 벌로 한다. 유형이 맞아도 경계가 한 토큰 어긋나면 그 개체는 통째로 오답이다. 「서울대학교」를 「서울대」까지만 잡으면 ORG를 맞힌 것이 아니라, 정답 ORG 하나를 놓치고 틀린 ORG 하나를 만들어 낸 것으로 센다. 한 번의 실수가 정밀도와 재현율 양쪽에서 동시에 깎인다.
이 엄격함은 쓰임새에서 온다. 추출한 스팬은 데이터베이스의 키나 검색어로 쓰이는데, 「서울대」로 검색하는 것과 「서울대학교」로 검색하는 것은 다른 결과를 낸다. 경계가 어긋난 개체는 반쯤 맞은 것이 아니라 다른 개체다.
유형 설계
유형을 몇 개로 둘지는 모델보다 먼저 정해지는 설계다. 사람·기관·장소·날짜 넷이면 라벨러끼리 판단이 잘 맞는다. 여기에 「제품」·「사건」·「법령」을 더하면 표현력은 늘지만, 「갤럭시 언팩」이 제품인지 사건인지에서 라벨러가 갈리기 시작한다. 라벨러끼리도 갈리는 유형은 모델이 배울 정답 자체가 흔들리는 유형이다.
그래서 유형은 하류에서 실제로 쓰는 것만 둔다. 한 유형을 더할 때마다 라벨링 지침이 한 쪽씩 늘고, 같은 문장을 두 사람이 달아 얼마나 일치하는지 다시 재야 한다. 유형을 쪼개는 것은 나중에도 할 수 있지만, 넓게 정의한 유형으로 쌓은 라벨을 나중에 쪼개려면 전부 다시 읽어야 한다는 점도 함께 따진다.
BIO와 BIOES
BIO 태깅
스팬을 직접 내는 모델을 만들 수도 있지만, 가장 널리 쓰이는 방법은 문제를 바꾸는 것이다. 토큰마다 기호 하나를 달면 스팬이 저절로 복원되도록 기호를 정해 두면, NER이 토큰마다 레이블을 고르는 시퀀스 레이블링이 된다. 그 기호 체계가 BIO 태깅이다.
- B (Beginning): 개체명의 첫 번째 토큰
- I (Inside): 개체명의 두 번째 이후 토큰
- O (Outside): 개체명에 속하지 않는 토큰
"홍길동이 서울대학교에서 발표했다"를 형태소 단위로 분리하면:
| 토큰 | BIO 태그 | 의미 |
|---|---|---|
| 홍길동 | B-PER | 인물 개체명 시작 |
| 이 | O | 조사 (개체명 아님) |
| 서울 | B-ORG | 기관명 시작 |
| 대학교 | I-ORG | 기관명 내부 |
| 에서 | O | 조사 (개체명 아님) |
| 발표 | O | 동사 (개체명 아님) |
| 했다 | O | 어미 (개체명 아님) |
B 태그와 I 태그가 모두 정확히 예측돼야 "서울대학교"라는 스팬이 올바르게 인식된다. 「사람 둘이 나란히 선 자리」에서 B가 하는 일이 보인다 — 「홍길동 이순신」처럼 같은 유형이 붙어 있으면 둘째 이름의 B가 개체가 새로 시작한다는 유일한 표시다.
BIOES 확장
BIO보다 정보가 풍부한 BIOES 태깅도 있다.
- B: 다중 토큰 개체의 시작
- I: 다중 토큰 개체의 내부
- O: 개체 외부
- E: 다중 토큰 개체의 끝
- S: 단일 토큰 개체 (Single)
"홍길동"이 한 토큰이라면 B-PER 대신 S-PER로 표현한다. BIO에서는 개체의 끝이 「다음 토큰이 I가 아니다」로만 드러나는데, BIOES는 끝을 E라는 기호로 직접 적는다. 경계를 맞히는 것이 이 문제의 핵심이니 경계 기호가 늘면 모델이 배울 신호도 는다.
대가는 레이블 공간이다. 유형이 아홉이면 BIO는 9 × 2 + 1 = 19개, BIOES는 9 × 4 + 1 = 37개 레이블을 고른다. 레이블이 두 배 가까이 늘면 레이블마다 보는 예제는 그만큼 줄어, 학습 데이터가 적을 때는 이득이 상쇄되기도 한다. 데이터가 넉넉하고 경계 오류가 오답의 대부분일 때 BIOES로 옮길 값이 있다.
불가능한 시퀀스와 CRF
토큰마다 따로 레이블을 고르면 규칙상 있을 수 없는 열이 나온다. O 바로 뒤에 I-ORG가 오거나, B-PER 뒤에 I-LOC가 오는 식이다. 각 토큰은 제 자리에서 가장 그럴듯한 기호를 골랐을 뿐이고, 앞뒤가 어울리는지는 아무도 안 봤다.
CRF(Conditional Random Field, 조건부 무작위장)는 이 앞뒤 관계를 점수로 배우는 층이다. 토큰마다 낸 점수에 「이 기호 다음에 저 기호가 올 점수」인 전이 점수를 더하고, 문장 전체에서 합이 가장 큰 기호 열을 비터비 알고리즘으로 찾는다. O → I-ORG 같은 전이에 아주 낮은 점수를 박아 두면 그 열은 아예 나오지 않는다.
CRF를 안 쓰면 불가능한 열을 사후에 어떻게 처리할지가 채점 도구마다 다르다는 점도 알아 둔다. seqeval은 기본 모드에서 O 뒤의 I-ORG를 새 개체의 시작으로 너그럽게 읽고, 엄격 모드(mode="strict")에서는 B로 시작하지 않은 스팬을 인정하지 않는다. 같은 예측이 모드에 따라 다른 점수를 받으므로, 점수를 보고할 때는 모드를 함께 적는다.
BERT 태거
아키텍처
전통적인 NER 시스템은 HMM, 최대 엔트로피 모델, CRF 같은 통계 모델에 손으로 만든 특징(대문자 여부·앞뒤 낱말·사전 등재 여부)을 얹었다. 지금은 사전학습된 트랜스포머 인코더, 대표적으로 BERT 위에 토큰 분류 층 하나를 얹는 구성이 기본이다.
[CLS] 홍길동 이 서울 대학교 에서 발표 했다 [SEP]
↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓
BERT Encoder (각 토큰의 문맥화 표현)
↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓
Linear Layer (레이블 수 = BIO 태그 수)
↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓
Softmax → 각 토큰의 BIO 태그 확률 분포
BERT의 양방향 어텐션 덕분에 각 토큰의 표현이 문장 전체 문맥을 반영한다. 손으로 만든 특징이 하던 일, 곧 「앞뒤에 무엇이 있는가」를 인코더가 대신 해 준다. 그 위에 CRF 층을 더 얹는 구성도 있는데, 인코더가 이미 문맥을 넓게 보므로 얻는 폭은 예전 모델보다 작고, 불가능한 열을 막아 주는 쪽의 값이 더 크다.
서브워드 라벨 정렬
BERT는 낱말을 더 작은 서브워드 조각으로 자르는 토크나이저(WordPiece)를 쓴다. "서울대학교"가 ["서울", "##대", "##학", "##교"]처럼 분리될 수 있다. 정답 라벨은 낱말 단위로 달려 있는데 모델은 조각 단위로 예측하므로, 둘을 맞추는 정렬이 필요하다.
관례는 낱말의 첫 조각에만 라벨을 주고, 나머지 조각에는 -100을 다는 것이다. -100은 PyTorch 교차 엔트로피 손실의 ignore_index 기본값이라, 그 자리는 손실 계산에서 빠진다. 추론 때도 첫 조각의 예측만 읽는다.
이걸 빼먹고 낱말의 라벨을 조각마다 복사하면 증상이 이상한 곳에서 나온다. 학습 손실은 잘 내려가는데, 추론 결과에서 「서울대학교」가 ORG 개체 넷으로 갈려 나온다. 모델이 「B-ORG 다음에도 B-ORG」를 정답으로 배웠기 때문이다. 조각마다 복사하되 둘째 조각부터 I-로 바꾸는 방법도 있지만, 그러면 긴 낱말일수록 손실에서 큰 몫을 차지해 짧은 개체가 덜 배워진다.
from transformers import AutoTokenizer, AutoModelForTokenClassification
import torch
# 토큰 분류 헤드는 NER 데이터로 파인튜닝해야 의미가 있다.
# 사전학습 체크포인트를 그대로 부르면 헤드가 무작위로 초기화된다.
tokenizer = AutoTokenizer.from_pretrained("klue/bert-base")
model = AutoModelForTokenClassification.from_pretrained("klue/bert-base")
text = "홍길동이 삼성전자에 입사했다."
inputs = tokenizer(text, return_tensors="pt")
word_ids = inputs.word_ids() # 각 서브워드 토큰이 몇 번째 단어인지
with torch.no_grad():
outputs = model(**inputs)
logits = outputs.logits # shape: (1, seq_len, num_labels)
predictions = logits.argmax(dim=-1)[0]
labels = model.config.id2label
# 단어 단위로 집계 (첫 서브워드 토큰의 예측만 사용)
prev_word_id = None
for token_id, word_id, pred_id in zip(inputs['input_ids'][0], word_ids, predictions):
if word_id is None or word_id == prev_word_id:
continue
print(f"토큰: {tokenizer.decode([token_id])}, 태그: {labels[pred_id.item()]}")
prev_word_id = word_id
집계 방식
Hugging Face의 pipeline은 이 정렬과 스팬 복원을 한 번에 해 준다. 다만 조각들의 예측을 어떻게 합칠지는 aggregation_strategy로 직접 고른다.
from transformers import pipeline
# NER 데이터로 파인튜닝한 토큰 분류 체크포인트를 넣는다.
ner = pipeline(
"ner",
model="your-org/klue-bert-ner",
aggregation_strategy="simple", # B-/I- 태그를 자동으로 스팬으로 합침
)
text = "홍길동이 삼성전자에 입사했다."
result = ner(text)
print(result)
# [
# {'entity_group': 'PER', 'word': '홍길동', 'score': ..., 'start': 0, 'end': 3},
# {'entity_group': 'ORG', 'word': '삼성전자', 'score': ..., 'start': 5, 'end': 9}
# ]
"none": 조각마다의 예측을 그대로 돌려준다. 디버깅할 때 본다"simple": 같은 유형으로 이어진 조각을 한 스팬으로 묶는다. 낱말 경계는 보지 않아서, 한 낱말 안에서 조각의 유형이 갈리면 낱말이 두 개체로 쪼개질 수 있다"first": 낱말의 첫 조각 라벨을 낱말 전체에 쓴다. 학습 때의 관례와 같다"average": 조각들의 점수를 평균 내 낱말 라벨을 고른다"max": 점수가 가장 높은 조각의 라벨을 낱말 전체에 쓴다
학습을 첫 조각 관례로 했다면 추론도 first가 앞뒤가 맞는다. average와 max는 첫 조각이 애매할 때 뒤 조각이 거들게 하는 선택이고, 어느 쪽이 나은지는 검증 셋에서 두 값을 견줘 정한다.
스팬 단위 채점
정밀도·재현율·F1
정밀도는 모델이 낸 개체 중 맞은 비율이고, 재현율은 정답 개체 중 모델이 찾은 비율이다. F1은 둘의 조화평균이라 한쪽만 높아서는 오르지 않는다. 셋 다 개체, 곧 스팬 하나를 단위로 센다.
from seqeval.metrics import precision_score, recall_score, f1_score, classification_report
# 정답 레이블과 예측 레이블 (스팬 표기)
true_labels = [['O', 'B-PER', 'I-PER', 'O', 'B-ORG', 'I-ORG', 'O']]
pred_labels = [['O', 'B-PER', 'I-PER', 'O', 'B-ORG', 'O', 'O']]
# → 'B-ORG', 'I-ORG' 대신 'B-ORG', 'O'로 예측
# → ORG 스팬의 끝이 한 토큰 짧음 → ORG 오답
print(f"Precision: {precision_score(true_labels, pred_labels):.3f}")
print(f"Recall: {recall_score(true_labels, pred_labels):.3f}")
print(f"F1: {f1_score(true_labels, pred_labels):.3f}")
print(classification_report(true_labels, pred_labels))
이 예는 토큰 정확도와 스팬 F1이 얼마나 갈리는지 보여 준다. 토큰 일곱 개 중 여섯이 맞았으니 토큰 정확도는 86%다. 그런데 스팬으로 세면 정답 둘 중 PER 하나만 맞았고, 모델이 낸 둘 중에서도 하나만 맞았다 — 정밀도·재현율·F1이 전부 0.5다. 실제 데이터에서는 토큰 대부분이 O라서 이 차이가 더 벌어진다. 개체가 거의 없는 문서에서는 모든 토큰에 O를 달아도 토큰 정확도가 90%를 넘는다. 그래서 NER 점수는 스팬 F1로만 보고한다.
유형별 성능
전체 F1 하나는 유형 사이의 큰 차이를 덮는다. 날짜·시간·수량 유형은 「2024년」·「오후 3시」·「30%」처럼 꼴이 정해져 있어 규칙으로도 잘 잡히고 F1이 높게 나오는 편이다. 반대로 「기타」 같은 유형은 정의가 모호해 라벨러부터 갈리므로 F1이 낮게 나오는 경향이 있다.
전체 F1이 0.85인데 유형별로 쪼개 보면 DATE가 0.95이고 ORG가 0.75일 수 있다. 하류가 기관명을 쓰는 시스템이라면 0.85가 아니라 0.75가 이 모델의 실제 점수다. classification_report가 유형별로 나눠 주므로, 모델을 고를 때는 전체가 아니라 하류가 쓰는 유형의 줄을 본다.
부분 일치
엄격한 스팬 일치만이 답은 아니다. 경계가 겹치고 유형이 맞으면 반쯤 인정하는 부분 일치 채점도 있다. 무엇을 쓸지는 쓰임새가 정한다. 추출한 이름을 데이터베이스 키로 쓰면 엄격 일치여야 하고, 사람이 읽을 문서에 형광펜을 칠해 주는 용도라면 「서울대」까지만 칠해져도 독자는 기관 이름을 알아본다.
두 채점을 함께 보면 오류의 성격도 보인다. 부분 일치 점수는 높은데 엄격 일치가 낮으면 모델이 개체는 찾지만 경계를 자주 틀린다는 뜻이고, 이때 손볼 곳은 BIOES 전환이나 경계 근처 라벨의 일관성이다. 둘 다 낮으면 개체를 아예 못 찾는 것이라 데이터부터 늘려야 한다.
한국어 NER
형태소 분석 오류의 전파
형태소 단위로 태깅하는 파이프라인에서는 형태소 분석 오류가 NER로 그대로 넘어온다. "삼성전자에"를 ["삼성전자", "에"]로 올바르게 분리해야 "삼성전자"를 ORG로 태깅할 수 있다. 만약 ["삼성", "전자에"]로 잘못 분리되면 「전자에」의 어디까지가 개체인지 표현할 방법이 없다 — 라벨은 토큰 단위로만 달리는데 경계가 토큰 한가운데 있기 때문이다.
이 전파를 피하려고 KLUE-NER 같은 데이터셋은 음절 단위로 라벨을 단다. 음절 단위면 경계가 토큰 안에 빠질 일이 없고, 형태소 분석기를 앞에 둘 필요도 없다. 대신 시퀀스가 길어지고, 「삼」·「성」 하나하나는 뜻이 약해 문맥을 인코더가 더 많이 떠맡는다.
동형이의어
"배"는 사람 이름의 성씨(裵), 과일(梨), 선박(船), 신체 부위(腹)로 쓰인다. 「배 대표가 말했다」에서는 뒤의 직함이, 「배를 타고」에서는 뒤의 동사가 뜻을 정한다. 양방향 어텐션이 이 자리에서 사전보다 확실히 낫다 — 사전은 「배」를 PER 후보로 올려 둘지 말지 하나만 정할 수 있지만 모델은 문장마다 다르게 판정한다.
그래도 완벽하지 않다. 「배 씨」·「배 대표」처럼 성씨가 홀로 쓰이면서 직함이 멀리 떨어진 문장, 기사 제목처럼 조사가 생략된 문장에서 자주 틀린다. 제목·검색어처럼 짧은 입력을 많이 다루는 시스템이라면 그런 문장을 따로 모아 검증 셋을 만든다.
미등장 개체
신인 배우, 스타트업 이름, 새로 생긴 지명은 학습 데이터에 없을 가능성이 높다. 서브워드로 쪼개서라도 처리는 되지만, 모델이 기댈 수 있는 것이 「㈜」·「 대표」 같은 주변 단서뿐이라 성능이 낮아진다. 학습 데이터가 오래될수록 이 몫이 커져서, 뉴스처럼 새 이름이 계속 나오는 도메인에서는 몇 달이 지나면 점수가 조용히 내려간다. 검증 셋을 학습 데이터보다 나중 시기의 문장으로 따로 두면 이 하락을 미리 잴 수 있다.
공개 데이터셋
- KLUE-NER: 한국어 언어 이해 벤치마크의 NER 태스크. 사람·장소·기관·날짜·시간·수량 여섯 유형을 음절 단위로 단다
- KMOU NER: 한국해양대학교에서 공개한 데이터셋
- 국립국어원 개체명 분석 말뭉치: 모두의 말뭉치로 배포되는 개체명 주석 말뭉치
데이터셋마다 유형 체계가 달라서 하나로 학습한 모델을 다른 데이터셋으로 재면 점수가 크게 떨어진다. 모델이 못해서가 아니라 「기관」의 범위가 다르기 때문이다. 공개 점수를 볼 때는 어느 체계 위의 점수인지 먼저 확인한다.
사전과 모델의 결합
사전 매칭
부서명, 제품 코드, 계열사 이름처럼 목록이 확정된 유형은 모델보다 사전 매칭, 곧 목록에 있는 문자열을 그대로 찾는 방식이 더 정확하다. 목록에 있는 것은 빠짐없이 찾고 없는 것은 절대 만들어 내지 않는다. 모델은 「제품전략팀」을 문맥이 애매하면 놓치지만, 사전은 그 문자열이 있는 한 놓치지 않는다.
반대로 사람 이름이나 처음 보는 회사처럼 목록을 미리 적을 수 없는 유형은 사전이 아예 못 한다. 그래서 둘은 경쟁이 아니라 분업이다 — 닫힌 유형은 사전이, 열린 유형은 모델이 맡는다.
우선순위 규칙
둘을 함께 돌리면 다르게 말하는 자리가 생긴다. 모델은 「삼성전자 반도체부문」을 ORG 하나로 잡고, 사전은 그 안의 「반도체부문」을 부서로 잡는 식이다. 이때 규칙을 미리 적어 둔다.
- 사전이 맡은 유형에서는 사전이 이긴다
- 스팬이 겹치면 더 긴 쪽을 남기되, 짧은 쪽을 하위 개체로 따로 기록한다
- 사전에도 모델에도 없는 유형을 모델이 냈으면 신뢰도 임계값 아래는 버린다
규칙이 없으면 실행 순서가 우연히 결과를 정한다. 그러면 사전을 갱신했을 때 엉뚱한 자리의 결과가 바뀌어도 이유를 찾을 수가 없다.
갱신 주기
사전과 모델은 늙는 속도가 다르다. 부서명은 조직 개편 때마다 바뀌고, 그날 바로 반영되어야 한다. 사전은 인사·제품 시스템에서 매일 뽑아 갈아 끼울 수 있다. 모델 재학습은 라벨을 모으고 검증까지 해야 하므로 분기 단위가 현실적이다.
두 주기를 따로 두면 각자의 강점이 산다. 사전을 모델에 학습시켜 하나로 합치면, 부서 하나가 바뀔 때마다 재학습을 기다려야 하는 구조가 된다.
개체 연결과 하류 작업
개체 연결
NER이 찾은 것은 문자열이지 대상이 아니다. 한 기사 안에서 「삼성전자」·「삼성전자㈜」·「삼성」이 같은 회사를 가리키는데, 셋을 그대로 세면 그 회사의 언급이 세 개체로 흩어진다. 같은 대상을 가리키는 표현을 하나의 식별자로 묶는 일이 개체 연결이다.
가장 단순한 방법은 표기 정규화다 — 「㈜」·「주식회사」를 떼고 띄어쓰기를 통일한다. 그다음은 별칭 사전으로 「삼성」을 「삼성전자」로 돌리는 것인데, 이건 문맥에 따라 틀린다. 「삼성」이 그룹 전체를 가리키는 기사도 있기 때문이다. 애매한 연결은 확정하지 말고 후보로만 남긴다.
하류 작업의 정확도 요구
NER은 관계 추출(Relation Extraction), 이벤트 추출(Event Extraction), 질의응답 시스템의 앞 단계로 자주 놓인다. "삼성전자가 현대자동차와 계약을 체결했다"에서 두 기업 사이의 관계를 뽑으려면 두 개체가 모두 맞아야 한다. 개체 하나를 맞힐 확률이 0.9라면 둘 다 맞을 확률은 계산으로 0.81이고, 관계 추출 모델이 아무리 좋아도 그 위로는 못 올라간다.
그래서 NER 단독으로는 넉넉해 보이는 점수가 하류에서는 모자라다. 하류가 개체를 몇 개 엮는지 세어 보고 그만큼 NER에 요구하는 점수를 올려 잡는다.
검수 화면
추출 결과를 사람이 검수해야 하는 시스템이라면 원문 위치를 반드시 함께 남긴다. start·end가 있으면 원문에 바로 형광펜을 칠해 보여 줄 수 있고, 검수자는 목록이 아니라 문맥 안에서 판단한다. 위치 없이 「삼성전자, ORG」만 남기면 검수자는 그 낱말이 문서 어디에 있었는지 다시 찾아야 한다.
아래는 기사 묶음에서 개체를 뽑아 빈도를 세는 가장 단순한 구성이다. 신뢰도 임계값으로 애매한 것을 걸러 내는데, 걸러 낸 것을 버리지 말고 따로 쌓아 두면 그것이 다음 라벨링의 후보가 된다.
from transformers import pipeline
from collections import defaultdict
def extract_entities_from_articles(articles, ner_pipeline):
"""뉴스 기사 컬렉션에서 개체명 추출 및 빈도 집계"""
entity_freq = defaultdict(lambda: defaultdict(int))
for article in articles:
entities = ner_pipeline(article)
for entity in entities:
entity_type = entity['entity_group']
entity_word = entity['word']
if entity['score'] > 0.85: # 신뢰도 임계값
entity_freq[entity_type][entity_word] += 1
return entity_freq
articles = [
"삼성전자가 갤럭시S25를 출시했다. 이재용 회장이 직접 발표회에 참석했다.",
"현대자동차와 삼성전자가 배터리 공급 계약을 체결했다.",
"이재용 삼성 회장이 서울에서 외국 기업 임원들을 만났다.",
]
ner = pipeline("ner", model="your-org/klue-bert-ner", aggregation_strategy="first")
freq = extract_entities_from_articles(articles, ner)
for etype, entities in freq.items():
print(f"\n[{etype}]")
for name, count in sorted(entities.items(), key=lambda x: -x[1]):
print(f" {name}: {count}회")
개체를 찾고 묶는 데까지 왔으면, 다음은 각 토큰의 문법적 역할을 파악하는 품사 태깅(POS Tagging)이다. 같은 시퀀스 레이블링이지만, 개체가 아닌 토큰 하나하나가 모두 답을 가진다는 점이 다르다.
읽어주셔서 감사합니다. 😊

