리서치

TOOLS / 15번째 글

한국어 문장 분리기 실측: 경계 오류가 실제로 나는 자리 — 목록은 줄바꿈부터 갈라야 했고, kss fast는 「~다고」 앞에서 653번 잘랐다

정규식·kiwipiepy·kss 네 백엔드를 손으로 만든 경계 40건(숫자 뒤 마침표·말줄임표·인용부호·목록)과 KorQuAD 문단 960개에 걸었다. 목록은 줄바꿈을 경계로 안 보는 분리기 다섯이 6~10건씩 틀렸고, 실제 문단에서는 kss fast가 「~다는」·「~다고」 앞을 653번 잘랐다.

PALDYN Team46 MIN READ

청크를 문장 단위로 자르려면 그 아래층에서 문장 경계를 먼저 찾아야 합니다. 청크 분할기 실측이 「문장 중간에서 잘린 비율」을 쟀을 때 그 문장 경계는 kiwipiepy가 찾은 것이었습니다. 그 정답이 얼마나 맞는지는 그 글이 재지 않았습니다. 이 글은 그 아래층을 잽니다.

한국어 문장 분리에서 자주 문제가 된다고 알려진 자리는 넷입니다. 숫자 뒤의 마침표(「3.5」, 「2024. 3. 15.」), 말줄임표, 인용부호 안에서 끝나는 문장(「"내일 가겠다. 꼭 간다."라고 말했다」), 그리고 마침표 없이 줄만 바꾼 목록입니다. 계획이 짚어 둔 대로 정답 경계가 붙은 한국어 코퍼스를 따로 구하지 않고, 이 네 유형의 예문 40건을 직접 만들어 정답을 적었고, 실제 문단에서는 정답 없이 셀 수 있는 것만 셌습니다.

결과는 이렇습니다. 숫자 뒤 마침표는 정규식 말고는 아무도 안 틀렸습니다. 목록은 줄바꿈을 경계로 보지 않는 분리기 다섯이 6~10건씩 틀렸는데, 줄을 먼저 가르고 넘기기만 하면 0건이 됐습니다. 실제 문단에서 가장 큰 오류는 예문에 없던 자리에서 나왔습니다. kss의 fast 백엔드가 「~했다는 비판」·「~없다고 단언했다」의 「다」 뒤를 문장 끝으로 보고 653번 잘랐고, 문단 절반에서 kiwipiepy와 문장 수가 달랐습니다.

청크 전략은 청크 분할 전략이, 텍스트 전처리 전반은 텍스트 전처리가 맡습니다. 이 글은 문장 경계만 다룹니다.

후보와 정답

후보 일곱

후보 버전 방식
정규식 — . ! ? … 뒤 공백과 줄바꿈에서 자른다
kiwipiepy 0.24.0 Kiwi.split_into_sents — 형태소 분석으로 종결어미를 찾는다
kiwipiepy 줄 먼저 0.24.0 줄바꿈으로 먼저 가른 뒤 줄마다 split_into_sents
kss punct 6.0.6 split_sentences(backend="punct") — 문장부호 위주 규칙
kss fast 6.0.6 backend="fast" — 형태소 분석 없이 어미 모양으로 찾는 규칙
kss mecab 6.0.6 backend="mecab" — python-mecab-ko 1.3.7로 형태소를 본다
kss pecab 6.0.6 backend="pecab" — 순수 파이썬 형태소 분석기 pecab 1.0.8

kss는 하나의 함수가 백엔드 넷을 바꿔 끼우는 구조라 백엔드마다 따로 셌습니다. num_workers=1로 고정해 프로세스를 띄우지 않게 했습니다. 「kiwipiepy 줄 먼저」는 처음 계획에 없던 후보인데, 목록 유형의 결과를 보고 그 오류가 줄바꿈 하나로 풀리는지 확인하려고 더했습니다.

손으로 만든 경계 40건

네 유형마다 예문 열 개를 만들고 각 예문이 몇 문장으로 갈려야 하는지를 정답으로 적었습니다. 분리기의 출력이 정답 목록과 글자까지 같으면 맞힘이고, 하나라도 다르면 틀림입니다. 틀림은 정답보다 많이 나뉜 더 쪼갬과 적게 나뉜 덜 쪼갬으로 다시 셉니다.

  • 숫자: 소수점·버전 번호·한국식 날짜(「2024. 3. 15.」)가 문장 안에 있는 예문 열. 정답은 전부 두 문장입니다.
  • 말줄임: 문장 가운데의 말줄임(「그런데... 결과는 달랐다.」) 다섯과 문장 끝의 말줄임(「결과를 기다렸다...」 다음에 새 문장) 다섯. 앞쪽은 자르면 틀리고 뒤쪽은 안 자르면 틀립니다.
  • 인용: 따옴표 안에 문장이 하나나 둘 들어 있고 그 뒤에 「라고 말했다」가 붙는 예문 열. 곧은 따옴표·굽은 따옴표·홑낫표를 섞었습니다.
  • 목록: 줄바꿈으로만 갈린 항목 열 묶음. 글머리표(- • * ①)와 번호(1. 1) 가.)를 섞었고, 마침표가 없는 항목이 대부분입니다.

정답은 사람이 정한 것이라 경계가 애매한 예문은 넣지 않았습니다. 「그 순간...」 다음에 새 문장이 오는 것처럼 둘 다 말이 되는 자리는 뺐습니다.

정답 없는 검사

KorQuAD 1.0 검증 분할의 문단 960개에는 정답 경계가 없습니다. 그래서 세 가지만 셉니다.

  • 문장 수와, kiwipiepy와 문장 수가 다른 문단의 비율. 어느 쪽이 맞는지는 말해 주지 않지만 분리기끼리 얼마나 다르게 자르는지를 보여 줍니다.
  • 부호 없는 끝: 문단의 마지막 문장이 아닌데 마침표·물음표·느낌표·말줄임표·닫는 따옴표·닫는 괄호 어느 것으로도 끝나지 않는 문장의 수. 문장 가운데를 자르면 여기에 잡힙니다.
  • 그 부호 없는 끝에서 분리기마다 20개를 뽑아 사람이 판정한 것. 원문이 마침표를 빠뜨려 정말로 문장이 끝난 자리인지, 문장 가운데를 자른 것인지를 갈랐습니다.

부호 없는 끝은 한쪽 오류만 봅니다. 문장부호 바로 뒤에서 잘못 자른 것(인용부호 안의 마침표 뒤에서 자르기)은 부호로 끝나므로 여기에 안 잡히고, 정규식은 부호 뒤에서만 자르므로 구조상 0입니다.

측정

재현 블록

pip install kss kiwipiepy python-mecab-ko datasets

kss는 python-mecab-ko를 함께 깔지 않으므로 mecab 백엔드를 쓰려면 따로 넣어야 합니다. 예문 40건은 cases.txt에 둡니다 — 한 줄이 「유형|잇는 방식|정답 문장들」이고 정답 문장은 ‖로 가릅니다. 잇는 방식이 「공백」이면 정답 문장을 공백 하나로, 「줄」이면 줄바꿈으로 이어 분리기에 넘깁니다.

숫자|공백|버전 3.5가 나왔다.‖이전보다 2.5배 빠르다.
숫자|공백|2024. 3. 15. 정식으로 발표했다.‖반응은 좋았다.
숫자|공백|점수는 0.8890이었다.‖기준선과 같다.
숫자|공백|1위는 12.3%를 얻었다.‖2위는 9.8%였다.
숫자|공백|가격은 $3.50이다.‖지난달보다 0.25 올랐다.
숫자|공백|Python 3.11.17에서 돌렸다.‖결과는 같았다.
숫자|공백|v2.0.1 패치가 배포됐다.‖버그 3건을 고쳤다.
숫자|공백|그림 2.3을 보라.‖곡선이 꺾인다.
숫자|공백|2026.10.15. 기준이다.‖이후 바뀔 수 있다.
숫자|공백|평균은 538.4자다.‖중앙값은 그보다 짧다.
말줄임|공백|그런데... 결과는 달랐다.‖다시 돌렸다.
말줄임|공백|음… 이건 예상 밖이다.‖표를 다시 보자.
말줄임|공백|사과, 배, 감... 과일이 많다.‖다 먹을 수 없다.
말줄임|공백|글쎄요... 잘 모르겠습니다.‖내일 다시 물어보세요.
말줄임|공백|숫자가 1, 2, 3... 이렇게 늘어난다.‖끝이 없다.
말줄임|공백|결과를 기다렸다...‖아무 일도 일어나지 않았다.
말줄임|공백|그는 말끝을 흐렸다…‖방 안이 조용해졌다.
말줄임|공백|정말 그럴까..?‖아니다.
말줄임|공백|기다리고 또 기다렸다….‖결국 오지 않았다.
말줄임|공백|아무도 대답하지 않았다...‖정적이 흘렀다.
인용|공백|그는 "내일 가겠다. 꼭 간다."라고 말했다.‖아무도 믿지 않았다.
인용|공백|그녀는 '이제 끝이야.'라고 적었다.‖편지는 짧았다.
인용|공백|문서에는 "4자는 1토큰이다."라고 적혀 있다.‖한국어에서는 틀린다.
인용|공백|"정말요?"라고 그가 물었다.‖나는 고개를 끄덕였다.
인용|공백|사장은 "다들 수고했다. 내일은 쉬자."고 했다.‖박수가 터졌다.
인용|공백|“모델이 바뀌었다. 단가도 바뀌었다.”라는 공지가 떴다.‖확인해 보니 사실이었다.
인용|공백|‘됐다!’ 하고 외쳤다.‖모두 웃었다.
인용|공백|그는 "왜 안 되지?" 하며 로그를 열었다.‖오류가 있었다.
인용|공백|로그에 "OMP: Error #15. 중단합니다."가 찍혔다.‖환경 변수를 바꿨다.
인용|공백|「다음 주에 보자.」라고 그가 말했다.‖그 뒤로 연락이 없었다.
목록|줄|준비물은 다음과 같다.‖- 연필‖- 지우개‖- 공책
목록|줄|1. 데이터를 받는다‖2. 문단을 자른다‖3. 인코딩한다
목록|줄|• 설치가 빠르다‖• 의존성이 없다
목록|줄|장점‖속도가 빠르다‖단점‖메모리를 많이 쓴다
목록|줄|① 첫째 조건‖② 둘째 조건‖③ 셋째 조건
목록|줄|가. 신청서를 낸다‖나. 심사를 받는다
목록|줄|1) 모델을 고른다‖2) 값을 잰다‖3) 표로 낸다
목록|줄|* 결과가 같다‖* 시간이 짧다
목록|줄|할 일:‖- 로그 확인‖- 재시작
목록|줄|1. 설치한다.‖2. 실행한다.‖3. 결과를 본다.
# split.py — 한국어 문장 분리기 일곱: 손으로 만든 경계 40건과 KorQuAD 문단 960개
import re, sys, time, collections
from datasets import load_dataset
P = sorted(set(load_dataset("KorQuAD/squad_kor_v1")["validation"]["context"]))
cases = [(t, {"공백": " ", "줄": "\n"}[j], g.split("‖")) for t, j, g in (l.rstrip("\n").split("|") for l in open("cases.txt"))]
def make(name):
    if name == "정규식": return lambda t: [s for s in re.split(r"(?<=[.!?…])\s+|\n", t) if s.strip()]
    if name.startswith("kiwipiepy"):
        from kiwipiepy import Kiwi; k = Kiwi(); f = lambda t: [s.text for s in k.split_into_sents(t)]
        return (lambda t: [s for l in t.split("\n") for s in f(l)]) if name.endswith("줄 먼저") else f
    from kss import split_sentences; b = name.split()[1]
    return lambda t: split_sentences(t, backend=b, num_workers=1)
END = tuple(".!?…\"”’)」』]")  # 문단 마지막이 아닌 문장이 이 부호 없이 끝나면 「부호 없는 끝」으로 센다
names = ["kiwipiepy"] + (sys.argv[1:] or ["kiwipiepy 줄 먼저", "정규식", "kss punct", "kss fast", "kss mecab"])
if sys.argv[1:]: P = P[:100]  # 따로 넘긴 후보는 문단 100개만 (kss pecab은 초당 수백 자)
types = list(dict.fromkeys(t for t, _, _ in cases)); log = open("fails.txt", "a"); out = {}
print(f"{'분리기':<11}{'불러오기 s':>9}" + "".join(f"{t + ' 틀림':>8}" for t in types) + f"{'합계':>6}{'더 쪼갬/덜 쪼갬':>13}{'문단 자/초':>11}{'문장 수':>8}{'부호 없는 끝':>9}", flush=True)
for name in names:
    t0 = time.perf_counter(); f = make(name); f("시작한다. 끝났다."); tl = time.perf_counter() - t0
    bad, over, under = collections.Counter(), 0, 0
    for t, j, g in cases:
        o = [s.strip() for s in f(j.join(g)) if s.strip()]
        if o != g:
            bad[t] += 1; over += len(o) > len(g); under += len(o) < len(g)
            print(f"[{name}] {t}: {g} → {o}", file=log)
    t0 = time.perf_counter(); S = [f(p) for p in P]; cps = sum(map(len, P)) / (time.perf_counter() - t0)
    out[name] = [len(s) for s in S]; cut = [(a.strip(), b.strip()) for s in S for a, b in zip(s, s[1:]) if not a.strip().endswith(END)]
    print(*(f"[{name}] …{a[-30:]} ‖ {b[:20]}…" for a, b in cut), sep="\n", file=open("cuts.txt", "a"))
    print(f"{name:<11}{tl:>9.2f}" + "".join(f"{bad[t]:>6}/10" for t in types) + f"{sum(bad.values()):>4}/40{over:>8}/{under:<4}{cps:>11,.0f}{sum(out[name]):>8,}{len(cut):>9}", flush=True)
ref = out[names[0]]
for name in names[1:]:
    print(f"문단 {len(P)}개 중 문장 수가 {names[0]}와 다른 문단: {name} {sum(a != b for a, b in zip(ref, out[name])) / len(P):.1%}")
# sample.py — 「부호 없는 끝」에서 분리기마다 20개를 뽑아 손으로 판정한다 (split.py 기본 실행 직후에 돌린다)
import random
L = open("cuts.txt").read().splitlines()
for n in ["kiwipiepy", "kss fast", "kss mecab"]:
    xs = [l for l in L if l.startswith(f"[{n}] ")]; random.seed(0)
    print("==", n, len(xs)); [print(i + 1, l) for i, l in enumerate(random.sample(xs, 20))]
python3 split.py && python3 sample.py
python3 split.py "kss pecab"

split.py는 틀린 예문을 fails.txt에, 부호 없는 끝을 cuts.txt에 덧붙여 씁니다. sample.py는 기본 실행이 남긴 cuts.txt를 읽으므로 pecab을 돌리기 전에 돌립니다. pecab은 초당 수백 자라 인자로 넘기면 문단을 앞의 100개만 씁니다.

실제 출력

데이터 내려받기 진행 표시줄과 허브 경고, kss가 찍는 mecab 설치 안내, pecab의 RuntimeWarning: overflow 줄은 뺐습니다.

분리기           불러오기 s   숫자 틀림  말줄임 틀림   인용 틀림   목록 틀림    합계    더 쪼갬/덜 쪼갬     문단 자/초    문장 수  부호 없는 끝
kiwipiepy       3.06     0/10     4/10     0/10     6/10  10/40       4/6        81,321   6,445       67
kiwipiepy 줄 먼저     3.17     0/10     4/10     0/10     0/10   4/40       4/0        75,236   6,445       67
정규식             0.15     2/10     5/10     4/10     3/10  14/40      14/0    19,970,877   6,562        0
kss punct       5.08     0/10     4/10     1/10    10/10  15/40       5/10       37,328   6,361        2
kss fast        0.00     0/10     2/10     3/10     8/10  13/40       6/7        73,798   6,909      653
kss mecab       0.00     0/10     3/10     1/10    10/10  14/40       4/10       34,471   6,406       46
문단 960개 중 문장 수가 kiwipiepy와 다른 문단: kiwipiepy 줄 먼저 0.0%
문단 960개 중 문장 수가 kiwipiepy와 다른 문단: 정규식 17.1%
문단 960개 중 문장 수가 kiwipiepy와 다른 문단: kss punct 12.3%
문단 960개 중 문장 수가 kiwipiepy와 다른 문단: kss fast 50.6%
문단 960개 중 문장 수가 kiwipiepy와 다른 문단: kss mecab 10.9%
== kiwipiepy 67
1 [kiwipiepy] …으로 전두환과 노태우를 사면 복권한다는 공약을 내세웠다 ‖ 결국 이렇게 1997년 대선에서 이회…
2 [kiwipiepy] …참고로, 보름달이 가장 클 때를 슈퍼문이라고 한다./ ‖ 설날(새날)을 맞이하고 첫 번째 보름…
3 [kiwipiepy] …사형에도 집행유예제도가 있는 것이 특징이다.( ‖ 유예기간이 경과하면, 무기징역으로 감…
4 [kiwipiepy] …않았다면 알려지지 못했을 것이다. 《첫 번째 문법조약》 ‖ 에서는 글자 위에 점 하나를 찍어서 …
5 [kiwipiepy] …보살(十順名字菩薩)이라 칭하고 있다. '10순명자보살' ‖ 의 한자어 문자 그대로의 뜻은 '10…
6 [kiwipiepy] … 아니라 다루는 방식”이라고 말했다. 《마이 프린세스》 ‖ 가 종영되고 나서 김태희는 일본 기획…
7 [kiwipiepy] …가려진 시간 사이로>가 크게 히트했다. 《PART 2》 ‖ 는 전위적인 구성으로 비평가들에게 찬…
8 [kiwipiepy] …받지 않으며 에스퍼 타입 포켓몬에게 강하다. 《금·은》 ‖ 에는 새로운 기술도 추가되었으며, 새…
9 [kiwipiepy] …몬에 대한 아이디어로 만들어질 수 있었다." 《금·은》 ‖ 에서는 《적·녹》의 포켓몬 뮤와 비슷…
10 [kiwipiepy] …매출 신장을 기록하기 일쑤다”라고 썼다. 《마이데일리》 ‖ 의 대중문화전문기자 배국남은 IMC를…
11 [kiwipiepy] …미치코를 국민이 살해하는 것으로 묘사했다. 《풍류몽담》 ‖ 은 우익 세력의 분노를 샀고, 《풍류…
12 [kiwipiepy] …정보석, 추상미가 주연을 맡았다. 《주홍글씨》- ‖ 변혁 감독, 한석규 주연- 는 김영하…
13 [kiwipiepy] …민에게 머리 숙여 사과 드린다”고 대국민 사과를 하였다 ‖ 그러나 공약을 못 지키면 세비를 토해…
14 [kiwipiepy] …S 단막극으로 각색하여 방영하였다. <오빠가 돌아왔다> ‖ 와 <흡혈귀>는 연극으로 각색되어 대…
15 [kiwipiepy] …타드그는 알마너 언덕의 자기 둔을 내놓겠다고 했고 ‖ 핀은 그것을 받아들였다.…
16 [kiwipiepy] …뀌면 아무에게나 달려드는 관기"라 말해 파문을 일으켰다 ‖ 2008년 6월 27일 나경원은 박사…
17 [kiwipiepy] …그리고 홋카이도에 본거지를 옮기고 있는 관계도 있어 ‖ 닛폰햄 파이터스가 본거지를 도쿄에서 …
18 [kiwipiepy] …》에 박신양과 함께 주연으로 출연했다. 《4인용 식탁》 ‖ 은 전국적으로 71만 명의 관객수를 …
19 [kiwipiepy] …경기에 사용되는데, 그에 따라 서킷을 변형하여 사용한다 ‖ 이 때문에 경기마다 사용하는 코스가 …
20 [kiwipiepy] …”며 쇼와 천황에게 사죄하는 글을 올렸다. 《풍류몽담》 ‖ 과 시마나카 사장 습격 사건으로 천황…
== kss fast 653
1 [kss fast] … 세상과 우리의 감각을 초월하는 영의 세계도 창조하셨다 ‖ 는 것이다.…
2 [kss fast] … 성경에는 그가 보스갓의 아다야의 딸 여디다와 결혼했다 ‖ 고 기록하고 있다.…
3 [kss fast] … 중 1인이 4천억 이상의 비자금과 가명계좌를 보유했다 ‖ 는 의혹을 제기하였고 이어 국회의원 …
4 [kss fast] …고 했고, 20억원 이상 받은 사실이 없다 ‖ 고 단언했기 때문에 광주 현지여론도 …
5 [kss fast] …면 시집을 내고 싶다 ‖ 고 말하기도 했다.…
6 [kss fast] …너뜨리면 대동아 각지에서 혼란이 빚어질 것”을 우려했다 ‖ 고 말했다.…
7 [kss fast] …"전세자금 때문에 정기 적금을 깨면 손해가 날 것 같다 ‖ 고 말했더니 김씨가 1억원을 잠깐 빌…
8 [kss fast] … 알 수 있는 것이며, 만일 여기 보존되어 있지 않았다 ‖ 면 알려지지 못했을 것이다. 《첫 번…
9 [kss fast] … 받는 노동자"라는 발언을 해 반노동적 성향을 드러냈다 ‖ 는 비판이 제기됐다.…
10 [kss fast] …허위보도를 형사처벌하는 자유민주주의국가는 어디에도 없다 ‖ 고 지적하며 허위사실유포죄에 대해 위…
11 [kss fast] … 쇼와 천황의 면책에 대해 쇼와 천황이 ‘강요를 당했다 ‖ 는 것’을 부인하면서, “어떠한 통치…
12 [kss fast] …고 했다 ‖ 가, 나중에는 5만달러로 바뀌게 된 …
13 [kss fast] …V에서는 2012년에 중국에서 노아의 방주가 발견되었다 ‖ 는 보도를 하였는데, 이것은 창조과학…
14 [kss fast] … 이를 다 합친 규모가 아니라 일반회계만 보고 오해했다 ‖ 는 것이다.…
15 [kss fast] …성 부족에 선제적으로 대응할 수 있는 교두보를 마련했다 ‖ 고 말했다.…
16 [kss fast] …호연에 비해 공감할 수 없는 인물들과 스토리가 이어진다 ‖ 는 평가를 얻었다.…
17 [kss fast] …나이답지 않게 냉정하면서도 어두운 캐릭터를 잘 소화했다 ‖ 는 평가를 받았으며, ‘완소자객’이라…
18 [kss fast] … 위치는 동향이며 터가 너무 좁아 왕도로 적당하지 않다 ‖ 고 주장했다.…
19 [kss fast] …글에서 증권사에 근무한 적이 있고 해외체류 경험도 있다 ‖ 고 밝혔던 것과는 달리, 30대의 무…
20 [kss fast] …았으며, 한양 시내의 전각과 거리의 이름을 직접 지었다 ‖ 고 한다.…
== kss mecab 46
1 [kss mecab] …19세기 미국에선 블루스는 취하다 ‖ 란 속어로 쓰였다.…
2 [kss mecab] …온, 균형, 평형, 산스크리트어: upeksā, 팔리어 ‖ : upekkhā, upekhā, 영…
3 [kss mecab] …는 《전설의 고향》, 《용의 눈물》, 《가보면 알 거야 ‖ (영구와 땡분이 You'll Know…
4 [kss mecab] …경기에 사용되는데, 그에 따라 서킷을 변형하여 사용한다 ‖ 이 때문에 경기마다 사용하는 코스가 …
5 [kss mecab] …또 그들은 하느님을 모시는 신하요 ‖ 군대로 인식되었으며(여호 5:14, …
6 [kss mecab] …아몬은 유다의 왕인 아버지 므낫세와 욧 ‖ 바의 하루스의 딸 어머니 므술레멧 사…
7 [kss mecab] … 산스크리트어: vicara, vitarkah, 팔리어 ‖ : vicāra, 영어: discer…
8 [kss mecab] …민에게 머리 숙여 사과 드린다”고 대국민 사과를 하였다 ‖ 그러나 공약을 못 지키면 세비를 토해…
9 [kss mecab] …산스크리트어: vitarka, vitarkah, 팔리어 ‖ : vitakka, 영어: conce…
10 [kss mecab] …달라”, “열사가 돼 달라”는 말로 내 죽음을 요구했다 ‖ “고 밝혔다.…
11 [kss mecab] … 수상자였던 박기혁보다 뛰어난 타격 능력을 보였고 내야 ‖ 모든 포지션을 소화할 수 있는 발군의…
12 [kss mecab] …있는 이름이 미가엘뿐이라는 사실은 의미 깊은 것이다.— ‖ 유 9. 미가엘 1번 참조.…
13 [kss mecab] …대한항공 전무 등 조양호 회장의 세 자녀가 보유하던 싸 ‖ 이버스카이 지분을 대한항공에 모두 팔…
14 [kss mecab] …예 ★경★ 1950년 FIFA 월드컵 브라질 우승! ★ ‖ 축★ 이라는 신문기사를 내보냈고 이에…
15 [kss mecab] …아모 3:13), 때로는 하느님의 발현이라고 생각되었다 ‖ (창세 16:!0, 출애 3:2-14…
16 [kss mecab] …이 게임에는 커맨드 앤 컨커 시리즈 중 커맨드 앤 컨커 ‖ : 타이베리안 시리즈에 새로운 세 번…
17 [kss mecab] …틱 코미디 영화로는 가장 흥행한 영화라는 기록을 세웠다 ‖ (이후 2007년 영화 《미녀는 괴로…
18 [kss mecab] …월 23일 2심 형량 10개월을 채우고 만기 출소 했다 ‖ 그러나 2014년 6월 26일 대법원…
19 [kss mecab] …수로서 거름통을 싣는 짐수레에 실려 처형장으로 끌려갔다 ‖ (루이 16세의 경우 역시 마찬가지였…
20 [kss mecab] …미성년자가 책임능력이 있어 ‖ 그 스스로 불법행위책임을 지는 경우에…
분리기           불러오기 s   숫자 틀림  말줄임 틀림   인용 틀림   목록 틀림    합계    더 쪼갬/덜 쪼갬     문단 자/초    문장 수  부호 없는 끝
kiwipiepy       2.72     0/10     4/10     0/10     6/10  10/40       4/6        81,201     657        6
kss pecab       5.10     0/10     3/10     1/10     7/10  11/40       4/6           382     666       18
문단 100개 중 문장 수가 kiwipiepy와 다른 문단: kss pecab 25.0%

kss punct의 불러오기 5.08초에는 kss 모듈 자체를 처음 들여오는 시간이 들어 있습니다. 같은 프로세스에서 뒤에 오는 kss fast·kss mecab의 0.00초는 그 덕입니다.

유형별 오류

숫자 뒤 마침표

숫자 유형은 정규식만 열 중 둘을 틀렸습니다. 둘 다 한국식 날짜였습니다 — 「2024. 3. 15. 정식으로 발표했다.」를 「2024.」·「3.」·「15.」·「정식으로 발표했다.」로, 「2026.10.15. 기준이다.」를 「2026.10.15.」·「기준이다.」로 잘랐습니다. 마침표 뒤에 공백이 오면 무조건 자르는 규칙이라 날짜의 마침표와 문장 끝의 마침표를 못 가릅니다. 「3.5」처럼 마침표 뒤에 공백이 없는 소수점과 버전 번호는 정규식도 맞혔습니다.

kiwipiepy와 kss 백엔드 넷은 날짜까지 열 개를 다 맞혔습니다. 자주 문제로 꼽히는 자리이지만 이 예문에서는 형태소를 보는 분리기 모두가 이미 풀고 있었습니다.

말줄임표

말줄임은 일곱 후보 전부가 둘 이상을 틀렸습니다. 공통으로 틀린 것은 문장 가운데의 말줄임 뒤에 공백이 오는 자리입니다. 「글쎄요... 잘 모르겠습니다.」는 일곱 다 「글쎄요...」에서 잘랐습니다. 가운데 말줄임 다섯 가운데 가장 많이 맞힌 것이 셋(kss의 fast·mecab·pecab)이었고, kiwipiepy는 굽은 말줄임표(…)가 든 「음… 이건 예상 밖이다.」 하나만 맞혔습니다.

문장 끝의 말줄임은 반대 방향으로 틀렸습니다. 「그는 말끝을 흐렸다… 방 안이 조용해졌다.」를 kss의 punct·mecab·pecab이 한 문장으로 붙였습니다. 굽은 말줄임표 한 글자로 끝난 이 예문에서만 그랬고, 마침표 셋(...)으로 끝난 문장은 다 잘랐습니다. 정규식과 kiwipiepy는 문장 끝 다섯을 다 맞혔습니다.

말줄임 뒤에 오는 말이 앞 문장의 이어짐인지 새 문장인지는 글자 모양만으로는 안 갈립니다. 「글쎄요...」 다음의 「잘 모르겠습니다」도 홀로 문장이 되므로, 분리기가 자른 것을 꼭 틀렸다고만 할 수는 없습니다. 이 유형의 틀림 수는 「우리가 정한 정답과 다르다」로 읽어야 합니다.

인용부호

kiwipiepy는 인용 열 개를 다 맞혔습니다. 정규식은 따옴표 안에 문장이 둘 든 넷(「"내일 가겠다. 꼭 간다."라고」 같은 것)을 전부 따옴표 안에서 잘랐습니다. 인용을 모르는 규칙이 틀리는 그대로입니다.

kss는 백엔드마다 다른 자리에서 틀렸습니다. punct와 fast는 굽은 따옴표로 닫힌 「“모델이 바뀌었다. 단가도 바뀌었다.”라는 공지가 떴다.」를 닫는 따옴표 뒤에서 잘라 「라는 공지가 떴다.」를 따로 떼었습니다. fast는 거기에 곧은 따옴표 안의 두 문장 둘도 따옴표 안에서 잘랐습니다. mecab과 pecab은 「‘됐다!’ 하고 외쳤다.」를 「‘됐다!’」와 「하고 외쳤다.」로 갈랐습니다.

목록 항목

목록은 갈림이 가장 컸습니다. kss punct와 mecab은 열 묶음을 전부 틀렸고, fast가 여덟, pecab이 일곱, kiwipiepy가 여섯을 틀렸습니다. 틀린 방식은 거의 하나였습니다 — 줄바꿈을 경계로 보지 않고 「- 연필\n- 지우개\n- 공책」을 한 문장으로 붙였습니다. 덜 쪼갬이 kss punct·mecab에서 열, kiwipiepy에서 여섯인 것은 대부분 이것입니다.

kiwipiepy가 맞힌 넷은 전부 번호가 붙은 목록이었습니다(1. 1) 가.). 번호는 문장 머리로 알아보고 글머리표와 맨 줄은 못 알아본 것입니다. 정규식은 줄바꿈에서 무조건 자르므로 글머리표 목록은 다 맞혔지만, 「1. 데이터를 받는다」를 「1.」과 「데이터를 받는다」로 갈라 번호가 붙은 목록 셋을 틀렸습니다.

「kiwipiepy 줄 먼저」는 목록 열을 다 맞혔고 다른 세 유형의 결과는 kiwipiepy와 같았습니다. 마흔 가운데 틀린 넷이 전부 가운데 말줄임입니다. KorQuAD 문단에는 줄바꿈이 없어 실제 문단의 결과도 kiwipiepy와 같았습니다(문장 수가 다른 문단 0.0%).

실제 문단의 어긋남

문장 수

문단 960개를 kiwipiepy는 6,445문장으로 갈랐습니다. kss mecab 6,406, kss punct 6,361, 정규식 6,562였고 kss fast만 6,909로 7.2% 많았습니다. 문장 수가 kiwipiepy와 다른 문단의 비율은 kss mecab 10.9%, punct 12.3%, 정규식 17.1%, fast 50.6%였습니다. 문단 100개로만 잰 kss pecab은 25.0%였습니다.

정규식이 kiwipiepy보다 117문장 많은 것은 예문에서 본 그대로입니다. 위키백과 문단에는 「"…했다. …했다."라고 말했다」 꼴의 인용이 흔하고, 정규식은 그 안에서 자릅니다. 부호 뒤에서 자른 것이라 아래의 부호 없는 끝에는 하나도 안 잡힙니다.

부호 없는 끝

부호 없는 끝은 kss fast 653, kiwipiepy 67, kss mecab 46, kss punct 2, 정규식 0이었습니다. 뽑은 20개를 판정한 결과는 이렇습니다.

분리기 부호 없는 끝 20개 중 문장 가운데를 자른 것 나머지 오류가 난 모양
kss fast 653 20 — 「~다」 뒤에 붙은 「는」·「고」·「면」·「가」 앞에서 자름 20
kss mecab 46 17 원문에 마침표 없음 3 쌍점 앞 4, 여는 괄호 앞 3, 낱말 가운데 2, 그 밖 8
kiwipiepy 67 15 원문에 마침표 없음 4, 「./」 뒤 1 마침표 뒤 책 제목(《》·<>·'')을 앞 문장에 붙임 12, 「.(」 1, 연결어미 뒤 2

판정 기준은 하나입니다. 자른 자리 뒤의 조각이 홀로 문장이 될 수 없으면(조사·어미로 시작하거나, 앞 조각이 「~했고」처럼 끝나지 않은 절이면) 문장 가운데를 자른 것으로 셌습니다. 원문 자체가 「출소 했다 그러나」처럼 마침표 없이 다음 문장으로 넘어간 자리는 분리기가 옳게 자른 것입니다.

kss fast는 20개가 전부 같은 모양이었습니다. 「~했다는 비판이 제기됐다」·「~없다고 단언했다」처럼 종결어미 「다」 뒤에 인용·관형 어미가 붙는 자리를 「다」에서 끊었습니다. 형태소를 보지 않고 「다」라는 글자 모양으로 끝을 찾는 규칙이 한국어 간접 인용과 정면으로 부딪히는 자리입니다. 653개는 fast가 낸 문장 6,909개의 9.5%입니다.

kiwipiepy의 오류는 대부분 한 자리였습니다. 「…출연했다. 《4인용 식탁》은 전국적으로…」에서 마침표 다음의 책 제목을 앞 문장 끝에 붙이고 「은 전국적으로…」부터 새 문장을 열었습니다. 20개 중 15개를 오류로 보면 67개 가운데 50개 안팎이고, 문장 6,445개의 0.8%입니다. 청크 분할기 실측이 kiwipiepy 경계를 정답으로 쓴 것은 이 정도 오차를 안고 있었습니다.

속도와 설치

처리량

문단 51만 7천 자를 자르는 처리량은 정규식이 초당 1,997만 자로 압도적이었고, kiwipiepy 8만 1천 자, kss fast 7만 4천 자, kss punct 3만 7천 자, kss mecab 3만 4천 자였습니다. 정규식은 kiwipiepy의 246배입니다. kss pecab은 같은 실행의 kiwipiepy(초당 8만 1천 자)보다 213배 느린 초당 382자였습니다. 이 속도면 문단 960개를 다 자르는 데 23분이 걸려 문단 100개로 줄였습니다.

kss는 같은 함수 안에서 백엔드에 따라 처리량이 두 배 넘게 갈렸고, 형태소를 보는 mecab이 보지 않는 punct보다 느렸습니다. 다만 mecab 백엔드와 kiwipiepy는 둘 다 형태소를 보는데 kiwipiepy가 2.4배 빨랐습니다.

같은 스크립트를 다른 가상환경에서 한 번 더 돌렸을 때 처리량은 후보마다 최대 8% 달랐고(kiwipiepy 줄 먼저 초당 8만 2천 자 대 7만 5천 자), 순서와 배수의 자릿수는 같았습니다. 틀림 수·문장 수·부호 없는 끝은 두 번 다 같았습니다. 절대 처리량은 이 컨테이너의 값이므로 배수로만 읽습니다.

설치

후보 설치 시간 (빈 가상환경, 캐시 없음, 3회) 늘어난 용량 가장 큰 것
kss 36.7 · 38.8 · 37.3초 646MB pyarrow 167MB, pecab 114MB, scipy 113MB, kollocate 84MB
kiwipiepy 13.2 · 14.4 · 14.2초 217MB 모델 104MB, numpy 45MB
python-mecab-ko 2.7 · 3.0 · 4.6초 108MB 사전 107MB
정규식 0초 0 표준 라이브러리 re
python3 -m venv v && time v/bin/pip install -q --no-cache-dir kss   # 다른 후보도 같은 명령
du -sk v   # 설치 전후의 차

kss는 문장 분리 하나를 위해 646MB를 들입니다. pecab이 의존하는 pyarrow와, 문장 분리와 무관한 기능(연어 사전 kollocate 등)이 함께 오기 때문입니다. mecab 백엔드를 쓰려면 python-mecab-ko 108MB가 더 붙습니다. kiwipiepy는 그 3분의 1인 217MB로 kss의 어느 백엔드보다 예문 오류가 적었습니다.

결정 규칙

꺾이는 지점

예문 40건의 틀림은 kiwipiepy 줄 먼저 4, kiwipiepy 10, pecab 11, fast 13, 정규식·mecab 14, punct 15였습니다. 이 가운데 목록을 빼면 kiwipiepy와 줄 먼저는 같은 4이고, 목록 하나가 kiwipiepy를 6에서 0으로 바꾼 것이 줄바꿈 처리 한 줄이었습니다.

한 줄로 적으면 이렇습니다 — 정답이 있는 예문에서는 줄바꿈을 먼저 가르는 한 줄이 틀림을 10건에서 4건으로 줄였고, 실제 문단에서는 kss fast 하나가 문장의 9.5%를 문장 가운데서 잘랐습니다. 나머지 분리기 사이의 차이는 그 둘보다 작았습니다.

고르는 기준

  1. 어느 분리기든 글이 줄바꿈을 품으면 줄로 먼저 가른 뒤 넘깁니다. kss 넷과 kiwipiepy는 글머리표 목록을 한 문장으로 붙입니다. 마크다운·PDF에서 뽑은 텍스트는 거의 늘 목록을 품습니다.
  2. 기본은 kiwipiepy 줄 먼저입니다. 예문 틀림이 4건으로 가장 적고 남은 넷은 전부 가운데 말줄임이며, 처리량은 초당 7만 5천~8만 1천 자로 형태소를 보는 분리기 가운데 가장 빨랐습니다. 실제 문단에서 문장의 0.8%쯤을 책 제목 자리에서 잘못 자르는 것이 알려진 값입니다.
  3. 처리량이 초당 8만 자로 모자랄 때만 정규식으로 내려갑니다. 246배 빠르지만 따옴표 안에 문장이 둘 든 인용을 전부 그 안에서 자르고, 한국식 날짜를 문장 넷으로 쪼갭니다. 실제 문단의 17.1%에서 kiwipiepy와 문장 수가 달랐습니다.
  4. kss의 fast 백엔드는 쓰지 않습니다. 간접 인용이 흔한 글(뉴스·위키백과)에서 「~다고」·「~다는」 앞을 자릅니다. 이 코퍼스에서 문장의 9.5%입니다.
  5. kss를 이미 쓰고 있다면 punct나 mecab에 줄 먼저를 더해 씁니다. pecab은 초당 382자라 대량 처리에는 맞지 않습니다. 새로 들일 이유는 이 측정에서 나오지 않았습니다 — 646MB를 들여 kiwipiepy보다 예문을 더 틀렸습니다.

한계

확인되지 않은 것

  • 예문 40건은 우리가 만든 것이고 유형마다 열 개뿐입니다. 한 건이 10%p라 유형 안에서 1~2건 차이는 우연과 구별되지 않습니다. 정답도 사람이 정한 것이라 말줄임처럼 두 해석이 다 되는 자리에서는 「우리 정답과 다르다」 이상을 말하지 못합니다.
  • 실제 문단은 위키백과 문체의 KorQuAD 하나입니다. 대화체·채팅(문장부호가 거의 없는 글), 법률 문서, 코드가 섞인 기술 문서에서는 순서가 달라질 수 있습니다.
  • 부호 없는 끝의 판정은 분리기마다 20개 표본이고 한 사람이 했습니다. 오류 비율(15/20, 17/20, 20/20)을 전체 수에 곱한 값은 어림입니다. 부호 뒤에서 잘못 자른 오류는 이 검사로 세지 못했습니다.
  • kss pecab은 문단 100개로만 쟀습니다. 그 문장 수 비교(25.0%)는 나머지 넷의 960개짜리 값과 바로 견줄 수 없습니다.
  • 메모리와, 문장 분리를 청크 분할에 붙였을 때 검색 품질이 달라지는지는 재지 않았습니다.

환경

항목 값
OS Linux 6.18.44 x86_64 (glibc 2.39)
CPU / RAM Intel Xeon @ 2.10GHz, 4 vCPU / 15GB
Python 3.11.17
패키지 kss 6.0.6, pecab 1.0.8, kiwipiepy 0.24.0, python-mecab-ko 1.3.7, datasets 5.1.0
데이터 KorQuAD/squad_kor_v1 (01aad238) 검증 분할 문단 960개, 직접 만든 예문 40건
실행 시간 split.py 1분 5초 (sample.py 1초 미만), split.py "kss pecab" 2분 29초
측정일 2026-10-15 (KST)

위 출력은 재현 블록의 pip install 한 줄로 새로 만든 가상환경에서 다시 돌린 것입니다.


읽어주셔서 감사합니다. 😊

LATEST

도구의 최신 글

도구2026.11.12

토크나이저 속도 실측: 같은 한국어를 자르는 데 몇 배가 갈리는가 — 33배가 갈렸지만 병목은 아니었고, 먼저 갈린 것은 토큰 열이었다

토크나이저 아홉을 구현 다섯으로 같은 한국어·영어 문단에 걸었다. 초당 글자 수는 33배 갈렸지만 임베딩 시간의 1%를 넘은 것은 순수 파이썬 하나였다. 그보다 먼저, transformers 5의 AutoTokenizer가 세 토크나이저에서 tokenizer.json과 다른 토큰 열을 냈다.

34 MIN
도구2026.11.12

모델 카드는 학습 데이터를 밝히는가: 평가셋 겹침을 배제할 수 있는 모델 — SciFact 점수를 내건 아홉 중 데이터를 다 적은 둘은 SciFact의 원천 말뭉치로 학습했다

임베딩·재순위 모델 35개의 카드를 토큰 없이 받아 학습 데이터 공개를 명시·부분·없음으로 갈랐다. 다 적은 것은 13개였고, SciFact 점수를 내건 9개 중에서는 둘뿐이었으며 그 둘도 SciFact 문서를 뽑아 온 S2ORC로 학습했다.

36 MIN
도구2026.11.11

벡터 저장 비용: fp32·fp16·int8·1비트를 달러로 바꾸면 — 1억 개에서 int8은 월 $476에 KorQuAD 0.14%p를 팔았고, 1비트는 그래프에 막혀 2.8배만 줄었다

AWS 가격 목록의 MemoryDB·S3 요금에 정밀도별 벡터 크기와 직접 잰 HNSW 그래프 144.4바이트를 곱했다. 문서 840만 개까지는 fp32도 가장 작은 노드 하나에 들어 압축이 한 푼도 못 아꼈고, 1억 개에서 1비트 단독은 1%p에 월 $12를 받는 거래였다.

25 MIN