LLM·트랜스포머

LLM / 48번째 글

형태는 맞는데 값이 틀릴 때

스키마를 통과한 출력에서 남는 의미 오류를 잡는 네 층의 검증, 오류를 되먹여 재시도하는 방법과 그 상한, 근거 인용을 스키마에 심어 자동 대조를 가능하게 하는 설계를 정리합니다.

PALDYN Team31 MIN READ

지난 글까지 출력의 형태를 강제하는 방법을 다뤘다. 모델이 다음 토큰을 고를 때 정해 둔 문법에 맞지 않는 토큰을 아예 후보에서 빼 버리는 방식, 곧 제약 디코딩을 걸면 파싱 오류와 타입 오류가 사라진다. 그런데 실제 서비스에서 사고를 내는 것은 대개 그다음이다. 형태가 완벽하고 검증기가 초록불을 켰는데 그 안의 값이 틀린 경우다. 이쪽이 더 위험한 이유는 명확하다 — 깨진 JSON은 즉시 예외로 터지지만, 존재하지 않는 주문번호는 조용히 데이터베이스에 들어간다.

이 글은 그 조용한 실패를 다룬다. 검증을 층으로 나눠 어느 층이 제약으로 사라지고 어느 층이 코드에 남는지 가르고, 남는 층을 잡는 규칙과 재시도, 원문 대조를 차례로 본 뒤, 그것을 운영에서 무엇으로 지켜보는지까지 간다.

검증의 네 층

층 구분

한 덩어리로 "검증"이라고 부르면 어디까지 했는지가 흐려진다. 네 층으로 나눠 보면 각 층의 대응이 다르다는 게 드러난다.

검증은 네 층이고 층마다 대응이 다르다

여기서 스키마는 출력이 가져야 할 필드와 타입, 허용 값을 적어 둔 명세이고, 1·2층은 출력이 그 명세의 모양에 맞는지를, 3·4층은 모양 안에 든 값이 맞는지를 본다. 위의 두 층은 제약 디코딩으로 없앨 수 있는 문제다. 여기에 방어 코드를 쌓는 것은 대체로 낭비다. 아래 두 층은 제약으로 없앨 수 없고, 코드가 직접 봐야 한다. 그리고 4층은 스키마 설계 단계에서 준비해 두지 않으면 아예 볼 수단이 없다.

층 대표 실패 어떻게 없애는가
파싱 앞뒤 설명 문장, 깨진 따옴표 제약 디코딩
스키마 필수 필드 누락, enum 밖 값 제약 디코딩
의미 없는 ID, 2월 31일, 시작이 끝보다 늦음 코드 검증 + 재시도
근거 원문에 없는 값을 채워 넣음 인용을 함께 뽑아 대조

층을 나누지 않은 코드는 같은 검사를 두 번 하는 경향이 있다. 파싱한 직후 if "order_id" not in data 같은 필수 필드 검사를 다시 하고, 그 뒤에 Pydantic 모델로 한 번 더 읽는 식이다. 스키마가 강제되고 있다면 앞의 검사는 영원히 거짓이고, 강제가 안 되고 있다면 뒤의 검사가 어차피 잡는다. 어느 쪽이든 한 줄은 죽은 코드다. 더 나쁜 것은 그 중복이 "검증은 충분히 했다"는 착각을 만든다는 점이다. 검사 줄은 많은데 전부 형태를 보고 있고, 값을 보는 줄은 하나도 없는 코드가 흔하다.

층별 실패율

층을 나누면 층마다 실패율을 따로 셀 수 있다. 예를 들어 상담 메일에서 티켓을 뽑는 작업이 하루 1,000건 돈다고 하자. 제약 디코딩이 제대로 걸려 있다면 1층과 2층의 실패는 0건이어야 한다. 3층에서는 없는 주문번호, 지난 날짜 같은 의미 오류가 62건 나오고, 인용 필드를 둔 스키마라면 4층에서 원문에 없는 인용이 18건 더 걸린다고 해 보자. 그러면 이 작업의 실패는 "8%"라는 한 숫자가 아니라 "형태 0%, 의미 6.2%, 근거 1.8%"라는 세 숫자가 된다.

세 숫자로 갈라 두면 할 일이 갈린다. 형태 실패가 0이 아니면 제약이 안 걸려 있다는 뜻이라 설정을 본다. 의미 실패가 높으면 규칙이나 스키마의 description을 본다. 근거 실패가 높으면 입력 문서 자체에 정보가 없는 건이 많은지, 모델이 인용을 다듬고 있는지를 본다. 한 숫자로 뭉쳐 두면 셋 중 무엇이 나빠졌는지 알 길이 없다.

실패의 행선지

층이 다르면 실패를 보낼 곳도 다르다. 1·2층 실패는 원래 일어나면 안 되는 일이라 재시도보다 경보가 맞다. 3층 실패는 오류 내용을 붙여 다시 물으면 고쳐지는 경우가 많으므로 즉시 재시도로 보낸다. 4층 실패는 재시도로 잘 안 풀린다. 원문에 그 값이 정말 없다면 몇 번을 물어도 모델이 지어낼 수밖에 없기 때문이다. 이런 건은 폴백, 곧 자동 처리를 포기하고 사람 검토 큐로 보내거나 그 필드만 비워 저장하는 길로 보낸다. 층마다 행선지를 미리 정해 두면, 실패를 만났을 때 코드가 "일단 다시 해 본다"는 하나의 반사로만 움직이지 않는다.

의미 검증

규칙 목록

이 층에 특별한 기법은 없다. 필요한 것은 규칙을 한군데 모아 두는 것과, 실패했을 때 무엇이 왜 틀렸는지를 문자열로 남기는 것이다. 뒤에서 재시도할 때 그 문자열을 그대로 쓴다.

from dataclasses import dataclass
from datetime import date


@dataclass
class Violation:
    field: str
    reason: str


def check_ticket(data: dict, catalog) -> list[Violation]:
    problems = []

    order_id = data["order_id"]
    if order_id is not None and not catalog.order_exists(order_id):
        problems.append(Violation("order_id", f"{order_id}는 존재하지 않는 주문번호"))

    try:
        due = date.fromisoformat(data["due"])
    except ValueError:
        problems.append(Violation("due", f"{data['due']}는 실재하지 않는 날짜"))
    else:
        if due < date.today():
            problems.append(Violation("due", "기한이 오늘보다 이르다"))

    if data["refund_amount"] is not None and data["order_id"] is None:
        problems.append(Violation("refund_amount", "주문번호 없이 환불 금액만 채웠다"))

    return problems

여기서 의미 오류는 스키마의 모양은 다 지켰는데 값이 현실과 안 맞는 것이고, 위 함수는 그 오류를 필드 이름과 이유의 짝(Violation)으로 돌려준다. 이유를 사람이 읽는 문장으로 적는 데 까닭이 있다. 이 문장은 로그에 남아 사람이 읽고, 재시도 때는 모델이 읽는다. "invalid"처럼 짧게 적으면 둘 다 무엇을 고쳐야 할지 모른다.

규칙이 열 개를 넘어가면 함수 하나에 if를 이어 붙이는 대신 규칙을 목록으로 두는 편이 낫다. 규칙마다 id와 대상 필드, 검사 함수, 이유 문장을 한 줄씩 적고, 검증기는 그 목록을 돌기만 한다. 이렇게 하면 규칙 id별로 걸린 횟수를 셀 수 있다. 석 달 동안 한 번도 안 걸린 규칙은 스키마가 이미 막고 있는 것일 수 있고, 매일 수십 번 걸리는 규칙은 그 필드의 설명이 모델에게 잘못 전달되고 있다는 뜻이다. 함수 안에 흩어진 if로는 이런 횟수를 셀 수 없다.

필드 간 일관성

위 코드의 마지막 규칙 같은 필드 간 일관성이 실무에서 가장 자주 걸리는 부류다. 각 필드는 저마다 그럴듯한데 조합이 말이 안 되는 경우로, 환불 금액은 있는데 주문번호가 없거나, 상태가 "해결"인데 해결 날짜가 비어 있는 식이다. 스키마로는 표현하기 어렵고, 사람이 눈으로 볼 때는 바로 보인다. 그래서 이런 규칙은 데이터를 보다가 하나씩 추가되는 성격이고, 그때마다 코드 한 곳에 쌓이도록 구조를 잡아 두는 것이 중요하다.

빠뜨림을 줄이는 방법은 조합표다. 널이 될 수 있는 필드를 가로세로로 놓고, 칸마다 "둘 다 있음 · 하나만 있음 · 둘 다 없음"이 말이 되는지 적는다. 필드가 다섯이면 짝이 열 개라 한 시간이면 채운다. 표를 채우다 보면 "주문번호 없이 환불 금액만"처럼 규칙이 필요한 칸이 저절로 드러나고, 나중에 필드를 하나 더할 때도 새 행 하나만 채우면 된다. 데이터를 보다가 우연히 발견하기를 기다리는 것보다 빠르다.

날짜 검사

날짜는 특별히 언급할 만하다. format: "date"는 강제되지 않는 경우가 많고, 강제되더라도 2026-02-31을 통과시키는 구현이 흔하다. 정규식이 "숫자 넷, 하이픈, 숫자 둘, 하이픈, 숫자 둘"만 보기 때문이다. date.fromisoformat으로 한 번 파싱해 보는 세 줄이면 끝나는 문제인데, 이걸 안 해서 나중에 배치 작업이 죽는 일이 반복된다.

실재하는 날짜라고 끝이 아니다. "다음 주 화요일까지"라는 메일에서 모델이 기한을 뽑으면, 모델은 오늘이 며칠인지 모르므로 학습 데이터 어딘가의 해를 붙이기 쉽다. 형태도 맞고 실재하는 날짜인데 1년 전이다. 위 코드가 "기한이 오늘보다 이르다"를 따로 보는 이유가 이것이고, 근본적으로는 프롬프트에 오늘 날짜를 넣어 주는 것이 먼저다.

되먹임 재시도

주사위 재시도

의미 오류를 만났을 때 가장 흔한 대응이 재시도다. 그런데 같은 프롬프트를 그대로 다시 보내면 대개 같은 답이 다시 온다. 모델에게는 앞의 답이 왜 틀렸는지 알 방법이 없고, 같은 입력에서 같은 판단을 다시 내린다. 온도를 올려 다른 답을 뽑는 방법도 있지만, 그건 문제를 푸는 게 아니라 주사위를 다시 던지는 것이다. 틀린 필드가 바뀔 수는 있어도 맞는 필드가 그대로 남는다는 보장이 없다.

재시도는 오류를 알려 줄 때만 의미가 있다

수리 대화

검증기가 찾은 오류를 모델에게 돌려주고 고쳐 달라고 하는 방식을 되먹임 재시도라고 하고, 앞에서 이유를 문장으로 남긴 것이 여기서 쓰인다. 코드로는 이렇게 생겼다.

def extract_with_repair(text: str, catalog, max_repairs: int = 2) -> dict:
    messages = [{"role": "user", "content": text}]

    for attempt in range(max_repairs + 1):
        data = call_with_schema(messages, TICKET_SCHEMA)
        problems = check_ticket(data, catalog)
        if not problems:
            return data

        if attempt == max_repairs:
            raise UnrepairableOutput(problems)

        detail = "\n".join(f"- {p.field}: {p.reason}" for p in problems)
        messages += [
            {"role": "assistant", "content": json.dumps(data, ensure_ascii=False)},
            {"role": "user", "content": f"아래 문제를 고쳐 다시 답하라.\n{detail}"},
        ]

앞선 응답을 대화에 남기는 부분이 중요하다. 모델이 자기가 뭘 냈는지 보고 그 차이만 고치게 된다. 이걸 빼고 오류 메시지만 보내면 모델은 처음부터 다시 만들고, 이번엔 다른 필드가 틀린다. 오류 메시지는 필드 이름과 이유를 함께 적는다. "주문번호가 틀렸다"보다 "A-1029는 존재하지 않는 주문번호"가 낫다 — 모델이 원문에서 다른 후보를 찾아야 한다는 것을 안다.

재시도 상한

상한은 감으로 정하지 말고 재서 정한다. 앞의 1,000건 예로 돌아가, 3층에서 걸린 62건에 되먹임 재시도를 붙였다고 하자. 1회 수리에서 44건이 고쳐지고(71%), 남은 18건 중 2회 수리에서 7건이 더 고쳐지고(39%), 남은 11건을 3회째 돌려 보면 1건만 고쳐진다(9%). 수리 한 번마다 남은 것 중 고쳐지는 비율이 이렇게 가파르게 떨어지는 것이 흔한 모양이다. 고칠 수 있는 오류는 대개 첫 번에 고쳐지고, 남는 것은 오류 문장을 아무리 보여 줘도 답할 수 없는 건이기 때문이다.

수리 횟수별로 고쳐지는 건수와 남는 건수

그 남은 11건을 열어 보면 대부분 입력 자체에 정보가 없다. 메일에 주문번호가 아예 없는데 스키마가 주문번호를 요구하면, 모델은 오류를 받을 때마다 다른 주문번호를 지어낸다. 이런 건은 반복해 봐야 토큰과 지연만 쓰므로 폴백으로 보낸다. 그래서 상한은 2회면 충분한 경우가 많지만, 숫자는 작업마다 다르니 위처럼 회차별 성공률을 한 번은 재 보는 것이 좋다.

재시도 비용

재시도에는 눈에 덜 띄는 비용이 붙는다. 수리할 때마다 앞선 답과 오류 문장이 대화에 쌓이므로 입력이 길어진다. 예를 들어 첫 호출이 입력 1,500토큰과 출력 200토큰이고, 오류 문장이 60토큰이라고 하자. 1회 수리의 입력은 1500+200+60=17601500 + 200 + 60 = 1760 토큰이고 출력 200토큰을 더해 한 번에 1,960토큰이 든다. 2회 수리는 입력이 다시 260토큰 늘어 2,220토큰, 3회 수리는 2,480토큰이다.

이걸 앞의 건수에 곱하면 회차마다 건져 내는 한 건의 값이 보인다. 1회 수리는 62건에 62×1960=12152062 \times 1960 = 121520 토큰을 써서 44건을 건지므로 한 건에 약 2,760토큰이다. 2회 수리는 18건에 39,960토큰을 써서 7건이니 한 건에 약 5,710토큰이다. 3회 수리는 11건에 27,280토큰을 써서 1건이니 한 건에 27,280토큰, 첫 회차의 열 배 가까이다. 전체로 보면 수리 2회까지 붙였을 때 토큰은 재시도 없는 1,700,000토큰보다 약 9.5% 늘어난다. 이 정도면 대개 받아들일 만하지만, 3회째부터는 같은 돈으로 사람이 한 건 보는 편이 싸고 정확하다.

그리고 재시도 비율은 반드시 지표로 남긴다. 어떤 필드에서 몇 번 수리가 일어났는지가 쌓이면, 그건 스키마나 description을 고치라는 신호다. 재시도는 실패를 덮는 장치가 아니라 실패가 어디서 나는지 알려 주는 계측기로 쓸 때 값이 있다.

근거 대조

인용 필드

가장 어려운 층이다. 값이 "존재하는 형태"이고 "일관되기까지" 한데 그냥 사실이 아닌 경우다. 계약서에서 금액을 뽑았는데 그 금액이 문서에 없는 숫자라면 앞의 세 층은 전부 통과한다. 모델이 원문에 없는 내용을 그럴듯하게 지어내는 이 현상을 환각이라고 부르는데, 추출 작업에서 환각은 대개 "빈칸을 채우려는 성향"으로 나타난다. 스키마에 필드가 있으면 뭔가를 넣으려 한다.

이걸 자동으로 잡으려면 모델에게 근거를 함께 내게 해야 한다. 그리고 그 근거는 기계가 대조할 수 있는 형태여야 한다. 요약이 아니라 원문 그대로의 문장, 곧 근거 인용이다.

CONTRACT_SCHEMA = {
    "type": "object",
    "properties": {
        # 인용을 먼저 쓰게 한다 — 뒤 값이 이 문장을 근거로 나온다
        "amount_quote": {
            "type": ["string", "null"],
            "description": "금액이 적힌 문장을 원문에서 그대로 옮긴다. 요약하거나 다듬지 말 것. 못 찾으면 null.",
        },
        "amount": {"type": ["integer", "null"]},
    },
    "required": ["amount_quote", "amount"],
    "additionalProperties": False,
}


def verify_grounding(data: dict, source: str) -> list[Violation]:
    quote = data["amount_quote"]
    if data["amount"] is not None and quote is None:
        return [Violation("amount", "근거 없이 금액을 채웠다")]
    if quote and normalize(quote) not in normalize(source):
        return [Violation("amount_quote", "원문에 없는 문장을 인용했다")]
    return []

스키마에서 인용 필드를 값 필드보다 앞에 둔 데 이유가 있다. 모델은 앞에서부터 토큰을 내므로, 인용을 먼저 쓰게 하면 금액은 이미 적힌 그 문장을 보고 나온다. 순서를 거꾸로 두면 금액을 먼저 정하고 그에 맞는 문장을 찾거나 지어내게 된다. 그리고 "못 찾으면 null"을 허용해 두는 것이 중요하다. 널 자리가 없으면 모델이 "모른다"를 표현할 길이 없어 무엇이든 채운다.

정규화 범위

인용을 원문과 견주기 전에 둘을 같은 꼴로 맞추는 일을 정규화라고 한다. 공백과 줄바꿈을 하나의 공백으로 접는 것이 기본이다. 원문이 PDF에서 뽑은 텍스트라면 줄 끝마다 줄바꿈이 박혀 있는데, 모델은 인용하면서 그 줄바꿈을 지우는 일이 많다. 여기까지는 거의 언제나 필요하다.

그다음이 판단할 자리다. 전각 숫자와 반각 숫자(100과 100), 여러 종류의 따옴표와 하이픈을 하나로 맞추는 것은 대체로 안전하다. 뜻이 바뀌지 않는 표기 차이이기 때문이다. 반면 조사를 떼거나 숫자의 쉼표를 지우는 데까지 가면 위험해진다. "1,000만 원"과 "1,000원"에서 쉼표와 단위를 걷어 내면 둘 다 "1000"으로 시작해 부분 문자열 검사가 엉뚱한 자리에서 맞았다고 답한다. 정규화를 세게 할수록 진짜 인용을 놓치는 일은 줄지만, 틀린 인용이 통과하는 일이 는다. 그래서 원칙은 뜻이 같은 표기 차이까지만 접고, 그 너머는 다음 소절의 유사도로 넘기는 것이다.

인용 대조는 정규화 뒤 완전 일치, 그다음 유사도 순서로 본다

유사도 임계값

정규화 뒤에도 모델이 조사 하나를 바꾸거나 괄호를 빼는 일은 남는다. 완전 일치만 요구하면 이런 진짜 인용이 전부 실패로 잡힌다. 그래서 완전 일치에 실패한 인용은 원문에서 길이가 비슷한 구간들과 견주어 가장 가까운 구간의 유사도, 곧 두 문자열이 얼마나 같은지를 0에서 1 사이로 잰 값을 구하고, 그 값이 정해 둔 문턱을 넘으면 통과시킨다.

문턱은 표본으로 정한다. 예를 들어 사람이 진짜 인용과 지어낸 인용을 표시해 둔 200건을 놓고 문턱별로 세어 본다고 하자. 완전 일치(문턱 1.0)에서는 진짜 인용 23건이 떨어진다. 0.9에서는 진짜 인용 4건이 떨어지고 지어낸 인용 1건이 통과한다. 0.8로 내리면 진짜 인용은 하나도 안 떨어지지만 지어낸 인용 6건이 통과한다. 이 작업에서는 0.9가 균형점이다. 진짜를 버리는 쪽은 사람 검토 큐가 받아 주지만, 가짜를 통과시키는 쪽은 아무도 모르게 데이터베이스로 들어가기 때문에, 애매하면 문턱을 높은 쪽에 둔다.

이 방식의 값어치는 두 가지다. 원문에 없는 인용을 만들어 내기가 어렵기 때문에 환각이 줄고, 만들어 냈더라도 코드가 잡을 수 있다. 앞의 것이 실제로 얼마나 되는지는 같은 문서 묶음에 인용 필드가 있는 스키마와 없는 스키마를 나란히 돌리고, 사람이 두 결과의 값을 원문과 대조해 틀린 값의 비율을 세면 잴 수 있다. 대조할 것이 없으면 사람이 원문을 열어 보는 수밖에 없다.

검증 지표

지표 넷

구조화 출력을 운영에 넣을 때 남겨야 할 지표는 많지 않다.

  • 층별 실패율 — 1·2층이 0이 아니면 제약이 실제로 안 걸려 있는 것이다
  • 필드별 수리 횟수 — 스키마를 고칠 자리를 알려 준다
  • 폴백 비율과 그때의 입력 — 스키마가 못 다루는 입력 유형이 여기 모인다
  • 스키마 버전 — 지표가 언제부터 나빠졌는지를 알려면 필요하다

특히 첫 줄을 강조하고 싶다. 스키마 강제를 켰다고 믿고 있는데 실제로는 안 걸려 있는 경우가 생각보다 흔하다. tool_choice를 안 줬거나, 라이브러리가 조용히 프롬프트 힌트로 대체했거나, 모델이 바뀌면서 지원 범위가 달라진 경우다. 1·2층 실패율을 재고 있으면 그날 바로 안다.

필드별 수리율

필드별 수리 횟수를 그 필드가 채워진 건수로 나눈 것을 수리율이라고 하면, 수리율이 높은 필드는 설계가 모델에게 제대로 전달되지 않는 필드다. 경험상 한 필드의 수리율이 10%를 넘으면 그 필드는 코드가 아니라 스키마를 볼 때다.

예를 들어 due 필드의 수리율이 14%이고 수리 이유가 대부분 "기한이 오늘보다 이르다"라고 하자. 이건 모델의 능력 문제가 아니라 description이 "기한 날짜"라고만 적혀 있어서, 메일에 적힌 과거 날짜(주문일, 발송일)를 기한으로 가져오는 것일 수 있다. 설명을 "고객이 처리를 요청한 마감일. 주문일·발송일이 아님. 메일에 마감일이 없으면 null"로 고치면 수리율이 크게 떨어지는 일이 많다. 수리 이유를 규칙 id로 모아 두면 이런 진단이 한눈에 된다.

스키마 버전

지표에는 반드시 그 출력을 만든 스키마 버전과 모델 이름을 함께 남긴다. 스키마는 생각보다 자주 바뀐다. 필드 하나를 더하거나 description을 다듬는 것도 출력 분포를 바꾸는데, 버전이 기록에 없으면 "화요일부터 수리율이 올랐다"는 것은 보여도 화요일에 무엇이 바뀌었는지는 배포 기록을 뒤져야 안다. 버전이 지표와 한 줄에 있으면 버전별로 갈라 보는 것만으로 회귀를 일으킨 변경을 짚는다.

폴백 비율

폴백 비율이 오를 때 원인은 둘 중 하나다. 시스템이 나빠졌거나, 들어오는 입력이 달라졌거나다. 둘을 가르는 신호는 폴백 건의 입력이다. 폴백으로 간 건들이 특정 발신처, 특정 문서 양식, 처음 보는 언어에 몰려 있다면 입력 분포가 바뀐 것이고, 스키마가 그 새 입력을 다루도록 넓혀야 한다. 반대로 폴백 건이 평소 입력과 다를 게 없다면, 같은 날 바뀐 스키마 버전이나 모델을 먼저 의심한다. 그래서 폴백 비율만 남기지 말고 폴백 건의 입력도 함께 남기라는 것이다.

정리

제약 디코딩은 검증을 없애 주지 않는다. 검증의 종류를 바꿀 뿐이다. 문법과 타입을 보던 코드를 지우는 대신, 그 자리에 의미와 근거를 보는 코드를 넣는다. 이 교체를 안 하고 앞쪽만 지우면 시스템은 더 조용히 틀리게 된다.

의미 검증은 규칙을 한곳에 모으고 이유를 문장으로 남기는 지루한 코드이고, 그 문장이 되먹임 재시도의 재료가 된다. 재시도는 상한을 재서 정하고, 회차가 늘수록 한 건을 건지는 값이 가파르게 오른다는 것을 기억한다. 근거 대조는 인용 필드를 값보다 앞에 두고, 뜻이 같은 표기 차이까지만 정규화한 뒤, 표본으로 정한 유사도 문턱으로 본다.

그리고 검증은 뒤에 붙이는 것이 아니라 스키마 설계와 한 몸이다. 널 자리를 만들어야 "모른다"가 표현되고, 인용 필드를 만들어야 대조할 것이 생기며, 필드 순서를 정해야 근거가 결론보다 먼저 나온다. 결국 구조화 출력은 모델을 믿게 해 주는 기술이 아니라, 모델이 틀렸을 때 그것을 알아챌 수 있게 만드는 기술이다.


읽어주셔서 감사합니다. 😊

LATEST

LLM·트랜스포머의 최신 글

LLM·트랜스포머2026.08.14

작은 모델을 우리 일에 맞추는 법

파인튜닝이 실제로 고치는 것은 지식이 아니라 행동입니다. 데이터 몇 건이 필요한지, LoRA가 무엇을 바꾸는지, 학습 전에 무엇을 먼저 만들어야 하는지를 정리합니다.

15 MIN
LLM·트랜스포머2026.08.13

작은 모델로 내려도 되는지 판단하는 법

비용·지연·품질은 같은 방향으로 움직이지 않습니다. 폴백을 붙였을 때의 손익분기, 격차가 벌어지는 작업 유형, 그리고 내리기 전에 통과해야 할 네 관문을 정리합니다.

28 MIN
LLM·트랜스포머2026.08.06

제약 디코딩: 스키마가 토큰을 막는 방식

로짓 마스킹과 오토마톤 상태 전이로 스키마를 강제하는 원리, 토크나이저 경계 때문에 생기는 어려움, 컴파일·캐시 비용, 그리고 제약이 출력 품질을 오히려 떨어뜨리는 경우를 정리합니다.

31 MIN