LLM·트랜스포머

LLM / 43번째 글

추론 모델을 언제 쓸 것인가

정답 검증 가능성, 실패율, 지연 예산 세 가지로 추론 모델 도입을 판단하는 기준과, 추론 모델이 오히려 손해인 작업 유형, 그리고 트래픽을 등급으로 나눠 붙이는 실무 형태를 정리합니다.

PALDYN Team29 MIN READ

지난 글까지 추론 모델을 어떻게 쓰는지를 다뤘다면, 이번에는 그 앞의 결정을 정리한다. 쓸 것인가 말 것인가. 이 판단이 흐리면 뒤의 모든 튜닝이 헛돈다. 예산을 아무리 잘 나눠도 애초에 추론이 필요 없는 작업에 붙어 있으면 비용만 나가고, 반대로 필요한 자리에 안 붙어 있으면 정답률이 안 오른다. 그리고 이 결정은 취향이 아니라 세 개의 측정 가능한 값으로 내릴 수 있다.

세 가지 질문

추론 모델 도입 판단 흐름

순서가 중요하다. 위에서부터 묻고, 하나라도 아니오가 나오면 거기서 멈춘다.

기계적 검증

첫 질문은 정답을 기계적으로 검증할 수 있느냐다. 추론 모델의 강점은 답을 내기 전에 스스로 검토하는 데 있다. 그 검토가 의미를 가지려면 맞고 틀림이 있어야 한다. 계산 결과, 코드의 테스트 통과 여부, 스키마 충족 여부, 논리적 일관성처럼 판정이 가능한 것들이다.

반대로 "이 문장이 더 자연스러운가", "이 요약이 적절한가" 같은 질문에는 검토가 붙을 자리가 없다. 모델이 사고 구간에서 대안을 비교해 봐야 그 비교의 기준 자체가 취향이라 수렴하지 않는다. 이런 작업에서 추론 모델을 켜면 답변이 조심스러워지고 길어지기만 한다.

같은 이유로, 정답이 없으면 증류도 자체 평가 셋도 못 만든다. 개선 경로가 통째로 막힌다는 뜻이다. 이 질문에 아니오면 일반 모델에 루브릭 기반 평가를 붙이는 쪽이 맞다.

다만 「완전한 검증」만 검증으로 치면 이 질문을 통과하는 작업이 거의 없다. 실제로는 부분 검증으로 충분한 경우가 많다. 답 전체가 맞는지는 몰라도 틀린 답의 상당수를 걸러 내는 검사다. 자연어 질문을 SQL로 바꾸는 작업을 예로 들면, 그 SQL이 질문의 뜻을 정확히 옮겼는지는 사람이 봐야 알지만 실행이 되는지, 참조한 열이 실제로 있는지, 결과 행 수가 0이나 수백만처럼 터무니없지 않은지는 기계가 본다. 이 세 검사가 실패의 절반을 잡는다면 그 작업은 검증 가능한 쪽에 넣는다. 만드는 순서는 간단하다 — 지금까지 나온 오답을 늘어놓고, 그중 기계가 알아챌 수 있는 꼴을 하나씩 검사로 바꾼다.

1회 정답률

정답 판정이 되면 이제 실제로 얼마나 틀리는지를 잰다. 일반 모델에 CoT 프롬프팅까지 붙여 놓고 100건을 돌려 정답률을 본다.

  • 90% 이상 맞는다 — 추론 모델을 붙일 이유가 없다. 남은 10%를 위해 전체 트래픽 비용을 몇 배로 올리는 셈이다. 그 10%는 사람 검수나 재시도로 처리하는 쪽이 싸다.
  • 60~90% — 판단이 갈리는 구간이다. 세 번째 질문으로 넘어간다.
  • 60% 미만 — 추론 모델이 값을 할 가능성이 크다. 다만 실패 원인을 먼저 읽어야 한다. 아래에서 다시 다룬다.

여기서 자주 빠지는 함정은 정답률을 재지 않고 "어려운 작업이니까"라는 인상으로 결정하는 것이다. 사람에게 어려운 것과 모델에게 어려운 것은 자주 다르다. 사람이 보기에 복잡한 규칙 적용을 모델은 잘 하고, 사람이 보기에 사소한 단위 변환에서 모델이 틀린다.

100건이라는 수도 따져 볼 만하다. 100건에서 75%가 나왔을 때 표준오차는 0.75×0.25/100≈0.043\sqrt{0.75 \times 0.25 / 100} \approx 0.043이고, 95% 구간은 그 1.96배인 ±8.5점, 곧 66.5%에서 83.5%다. 구간 안에 있으면 판단이 바뀌지 않으므로 이 경우는 100건으로 충분하다. 문제는 정답률이 경계 근처일 때다. 88%가 나왔다면 구간이 82%에서 94%로 90% 선을 걸치므로, 「추론 모델이 필요 없다」고 말할 수 없다. 구간 폭을 ±5점으로 좁히려면 정답률 75% 근처에서 약 300건, 90% 근처에서 약 140건이 필요하다. 그래서 먼저 100건을 돌리고, 결과가 경계에 걸리면 그때 표본을 늘린다.

그 100건을 어떻게 뽑느냐가 숫자의 값을 정한다. 실제 요청 로그에서 뽑되 요청 종류별 비중을 맞춘다. 개발자가 손으로 만든 예제나 문제가 됐던 사례만 모으면 정답률이 실제보다 낮게 나와 추론 모델이 필요해 보이고, 쉬운 것만 모으면 반대가 된다. 정답 판정도 미리 못 박는다. 「대체로 맞음」을 맞은 것으로 칠지 정하지 않고 시작하면, 두 경로를 비교하는 동안 기준이 슬그머니 움직인다.

지연 예산

앞의 둘을 통과해도 지연 예산이 없으면 못 쓴다. 세 번째 질문은 지연 5초 이상을 감당할 수 있느냐다. 사고 구간은 통째로 침묵이고, 그 길이는 예산에 비례한다. 실시간 대화나 타이핑 중 자동 완성 같은 자리에는 들어갈 수 없다.

여기서 아니오라면 대안이 있다. 병렬 샘플링이다. 같은 질문을 일반 모델에 N번 동시에 던져 다수결하거나 검증기로 고른다. 세 경로를 나란히 놓으면 차이가 보인다(값은 상대적인 예다).

경로 지연 비용 듣는 실패
일반 모델 1회 1.5초 1 —
일반 모델 5회 병렬 + 다수결 2초 안팎 5 우연한 실수
추론 모델 10~30초 5~15 접근 오류

병렬 샘플링의 지연이 1회보다 조금 긴 것은 다섯 개 중 가장 늦게 끝나는 것을 기다리기 때문이다. 이 구성은 같은 모델이 매번 다르게 실수하는 경우, 곧 우연한 실수에 듣는다. 반대로 모델이 매번 같은 잘못된 방향으로 가는 실패에는 다섯 번 물어도 다섯 번 틀린다. 그래서 병렬 샘플링은 추론 모델의 완전한 대체가 아니라, 지연 예산이 빠듯하고 비용에 여유가 있을 때 고르는 차선이다.

5초라는 선도 화면에 따라 움직인다. 사용자가 답을 기다리며 화면을 보고 있는 자리라면 5초는 길다. 사고 요약을 스트리밍해 「무엇을 검토하는 중인지」를 보여 주면 체감은 나아지지만 실제로 답이 나오는 시점은 그대로다. 반대로 사용자가 기다리지 않는 자리, 예를 들어 밤사이 도는 배치 처리나 결과를 메일로 보내는 보고서 생성이라면 지연 예산 자체가 거의 무한이다. 그런 작업은 세 번째 질문을 건너뛰고 앞의 두 질문만으로 판단한다. 같은 기능이라도 대화 화면과 비동기 작업으로 나눌 수 있다면 나누는 것이 첫 번째 처방이다.

셋을 모두 통과하면 추론 모델을 켠다. 단, 전체 트래픽이 아니라 등급을 나눠서다.

실패 유형

다섯 유형

정답률이 낮다고 바로 추론 모델로 가면 안 되는 이유가 있다. 실패에는 종류가 있고, 추론 모델이 고쳐 주는 종류는 하나뿐이다.

실패 유형 증상 맞는 처방
지식 부족 없는 사실을 만들어 냄 RAG, 컨텍스트 보강
지시 오독 요구사항 일부를 빠뜨림 프롬프트 분해, 예시 추가
형식 위반 파싱 실패, 스키마 불일치 구조화 출력, 검증 후 재시도
계산 실수 중간 값을 틀림 도구 호출, 코드 실행
접근 오류 처음부터 잘못된 방향 추론 모델

마지막 줄만이 추론 모델의 영역이다. 앞의 넷에 추론 모델을 붙이면 틀린 답을 더 자신 있게 낸다. 특히 지식 부족에 추론 모델을 붙이는 것이 위험하다. 사고 구간에서 없는 사실을 근거로 정교한 논증을 만들어 내고, 그 결과가 매우 그럴듯해 보인다.

한 실패에 여러 유형이 겹치는 경우도 흔하다. 사실을 하나 지어낸 데다 형식까지 틀린 답이 그렇다. 이때는 가장 먼저 깨진 자리 하나로 라벨을 붙인다. 지어낸 사실 때문에 뒤의 계산이 틀렸다면 계산 실수가 아니라 지식 부족이다. 앞의 원인을 고치면 뒤의 증상은 저절로 사라지므로, 처방도 맨 앞의 원인에 붙여야 효과가 제대로 잡힌다.

라벨링 절차

실패 사례를 30건만 읽어 보면 어느 줄에 속하는지 대체로 갈린다. 이 30분이 몇 달치 API 비용을 좌우한다. 읽을 때는 시트 한 장을 쓴다. 열은 요청 원문, 모델의 답, 정답, 유형, 판단 근거 한 줄이다. 판단 근거를 비워 두면 나중에 같은 시트를 다시 볼 때 왜 그렇게 갈랐는지 알 수 없다.

가능하면 두 사람이 따로 라벨을 붙인다. 30건 중 몇 건은 반드시 갈리는데, 갈린 건은 둘이 함께 다시 읽고 합의하되 끝내 합의가 안 되면 「모호」로 따로 센다. 모호가 다섯 건을 넘으면 유형 정의가 흐린 것이니 정의부터 고친다. 가장 자주 갈리는 짝은 지시 오독과 접근 오류다. 요구를 하나 빠뜨려서 엉뚱한 방향으로 간 답은 겉보기에 접근 오류지만 처방은 프롬프트 쪽이다. 그래서 접근 오류로 분류한 건만 따로 모아 한 번 더 읽는다 — 「요구를 다 지켰는데도 방향이 틀렸는가」를 물으면 오분류가 상당수 걸러진다.

처방의 기대 효과

라벨을 붙였으면 순서를 정한다. 유형별 건수에 그 처방이 고칠 것으로 기대하는 비율을 곱하면 처방마다 되살릴 수 있는 건수가 나온다. 30건이 아래처럼 갈렸다고 하자.

유형 건수 처방의 기대 회복률 되살리는 건수
지식 부족 9 60% 5.4
형식 위반 5 90% 4.5
계산 실수 4 80% 3.2
지시 오독 6 50% 3.0
접근 오류 6 50% 3.0

회복률은 처음에는 어림이고, 처방을 하나 적용할 때마다 실제로 잰 값으로 바꾼다. 이 예에서 추론 모델은 맨 아래다. 게다가 다른 처방은 대개 한 번 만들면 호출마다 비용이 거의 안 붙는데, 추론 모델은 모든 요청에 사고 토큰 값이 붙는다. 되살리는 건수를 비용으로 나누면 순위가 더 벌어진다. 앞의 넷을 먼저 고치고 정답률을 다시 재면, 남은 실패에서 접근 오류의 비중이 커지고 그때 비로소 추론 모델이 값을 한다.

처방을 하나 적용할 때마다 같은 100건으로 정답률을 다시 잰다. 처방끼리 겹치는 효과가 있어서다. RAG로 근거를 넣어 주면 지식 부족만 줄어드는 것이 아니라, 모델이 근거를 따라가며 방향을 잡게 되어 접근 오류도 함께 줄곤 한다. 한꺼번에 여럿을 적용하면 어느 처방이 무엇을 고쳤는지 알 수 없으므로 한 번에 하나씩 간다.

등급 라우팅

등급 규칙

"쓴다/안 쓴다"의 이분법으로 결정하지 않는 것이 실무의 기본형이다. 같은 서비스 안에서도 요청마다 필요한 사고량이 다르므로 등급을 나누고, 요청마다 어느 등급으로 보낼지 가르는 라우팅을 앞에 둔다.

from dataclasses import dataclass


@dataclass(frozen=True)
class Tier:
    model: str
    budget: int | None   # None이면 사고 비활성
    max_tokens: int


# 모델 이름은 자리표시다. 쓰는 공급자의 작은·중간·큰 모델로 바꿔 넣는다.
TIERS = {
    "trivial": Tier("small-model", None, 1024),
    "normal": Tier("mid-model", None, 2048),
    "hard": Tier("large-model", 3000, 8000),
}


def pick(req) -> Tier:
    # 값싼 신호부터 본다. 분류 모델을 부르는 건 마지막 수단.
    if req.kind in ("greeting", "lookup", "format"):
        return TIERS["trivial"]
    if req.kind == "solve" and req.difficulty_hint >= 2:
        return TIERS["hard"]
    if len(req.body) > 4000 or req.has_constraints:
        return TIERS["hard"]
    return TIERS["normal"]

라우팅 규칙은 처음에 단순하게 시작한다. 요청 종류와 길이 두 개면 대개 충분하다. 다듬는 것은 트래픽 로그가 쌓인 다음이다. 일주일치 로그에서 낮은 등급으로 가서 실패한 요청과, 높은 등급으로 갔는데 사고 토큰을 거의 안 쓰고 끝난 요청을 각각 뽑는다. 앞의 것은 규칙이 너무 낮게 보낸 것이고 뒤의 것은 너무 높게 보낸 것이다. 두 무리를 읽으면 공통된 꼴이 보이고, 그 꼴을 규칙 한 줄로 더한다.

처음 규칙을 세울 때 등급별 목표 비중도 함께 적어 둔다. 실패 유형 시트에서 접근 오류가 실패의 5분의 1이었고 실패가 전체의 30%였다면, 큰 등급이 필요한 요청은 대략 전체의 6% 안팎이다. 규칙을 돌려 보니 큰 등급으로 30%가 간다면 규칙이 너무 넓게 잡은 것이다. 이 어림이 있어야 규칙을 다듬을 방향이 보인다.

분류 모델의 손익분기

규칙이 수십 줄로 늘어나면 작은 분류 모델을 앞에 붙이고 싶어진다. 이때는 손익분기를 먼저 계산한다. 큰 등급 한 건의 비용을 1, 보통 등급을 0.2, 분류 모델 호출을 0.02라고 하자. 규칙이 보통 등급으로 충분한 요청의 15%를 큰 등급으로 보내고 있고, 분류 모델이 그중 3분의 2를 바로잡는다면 요청당 절감은 0.10×(1−0.2)=0.080.10 \times (1 - 0.2) = 0.08이다. 분류 비용 0.02를 빼도 남는다.

하지만 분류 모델은 모든 요청에 붙는다. 비용은 남아도 지연이 요청마다 0.3초씩 늘어나고, 규칙이 이미 잘 가르고 있어 잘못 보내는 비율이 3%뿐이면 절감이 0.016으로 줄어 분류 비용보다 작아진다. 그래서 분류 모델은 「규칙이 많이 틀리고, 틀린 것이 비싼 등급 쪽으로 쏠릴 때」만 붙인다.

운영 중에는 등급별 트래픽 비중을 대시보드에 띄워 둔다. 예상한 비중에서 크게 벗어나면 의심할 자리는 셋이다. 새 종류의 요청이 들어오기 시작했거나, 클라이언트가 요청 형식을 바꿔 규칙의 신호(종류 태그·길이)가 달라졌거나, 규칙을 고친 배포가 의도와 다르게 동작하는 경우다.

승급 경로

그리고 승급 경로를 하나 둔다. 낮은 등급에서 시작해 실패했을 때만 위 등급으로 다시 던지는 구성이다. 대부분의 트래픽이 낮은 등급에서 끝나므로 평균 비용이 크게 준다.

낮은 등급에서 시작해 실패할 때만 승급하고, 위에서도 실패하면 사람에게 넘기는 경로

먼저 무엇을 실패로 볼지 정의한다. 검증 불통과, 사고 예산 소진, 형식 오류 셋이 기본이다. 「답이 짧다」 같은 모호한 조건을 넣으면 승급이 잦아져 낮은 등급을 둔 의미가 사라진다.

그다음 승급 성공률을 잰다. 승급한 요청이 위 등급에서 실제로 통과하는 비율이다. 이 값이 낮으면 — 예를 들어 승급한 요청의 30%만 통과한다면 — 나머지 70%는 두 등급의 비용을 다 쓰고도 실패한다. 이런 요청은 모델의 문제가 아니라 요청 자체가 모호하거나 필요한 정보가 빠진 경우가 많다. 사용자에게 되묻거나 사람에게 넘기는 편이 싸다. 특히 건수는 적은데 한 건의 값이 큰 요청, 예를 들어 계약 조건 해석이나 환불 분쟁은 처음부터 승급 대신 사람 검토 경로로 보내는 것이 낫다.

부적합한 작업

손해가 나는 자리

명확히 손해인 곳들을 목록으로 정리해 둔다.

  • 분류·라우팅 — 짧은 판단에 사고 구간이 붙으면 지연이 지배적이 된다
  • 정보 추출 — 원문에 있는 것을 뽑는 작업. 사고가 원문에 없는 해석을 더한다
  • 번역·문체 변환 — 검증 기준이 취향이라 검토가 수렴하지 않는다
  • 요약 — 위와 같은 이유. 게다가 길어지는 경향이 요약의 목적과 충돌한다
  • 스트리밍이 UX의 핵심인 자리 — 침묵 구간이 경험을 망친다
  • 초당 수백 건이 들어오는 경로 — 처리량 관점에서 감당이 안 된다

목록의 항목마다 나빠지는 것이 다르다. 분류와 라우팅은 품질보다 지연이 문제다 — 답이 한 낱말인데 사고 구간이 몇 초를 먹으면 그 경로 전체의 지연이 사고 시간으로 정해진다. 추출은 품질이 나빠진다. 사고 구간에서 모델이 원문을 「해석」하기 시작해, 원문에 「3월 15일」이라 적힌 자리에 「3월 중순」을 넣는 식의 변형이 생긴다. 요약은 길어진다. 검토를 거친 모델은 빠뜨린 것이 없게 하려고 항목을 늘리는 경향이 있다.

붙어 있는 경로 찾기

이 목록에 들어가는 작업에 추론 모델이 붙어 있으면 그것만 떼어 내도 비용의 상당 부분이 사라진다. 비용 절감 순서에서 1번이 압도적으로 효과가 컸던 이유다.

찾는 방법은 로그 질의 한 번이다. 요청 로그에 기능 이름(또는 요청 종류 태그)과 사고 토큰 수가 남아 있다면, 기능별로 사고 토큰의 합과 요청 수를 묶어 사고 토큰이 많은 순으로 줄 세운다. 그 목록의 위쪽에서 위 여섯 갈래에 해당하는 기능을 고른다. 처음 붙일 때는 「일단 좋은 걸로」 붙였다가 그대로 남은 경로가 의외로 많다.

떼어 냈을 때의 절감액은 미리 계산할 수 있다. 그 기능의 월 사고 토큰 합에 출력 토큰 단가를 곱하면 된다. 사고를 끄면 보이는 답의 길이도 대개 줄어드므로 실제 절감은 이 값보다 조금 크다. 다만 떼기 전에 그 기능의 평가 묶음으로 정답률을 한 번 재서, 정말로 추론이 필요 없는 자리였는지 확인한다. 떼어 낸 뒤에도 한두 주는 그 기능의 재시도율과 사용자 불만 지표를 따로 지켜본다. 평가 묶음이 놓친 어려운 요청이 있었다면 거기서 먼저 드러나고, 그때는 그 요청만 큰 등급으로 보내는 규칙 한 줄을 더하면 된다.

결정 기록

기록 항목

마지막으로 실무에서 가장 자주 빠지는 것을 짚는다. 이 판단은 한 번 하고 끝이 아니다. 모델이 바뀌고 트래픽이 바뀌면 답도 바뀐다. 반년 뒤 일반 모델이 지금 추론 모델 수준의 정답률을 내면 등급 구성을 다시 짜야 한다. 그래서 결정할 때 근거를 같이 남긴다. 항목은 표로 못 박아 둔다.

항목 적는 것
문항 집합 어떤 요청 몇 건을 어디서 뽑았는지, 파일 위치와 버전
정답률 경로별 값과 95% 구간
비용 경로별 요청당 비용
지연 경로별 p50·p95
실패 유형 비중 다섯 유형별 건수와 모호 건수
판정 고른 구성과 그 이유 한 줄

정답률 옆에 구간을 함께 적는 것이 중요하다. 「82%」만 남기면 다음 재평가에서 80%가 나왔을 때 떨어진 것인지 같은 것인지 판단할 수 없다.

재평가 주기

재평가는 달력이 아니라 사건이 부른다. 쓰는 모델이 새 판으로 바뀌었을 때, 등급별 트래픽 비중이 처음 기록보다 크게 달라졌을 때, 운영 중 정답률 지표가 기록한 구간 밖으로 떨어졌을 때다. 사건이 없어도 반년에 한 번은 돌린다 — 그 사이 더 싼 모델이 나와 일반 모델 경로만으로 충분해졌을 수 있다.

기록이 있으면 재평가는 하루면 끝난다. 아침에 같은 문항 집합을 세 경로에 돌리고, 점심 무렵 정답률·비용·지연을 기록 양식에 채우고, 오후에 실패 사례만 다시 라벨링해 비중을 견준다. 판정이 바뀌면 등급 규칙을 고치고, 안 바뀌면 기록에 날짜만 더한다. 기록이 없으면 문항 집합부터 다시 만들어야 하니 몇 주가 걸린다.

기록에는 주인도 적는다. 이 판정을 다시 돌릴 책임이 누구에게 있는지 비어 있으면, 모델이 바뀌어도 아무도 재평가를 부르지 않는다. 기록 파일을 등급 규칙 코드 옆에 두면 규칙을 고치는 사람이 기록을 함께 보게 되어 둘이 따로 늙지 않는다.

세 질문은 모두 숫자로 답할 수 있다. 감으로 답하고 싶어지는 순간이 오면 그건 아직 재 보지 않았다는 신호다.


읽어주셔서 감사합니다. 😊

LATEST

LLM·트랜스포머의 최신 글

LLM·트랜스포머2026.08.14

작은 모델을 우리 일에 맞추는 법

파인튜닝이 실제로 고치는 것은 지식이 아니라 행동입니다. 데이터 몇 건이 필요한지, LoRA가 무엇을 바꾸는지, 학습 전에 무엇을 먼저 만들어야 하는지를 정리합니다.

15 MIN
LLM·트랜스포머2026.08.13

작은 모델로 내려도 되는지 판단하는 법

비용·지연·품질은 같은 방향으로 움직이지 않습니다. 폴백을 붙였을 때의 손익분기, 격차가 벌어지는 작업 유형, 그리고 내리기 전에 통과해야 할 네 관문을 정리합니다.

28 MIN
LLM·트랜스포머2026.08.13

작은 모델이 다시 쓸 만해진 이유

10억에서 100억 파라미터 사이의 모델이 다시 실무에 들어오고 있습니다. 무엇이 달라졌는지, 메모리는 어떻게 계산하는지, 무엇을 잘하고 무엇을 못하는지 정리합니다.

32 MIN