LLM·트랜스포머

LLM / 42번째 글

추론 모델의 비용과 지연을 다루는 법

사고 토큰이 요청 단가와 지연을 어떻게 바꾸는지 식으로 정리하고, 침묵 구간·꼬리 지연·캐시 무효화처럼 추론 모델에서만 생기는 운영 문제와 그 대응책을 다룹니다.

PALDYN Team31 MIN READ

지난 글의 비교표에서 정확도 옆에 비용과 지연을 나란히 두라고 했는데, 그 두 숫자가 추론 모델에서 어떻게 만들어지는지를 제대로 알아야 표를 채울 수 있다. 일반 모델의 감으로 예측하면 대체로 크게 빗나간다. 사고 토큰은 입력도 출력도 아닌 제3의 항목처럼 굴고, 그 양이 요청마다 다르며, 사용자에게는 아무것도 보이지 않는 침묵으로 나타나기 때문이다. 이 글은 요청 하나의 단가를 식으로 나눠 보는 데서 시작해, 지연이 어느 구간에서 생기는지, 오래 걸리는 꼬리를 어떻게 자르는지, 캐시가 어디서 듣고 어디서 안 듣는지, 비용을 줄이는 손잡이를 어떤 순서로 돌리는지, 그리고 이 판단을 계속하려면 무엇을 기록해 둬야 하는지를 차례로 다룬다.

요청 단가의 구성

사고 토큰 항

일반 모델의 요청 단가는 단순하다. 입력 토큰과 출력 토큰에 각각 단가를 곱해 더한다. 추론 모델에서는 여기에 항이 하나 붙는다.

C=pin⋅nin+pout⋅(nthink+nout)C = p_{\text{in}} \cdot n_{\text{in}} + p_{\text{out}} \cdot (n_{\text{think}} + n_{\text{out}})

사고 토큰은 모델이 답을 쓰기 전에 내부적으로 생성하는 풀이 과정의 토큰이다. 화면에 보여 주든 안 보여 주든 생성은 그대로 일어나므로, 사고 토큰 수 nthinkn_{\text{think}} 에는 출력 단가가 붙는다. 그리고 대개 이 항이 나머지를 압도한다. 답변이 300토큰인데 사고가 3,000토큰이면 출력 비용의 90% 이상이 사용자가 볼 수 없는 부분에서 나온다. 최근 API는 사고 내용을 요약하거나 아예 비워서 돌려주기도 하는데, 무엇을 돌려받든 청구는 실제로 생성한 양을 따른다. 응답에 실린 글자 수로 비용을 어림하면 이 항이 통째로 빠진다.

분포로 세우는 예산

문제는 nthinkn_{\text{think}} 가 요청마다 다르다는 것이다. 같은 설정이라도 쉬운 요청에서는 수백 토큰에서 끝나고 어려운 요청에서는 수천, 수만 토큰까지 간다. 그래서 평균 하나로 예산을 세우면 틀린다. 분포를 봐야 한다.

사고 토큰 분포의 긴 꼬리

절차는 이렇다. 먼저 운영 로그에서 요청 유형별로 사고 토큰 수를 모은다. 유형은 「단순 조회」·「문서 요약」·「코드 수정」처럼 업무 단위로 나눈다. 유형마다 히스토그램을 그려 보면 대개 왼쪽에 큰 산이 있고 오른쪽으로 긴 꼬리가 뻗는다. 여기서 두 값을 뽑는다. 가운데에 해당하는 중앙값과, 요청 100개 중 95번째로 긴 값인 p95다. 월 비용 추정은 중앙값과 평균을 함께 보며 하고, 사고 깊이의 상한과 타임아웃은 p95로 잡는다. 이 둘을 같은 숫자로 쓰면 어느 한쪽이 반드시 어긋난다 — 평균으로 상한을 잡으면 어려운 요청의 절반이 잘리고, p95로 비용을 추정하면 예산이 서너 배 부풀려진다.

월 비용은 한 점이 아니라 범위로 내놓는다. 지난달 로그에서 요청을 무작위로 뽑아 이번 달 예상 요청 수만큼 더하는 일을 수천 번 되풀이하면, 월 비용의 분포가 나오고 그 5%와 95% 지점이 신뢰구간이 된다. 꼬리가 긴 분포에서는 평균에 요청 수를 곱한 값보다 이 범위가 훨씬 정직하다. 특히 어려운 요청이 몰리는 달, 이를테면 결산 기간에 문서 분석이 몰리는 달에는 꼬리 쪽이 무거워지므로 유형별 비율이 바뀔 때를 따로 가정해 돌려 본다.

실효 단가

표에 적힌 단가가 곧 내는 돈은 아니다. 두 가지가 값을 깎는다. 하나는 배치 처리로, 응답을 즉시 받지 않아도 되는 요청을 모아 비동기로 넘기면 많은 제공자가 단가를 크게(흔히 절반) 깎아 준다. 다른 하나는 프롬프트 캐시로, 이전 요청과 똑같이 시작하는 입력 앞부분을 저장해 두었다가 재사용하면 그 부분은 기본 입력 단가의 일부만 받는다. 할인 비율은 제공자와 모델마다 다르므로 계약 시점의 요금표에서 확인한다.

이 둘을 넣으면 실효 단가는 대략 다음 꼴이 된다.

Ceff=dbatch⋅[pin(1−h) nin+pcache h nin+pout(nthink+nout)]C_{\text{eff}} = d_{\text{batch}} \cdot \big[ p_{\text{in}} (1 - h) \, n_{\text{in}} + p_{\text{cache}} \, h \, n_{\text{in}} + p_{\text{out}} (n_{\text{think}} + n_{\text{out}}) \big]

hh 는 입력 가운데 캐시에서 읽힌 비율이고 dbatchd_{\text{batch}} 는 배치 할인 계수(배치가 아니면 1)다. 식을 보면 캐시가 깎는 것은 입력 항뿐이고 배치는 전체에 곱해진다는 것이 드러난다. 사고 토큰이 큰 요청일수록 캐시보다 배치가 더 큰 손잡이라는 뜻이다. 사용자가 기다리지 않는 작업, 이를테면 밤사이 문서를 분류하거나 리포트를 만드는 일은 추론 모델을 쓰더라도 배치로 돌리는 것이 먼저다.

지연을 만드는 구간

세 구간의 계측

비용보다 체감이 큰 쪽이 지연이다. 추론 모델의 응답 시간은 세 구간으로 나뉜다. 입력을 읽어 들이는 프리필, 사고 토큰을 생성하는 사고 구간, 그리고 답변 토큰을 생성하는 구간이다.

추론 모델의 지연 구성

프리필과 답변 생성은 일반 모델과 같다. 통째로 추가되는 것이 사고 구간이고, 이 구간은 대개 전체 지연의 절반을 훌쩍 넘는다. 위 예시에서는 74%다.

세 구간을 따로 재려면 스트리밍 응답에서 이벤트가 도착한 시각을 남기면 된다. 요청을 보낸 시각, 첫 이벤트가 온 시각, 첫 사고 블록이 시작된 시각, 첫 답변 텍스트가 온 시각, 마지막 이벤트가 온 시각 다섯 개다. 첫 이벤트까지가 대략 프리필과 네트워크, 첫 사고에서 첫 답변까지가 사고 구간, 첫 답변에서 끝까지가 답변 구간이다. 이렇게 나눠 두면 지연이 늘었을 때 입력이 길어진 것인지, 사고가 늘어난 것인지, 답이 길어진 것인지를 바로 가를 수 있다.

첫 토큰까지의 시간

여기서 진짜 문제는 총 지연이 아니라 첫 답변 토큰까지의 시간(TTFT)이다. 일반 모델은 0.4초쯤에 첫 글자가 나오기 시작해서 사용자가 읽으면서 기다린다. 추론 모델은 사고가 끝날 때까지 답이 안 나온다. 7초 동안 화면이 비어 있는 것과, 7초 동안 글이 흘러나오는 것은 완전히 다른 경험이다. 같은 총 지연이어도 사용자가 느끼는 속도는 TTFT가 정한다.

스트리밍을 켠다고 이 문제가 풀리지는 않는다. 사고 구간은 흘려보낼 것이 없거나, 있어도 사용자에게 그대로 보여 주기 부적절한 경우가 많다. 최근 모델 중에는 사고 내용을 기본으로 비워서 보내고, 요약을 받으려면 따로 켜야 하는 것도 있다. 설정을 확인하지 않으면 스트리밍을 켰는데도 화면이 수 초간 멎는 이유를 한참 찾게 된다.

침묵 구간의 처리

침묵 구간을 다루는 방법은 셋이다. 첫째, 사고 중임을 명시적으로 보여 준다. 「생각하는 중」이라는 상태 표시와 경과 시간이면 충분하다. 아무 피드백 없는 7초는 장애로 읽히고, 표시가 있는 7초는 기다림으로 읽힌다.

둘째, 사고 요약을 흘려보낸다. 제공자에 따라 사고 구간의 요약본을 스트리밍으로 받을 수 있다. 원문 그대로는 아니어도 「조건을 정리하는 중」, 「대안을 비교하는 중」 수준의 신호는 체감을 크게 바꾼다. 요약을 켰을 때 체감이 얼마나 바뀌는지는 두 버전을 나눠 내보내고 사용자가 응답 도중에 이탈하거나 재요청한 비율을 견주면 잴 수 있다. 사고 요약을 켜도 비용은 바뀌지 않는다 — 사고는 어차피 일어나고, 바뀌는 것은 무엇을 돌려받느냐뿐이다.

셋째, 즉시 응답과 분리한다. 사용자에게 바로 줄 수 있는 부분(입력 확인, 검색 결과, 중간 요약)은 가벼운 모델로 먼저 내보내고, 추론 결과는 뒤이어 채워 넣는다. 구조는 복잡해지지만 체감 지연이 가장 크게 준다.

큐 대기

혼자 테스트할 때는 안 보이다가 트래픽이 붙으면 나타나는 구간이 하나 더 있다. 제공자 쪽이든 자체 서빙이든 동시에 처리할 수 있는 요청 수에는 한도가 있고, 그 한도를 넘으면 요청은 줄을 선다. 추론 모델은 요청 하나가 오래 자리를 차지하므로 같은 요청 수에서도 일반 모델보다 훨씬 일찍 줄이 생긴다.

줄이 생기는 지점은 동시 요청 수를 늘려 가며 재면 드러난다. 중앙값은 한동안 그대로인데 p95가 먼저 무너지기 시작한다. 그 꺾이는 지점이 운영 한도이고, 그보다 낮게 동시 실행 수를 제한해 두는 편이 낫다. 줄이 길어져 모든 요청이 조금씩 늦어지는 것보다, 넘치는 요청을 빨리 거절하거나 다른 경로로 돌리는 것이 사용자에게 덜 나쁘다. 제공자의 속도 제한에 걸려 재시도가 반복되는 것도 같은 모양으로 나타나므로, 재시도 횟수와 대기 시간을 함께 기록해 둔다.

꼬리 지연

사고 깊이 상한

추론 모델의 지연 분포는 오른쪽 꼬리가 길다. 대부분의 요청은 2~3초에 끝나는데 일부가 30초를 넘긴다. 그리고 그 일부는 대개 가장 중요한 요청이다. 어려우니까 오래 걸린 것이고, 어려운 요청은 사용자가 더 신경 쓰는 요청이다. 평균 지연으로 SLO를 잡으면 이 구간이 통째로 안 보인다. 최소한 p95를 보고, 가능하면 p99까지 본다.

꼬리를 자르는 첫 번째 손잡이는 사고의 깊이를 제한하는 것이다. API마다 모양이 다르다. 사고 토큰 수의 상한을 숫자로 주는 방식이 있고, 최근 모델들은 이것을 없애고 「낮음·중간·높음」 같은 노력 단계만 받는다. 어느 쪽이든 낮추면 꼬리가 잘리고 어려운 요청의 정답률이 떨어진다.

이 교환은 자기 데이터로 곡선을 그려 정한다. 정답을 아는 요청 수백 개를 골라 상한(또는 단계)을 서너 가지로 바꿔 가며 돌리고, 설정마다 정답률과 p95 지연을 한 점으로 찍는다. 점을 이으면 오른쪽 위로 올라가다 어느 지점부터 평평해지는 곡선이 나온다. 평평해지기 시작하는 지점이 대개 운영점이다. 그 위로 더 주면 지연과 비용만 늘고 정답률은 거의 안 오른다. 이 곡선은 요청 유형마다 모양이 달라서, 한 유형에서 정한 값을 다른 유형에 그대로 쓰면 안 된다.

타임아웃 후 강등

두 번째 손잡이는 타임아웃 후 강등이다. 정해진 시간 안에 안 끝나면 요청을 취소하고 더 가벼운 설정으로 다시 던진다. 총 지연은 오히려 늘어날 수 있지만 상한이 생긴다.

import asyncio

import anthropic

client = anthropic.AsyncAnthropic()


async def answer(prompt: str, deadline: float = 12.0) -> tuple[str, str]:
    """깊게 생각하는 설정을 먼저 시도하고, 기한을 넘기면 가벼운 설정으로 강등한다."""
    messages = [{"role": "user", "content": prompt}]
    try:
        resp = await asyncio.wait_for(
            client.messages.create(
                model="claude-opus-5-5",
                max_tokens=16000,
                thinking={"type": "adaptive"},
                output_config={"effort": "high"},
                messages=messages,
            ),
            timeout=deadline,
        )
        return "reasoning", text_of(resp)
    except asyncio.TimeoutError:
        resp = await client.messages.create(
            model="claude-sonnet-5-5",
            max_tokens=4000,
            output_config={"effort": "low"},
            messages=messages,
        )
        return "fallback", text_of(resp)


def text_of(resp) -> str:
    return "".join(b.text for b in resp.content if b.type == "text")

타임아웃 값은 p99 근처에서 정한다. p95로 잡으면 요청 20개 중 하나가 강등되어 사고 모델을 쓰는 의미가 줄고, 최댓값으로 잡으면 상한이 없는 것과 같다. 그리고 강등 비율은 반드시 지표로 남긴다. 이 값이 5%를 넘어가면 사고 깊이나 타임아웃이 트래픽과 안 맞는다는 뜻이다.

강등 품질 검사

강등은 지연을 지키는 대신 품질을 내준다. 얼마나 내주는지는 따로 재야 한다. 강등된 요청을 표본으로 뽑아 원래 설정으로 시간 제한 없이 다시 돌리고, 두 답을 같은 기준으로 채점한다. 둘의 차이가 작으면 강등은 싼 보험이고, 크면 강등 대신 「조금 더 걸립니다」라고 알리고 기다리게 하는 편이 낫다.

이 검사에서 자주 나오는 결과가 있다. 강등되는 요청은 애초에 어려운 요청이므로, 가벼운 설정이 그 요청에서 내는 품질은 평균 요청에서 낸 품질보다 훨씬 나쁘다. 가벼운 모델의 평균 점수를 보고 강등을 판단하면 손해를 과소평가하게 된다. 반드시 강등된 요청만 따로 모아 잰다.

캐시

프롬프트 캐시의 한계

일반 모델에서 프롬프트 캐시는 비용 절감의 큰 축이다. 긴 시스템 프롬프트와 문서를 캐시에 올려 두면 재사용할 때 입력 비용이 크게 준다. 추론 모델에서는 이 효과가 상대적으로 작아진다. 이유가 두 가지다.

첫째, 비용의 무게중심이 입력에서 출력으로 옮겨 갔다. 앞의 실효 단가 식에서 보듯 캐시는 입력 항만 깎는다. 입력 10,000토큰을 캐시로 아껴도 사고 토큰 3,000개의 출력 비용이 그대로면 절감폭이 작다. 둘째, 사고 구간은 캐시되지 않는다. 같은 질문을 다시 던져도 모델은 다시 생각한다. 프롬프트 캐시는 입력의 앞부분에 대한 것이지 생성 결과에 대한 것이 아니다.

그래도 프롬프트 캐시는 켜 둔다. 입력이 긴 업무에서는 여전히 의미 있는 절감이고, 캐시된 앞부분은 프리필 시간도 줄여 TTFT를 조금 당긴다. 다만 사고 깊이 설정을 대화 도중에 바꾸면 캐시가 무효화되는 경우가 있으니, 그런 설정은 요청 유형별로 고정해 두는 편이 낫다.

응답 캐시 키

그래서 추론 모델에서는 응답 캐시가 프롬프트 캐시보다 유효한 경우가 많다. 질문을 정규화해서 키로 삼고 최종 답변을 저장한다. 반복 질문이 많은 도메인이면 이쪽 효과가 훨씬 크다. 사고 비용 전체를 건너뛰기 때문이다.

키를 만드는 정규화에는 단계가 있다. 가장 단순한 것은 공백과 대소문자, 문장부호를 정리한 문자열을 해시하는 것이다. 적중률은 낮지만 틀린 답을 줄 위험이 거의 없다. 한 단계 더 가면 날짜·이름 같은 바뀌는 부분을 자리표시자로 바꾼 틀을 키로 쓴다. 가장 공격적인 것은 질문을 임베딩해 의미가 가까운 기존 질문의 답을 돌려주는 방식으로, 적중률은 가장 높지만 「서울의 내일 날씨」와 「부산의 내일 날씨」를 같은 질문으로 볼 위험이 생긴다. 어느 단계를 쓰든 적중률과 함께 적중된 답의 오답률을 표본으로 재서 판단한다.

캐시 무효화

응답 캐시의 가장 큰 위험은 잘못된 답을 굳히는 것이다. 사고 모델이 한 번 틀린 답을 내면 캐시가 그 답을 같은 질문을 한 모든 사람에게 돌려준다. 원래라면 다시 생각해서 맞혔을 수도 있는 요청까지 틀린 답에 묶인다.

그래서 무효화 기준을 처음부터 둔다. 원본 문서나 데이터가 바뀌면 그것에 기대는 항목을 지우고, 정해진 기간이 지나면 만료시키고, 사용자가 답을 부정적으로 평가하면 그 항목을 바로 내린다. 모델이나 시스템 프롬프트를 바꿨을 때도 캐시 전체를 비운다. 답의 성격이 바뀌었는데 예전 답을 계속 돌려주면 새 설정을 평가한 결과가 운영 화면과 맞지 않게 된다. 캐시 적중을 노리려면 시스템 프롬프트를 안정적으로 유지해야 한다는 조건도 같은 이야기다.

비용 절감 순서

같은 작업을 더 싸게 만드는 방법에는 순서가 있다. 위에서부터 시도하는 것이 효율적이다.

순서 방법 절감폭 품질 위험
1 사고가 필요 없는 요청을 골라내 일반 설정으로 가장 큼 낮음
2 요청 유형별로 사고 깊이 등급 분리 큼 낮음
3 응답 캐시 도입 중간 낮음
4 입력 컨텍스트 다이어트 중간 중간
5 사고 깊이 전체 하향 중간 큼
6 더 작은 추론 모델로 교체 큼 큼

사고가 필요 없는 요청

1번이 압도적으로 효과가 크다. 실제 트래픽을 열어 보면 추론이 전혀 필요 없는 요청이 절반을 넘는 경우가 흔하다. 인사말, 단순 조회, 형식 변환 같은 것들이다. 이걸 걸러내지 않은 채로 5번이나 6번을 만지면 힘든 방식으로 조금 아끼면서 품질을 잃는다.

걸러 내는 일은 로그에서 시작한다. 지난 한두 주의 요청을 사고 토큰 수로 정렬해 아래쪽, 곧 사고를 거의 안 쓴 요청 수백 개를 읽어 본다. 그 요청들이 무엇인지 몇 가지 유형으로 묶이면, 그 유형을 가르는 분류 규칙을 만든다. 처음에는 키워드나 화면 경로 같은 단순한 규칙으로 충분하고, 그다음에 가벼운 모델로 「이 요청에 여러 단계의 판단이 필요한가」를 묻는 분류기를 붙인다. 분류기의 실수는 한쪽 방향만 비싸다 — 어려운 요청을 쉽다고 오판하면 품질이 떨어지고, 쉬운 요청을 어렵다고 오판하면 돈만 더 든다. 그래서 문턱은 쉬운 쪽으로 보수적으로 잡는다.

자기 트래픽으로 다시 매기기

표의 절감폭은 일반적인 경향일 뿐이다. 자기 트래픽에서는 순서가 바뀔 수 있다. 반복 질문이 대부분인 고객 상담이라면 3번이 1번보다 클 수 있고, 수십 쪽짜리 문서를 매번 통째로 넣는 업무라면 4번이 위로 올라온다.

추정은 지난 로그로 한다. 각 단계를 적용했다면 어떤 요청이 영향을 받았을지 로그에서 골라, 그 요청들의 비용 합계에 단계별 절감 비율을 곱한다. 1번이면 분류기가 「쉬움」으로 판정했을 요청의 사고 비용 전체, 3번이면 정규화 키가 겹치는 요청의 두 번째부터, 4번이면 잘라 낼 수 있는 입력 토큰의 비용이다. 이렇게 계산한 금액으로 순서를 다시 매기면 회의에서 감이 아니라 숫자로 이야기할 수 있다.

손대지 않을 자리

5번과 6번은 품질 위험이 크다. 손대기 전에 두 가지를 확인한다. 첫째, 1~4번을 다 해 봤는가. 앞 단계가 남아 있는데 5·6번으로 가면 같은 절감을 더 비싼 대가로 사는 셈이다. 둘째, 품질 하락을 잴 수단이 있는가. 앞의 사고 깊이 곡선처럼 정답을 아는 평가 셋이 없으면 얼마를 잃었는지 모르는 채로 아끼게 된다.

그리고 사고 깊이를 낮추면 안 되는 요청 유형을 따로 적어 둔다. 틀렸을 때 되돌리기 어려운 결정, 돈이나 법적 판단이 걸린 응답, 사람이 검토하지 않고 바로 실행되는 작업이 그렇다. 이 목록에 든 유형은 비용 절감 대상에서 빼고, 절감은 나머지에서만 찾는다.

계측 항목

로그 스키마

운영을 시작하면 다음 항목은 요청마다 남긴다. 나중에 어떤 결정을 하든 이것들이 근거가 된다.

  • 사고 토큰 수 — 요청 유형별로 나눠 분포를 본다
  • 상한 도달 여부 — 사고 깊이 상한이나 max_tokens에 걸려 끝난 요청의 비율
  • TTFT와 총 지연 — 둘을 따로 본다
  • 강등·재시도 횟수 — 상한 설정이 맞는지의 신호
  • 요청 유형 태그 — 위 넷을 유형별로 갈라 보기 위한 축

마지막 항목이 빠지면 나머지가 전부 뭉뚱그려진 평균이 되어 아무것도 못 고친다. 유형 태그는 처음부터 넣어 두는 것이 좋다. 나중에 붙이려면 로그를 다시 파싱해야 하고, 과거 요청은 유형을 추정으로 채워야 한다. 여기에 모델 이름과 사고 깊이 설정, 캐시 적중 여부를 함께 남기면 설정을 바꾼 날 전후를 비교할 수 있다.

판단표

지표를 유형별로 갈라 보는 대시보드를 만들어 두면, 어느 손잡이를 돌릴지가 지표의 조합으로 정해진다.

보이는 것 뜻 돌릴 손잡이
상한 도달 비율이 높고 정답률이 낮다 사고가 모자라다 그 유형의 사고 깊이를 올린다
사고 토큰 중앙값이 낮은데 비용이 크다 사고가 필요 없는 요청이 섞였다 분류해서 걸러 낸다
p95 지연이 무너지고 중앙값은 그대로다 큐 대기나 긴 꼬리 동시 실행 제한, 타임아웃 강등
강등 비율이 5%를 넘는다 타임아웃이 트래픽과 안 맞는다 타임아웃이나 사고 깊이를 조정한다
반복 질문이 많고 캐시 적중이 낮다 키 정규화가 약하다 응답 캐시 키를 한 단계 올린다

추론 모델의 비용은 다루기 어려운 대신 예측 가능하다. 사고 토큰이 어디서 얼마나 나오는지만 알면 대부분의 결정이 계산으로 풀린다. 감으로 사고 깊이를 조이는 대신 분포를 보고 등급을 나누는 쪽이 언제나 낫다. 다음 글에서는 한 걸음 물러나, 이런 비용을 치르고도 추론 모델을 써야 하는 요청이 무엇인지를 가르는 기준을 정리한다.


읽어주셔서 감사합니다. 😊

LATEST

LLM·트랜스포머의 최신 글

LLM·트랜스포머2026.08.14

작은 모델을 우리 일에 맞추는 법

파인튜닝이 실제로 고치는 것은 지식이 아니라 행동입니다. 데이터 몇 건이 필요한지, LoRA가 무엇을 바꾸는지, 학습 전에 무엇을 먼저 만들어야 하는지를 정리합니다.

15 MIN
LLM·트랜스포머2026.08.13

작은 모델로 내려도 되는지 판단하는 법

비용·지연·품질은 같은 방향으로 움직이지 않습니다. 폴백을 붙였을 때의 손익분기, 격차가 벌어지는 작업 유형, 그리고 내리기 전에 통과해야 할 네 관문을 정리합니다.

28 MIN
LLM·트랜스포머2026.08.13

작은 모델이 다시 쓸 만해진 이유

10억에서 100억 파라미터 사이의 모델이 다시 실무에 들어오고 있습니다. 무엇이 달라졌는지, 메모리는 어떻게 계산하는지, 무엇을 잘하고 무엇을 못하는지 정리합니다.

32 MIN