지난 글에서 작은 모델이 무엇을 잘하고 무엇을 못하는지를 봤다면, 남는 것은 결정이다. 지금 큰 모델로 처리하는 이 기능을 작은 모델로 내려도 되는가.
이 판단이 어려운 이유는 재는 값이 하나가 아니어서다. 비용은 확실히 내려가고, 지연은 대개 내려가지만 항상은 아니며, 품질은 작업에 따라 거의 그대로일 수도 있고 절반으로 떨어질 수도 있다. 세 축을 따로 재지 않으면 "싸졌는데 왜 불만이 늘었지"라는 상태에 도착한다. 이 글은 세 축을 하나씩 식과 숫자로 따라간 뒤, 그 값을 모아 내릴지 말지를 가르는 관문과 실제로 전환하는 절차까지 간다.
폴백 비용식
손익분기 비율
작은 모델의 단가가 큰 모델의 10분의 1이라고 해서 비용이 10분의 1이 되지는 않는다. 실제 구성은 대개 작은 모델이 먼저 처리하고 미덥지 못하면 큰 모델로 넘기는 형태이기 때문이다. 이렇게 실패한 요청을 다음 모델에 넘기는 구성을 폴백이라 부른다. 이때 요청당 기대 비용은 이렇다.
는 작은 모델 단가, 은 큰 모델 단가, 는 큰 모델로 넘어가는 비율이다. 작은 모델이 실패해도 그 호출 비용은 이미 나갔다는 점이 핵심이다. 이 값이 큰 모델만 쓰는 비용 보다 작으려면 이렇게 된다.
가 의 10%라면 는 0.9다. 열 번 중 아홉 번을 큰 모델로 넘겨도 비용만 놓고 보면 여전히 이득이라는 뜻이다. 비용은 이 결정에서 가장 관대한 축이다. 그래서 비용을 근거로 내렸다가 다른 축에서 발목이 잡히는 일이 잦다.
자체 서빙의 실효 단가
위 식은 단가 비만 본 것이고, 작은 모델을 직접 서빙한다면 사용량과 무관한 고정비가 붙는다. GPU를 항상 띄워 둬야 하므로 트래픽이 적으면 요청당 실효 단가가 API보다 비싸질 수 있다.
숫자를 넣어 보자. 인스턴스 하나를 시간당 2달러로 하루 종일 띄우고, 같은 작은 모델을 API로 부르면 요청 한 건(입력 1,000토큰·출력 200토큰 안팎)에 0.0004달러가 든다고 가정한다. 단가는 공급자마다 다르니 자기 값으로 바꿔 넣으면 된다.
| 하루 요청 | 시간당 요청 | 자체 서빙 실효 단가 | API 대비 |
|---|---|---|---|
| 3,000 | 125 | $0.016 | 40배 |
| 30,000 | 1,250 | $0.0016 | 4배 |
| 120,000 | 5,000 | $0.0004 | 같음 |
| 1,200,000 | 50,000 | $0.00004 | 10분의 1 |
교차점은 하루 12만 건 근처다. 그 아래에서는 GPU를 상시 띄우는 구성이 손해로 나오고, 그 위에서야 자체 서빙이 이득을 낸다. 작은 모델의 비용 이점이 호출량이 많을 때 나온다는 말이 이 표의 뜻이다. 다만 맨 아래 줄은 인스턴스 하나가 그 부하를 다 받는다고 가정한 값이다. 최대 부하 시간대에 인스턴스를 늘려야 하면 분자가 커지므로, 평균 요청 수가 아니라 가장 붐비는 시간의 요청 수로 대수를 정하고 나서 다시 나눠야 한다.
판정 비용
폴백에는 한 가지가 더 붙는다. 작은 모델의 답이 미덥지 않다는 것을 누군가 판정해야 한다. 스키마 검증처럼 거의 공짜인 판정도 있지만, 검증용 모델을 한 번 더 부르거나 작은 모델에게 한 번 다시 시켜 보는 구성도 흔하다. 판정 비용 와 재시도 비율 을 넣으면 식은 이렇게 늘어난다.
가 0.1, 가 0.05(을 1로 둔 상대값), 재시도가 없다고 하면 손익분기는 로 내려간다. 재시도를 한 번씩 붙이면 0.75다. 여전히 넉넉해 보이지만, 판정에 큰 모델을 쓰는 순간 가 과 같아져 이득이 사라진다. 판정은 작은 모델보다 싸거나 공짜여야 한다는 것이 이 식이 주는 조건이다.
가장 싼 판정은 작은 모델이 답을 내면서 함께 남기는 신호를 읽는 것이다. 출력 토큰의 로그 확률 평균이 낮거나, 같은 질문에 두 번 물어 답이 갈리면 넘긴다. 앞의 것은 추가 호출이 없어 가 0에 가깝고, 뒤의 것은 재시도 한 번과 같은 값이 든다. 어느 쪽이든 문턱을 어디에 두느냐가 를 정하므로, 문턱을 정하는 일이 곧 비용과 품질 사이에서 자리를 고르는 일이다.
지연 분포
평균과 p95
작은 모델은 빠르다. 다만 폴백이 붙으면 기대 지연은 이렇게 된다.
폴백이 걸린 요청은 작은 모델의 시간을 쓰고 큰 모델의 시간을 또 쓴다. 그래서 평균만 보면 속는다. 요청 100건을 느린 순으로 줄 세웠을 때 다섯 번째로 느린 요청의 시간을 p95라 하는데, 사용자가 "느리다"고 말하는 것은 대개 이 꼬리다.
작은 모델이 0.4초, 큰 모델이 중앙값 1.6초·p95 2.8초라고 두고 폴백 비율만 바꿔 보면 이렇다.
| 폴백 비율 | 평균 | p50 | p95 |
|---|---|---|---|
| 0 (큰 모델만) | 1.6초 | 1.6초 | 2.8초 |
| 0.1 | 0.56초 | 0.45초 | 약 2.0초 |
| 0.3 | 0.88초 | 0.55초 | 약 2.8초 |
| 0.5 | 1.2초 | 0.6~2.0초 | 약 3.1초 |
폴백 비율이 0.1이면 느린 5%가 전부 폴백 무리 안에 들어가되 그 무리의 가운데쯤이라 p95가 오히려 좋아진다. 0.3이면 폴백 무리의 상위 6분의 1이 p95가 되어 큰 모델 단독과 같아지고, 0.5면 넘어선다. 평균은 세 줄 모두 좋아졌는데 느린 요청은 더 느려지는 형태다. 0.5 줄의 p50이 범위로 적힌 것은 중앙값이 두 무리의 경계에 걸려 하루하루 0.6초와 2초 사이를 오가기 때문이다.
라우팅과 폴백
지연이 중요한 기능이라면 폴백보다 라우팅이 낫다. 요청을 보기 전에 어느 모델로 보낼지 먼저 가르고 한 번만 호출하는 구성이다. 판정을 앞에 두면 두 번 도는 요청이 사라지므로 지연 분포가 두 덩어리의 합이 아니라 두 덩어리를 섞은 것이 된다. 위 표의 0.3 자리를 라우팅으로 바꾸면 30%가 큰 모델의 1.6초, 70%가 작은 모델의 0.4초를 쓰고, p95는 큰 모델 단독의 2.8초를 넘지 못한다.
대신 라우팅은 틀리게 가른 요청을 되살리지 못한다. 작은 모델로 보낸 요청이 실패하면 그대로 나간다. 그래서 두 구성은 무엇을 더 싫어하느냐로 고른다. 꼬리 지연이 더 싫으면 라우팅이고, 틀린 답이 더 싫으면 폴백이다. 둘을 겹쳐 라우팅으로 먼저 가르고 작은 쪽에만 폴백을 거는 구성도 흔하다.
가르는 기준은 처음에는 규칙으로 충분하다. 입력이 일정 길이를 넘거나, 첨부 문서가 있거나, 특정 기능 화면에서 온 요청은 큰 모델로 보낸다. 그렇게 돌린 뒤 작은 모델로 갔다가 실패한 요청을 모아 보면 규칙이 놓친 꼴이 보이고, 그 꼴을 규칙에 더해 나간다. 분류 모델을 따로 붙이는 것은 규칙이 수십 줄로 늘어난 다음의 일이다.
기기 안 실행
기기 안에서 도는 경우는 계산이 또 다르다. 네트워크 왕복이 통째로 사라지므로 짧은 응답에서는 서버의 큰 모델보다 체감이 빠를 수 있다. 반대로 긴 출력에서는 초당 토큰 수가 낮아 뒤집힌다.
기기에서 초당 30토큰, 서버에서는 첫 토큰까지 0.8초에 이후 초당 100토큰이라고 하면 토큰을 다 받는 시간은 기기 , 서버 이다. 둘이 같아지는 은 약 34토큰이다. 분류 라벨이나 자동 완성 한 줄처럼 수십 토큰짜리 응답은 기기가 이기고, 문단을 쓰는 응답은 서버가 이긴다. 스트리밍으로 보여 주는 화면이라면 첫 토큰이 나오는 시점이 체감을 정하므로 기기 쪽 이점이 더 길게 간다.
작업 유형과 격차
유형별 격차
세 축 중 가장 크게 갈리는 것이 품질이다. 같은 모델 쌍이라도 무엇을 시키느냐에 따라 격차가 거의 없기도 하고 쓸 수 없을 만큼 벌어지기도 한다.
| 작업 | 격차 | 이유 |
|---|---|---|
| 정해진 항목 추출 | 거의 없다 | 답이 입력 안에 있다 |
| 갈래 분류 | 거의 없다 | 선택지가 유한하다 |
| 짧은 요약 | 작다 | 잘못돼도 알아보기 쉽다 |
| 근거 문서를 준 질의응답 | 중간 | 문서를 얼마나 잘 읽는지에 달렸다 |
| 도구를 골라 호출 | 중간 | 도구가 많아지면 흔들린다 |
| 여러 단계 계획 | 크다 | 앞 단계 오류가 쌓인다 |
| 근거 없는 지식 질문 | 크다 | 담긴 사실의 양 차이다 |
위 세 줄은 대체로 내려도 되고, 아래 두 줄은 대체로 안 된다. 가운데 두 줄이 판단이 필요한 자리이고, 이 자리는 재 보지 않으면 알 수 없다. 남의 벤치마크 점수로는 안 된다 — 우리 문서, 우리 도구 목록, 우리 사용자의 말투에서 어떻게 되는지가 다르다.
평가 표본 추출
평가 묶음은 크지 않아도 된다. 실제 요청 200건 정도를 뽑아 두 모델에 같이 돌리고, 답이 갈리는 것만 사람이 보는 방식이면 반나절에 끝난다. 중요한 것은 그 200건이 실제 분포를 닮는 것이다. 잘 되는 예제만 모으면 언제나 통과한다.
닮게 만드는 방법은 층화 추출이다. 요청을 먼저 몇 갈래로 나누고, 갈래마다 실제 비중만큼 뽑는다. 갈래는 요청 유형, 입력 길이 구간, 요일과 시간대 정도면 충분하다. 실제 트래픽의 15%가 긴 문서 질의라면 200건 중 30건이 긴 문서 질의여야 한다. 무작위로 그냥 뽑으면 흔한 짧은 요청만 잔뜩 걸리고 드문 긴 요청은 서너 건에 그쳐, 정작 격차가 벌어지는 자리를 못 본다. 그래서 비중이 5% 아래인 갈래는 최소 10건을 따로 채우고, 점수를 합칠 때는 원래 비중으로 다시 가중한다.
채점 시간도 미리 견적을 내 둔다. 200건 중 두 모델의 답이 실질적으로 같은 것이 대개 7080%이고, 갈린 4060건만 사람이 읽는다. 건당 1분 반이면 한 사람이 한두 시간이다. 같다고 판정된 건에서도 20건쯤을 무작위로 골라 정말 같은지 확인하면 자동 비교가 놓친 차이를 잡는다.
격차의 신뢰구간
200건에서 큰 모델이 92%, 작은 모델이 88%를 맞혔다고 하자. 4점 차이는 진짜일까, 표본이 우연히 그렇게 뽑힌 것일까. 이 질문에 답하는 것이 신뢰구간이다 — 같은 방식으로 표본을 다시 뽑으면 차이가 대개 이 범위 안에 떨어진다는 폭이다.
같은 200건을 두 모델에 함께 돌렸으므로 대응 비교로 계산한다. 큰 모델만 맞힌 건을 , 작은 모델만 맞힌 건을 라 하면 차이와 표준오차는 이렇다.
, 이면 는 0.04, 표준오차는 약 0.022이고, 95% 구간은 로 −0.3점에서 8.3점이다. 0을 걸치므로 이 표본으로는 격차가 있다고도 없다고도 말할 수 없다. 구간 폭을 ±2점으로 좁히려면 폭이 표본 수의 제곱근에 반비례하므로 약 900건이 필요하다. 그래서 결과를 적을 때는 "4점 차"가 아니라 "4점 차, 95% 구간 −0.3~8.3"으로 적는다. 숫자 하나만 남기면 반년 뒤 누군가 그 4점을 확정된 사실로 읽는다.
네 관문
관문별 통과 기준
지금까지의 값을 모으면 판단은 네 관문으로 정리된다.
관문은 재기 전에 숫자로 적어 둔다. 재고 나서 기준을 정하면 나온 값에 기준을 맞추게 된다. 예를 들면 이런 형식이다.
| 관문 | 판정하는 값 | 통과 기준(예) |
|---|---|---|
| ① 일이 좁은가 | 위 표에서 어느 줄인가 | 위 다섯 줄 안 |
| ② 평가셋이 있는가 | 층화 추출한 실제 요청 | 200건 이상 |
| ③ 실패가 보이는가 | 알려진 실패를 검사가 잡는 비율 | 80% 이상 |
| ④ 되돌릴 길이 있나 | 큰 모델로 되돌리는 데 걸리는 시간 | 설정 한 줄, 5분 이내 |
②의 통과 기준에 격차 자체를 넣을 수도 있다. 그때는 점 추정이 아니라 구간의 위 끝으로 적는다 — "격차 95% 구간의 위 끝이 3점 이하"처럼. 그래야 표본이 작아 구간이 넓은 경우가 저절로 불통과가 된다.
실패 검출 수단
세 번째 관문이 특히 중요하다. 작은 모델의 실패는 대개 조용하다 — 형식은 맞고 문장도 자연스러운데 내용이 틀린 형태다. 그래서 실패를 자동으로 가려낼 방법이 있는 자리가 유리하다.
- 스키마 검증에 걸리는가
- 반환한 값이 원문에 실제로 있는가
- 고른 도구가 목록에 있는 것인가
- 모델이 스스로 낮은 확신을 표시했는가
이런 검사가 가능한 작업이라면 실패를 잡아 폴백으로 넘길 수 있고, 그러면 품질 위험이 비용 문제로 바뀐다. 반대로 답이 맞았는지 사람이 읽어야만 아는 작업이라면, 격차가 작아 보여도 내리는 위험이 크다.
검출 수단이 없는 작업이라면 순서를 바꾼다. 모델을 내리기 전에 검사부터 만든다. ②에서 사람이 채점한 실패 사례가 그 재료다. 실패 40건을 늘어놓고 공통점을 찾으면 "원문에 없는 날짜를 지어냈다", "목록 밖 카테고리를 골랐다"처럼 기계로 잡을 수 있는 꼴이 절반쯤은 나온다. 그 검사를 붙인 뒤 같은 40건에 돌려 몇 건을 잡는지가 ③의 숫자다. 끝내 기계로 못 잡는 실패가 많이 남으면 그 작업은 내리지 않는다. 통과 못 한 작업은 판정 기록에 이유와 함께 남겨 두고, 작은 모델이 새로 나오면 그 목록부터 다시 잰다.
전환과 되돌리기
그림자 배포
관문을 다 넘었으면 바로 바꾸지 않고 그림자 배포부터 한다. 실제 트래픽을 큰 모델과 작은 모델에 함께 보내되 사용자에게는 여전히 큰 모델의 답만 내보내는 구성이다. 작은 모델의 답은 기록만 된다. 사용자에게 나가는 것이 그대로이므로 위험 없이 실제 분포에서 비교가 쌓인다.
볼 지표는 셋이다. 두 답이 갈리는 비율, 작은 모델 쪽에서 검사가 실패를 잡아 폴백했을 비율, 그리고 작은 모델의 지연 분포다. 평가 묶음에서 잰 값과 그림자 배포에서 잰 값이 크게 다르면 평가 묶음이 분포를 못 닮은 것이므로 그 자리에서 멈추고 표본을 다시 짠다. 비교는 최소 일주일을 쌓는다 — 월요일 아침과 일요일 밤의 요청이 다르기 때문이다.
그림자 배포 기간에는 비용이 줄지 않고 오히려 늘어난다. 큰 모델은 그대로 다 돌고 작은 모델이 그 위에 얹히기 때문이다. 단가가 10분의 1이면 그 기간의 비용은 1.1배다. 이 값이 부담스러우면 트래픽 전체가 아니라 무작위 20%만 그림자로 보내도 된다. 비교에 필요한 것은 건수이지 전량이 아니다.
단계적 전환
그다음에는 사용자 몫을 조금씩 넘긴다. 10%, 50%, 100%처럼 단계를 두고 단계마다 관측 기간을 둔다.
관측 기간은 날짜가 아니라 건수로 정한다. 재문의율이 2%에서 2.5%로 오르는 것을 잡으려면 단계마다 수천 건이 필요하다. 하루 3만 건 기능이면 10% 단계에서 하루에 3,000건이 쌓이니 사흘이면 되고, 하루 3,000건 기능이면 같은 건수를 모으는 데 한 달이 걸린다. 트래픽이 적은 기능은 10% 단계를 건너뛰고 그림자 배포를 길게 가져가는 편이 낫다.
롤백 조건
되돌리는 조건도 전환 전에 숫자로 적는다. 사고가 났을 때 "조금 더 지켜보자"는 말이 나오지 않게 하려는 것이다.
| 지표 | 되돌리는 조건(예) |
|---|---|
| 폴백 비율 | 한 시간 동안 0.4 초과 |
| 검사 실패율 | 그림자 배포 때의 두 배 |
| 재문의·불만 비율 | 큰 모델 구간보다 상대 20% 이상 높음 |
| p95 지연 | 큰 모델 단독보다 높음 |
폴백 비율 조건은 앞의 손익분기와 이어진다. 비용으로는 0.85까지 괜찮았지만 지연 표에서 0.3을 넘으면 꼬리가 나빠졌으므로, 실제 기준은 비용이 아니라 지연에서 나온다. 되돌리는 동작은 배포가 아니라 설정 한 줄이어야 한다. 네 번째 관문이 확인한 것이 바로 그 경로다.
숨은 비용
두 경로 운영
계산에서 빠지기 쉬운 항목들이다.
| 항목 | 내용 |
|---|---|
| 평가 유지 | 모델을 바꿀 때마다 다시 돌릴 묶음이 필요하다 |
| 두 경로 운영 | 작은 모델과 큰 모델의 프롬프트가 갈라져 관리 대상이 둘이 된다 |
| 모델 갱신 | 작은 모델은 교체 주기가 짧다 |
| 직접 서빙 | 배포·모니터링·GPU 자원 관리가 새로 생긴다 |
두 번째 줄이 은근히 크다. 같은 프롬프트를 두 모델에 그대로 쓰면 대개 작은 쪽이 손해를 본다 — 작은 모델은 짧고 명시적인 지시, 좁은 선택지, 예시 한둘을 좋아한다. 그래서 실제로는 프롬프트를 따로 관리하게 되고, 규칙이 바뀔 때 두 곳을 고쳐야 한다. 고치는 일만 두 배가 아니다. 고친 뒤 평가도 두 벌을 돌려야 하고, 한쪽만 고치고 잊으면 폴백 경로로 간 요청만 옛 규칙으로 답한다. 한 달에 규칙이 네 번 바뀌고 한 번에 두 시간이 더 든다면 한 달에 여덟 시간이 늘어나는 셈이다.
교체 주기와 운영 인건비
작은 모델은 새 판이 자주 나온다. 반년마다 갈아 끼운다고 보면 그때마다 평가 묶음을 다시 돌리고, 프롬프트를 다시 다듬고, 그림자 배포를 다시 거친다. 한 번에 사흘이면 한 해에 엿새다. 이 시간을 처음 견적에 넣어 둬야 갈아 끼울 때 "이번엔 그냥 넘어가자"가 안 나온다.
직접 서빙까지 하면 배포 파이프라인, GPU 모니터링, 장애 대응 당번이 생긴다. 사람 한 명의 시간 중 일부가 상시로 들어가므로, 그 몫을 월 인건비로 바꿔 절감액에서 뺀다. 표에서 하루 12만 건이 교차점이었던 것은 GPU 값만 넣었을 때고, 인건비를 넣으면 교차점이 더 위로 올라간다.
그래서 권할 순서는 이렇다. 먼저 큰 모델로 기능을 완성해 정답에 가까운 출력을 모은다. 그것이 곧 평가 묶음이자 작은 모델을 다듬을 재료가 된다. 그다음 그 묶음으로 작은 모델을 재고, 격차가 작으면 그림자 배포와 단계적 전환을 거친다.
정리하면 작은 모델로 내리는 결정은 비용 계산이 아니라 위험 관리다. 비용은 거의 항상 이득이 나오므로 그것만 보면 언제나 답이 "내리자"가 된다. 실제로 물어야 할 것은 셋이다. 이 일이 격차가 작은 유형인가. 실패를 그 자리에서 알아챌 수 있는가. 아니었을 때 되돌릴 경로가 있는가. 셋 다 예라면 내려도 되고, 하나라도 아니면 그 하나를 먼저 만드는 것이 순서다.
읽어주셔서 감사합니다. 😊

