LLM·트랜스포머

LLM / 49번째 글

작은 모델이 다시 쓸 만해진 이유

10억에서 100억 파라미터 사이의 모델이 다시 실무에 들어오고 있습니다. 무엇이 달라졌는지, 메모리는 어떻게 계산하는지, 무엇을 잘하고 무엇을 못하는지 정리합니다.

PALDYN Team32 MIN READ

몇 해 전만 해도 "작은 모델"은 큰 모델을 살 수 없을 때의 차선책이라는 뜻에 가까웠다. 지금은 상황이 다르다. 10억에서 100억 파라미터 사이의 모델들이 특정한 일에서는 충분히 쓸 만한 답을 내고, 그 일이 실무에서 차지하는 비중이 생각보다 크다는 것이 드러났다.

여기서 파라미터는 모델 안에 든 숫자들이고, 학습은 그 숫자를 정하는 절차이며, 추론은 정해진 숫자를 읽어 답을 내는 일이다. 파라미터가 수십억 개 수준인 모델을 흔히 작은 언어 모델(SLM)이라 부른다. 다만 여기서 말하는 작은 모델은 성능이 낮은 모델이 아니라 크기 때문에 다른 자리에서 돌 수 있는 모델이다. 그 자리가 어디이고, 그 자리에 들어가려면 메모리가 얼마나 드는지, 무엇이 바뀌어 여기까지 왔는지를 차례로 정리해 본다.

크기와 메모리

크기 구간

크기를 나누는 절대적 기준은 없지만, 실무에서는 "어디서 돌릴 수 있는가"로 구간이 갈린다. 10억(1B) 아래는 휴대폰이나 브라우저 안에서, 10억에서 40억 사이는 노트북과 엣지 장비에서, 70억에서 150억 사이는 그래픽 카드 한 장에서 돈다. 그 위로는 여러 장을 묶거나 API로 부르는 서버의 영역이다.

파라미터 구간별로 도는 자리와 맡는 일

구간을 가르는 것이 성능이 아니라 장치라는 점이 중요하다. 같은 일을 시켜 보고 작은 쪽이 충분하면 그 일은 더 싼 장치로 내려갈 수 있다. 그래서 크기를 고를 때 처음 묻는 것은 "얼마나 똑똑한가"가 아니라 "어느 장치의 메모리에 들어가는가"이고, 그 답은 계산으로 나온다.

가중치 메모리

신경망의 파라미터는 대부분 층과 층을 잇는 곱셈 계수이고, 이 계수를 가중치라 부른다. 가중치가 차지하는 메모리는 파라미터 수 PP 에 파라미터 하나당 바이트 bb 를 곱한 값이다.

M가중치≈P×bM_{\text{가중치}} \approx P \times b

16비트면 b=2b=2, 8비트면 b=1b=1, 4비트면 b=0.5b=0.5 다. 가중치를 더 적은 비트로 줄여 담는 일을 양자화라 한다. 70억 파라미터 모델은 16비트로 14GB, 8비트로 7GB, 4비트로 3.5GB가 된다. 4비트 쪽은 소비자용 그래픽 카드 한 장이나 통합 메모리를 쓰는 노트북에 넉넉히 들어가는 크기다.

다만 이 식은 아래쪽 어림이다. 실제 4비트 형식은 가중치를 작은 묶음으로 나누고 묶음마다 배율 같은 보조 값을 따로 저장하므로 파라미터당 4비트보다 조금 더 든다. 어휘 표처럼 덜 줄이는 부분이 남는 형식도 있다. 계산은 이 식으로 하되 파일 크기는 실제 배포본에서 확인하는 편이 정확하다.

KV 캐시

가중치가 들어간다고 끝이 아니다. 언어 모델은 글을 토큰이라는 조각 단위로 읽고, 한 번에 볼 수 있는 토큰 수가 문맥 길이다. 다음 토큰을 만들 때마다 앞 토큰 전부를 다시 계산하지 않도록, 지금까지 본 토큰마다 키와 값을 저장해 둔다. 어텐션은 각 토큰이 앞의 어느 토큰을 얼마나 참고할지 계산하는 단계이고, 그 계산을 여러 갈래로 나눠 하는 단위가 헤드다. 헤드는 토큰마다 질의·키·값 세 벡터를 만들고, 지금 토큰의 질의를 앞 토큰들의 키와 견줘 그 값들을 섞는다. 이 키와 값을 모아 둔 저장소가 KV 캐시다.

MKV≈2×L×Hkv×dh×S×bkvM_{\text{KV}} \approx 2 \times L \times H_{kv} \times d_h \times S \times b_{kv}

LL 은 층 수, HkvH_{kv} 는 키·값 헤드 수, dhd_h 는 헤드 하나의 차원, SS 는 문맥 길이, bkvb_{kv} 는 캐시 값 하나의 바이트다. 앞의 2는 키와 값 두 벌이라서 붙는다. 가중치 식과 다른 점은 SS 에 비례한다는 것이다. 가중치는 모델을 올리는 순간 정해지지만 KV 캐시는 문맥을 길게 줄수록 자란다. 작은 모델을 노트북에 올렸는데 문맥을 길게 주자 갑자기 느려지거나 멈추는 일이 이래서 생긴다.

HkvH_{kv} 가 따로 적힌 이유도 있다. 요즘 모델 다수는 질의 헤드 여러 개가 키·값 헤드 하나를 나눠 쓰는 그룹 쿼리 어텐션(GQA)을 쓴다. 질의 헤드가 32개라도 키·값 헤드가 8개면 캐시는 4분의 1로 준다.

7B 모델의 메모리

구체적으로 계산해 보자. 층 32개, 키·값 헤드 8개, 헤드 차원 128인 70억 파라미터 구성을 예로 들고, 캐시는 16비트로 둔다. 토큰 하나가 차지하는 캐시는

2×32×8×128×2=131,0722 \times 32 \times 8 \times 128 \times 2 = 131{,}072

바이트, 곧 128KB(1KB를 1,024바이트로 셀 때)다. 여기에 문맥 길이를 곱하면 4K 토큰(4,096)에서 약 0.54GB, 32K에서 약 4.3GB, 128K에서 약 17.2GB가 된다. 가중치와 더한 합은 아래와 같다.

가중치 형식 가중치 4K 32K 128K
16비트 14GB 14.5GB 18.3GB 31.2GB
8비트 7GB 7.5GB 11.3GB 24.2GB
4비트 3.5GB 4.0GB 7.8GB 20.7GB

7B 모델의 가중치와 KV 캐시를 문맥 길이별로 더한 메모리

표에서 눈여겨볼 것은 KV 캐시가 가중치를 넘어서는 지점이다. 4비트 가중치(3.5GB)는 문맥이 약 27K 토큰을 넘으면 캐시에 추월당하고, 8비트는 약 53K, 16비트는 약 107K에서 추월당한다. 가중치를 줄일수록 이 지점이 앞당겨진다. 4비트로 줄여 8GB 장치에 올렸다고 안심하면 32K 문맥 한 번에 한계에 닿는다.

이 표도 아직 전부가 아니다. 계산 도중의 중간 결과인 활성값과 모델을 돌리는 프로그램의 작업 공간이 따로 들고, 그 크기는 그 프로그램과 한 번에 처리하는 요청 수에 따라 달라 고정된 값으로 적기 어렵다. 어림으로 위 합계에 여유분을 얹어 잡는다. 같은 구성이 키·값 헤드를 줄이지 않은 모델이었다면 캐시는 네 배가 되어 128K에서 약 69GB였을 것이다. 캐시를 8비트로 줄이면 128K에서 약 8.6GB로 반이 된다. 캐시 쪽 계산은 KV 캐시와 KV 캐시 양자화에서 더 자세히 다룬다.

개선 요인

같은 크기의 모델이 몇 해 전보다 훨씬 나아진 데는 네 가지 이유가 겹쳐 있다. 넷은 같은 것을 올리지 않는다. 앞의 셋은 모델이 담는 내용을, 마지막 하나는 그 모델을 돌리는 비용을 바꿨다.

데이터 품질

웹을 긁어모은 것을 그대로 쓰던 시기가 지나고, 걸러 내고 다시 쓰고 교과서처럼 정리한 데이터로 학습하는 방식이 자리 잡았다. 파라미터가 적을수록 데이터 품질의 영향이 크다 — 담을 수 있는 양이 적으니 무엇을 담느냐가 더 중요해진다. 중복된 광고 문구와 깨진 문서를 걷어 내면 같은 학습량으로 더 많은 쓸모 있는 규칙이 들어간다. 이 요인이 주로 올린 것은 일반적인 언어 능력과 지시를 따르는 정확도다.

증류

큰 모델이 만든 답과 풀이 과정을 작은 모델의 학습 신호로 쓰는 방법을 증류라 한다. 큰 쪽이 선생, 작은 쪽이 학생이다. 사람이 쓴 정답만으로 배우면 맞고 틀림만 알지만, 선생의 풀이와 확률 분포를 따라 배우면 "왜 그 답인가"까지 촘촘한 신호를 받는다. 지금 나오는 작은 모델 상당수가 이 방식을 어느 정도 쓴다고 알려져 있고, 특히 단계를 밟는 풀이와 형식을 지키는 답에서 효과가 크다. 방법 자체는 지식 증류에 정리돼 있다.

긴 학습

모델의 총비용은 학습 한 번과 추론 여러 번의 합이다. 학습 비용을 C학습C_{\text{학습}}, 요청 한 건의 추론 비용을 cc, 평생 처리할 요청 수를 NN 이라 하면

C총=C학습+N×cC_{\text{총}} = C_{\text{학습}} + N \times c

다. 학습만 놓고 가장 효율적인 크기와 데이터 양의 비율이 있지만, NN 이 수억이면 둘째 항이 압도한다. cc 는 대략 파라미터 수에 비례하므로, 학습에 데이터를 그 비율보다 훨씬 많이 넣어 작은 모델을 끌어올리는 편이 총비용에서 이긴다. 학습은 비싸지만 한 번이고, 그 대가로 매 요청이 싸진다. 요즘 작은 모델들이 크기에 비해 훨씬 많은 토큰으로 학습되는 이유가 이것이다.

양자화와 실행기

4비트로 줄여도 품질 손실이 작은 기법들이 자리 잡았고, 노트북과 휴대폰에서 이를 실제로 돌리는 실행기, 곧 모델 파일을 읽어 추론을 수행하는 프로그램이 성숙했다. 크기를 4분의 1로 줄이는 일이 예전만큼 위험하지 않다. 이 요인은 모델의 능력을 올린 것이 아니라 같은 능력을 더 싼 장치로 내려보냈다는 점에서 앞의 셋과 다르다.

능력의 경계

잘하는 일과 못하는 일

작은 모델의 능력은 고르게 낮아진 것이 아니라 특정 종류의 일에서만 크게 떨어진다. 이 구분이 실무 판단의 거의 전부다.

잘하는 일 왜 되는가
분류·라벨링 답의 공간이 좁고 판단이 국소적이다
정해진 형식으로 추출 문서에 답이 그대로 있다
짧은 요약·다시 쓰기 새 지식이 필요 없다
의도 파악과 라우팅 한 문장만 보면 된다
정해진 도구 고르기 후보가 목록으로 주어진다
못하는 일 왜 안 되는가
여러 단계 추론 중간에 한 번 어긋나면 회복하지 못한다
넓은 세상 지식 파라미터에 담긴 사실의 양이 적다
긴 문서 전체를 아우르는 판단 문맥이 길어질수록 놓치는 폭이 크다
애매한 지시의 해석 빈틈을 메우는 능력이 약하다
스스로 계획 세우기 목표를 단계로 쪼개는 데서 무너진다

작업 사분면

두 표를 나란히 놓으면 규칙 하나가 보인다. 밖에서 주어지는 정보가 많고 답의 형태가 정해져 있을수록 작은 모델로 충분하다. 반대로 모델이 스스로 채워야 할 것이 많을수록 격차가 벌어진다.

주어지는 정보량과 답의 형태 두 축으로 나눈 작업 사분면

이 두 축으로 작업을 사분면에 놓아 보면 판단이 빨라진다. 정보도 주어지고 형식도 정해진 오른쪽 위(문서에서 날짜·금액 뽑기, 문의 분류)는 작은 모델의 자리다. 정보는 주어지지만 형식이 열린 쪽(근거 문서를 읽고 자유롭게 설명하기)과, 형식은 정해졌지만 정보를 모델이 채워야 하는 쪽(근거 없이 사실 퀴즈 맞히기)은 시험해 봐야 안다. 둘 다 없는 왼쪽 아래(열린 질문에 대한 조언, 계획 세우기)는 큰 모델 쪽에 남겨 둔다. 같은 작업도 설계를 바꾸면 칸을 옮길 수 있다는 점이 쓸모 있다. 출력 형식을 스키마로 못 박으면 위로, 근거 문서를 붙이면 오른쪽으로 간다.

지식과 검색

지식 부족은 검색으로 상당 부분 메울 수 있다. 작은 모델이 사실을 모르는 것은 문제지만, 근거 문서를 넣어 주고 "여기서 답하라"고 하면 사정이 달라진다. 검색으로 찾은 문서를 문맥에 넣어 답하게 하는 구성이 RAG이고, 사분면으로 말하면 작업을 오른쪽으로 옮기는 장치다. 그래서 작은 모델과 검색은 궁합이 좋다.

얼마나 메워지는지는 재 보면 된다. 같은 질문 묶음을 네 조건, 곧 작은 모델 단독, 작은 모델에 검색, 큰 모델 단독, 큰 모델에 검색으로 돌리고 정답률을 비교한다. 단독일 때의 격차가 검색을 붙인 뒤 얼마나 줄었는지가 지식 부족이 차지하던 몫이다. 줄어든 뒤에도 남는 격차는 지식이 아니라 읽고 추론하는 능력의 차이이므로 검색을 더 다듬어도 안 줄어든다. 이때 검색이 정답 문서를 찾아왔는지도 따로 기록해야 한다. 검색이 놓친 질문을 모델 탓으로 세면 격차가 부풀려진다.

긴 문맥

표기된 문맥 길이와 쓸 만한 문맥 길이는 다르다. 128K를 받는다고 적힌 모델도 문서 한가운데 있는 사실을 놓치는 일이 있고, 작은 모델일수록 그 폭이 크다는 보고가 많다. 이를 재는 간단한 방법이 바늘 찾기다. 관계없는 긴 글 속 특정 위치에 사실 한 줄을 심어 두고 그것을 묻는다. 문맥 길이를 4K, 16K, 32K로 늘리고 심는 위치를 앞·가운데·끝으로 바꿔 가며 정답률을 표로 만들면, 어디서부터 무너지는지가 보인다. 다만 바늘 찾기는 한 줄을 되찾는 시험이라 통과해도 긴 문서 전체를 아우르는 판단까지 된다는 뜻은 아니다. 실제 작업에 가까운 문서로 한 번 더 재는 편이 안전하다.

양자화

4비트 방식

4비트 양자화라는 이름 아래 실제로는 여러 방식이 섞여 있다. 가장 흔한 것은 가중치만 줄이고 계산은 더 높은 정밀도로 하는 가중치 전용 양자화다. GPTQ와 AWQ, llama.cpp가 쓰는 GGUF 형식의 여러 양자화 단계가 이 갈래에 든다. 이 방식은 메모리와 메모리 대역폭을 줄여 한 명이 쓰는 추론을 빠르게 하지만 계산량 자체는 그대로다. 활성값까지 함께 줄이는 방식은 계산도 낮은 정밀도로 해서 많은 요청을 동시에 처리할 때 이득이 크지만, 활성값에 튀는 값이 섞여 있어 다루기가 더 까다롭다.

같은 4비트라도 그룹 크기가 결과를 가른다. 그룹 크기는 배율 하나를 함께 쓰는 가중치의 수다. 그룹이 작을수록 배율이 많아 원래 값을 더 정확히 되살리지만 보조 값이 늘어 파일이 커진다. 방식별 차이는 AWQ와 GPTQ 비교와 GGUF에서 다룬다.

손실 측정

양자화 손실은 남의 벤치마크로 판단하지 않는다. 같은 모델이라도 작업에 따라 무너지는 폭이 달라서다. 절차는 단순하다. 먼저 자기 작업에서 뽑은 문항과 채점 기준을 담은 평가 묶음을 만든다. 그 묶음을 16비트 원본으로 한 번 돌려 기준점을 잡고, 8비트와 4비트 배포본으로 같은 조건에서 다시 돌린다. 온도처럼 답을 흔드는 설정은 고정하고, 차이가 노이즈보다 큰지 보려면 문항이 수백 건은 있어야 한다. 점수와 함께 형식 오류 건수, 답 길이, 속도를 같이 적어 두면 어떤 종류의 손실인지가 보인다. 점수는 그대로인데 형식 오류만 늘었다면 양자화가 지시 준수를 건드린 것이다.

무너지는 작업

양자화 손실은 고르게 퍼지지 않는다. 짧은 분류나 요약은 4비트에서도 거의 그대로인 경우가 많은 반면, 숫자를 여러 번 이어 계산하는 일과 긴 추론은 작은 오차가 단계마다 쌓여 먼저 무너진다. 도구 호출처럼 정해진 형식을 글자 하나 틀리지 않고 지켜야 하는 출력도 약한 자리다. 괄호 하나만 빠져도 그 응답은 통째로 쓸 수 없다. 원래 작은 모델은 같은 비트에서 큰 모델보다 손실이 크게 나타나는 경향도 있다. 담은 정보가 적어 잃을 여유가 적기 때문이다. 그래서 작은 모델일수록 4비트보다 한 단계 높은 형식부터 재 보는 편이 낫다.

작은 모델의 자리

네 자리

작은 모델이 큰 모델을 대체하는 그림보다는, 큰 모델이 하던 일 중 일부를 떼어 가는 그림이 실제에 가깝다.

  • 전처리와 분류: 들어온 요청이 어떤 갈래인지 가르고, 개인정보가 섞였는지 보고, 언어를 감지한다. 요청마다 반드시 도는 자리라 단가가 그대로 총비용이 된다.
  • 대량 일괄 처리: 문서 수십만 건에 태그를 붙이거나 표를 뽑는 일. 건당 품질 차이가 작고 건수가 많아 비용 차이가 결정적이다.
  • 기기 안에서 도는 기능: 자동 완성, 문장 다듬기, 화면 요약처럼 네트워크 없이 즉시 반응해야 하는 것들. 지연과 개인정보 두 이유가 함께 작동한다.
  • 초안 만들기: 작은 모델이 먼저 초안을 내고 큰 모델이 다듬거나 검증한다.

넷이 절약하는 크기는 요청량과 단가의 곱으로 정해진다. 가령 하루 100만 건이 지나는 분류 단계에서 건당 비용을 10분의 1로 줄이면 그 차이가 날마다 100만 번 쌓인다. 반면 하루 몇백 건 오는 보고서 작성을 작은 모델로 옮기면 품질 위험에 비해 아끼는 돈이 작다. 기기 안 기능은 돈보다 지연과 개인정보가 이유라 이 곱셈과 따로 따진다.

실패 감지

넷 다 공통점이 있다. 한 번의 실패가 치명적이지 않고, 실패를 알아챌 방법이 있다. 이것이 자리를 거르는 기준이다. 분류는 신뢰도가 낮으면 사람에게 넘기고, 추출은 스키마 검사로 형식 오류를 잡고, 초안은 큰 모델이 다시 본다. 반대로 틀렸는지 아무도 모르는 채 다음 단계로 흘러가는 자리, 예컨대 근거 없이 사실을 말하는 답변은 작은 모델로 내리기 전에 실패를 잡는 장치부터 만들어야 한다. 장치를 만들 수 없다면 그 자리는 내리지 않는다.

큰 모델과의 구성

작은 모델을 큰 모델과 나란히 두는 방식은 셋으로 나뉜다. 요청을 먼저 보고 어느 모델로 보낼지 정하는 것이 라우팅이다. 작은 모델은 가르기만 하고 답은 각자 낸다. 초안 구성은 작은 모델이 답을 내고 큰 모델이 고친다. 검증 구성은 작은 모델의 답을 검사해 통과하지 못하면 큰 모델로 다시 보낸다. 라우팅은 큰 모델 호출 수가 미리 정해지고, 검증 구성은 실패율에 따라 달라진다. 어느 쪽이 싼지는 다시 보내는 비율에 달려 있고, 그 계산은 다음 글에서 한다.

고르는 기준

확인 항목

크기와 벤치마크 점수만 보고 고르면 대개 나중에 막힌다. 실무에서 먼저 확인할 것은 따로 있다.

항목 확인하는 이유
라이선스 상업적 사용과 재배포 조건이 모델마다 다르다
실제 문맥 길이 표기된 길이와 쓸 만한 길이가 다르다
도구 호출 지원 학습되지 않은 모델은 형식을 자주 어긴다
한국어 성능 영어 점수와 별개다. 직접 재야 안다
양자화된 배포본 없으면 직접 만들어야 하고 품질 확인도 필요하다

한국어는 성능 외에 토큰 수도 함께 본다. 토큰을 나누는 규칙이 주로 영어로 만들어진 모델은 같은 한국어 문장을 더 많은 토큰으로 쪼개는 경향이 있고, 그 폭은 모델마다 다르다. 토큰이 많으면 앞의 식에서 SS 가 커져 캐시와 지연이 함께 늘고, 같은 128K 문맥에 담기는 글의 양은 줄어든다. 자기 문서 몇 개를 모델마다 토큰 수로 세어 보면 바로 드러난다. 한국어 모델들의 사정은 한국 LLM에 있다.

실행기

같은 모델 파일이라도 어느 실행기로 돌리느냐에 따라 되는 것이 다르다. llama.cpp는 GGUF 형식을 읽어 CPU와 GPU를 섞어 쓸 수 있어 노트북과 작은 서버에서 한 사람이 쓰는 용도에 맞는다. vLLM은 GPU 서버에서 여러 요청을 묶어 처리하는 데 강하고, 많은 사용자가 동시에 부르는 서비스 쪽이다. MLX는 Apple 실리콘의 통합 메모리를 쓰는 Apple의 프레임워크라 맥에서 돌리기 좋다. 다만 어느 양자화 형식과 어느 모델 구조를 받는지, 도구 호출 형식을 어떻게 처리하는지는 판마다 바뀌므로 쓰려는 판의 문서로 확인한다. 실행기를 고르면 그 실행기가 받는 형식의 배포본이 있는지가 다시 확인 항목이 된다. 실행기 비교는 추론 엔진 비교와 llama.cpp에 있다.

라이선스

"공개 모델"이라는 말은 가중치를 받을 수 있다는 뜻일 뿐 마음대로 써도 된다는 뜻이 아니다. Apache 2.0이나 MIT처럼 표준 오픈소스 라이선스로 나온 모델이 있는가 하면, 회사가 직접 쓴 이용 약관으로 나오는 모델도 많다. 후자에서 실제로 걸리는 것은 대개 세 가지다. 재배포할 때 약관을 함께 넘겨야 하는지, 파인튜닝한 파생 모델의 이름이나 사용 범위에 조건이 붙는지, 서비스 규모에 상한이 있는지다. 일정 규모 이상의 월간 사용자를 가진 서비스는 따로 허락을 받으라는 조항이 실제로 쓰인 적이 있다. 조항은 같은 회사의 모델 사이에서도 판마다 다르니, 고를 때마다 그 판의 약관을 읽는다.

교체 가능한 구조

작은 모델은 종류가 많고 빨리 바뀐다. 특정 모델에 코드를 묶어 두기보다 바꿔 끼울 수 있는 구조로 두는 편이 낫다. 모델 이름과 주소는 설정으로 빼고, 부르는 쪽은 한 가지 인터페이스만 알게 한다. llama.cpp의 서버와 vLLM은 둘 다 OpenAI 형식과 호환되는 API를 낼 수 있어서, 이 형식에 맞춰 두면 실행기를 바꿔도 부르는 코드는 그대로 둘 수 있다. 여기에 앞에서 만든 평가 묶음을 붙여 두면 새 모델이 나왔을 때 설정 한 줄을 바꾸고 묶음을 돌리는 것으로 비교가 끝난다. 반나절이면 답이 나온다.

정리

판단 순서

작은 모델을 쓸지 말지는 몇 가지 질문으로 좁혀진다. 그 일이 사분면의 어느 칸에 있는가. 메모리 식으로 계산했을 때 목표 장치에 가중치와 문맥 길이만큼의 캐시가 함께 들어가는가. 양자화한 배포본이 자기 평가 묶음에서 원본과 얼마나 차이 나는가. 실패를 알아챌 장치가 있는가. 앞의 둘은 계산과 설계로, 뒤의 둘은 측정으로 답한다.

다음 질문

넷을 다 통과해도 마지막에 남는 것은 얼마나 아끼고 얼마나 잃느냐의 저울질이다. 다음 글에서는 그 판단을 비용·지연·품질 세 축으로 놓고 어디까지 내려도 되는지를 따져 본다.


읽어주셔서 감사합니다. 😊

LATEST

LLM·트랜스포머의 최신 글

LLM·트랜스포머2026.08.14

작은 모델을 우리 일에 맞추는 법

파인튜닝이 실제로 고치는 것은 지식이 아니라 행동입니다. 데이터 몇 건이 필요한지, LoRA가 무엇을 바꾸는지, 학습 전에 무엇을 먼저 만들어야 하는지를 정리합니다.

15 MIN
LLM·트랜스포머2026.08.06

문법으로 출력을 제약하기

JSON Schema로는 표현되지 않는 출력 형태를 문맥자유문법으로 강제하는 방법, GBNF 문법을 쓸 때 자주 걸리는 좌재귀·공백·모호성 문제, 그리고 카탈로그에서 문법을 생성하는 실무 형태를 정리합니다.

11 MIN
LLM·트랜스포머2026.08.06

제약 디코딩: 스키마가 토큰을 막는 방식

로짓 마스킹과 오토마톤 상태 전이로 스키마를 강제하는 원리, 토크나이저 경계 때문에 생기는 어려움, 컴파일·캐시 비용, 그리고 제약이 출력 품질을 오히려 떨어뜨리는 경우를 정리합니다.

31 MIN