지난 글에서 프롬프트 엔지니어링, RAG, 파인튜닝이라는 세 전략을 비교하고 언제 파인튜닝을 고를지 기준을 잡았다. 이 글은 그 세 번째 길의 지도다. 모델이 어떤 단계를 거쳐 지금 모양이 되었는지, 그중 우리가 손댈 수 있는 단계는 어디인지, 손대려면 GPU와 데이터가 얼마나 드는지, 그리고 어디서 가장 자주 넘어지는지를 차례로 본다. 세부는 뒤에 이어지는 글들이 하나씩 맡으므로, 여기서는 그 글들이 어디에 놓이는지를 그리는 데 집중한다.
먼저 낱말 셋의 관계부터 잡아 둔다. 언어 모델은 거대한 함수이고, 그 함수의 모양을 정하는 수십억 개의 숫자가 파라미터다. 학습은 그 숫자들을 데이터에 맞게 조금씩 옮기는 절차이고, 파인튜닝은 이미 한 번 학습이 끝난 숫자를 출발점으로 삼아 우리 데이터로 그 절차를 한 번 더 돌리는 일이다. 처음부터 만드는 것이 아니라 다 지어진 집을 고쳐 쓰는 일이라는 점이 이 글 전체의 전제다.
학습 단계
사전 학습
사전 학습(pre-training)은 인터넷 규모의 텍스트에서 다음 토큰을 맞히는 과제를 수조 번 반복하는 단계다. 문법, 사실 지식, 코드의 문법, 추론의 흔적이 전부 이 단계에서 파라미터에 스며든다. 이 단계에 드는 비용은 GPU 수천 장을 몇 달 돌리는 규모라서, 거의 모든 팀에게 사전 학습은 남이 해 둔 것을 받아 오는 단계다. Llama, Qwen, Gemma, Mistral 같은 공개 가중치 모델의 「베이스」 판이 이 단계까지만 거친 모델이다.
베이스 모델은 아는 것이 많지만 말을 들어주지는 않는다. 「근로계약서에 들어갈 내용을 알려 줘」라고 넣으면, 답을 하는 대신 비슷한 질문 목록을 이어 쓰거나 게시판 글의 다음 줄을 지어낸다. 다음 토큰을 맞히라고만 배웠지 질문에 답하라고 배운 적이 없기 때문이다.
지도 파인튜닝
그 간극을 메우는 것이 SFT(Supervised Fine-Tuning, 지도 파인튜닝)다. 지시와 그에 맞는 모범 응답을 쌍으로 모아, 지시를 넣었을 때 모범 응답이 나올 확률이 높아지도록 파라미터를 옮긴다. 손실 함수는 사전 학습과 같은 다음 토큰 예측인데, 대개 응답 부분의 토큰에만 손실을 건다는 점이 다르다. 지시문까지 따라 쓰도록 배우면 모델이 질문을 흉내 내는 쪽으로 기운다.
SFT가 바꾸는 것은 주로 형식과 태도다. 어떤 길이로 답하는지, 어떤 순서로 구조를 세우는지, 모르는 것을 어떻게 말하는지 같은 것들이다. 예전 글에서 「Instruction Tuning」이라 부르던 것이 이 SFT의 한 갈래이고, 공개 모델의 「Instruct」·「Chat」 판이 여기까지 거친 모델이다.
선호 학습
선호 학습은 정답 하나를 보여 주는 대신 「이 둘 중 이쪽이 낫다」는 비교를 가르친다. 사람이나 다른 모델이 응답 두 개 중 나은 쪽을 고른 데이터를 모으고, 고른 쪽의 확률은 올리고 버린 쪽은 내린다. 사람 피드백으로 보상 모델을 먼저 만들고 강화학습으로 옮기는 RLHF, 보상 모델 없이 비교 쌍에서 바로 학습하는 DPO, 채점 가능한 과제에서 정답 여부를 보상으로 쓰는 RLVR이 모두 이 자리에 선다.
SFT가 「이렇게 해라」라면 선호 학습은 「저것보다 이것」이다. 모범 답을 쓰기는 어려워도 둘 중 나은 쪽을 고르기는 쉬운 과제가 많아서, 말투·안전성·장황함처럼 정답이 하나로 안 떨어지는 성질을 다듬을 때 이 단계가 힘을 쓴다.
파인튜닝이 고치는 것
세 단계를 늘어놓으면 우리가 손대는 자리가 보인다. 대부분의 팀이 하는 파인튜닝은 이미 SFT와 선호 학습까지 마친 모델 위에 우리 데이터로 SFT를 한 번 더 얹는 일이고, 필요하면 그 뒤에 DPO를 짧게 붙인다. 사전 학습을 다시 하는 경우는 도메인 말뭉치가 수십억 토큰 규모로 있을 때뿐이다.
그래서 파인튜닝이 잘 고치는 것과 못 고치는 것이 갈린다. 형식·문체·분류 기준·도메인 용어를 일관되게 쓰는 행동은 몇백 건의 예시로도 바뀐다. 반대로 모델이 모르는 사실을 새로 넣는 일에는 약하다. 사실은 사전 학습 단계에 넓게 퍼져 저장되어 있어, 몇백 건의 SFT로는 확실히 박히지 않고 그럴듯한 말투만 배워 오히려 환각이 늘기도 한다. 자주 바뀌는 사실은 RAG가, 고정된 행동은 파인튜닝이 맡는다는 지난 글의 결론이 여기서 나온다.
JSON 같은 출력 형식만이 목적이라면 요즘은 파인튜닝보다 먼저 볼 것이 있다. 구조화 출력이나 제약 디코딩은 생성 단계에서 문법을 강제하므로 학습 없이도 형식이 깨지지 않는다. 파인튜닝은 형식이 아니라 그 안에 무엇을 채우는지, 곧 판단의 기준을 바꾸고 싶을 때 값을 한다.
파인튜닝 방식
전체 파인튜닝
전체 파인튜닝(Full Fine-tuning)은 파라미터를 하나도 빼지 않고 전부 옮긴다. 표현력은 가장 크지만, 옮기는 숫자마다 그래디언트와 옵티마이저 상태가 따라붙어 메모리가 파라미터 수의 몇 배로 불어난다. 혼합 정밀도로 Adam을 쓰면 파라미터 하나에 bf16 가중치 2바이트, 그래디언트 2바이트, fp32 사본 4바이트, Adam 상태 8바이트가 들어 16바이트 안팎이 된다. 7B 모델이면 활성값을 빼고도 112GB라 80GB 카드 한 장에 안 들어간다.
메모리만 문제가 아니다. 모든 숫자를 옮길 수 있으니 우리 데이터에 맞추는 동안 원래 알던 능력도 함께 흔들린다. 이것을 파국적 망각이라 부르는데, 파인튜닝 데이터가 좁을수록 심해진다. 그래서 현업에서는 데이터가 아주 많고 기저 모델의 능력을 크게 바꿔야 하는 경우가 아니면 전체 파인튜닝을 첫 선택지로 두지 않는다.
LoRA와 QLoRA
PEFT(Parameter-Efficient Fine-Tuning)는 원래 파라미터는 얼려 두고 작은 부품만 학습하는 방식을 묶어 부르는 이름이다. 그 대표가 LoRA다. 가중치 행렬 W를 직접 고치는 대신, 바뀌는 몫 ΔW를 폭이 좁은 행렬 두 개의 곱 BA로 적고 그 둘만 학습한다. 4096×4096 행렬의 변화를 랭크 16으로 적으면 숫자가 1,677만 개에서 13만 개로 준다. 학습이 끝나면 B와 A만 따로 저장할 수 있는데, 이렇게 기저 모델 옆에 붙여 쓰는 작은 파라미터 묶음을 어댑터라 부른다.
QLoRA는 얼려 둔 기저 모델을 4비트로 양자화해 올리고 그 위에서 LoRA를 학습한다. 기저 모델이 차지하던 자리가 4분의 1로 줄어, 7B는 소비자용 24GB 카드에서, 70B급도 48GB 카드 한 장 안팎에서 학습이 가능해진다. 대신 4비트 가중치를 계산할 때마다 풀어야 해서 같은 카드에서 LoRA보다 느리다.
GPU 예산
세 방식을 모델 크기로 놓으면 갈림길이 숫자로 보인다. 아래는 가중치와 학습 상태만 센 어림값이고, 활성값은 배치 크기와 시퀀스 길이에 따라 따로 얹힌다.
| 모델 | 전체 파인튜닝 | LoRA (bf16 기저) | QLoRA (4비트 기저) |
|---|---|---|---|
| 7B | 약 112GB — 80GB 카드 2장 이상 | 약 15GB — 24GB 카드 1장 | 약 5GB — 16GB 카드 1장 |
| 13B | 약 210GB — 80GB 카드 4장 | 약 27GB — 40~48GB 카드 1장 | 약 8GB — 24GB 카드 1장 |
| 70B | 약 1.1TB — 80GB 카드 16장 이상 | 약 140GB — 80GB 카드 2장 | 약 38GB — 48~80GB 카드 1장 |
표의 가운데 열에서 오른쪽 열로 넘어가는 순간 필요한 카드 등급이 한 단씩 내려간다는 것이 요점이다. 이 어림이 어디서 나오는지, 활성값이 왜 LoRA에서도 안 줄어드는지는 다음 글이 자리마다 세어 따라간다.
학습 데이터
데이터 형식
파인튜닝 데이터는 대개 대화 한 판을 한 줄로 적는다. 역할(system·user·assistant)마다 내용을 담는 꼴이고, 학습 프레임워크가 이것을 모델의 채팅 템플릿, 곧 그 모델이 사전에 배운 특수 토큰 배치로 바꿔 넣는다.
# 대화 한 판이 학습 예시 하나다
training_data = [
{
"messages": [
{"role": "system", "content": "당신은 한국 노동법 상담을 돕는 AI입니다."},
{"role": "user", "content": "근로계약서에 반드시 들어가야 하는 내용은?"},
{
"role": "assistant",
"content": "근로기준법 제17조에 따라 임금의 구성항목·계산방법·지급방법, "
"소정근로시간, 휴일, 연차 유급휴가를 서면으로 명시해야 합니다.",
},
]
}
]
형식에서 가장 자주 틀리는 자리는 템플릿이다. Llama 계열과 Qwen 계열은 역할을 가르는 특수 토큰이 다르고, 같은 회사 모델도 세대마다 바뀐다. 학습 때 넣은 템플릿과 서빙 때 쓰는 템플릿이 다르면 모델은 학습에서 본 적 없는 입력을 받는 셈이 되어, 학습 손실은 잘 내려갔는데 실제 응답은 엉뚱해진다.
필요한 건수
몇 건이 필요하냐는 질문의 답은 「무엇을 바꾸려는가」에 달려 있다. 기준을 잡는 데 자주 인용되는 것이 LIMA 연구다. 잘 고른 1,000건의 SFT만으로도 대화 품질이 크게 오른다는 결과였고, 핵심은 건수보다 고른 품질이었다. 형식이 의미보다 중요한 과제라는 해석이 여기서 나왔다.
과제별로 어림을 세우면 이렇다. 출력 형식과 말투를 맞추는 일은 수백 건이면 대개 드러난다. 분류처럼 경계를 가르쳐야 하는 일은 클래스마다 수십에서 수백 건이 있어야 경계가 선다. 도메인 문서를 읽고 판단하는 일은 수천 건이 필요하고, 이때부터는 건수보다 경우의 수를 고르게 덮었는지가 결과를 정한다. 어느 경우든 처음부터 많이 모으기보다 수백 건으로 한 번 돌려 보고, 평가 점수가 건수를 두 배로 늘릴 때마다 얼마나 오르는지를 보고 다음 수집량을 정하는 편이 싸다.
데이터 품질
모델은 데이터의 좋은 점만 골라 배우지 않는다. 모범 응답 열 건 중 한 건이 장황하면 모델은 열에 한 번 장황해지고, 한 건이 틀린 사실을 자신 있게 말하면 그 자신감까지 배운다. 그래서 파인튜닝에서는 수집보다 걸러내기에 시간이 더 든다. 중복을 지우고, 응답 길이 분포를 보고, 평가에 쓸 문제와 겹치는 것을 빼는 일이 학습 코드를 짜는 일보다 결과를 더 크게 움직인다. 그 절차는 데이터 준비 글에서 따로 다룬다.
학습 실행
QLoRA 설정
아래는 Llama 3 8B를 4비트로 올려 LoRA를 붙이는 최소 구성이다. 설정값마다 이유가 있는데, 랭크 r은 어댑터의 폭이고 lora_alpha는 어댑터 출력에 곱하는 배율이다. target_modules는 어댑터를 붙일 층을 고르는 자리로, 여기서는 어텐션의 네 투영에만 붙였다.
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model
from trl import SFTTrainer, SFTConfig
import torch
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_compute_dtype=torch.bfloat16,
bnb_4bit_use_double_quant=True,
bnb_4bit_quant_type="nf4",
)
model = AutoModelForCausalLM.from_pretrained(
"meta-llama/Meta-Llama-3-8B",
quantization_config=bnb_config,
device_map="auto",
)
lora_config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# trainable params: 13,631,488 || all params: 8,043,892,736 || trainable%: 0.1695
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
args=SFTConfig(
output_dir="./output",
num_train_epochs=3,
per_device_train_batch_size=4,
gradient_accumulation_steps=4,
learning_rate=2e-4,
bf16=True,
logging_steps=10,
),
)
trainer.train()
학습하는 숫자가 0.17%라는 출력이 눈에 걸린다. Llama 3 8B는 키·값 투영의 폭이 쿼리의 4분의 1이라(그룹 쿼리 어텐션) 같은 랭크라도 그 두 층의 어댑터가 작고, 32개 층에 네 개씩 붙여도 1,363만 개에 그친다. 이 작은 묶음이 모델의 행동을 바꾼다는 것이 LoRA가 성립하는 근거다.
기본값의 근거
학습률 2e-4는 LoRA에서 흔히 출발점으로 쓰는 값으로, 전체 파인튜닝의 1e-5 안팎보다 열 배 이상 크다. 얼려 둔 기저 모델은 그대로이고 새로 붙인 작은 행렬만 처음부터 자라야 하므로 더 큰 걸음이 필요하다. 배치 4에 누적 4를 곱한 실효 배치 16은 카드 메모리에 맞춘 값이고, 에폭 3은 데이터가 수백~수천 건일 때의 상한에 가깝다. 데이터가 적을수록 에폭을 늘리고 싶어지는데, 그 유혹이 다음 절의 과적합으로 이어진다. 값마다 어떻게 움직이는지는 하이퍼파라미터 글이 맡는다.
흔한 실패
데이터 형식
가장 흔하고 가장 조용한 실패다. 채팅 템플릿을 틀리게 넣거나, 응답 끝을 알리는 종료 토큰을 빠뜨리거나, 지시문에도 손실을 걸어 버리는 경우다. 종료 토큰이 빠진 데이터로 학습한 모델은 답을 마친 뒤에도 멈추지 않고 다음 질문과 답을 지어내며 이어 간다. 학습 손실 곡선은 정상이라 숫자만 보면 아무 문제가 없어 보인다는 점이 이 실패를 위험하게 만든다. 학습 전에 토큰화된 예시 몇 개를 사람이 직접 풀어서 읽어 보는 것이 가장 싼 예방이다.
과적합
과적합은 모델이 학습 데이터의 내용을 일반화하는 대신 그 문장 자체를 외우는 상태다. 수백 건으로 에폭을 늘려 가면 학습 손실은 0에 가깝게 내려가는데, 처음 보는 질문에는 학습 데이터 속 문장을 조각조각 이어 붙인 답이 나온다. 검증 손실이 바닥을 찍고 다시 오르기 시작하는 지점이 신호이고, 그 직전 체크포인트를 고르는 것이 기본 처방이다.
기저 모델 선택
같은 데이터로도 출발점이 결과를 정한다. 베이스 모델에 SFT를 하면 지시를 따르는 법부터 다시 가르쳐야 하므로 데이터가 훨씬 많이 든다. 이미 Instruct 판인 모델에 얹으면 적은 데이터로 행동만 바꿀 수 있지만, 그 모델에 이미 박힌 말투와 거절 습관을 이겨야 한다. 한국어 과제라면 기저 모델의 토크나이저가 한국어를 얼마나 잘게 쪼개는지도 본다. 같은 문장이 두 배의 토큰이 되면 학습도 추론도 두 배로 비싸다.
평가 부재
마지막 실패는 학습이 아니라 판정에서 난다. 학습이 끝나고 몇 개 질문을 넣어 「좋아 보인다」로 마치면, 무엇이 좋아졌고 무엇이 망가졌는지 아무도 모른다. 파인튜닝 전에 기저 모델의 점수를 같은 평가셋으로 먼저 재 두지 않으면 비교할 기준조차 없다. 평가셋은 학습 데이터와 겹치지 않아야 하고, 우리 과제의 점수와 함께 원래 모델이 잘하던 일반 과제의 점수도 재야 망각을 잡을 수 있다.
산출물
체크포인트와 어댑터
학습이 남기는 것 중 첫째는 체크포인트, 곧 학습 도중 일정 간격으로 저장한 파라미터와 옵티마이저 상태의 묶음이다. 마지막 체크포인트가 가장 좋은 체크포인트라는 보장이 없으므로 여러 개를 남겨 두고 평가 점수로 고른다. LoRA라면 고른 체크포인트에서 어댑터만 떼어 수십 MB짜리 파일로 보관할 수 있고, 서빙할 때 기저 모델에 붙이거나 아예 합쳐서 한 모델로 만든다.
어댑터를 보관할 때는 어느 기저 모델의 어느 판에 붙는 것인지를 함께 적는다. 같은 이름의 기저 모델이 저장소에서 갱신되면 어댑터의 숫자가 엉뚱한 가중치에 더해진다. 해시나 커밋 단위로 기저 모델을 못 박아 두는 습관이 여기서 필요하다.
평가 리포트와 학습 설정
둘째는 그 체크포인트를 고른 근거다. 기저 모델과 파인튜닝 모델의 점수를 같은 평가셋에서 나란히 적은 리포트, 그리고 학습을 다시 돌릴 수 있게 하는 설정 일체다. 설정에는 하이퍼파라미터만이 아니라 데이터 판, 채팅 템플릿, 라이브러리 버전, 난수 시드까지 들어간다. 석 달 뒤 「지난번 모델보다 나빠졌다」는 말이 나왔을 때 이 넷이 없으면 무엇이 달라졌는지 되짚을 길이 없다.
정리하면 파인튜닝 한 번이 남겨야 하는 것은 넷이다 — 고른 체크포인트(또는 어댑터), 기저 모델의 정확한 판, 비교 평가 리포트, 재현 가능한 학습 설정. 이 넷이 한 묶음으로 모델 레지스트리에 올라가면 그때부터 운영의 영역이다.
글 지도
방식과 설정
다음 글인 Full Fine-tuning vs PEFT가 위 GPU 예산 표를 자리마다 세어 다시 만든다. 그다음은 PEFT의 갈래들이다 — LoRA가 저랭크 분해의 수학을, QLoRA가 4비트 기저 모델을, Adapter와 Prefix Tuning이 층 사이나 입력 앞에 부품을 끼우는 다른 방식을 다룬다. 학습률·랭크·에폭을 고르는 법은 하이퍼파라미터가 맡는다.
데이터와 평가
데이터는 파인튜닝 데이터 준비에서 형식·품질·양을, 학습 데이터 합성에서 모델로 데이터를 만드는 법을 본다. 판정은 파인튜닝 평가와 학습 중 평가가, 망각은 파국적 망각이 맡는다.
선호 학습과 운영
선호 학습 단계로 가면 DPO 실전, 보상 모델, GRPO, RLVR이 차례로 선다. 학습한 결과를 내보내는 쪽은 어댑터 병합과 어댑터 서빙, 학습할 곳을 고르는 클라우드와 온프레미스, 한 번이 아니라 계속 고쳐 나가는 지속 학습이다.
다음 글에서는 이 지도의 첫 갈림길인 전체 파인튜닝과 PEFT를 메모리 계산으로 비교한다.
읽어주셔서 감사합니다. 😊

