지난 글에서 SentencePiece로 어휘를 직접 학습하고 tiktoken으로 이미 정해진 어휘에서 토큰 수를 세는, 텍스트를 정수의 열로 바꾸는 두 자리를 살펴봤다. 이제 그 정수의 열을 받아 처리하는 쪽, 대규모 언어 모델(Large Language Model, LLM)을 본다.
LLM을 「크기가 큰 언어 모델」이라고만 부르면 절반만 말한 것이다. 크기가 커지면서 같은 모델이 번역도 하고 코드도 쓰고 수학 문제도 푸는 일이 생겼고, 그 변화가 정말 크기에서 왔는지, 크다는 것이 정확히 무엇이 큰 것인지가 이 글의 질문이다. 그 답을 따라가려면 먼저 언어 모델이 무엇이고 그 안의 낱말들이 서로 어떤 사이인지부터 잡아야 한다.
언어 모델
다음 토큰 예측
언어 모델은 앞에 나온 토큰들을 보고 다음 토큰이 무엇일지 확률을 매기는 함수다. 「대한민국의 수도는」을 넣으면 어휘의 모든 토큰마다 다음에 올 확률을 내놓고, 「서울」에 가장 높은 값을 준다. 글을 쓰게 할 때는 이 확률에서 토큰 하나를 고르고, 그 토큰을 뒤에 붙여 다시 넣는 일을 되풀이한다. 긴 답도 결국 토큰 하나씩 늘어난 것이다.
사전학습의 목표는 이 확률을 잘 맞히는 것 하나다. 실제 문장에서 다음에 온 토큰에 모델이 준 확률의 로그를 모두 더해 부호를 뒤집은 값을 손실로 삼고, 이 값을 줄인다.
# 언어 모델의 핵심 목표를 PyTorch로 표현
import torch
import torch.nn.functional as F
def language_model_loss(logits, targets):
"""
logits: (batch, seq_len, vocab_size)
targets: (batch, seq_len) — 정답 다음 토큰 ID
"""
# 시퀀스를 1개 밀어서 다음 토큰 예측 손실 계산
shift_logits = logits[:, :-1, :].contiguous()
shift_targets = targets[:, 1:].contiguous()
# Cross-entropy = negative log likelihood
loss = F.cross_entropy(
shift_logits.view(-1, shift_logits.size(-1)),
shift_targets.view(-1),
ignore_index=-100, # 패딩 무시
)
return loss
# Perplexity = exp(loss)
# 낮을수록 다음 토큰을 더 잘 예측함
파라미터와 학습
위 식의 가 파라미터다. 모델 안에 든 숫자들로, 입력 토큰이 이 숫자들과 곱해지고 더해지며 다음 토큰의 확률로 바뀐다. 같은 구조의 모델이라도 이 숫자가 다르면 전혀 다른 답을 낸다. 그래서 「모델」이라는 말은 사실상 구조와 그 안의 숫자를 함께 부르는 말이고, 공개된 모델을 내려받는다는 것은 그 숫자 묶음, 곧 가중치 파일을 받는다는 뜻이다.
학습은 그 숫자를 정하는 절차다. 처음에는 무작위 값에서 시작해, 문장을 넣고 손실을 계산하고, 손실이 줄어드는 쪽으로 숫자를 조금씩 옮기는 일을 수조 번 되풀이한다. 어느 쪽으로 얼마나 옮길지를 정하는 방법이 경사하강법 같은 학습 알고리즘이다. 알고리즘은 모델을 만드는 절차이지 모델 자체가 아니다 — 같은 알고리즘으로 다른 데이터를 학습하면 다른 모델이 나온다.
추론
학습이 끝나면 숫자는 고정된다. 고정된 숫자로 새 입력을 받아 답을 내는 일을 추론이라 한다. 추론은 숫자를 읽기만 하고 바꾸지 않는다. 그래서 오늘 대화에서 모델에게 무엇을 알려 줘도 그 대화가 끝나면 모델은 그것을 모른다. 대화 안에서 기억하는 것처럼 보이는 것은 앞의 대화를 매번 입력에 다시 넣어 주기 때문이다. 비용도 두 단계가 다르게 든다. 학습은 한 번에 큰돈이 드는 일이고, 추론은 한 번은 싸지만 사용자가 부를 때마다 든다. API 요금이 토큰 단위로 매겨지는 것은 추론 비용이고, 「모델 하나를 만드는 데 얼마가 들었다」는 기사의 숫자는 학습 비용이다.
정리하면 넷은 나란한 개념이 아니라 한 줄로 이어진다. 모델 안에 파라미터가 들어 있고, 학습이 그 파라미터를 정하고, 알고리즘이 정하는 방법이며, 추론은 정해진 파라미터를 읽어 답을 내는 일이다. 이 줄을 잡아 두면 「모델이 학습한다」, 「추론 비용」, 「가중치 공개」 같은 말이 모두 같은 그림의 어느 자리를 가리키는지 보인다.
규모의 세 축
파라미터 수
LLM의 「크다」는 세 가지가 함께 큰 것이다. 첫째가 파라미터 수다. 2019년의 GPT-2는 가장 큰 판이 15억 개였고, 2020년의 GPT-3는 1,750억 개였다. 지금 공개된 오픈 웨이트 모델은 수십억에서 수천억 개 사이에 넓게 퍼져 있다. 상용 프런티어 모델의 파라미터 수는 대개 공개되지 않는다 — 떠도는 숫자는 추정이므로 근거로 쓰지 않는다.
파라미터가 많을수록 모델이 담을 수 있는 패턴이 늘어난다. 하지만 파라미터만 늘리고 데이터를 그대로 두면 모델은 같은 문장을 외우는 데 용량을 쓴다. 그래서 파라미터는 혼자서는 의미가 없고 나머지 두 축과 짝을 이뤄야 한다. 파라미터 수는 추론 비용도 정한다. 토큰 하나를 만들 때마다 파라미터 전체(또는 그중 쓰이는 부분)를 한 번씩 읽어야 하므로, 파라미터가 열 배면 같은 답을 내는 데 드는 메모리와 연산도 대략 열 배다. 일부 전문가 층만 골라 쓰는 MoE 구조가 퍼진 것도 전체 파라미터는 키우면서 토큰마다 읽는 양은 줄이려는 것이다.
데이터
둘째는 학습 데이터의 양이다. 웹 문서, 책, 코드, 논문 같은 텍스트를 토큰 단위로 센다. GPT-3 논문은 걸러 낸 뒤의 웹 텍스트가 570GB였다고 적었고, Meta는 Llama 3를 15조 토큰 넘게 학습했다고 밝혔다. 4년 사이에 데이터 규모가 수십 배로 커진 셈이다.
양만큼 중요한 것이 품질이다. 웹을 긁은 원본에는 광고, 중복, 깨진 문서, 기계 번역문이 섞여 있고, 이것을 얼마나 잘 걸러 내느냐가 같은 토큰 수에서 모델의 실력을 가른다. 최근 모델의 발표 자료가 토큰 수보다 필터링과 데이터 구성을 길게 설명하는 이유다. 구성도 결과를 바꾼다. 코드 비중을 늘리면 코드 실력만이 아니라 단계를 차례로 따라가는 능력이 함께 좋아진다는 보고가 많고, 한국어 비중이 적으면 앞에서 본 토크나이저 문제와 함께 한국어 실력이 처진다. 어떤 텍스트를 어떤 비율로 섞을지가 그 모델의 성격을 정한다.
연산과 Chinchilla
셋째는 학습에 들인 연산량이다. 트랜스포머 하나를 학습하는 데 드는 연산은 파라미터 수 과 학습 토큰 수 의 곱에 비례하고, 흔히 FLOP으로 어림한다. 700억 파라미터를 1.4조 토큰으로 학습하면 약 FLOP이다.
연산 예산이 정해져 있을 때 파라미터와 데이터를 어떻게 나눌지에 답한 것이 2022년 DeepMind의 Chinchilla 연구다. 같은 연산으로 가장 낮은 손실을 얻으려면 파라미터 하나당 약 20토큰을 학습하는 것이 좋다는 결론이었고, 그 전의 큰 모델들이 데이터에 비해 지나치게 컸다는 것을 보였다. 다만 이것은 학습 비용만 본 최적이다. 모델은 학습보다 추론에 훨씬 많이 쓰이므로, 요즘은 작은 모델에 20배를 훨씬 넘는 데이터를 넣어 추론을 싸게 만드는 쪽을 많이 고른다. Llama 3의 8B 모델이 15조 토큰을 학습한 것은 파라미터당 약 1,900토큰이다. 세 축이 손실을 어떻게 끌어내리는지는 스케일링 법칙에서 따로 다룬다.
다음 토큰 예측과 지식
압축으로서의 예측
다음 토큰을 맞히는 것만으로 어떻게 지식이 생길까. 실마리는 예측을 잘하려면 무엇이 필요한가를 묻는 데 있다. 「1592년 임진왜란 때 한산도에서 일본 수군을 크게 무찌른 장수는」 다음에 「이순신」을 높은 확률로 내려면 그 사실이 어떤 꼴로든 파라미터 안에 들어 있어야 한다. 「이 함수의 반환값은」 다음에 맞는 값을 내려면 코드가 어떻게 동작하는지를 어느 정도 따라갈 수 있어야 한다.
수조 개의 문장에서 다음 토큰을 맞히라는 압력은, 그 문장들을 만들어 낸 세계의 규칙을 최대한 짧게 담으라는 압력과 같다. 문장을 하나하나 외우기에는 파라미터가 턱없이 모자라기 때문이다. 수천억 개의 숫자로 수조 개의 토큰을 설명하려면 반복되는 구조, 곧 문법과 사실과 추론 패턴을 뽑아 담는 수밖에 없다. 지식은 목표가 아니었지만 예측을 잘하는 가장 싼 길이었다.
빈도의 한계
같은 이유로 LLM의 지식은 빈도에 기댄다. 웹에 수만 번 나온 사실은 단단히 담기고 몇 번 안 나온 사실은 흐릿하게 담긴다. 유명한 인물의 생년은 정확히 말하면서 덜 알려진 인물의 생년은 그럴듯한 다른 해로 말하는 것이 이 때문이다. 모델은 「모른다」와 「흐릿하게 안다」를 구별하지 못하고, 흐릿한 자리에서도 가장 그럴듯한 토큰을 고른다. 이렇게 사실이 아닌 내용을 사실처럼 내는 것을 환각이라 부른다.
맥락 안 학습
예측 압력이 만든 것 중 가장 쓸모가 큰 것은 지식보다 형식을 읽는 능력이다. 프롬프트에 「사과 → apple, 바나나 → banana, 포도 →」를 넣으면 모델은 「grape」를 낸다. 번역하라는 지시가 없어도 앞의 예시에서 규칙을 읽어 이어 간 것이다. 이렇게 입력에 넣은 예시 몇 개만으로 새 일을 해내는 것을 맥락 안 학습(in-context learning)이라 부른다.
이름에 「학습」이 들어 있지만 앞에서 정의한 학습과는 다르다. 파라미터는 하나도 바뀌지 않는다. 모델은 이미 정해진 숫자로 입력 전체를 읽으면서, 그 안에 든 예시의 꼴을 다음 토큰 예측에 반영할 뿐이다. 그래서 대화가 끝나면 그 규칙도 사라진다. 웹에는 표, 목록, 문답처럼 같은 꼴이 되풀이되는 글이 넘치고, 그 다음 줄을 맞히려면 앞줄의 꼴을 읽어야 했다. 이 능력 덕분에 일마다 모델을 새로 학습하지 않고 프롬프트만 바꿔 쓰는 지금의 방식이 가능해졌다.
베이스 모델과 어시스턴트 모델
같은 프롬프트의 두 답
사전학습만 마친 모델을 베이스 모델이라 한다. 베이스 모델은 질문에 답하는 법을 배운 적이 없다. 배운 것은 웹 문서를 이어 쓰는 법뿐이다. 그래서 「대한민국의 수도는 어디인가요?」를 넣으면 답 대신 「일본의 수도는 어디인가요? 중국의 수도는 어디인가요?」처럼 퀴즈 목록을 이어 쓰기 쉽다. 웹에서 그런 질문 다음에는 비슷한 질문이 오는 일이 많았기 때문이다.
어시스턴트 모델은 베이스 모델에 추가 학습을 해 질문에 답하고 지시를 따르게 만든 모델이다. 같은 질문에 「서울입니다」라고 답한다. 우리가 채팅 화면에서 만나는 모델은 전부 이쪽이다.
지시 학습과 RLHF
베이스 모델을 어시스턴트로 바꾸는 단계는 보통 둘이다. 먼저 지시 학습으로 「지시 → 좋은 답」 짝 수만 개를 학습시켜 답하는 형식을 가르친다. 그다음 같은 질문에 대한 여러 답 중 사람이 더 낫다고 고른 쪽을 높이 사도록 학습하는데, 사람의 선택을 보상으로 쓰는 이 방법이 RLHF(인간 피드백 강화학습)다.
이 단계가 바꾸는 것은 지식이 아니라 행동이다. 사실은 대부분 사전학습에서 들어가고, 추가 학습은 그 지식을 어떤 말투로 어떻게 꺼낼지를 정한다. 위험한 요청을 거절하는 것, 모르는 것을 모른다고 말하는 것, 답을 목록으로 정리하는 습관도 모두 이 단계에서 들어간다. 2022년 OpenAI의 InstructGPT 논문은 이 효과를 숫자로 보였다. 이렇게 학습한 13억 파라미터 모델의 답을, 사람 평가자들은 100배 넘게 큰 1,750억 파라미터 GPT-3의 답보다 더 자주 골랐다.
ChatGPT
2022년 11월 30일 OpenAI가 내놓은 ChatGPT가 바로 이 조합이었다. GPT-3는 2020년부터 API로 쓸 수 있었지만, 베이스 모델에 가까워서 원하는 답을 얻으려면 프롬프트를 문서 앞부분처럼 꾸미는 요령이 필요했다. ChatGPT는 같은 계열의 모델에 지시 학습과 RLHF를 거쳐 그냥 물어보면 답하게 만들었고, 출시 닷새 만에 사용자 100만 명을 넘겼다. 기술의 도약이라기보다 이미 있던 능력을 누구나 꺼낼 수 있게 만든 전환이었다.
창발 논쟁
창발의 관찰
2022년 Wei 등은 창발적 능력이라는 이름을 붙였다. 작은 모델에서는 우연 수준에 머물던 과제 성적이 모델이 특정 규모를 넘는 순간 갑자기 뛰어오르는 현상이다. 여러 자리 수의 덧셈, 단계별로 풀어 쓰게 하면 정답률이 오르는 생각의 사슬(chain-of-thought) 효과 같은 것들이 예로 들렸다. 손실은 규모에 따라 매끄럽게 줄어드는데 특정 과제의 정답률만 계단처럼 오른다는 것이 핵심이었다.
이 관찰이 중요했던 이유는 예측 불가능성이다. 규모를 키우면 무엇이 언제 나타날지 모른다는 뜻이 되고, 그러면 위험한 능력도 예고 없이 나타날 수 있다.
측정 방식 반론
2023년 Schaeffer 등은 반론을 냈다. 계단은 모델이 아니라 재는 방식에서 생긴다는 것이다. 정답을 통째로 맞혀야만 1점을 주는 채점에서는, 다섯 자리 답의 네 자리를 맞힌 모델도 0점이다. 자릿수마다 맞힌 비율로 채점을 바꾸면 같은 모델들의 곡선이 매끄럽게 이어진다. 능력은 조금씩 자라고 있었는데 채점이 문턱을 넘기 전까지 그것을 0으로 보여 줬다는 주장이다. 문항 수가 적은 것도 계단을 만든다. 과제 하나에 문항이 수십 개뿐이면 정답률이 0%, 4%, 8%처럼 듬성듬성 찍히고, 그 사이를 이을 점이 없어 작은 모델들이 모두 바닥에 붙어 보인다. 모델 크기도 몇 개 판만 있으니 곡선의 가로축마저 띄엄띄엄하다.
이 글의 입장
두 주장은 생각보다 덜 부딪힌다. 반론은 많은 창발 사례가 측정의 산물임을 보였지만, 실제로 쓰는 사람에게 의미 있는 것은 대개 통째로 맞히는 쪽이다 — 다섯 자리 중 넷이 맞은 계산은 틀린 계산이다. 그래서 이 글은 이렇게 본다. 모델 안에서 능력은 대체로 연속적으로 자라고, 쓸 만한 수준을 넘는 순간이 바깥에서는 갑작스럽게 보인다. 실무의 결론은 같다. 새 모델이 무엇을 할 수 있는지는 짐작하지 말고 자기 과제로 재 봐야 한다. 논쟁의 자세한 내용은 창발적 능력에서 다룬다.
LLM의 한계
최신성
학습 데이터를 모은 시점을 지식 마감일이라 한다. 모델은 그 뒤의 일을 모른다. 그리고 앞에서 본 것처럼 추론은 파라미터를 바꾸지 않으므로, 쓰는 동안 저절로 새 사실을 배우지도 않는다. 더 곤란한 것은 모델이 자기 마감일을 정확히 모른다는 점이다. 마감일 직전의 일은 웹에 아직 글이 적어 흐릿하게 담기므로, 모델은 최근 사건을 물으면 옛 상태를 지금으로 알고 답하곤 한다. 최신 정보가 필요한 일에는 검색으로 문서를 찾아 입력에 넣어 주는 방식이 붙는다.
계산
LLM은 계산기가 아니다. 숫자도 토큰으로 쪼개서 보는데, 토크나이저에 따라 「12345」가 「123」과 「45」로 갈리는 식이라 자릿수가 깔끔하게 정렬되지 않는다. 그리고 곱셈의 받아올림처럼 단계마다 정확해야 하는 절차를 다음 토큰 확률로 흉내 내므로 자릿수가 길어질수록 틀리기 쉽다. 그래서 계산이 필요한 자리에서는 모델이 직접 셈하는 대신 계산 도구나 코드 실행을 부르게 하는 것이 정석이다.
자기 지식의 경계
가장 근본적인 한계는 모델이 자기가 무엇을 아는지 모른다는 것이다. 앞의 빈도 이야기처럼, 단단히 아는 것과 흐릿하게 아는 것을 같은 확신의 문장으로 낸다. 「확실하지 않다」고 말하도록 추가 학습을 해도 그 판단 자체가 다시 확률이라 완전하지 않다. 그래서 LLM을 쓰는 시스템은 모델의 말을 그대로 믿지 않고, 근거 문서를 함께 내게 하거나, 답을 검증하는 단계를 따로 둔다. 이 글 뒤로 이어지는 RAG·에이전트·평가 이야기의 상당 부분이 이 한계를 메우는 방법이다.
LLM의 지형
프런티어
LLM을 갈래로 나누면 셋이 보인다. 첫째가 프런티어 모델이다. 그 시점에 가장 능력이 높은 모델들로, OpenAI의 GPT, Anthropic의 Claude, Google의 Gemini 계열이 여기 선다. 가중치를 공개하지 않고 API와 채팅 서비스로만 쓸 수 있으며, 판이 몇 달마다 바뀐다. 어려운 추론, 긴 문서, 복잡한 코드처럼 품질이 가장 중요한 자리에서 고른다.
오픈 웨이트
둘째는 오픈 웨이트 모델이다. 가중치 파일을 공개해 누구나 받아 자기 서버에서 돌리고 파인튜닝할 수 있다. Meta의 Llama, 알리바바의 Qwen, DeepSeek, Mistral, Google의 Gemma가 대표적이고, 국내에서도 LG의 EXAONE, Upstage의 Solar 같은 모델이 가중치를 공개했다. 다만 공개 조건은 제각각이라 상업 이용을 막거나 이름 표시를 요구하는 라이선스도 있다. 데이터를 밖으로 보낼 수 없거나 모델을 직접 고쳐야 할 때 이쪽을 본다.
소형
셋째는 수십억 파라미터 안팎의 소형 모델이다. 오픈 웨이트 계열의 작은 판이 대부분이고, 노트북이나 휴대폰에서 돌아갈 만큼 가볍다. 범용 실력은 프런티어에 못 미치지만 분류·추출처럼 좁게 정해진 일에서는 충분한 경우가 많고, 비용과 지연이 크게 준다. 큰 모델이 만든 답으로 작은 모델을 가르치는 증류가 흔해지면서 같은 크기에서 낼 수 있는 실력이 판마다 올라가고 있다. 그래서 「얼마나 큰 모델이 필요한가」는 한 번 답하고 끝나는 질문이 아니라, 새 판이 나올 때마다 자기 과제로 다시 재 보는 질문이다.
세 갈래를 관통하는 공통점이 있다. 하나의 모델이 프롬프트만 바꿔 수많은 일을 한다는 것이다. 예전에는 스팸 분류기는 스팸만, 번역기는 번역만 했다. 이렇게 하나의 거대한 사전학습 모델 위에 여러 쓰임을 얹는 구조를 가리켜 파운데이션 모델이라 부른다. 특정 일에 맞추는 것은 처음부터 다시 학습하는 대신 프롬프트, 검색으로 넣는 문서, 파인튜닝으로 한다.
다음 글에서는 이 모든 것의 출발점인 사전학습이 실제로 어떻게 진행되는지, 수조 개 토큰에서 언어 모델이 무엇을 배우는지를 깊이 살펴본다.
읽어주셔서 감사합니다. 😊

