지난 글에서 파라미터·데이터·컴퓨팅이 늘어날 때 LLM의 손실이 예측 가능한 멱법칙을 따라 줄어든다는 것을 살펴봤다. 스케일링 법칙은 강력한 예측 도구지만, 그 법칙이 말해 주는 것은 다음 토큰을 얼마나 잘 맞히느냐는 평균 하나뿐이다. 그 평균이 매끄럽게 내려가는 동안 특정 과제의 정답률은 전혀 다른 모양을 그릴 수 있다. 작은 모델에서는 찍기 수준에 머물다가 어느 규모를 넘으면 갑자기 뛰어오르는 능력들이 있고, 이것을 창발적 능력(Emergent Abilities)이라 부른다. 2022년 Wei 등이 「Emergent Abilities of Large Language Models」에서 이 현상을 여러 과제에 걸쳐 모아 정리했고, 이듬해 Schaeffer 등이 그 계단이 측정 방식이 만든 착시일 수 있다고 반박하면서 논쟁이 시작됐다. 이 글은 창발이 무엇을 가리키는지, 어떤 능력이 그렇게 불렸는지, 논쟁이 어디까지 왔는지, 그리고 그것이 모델을 고르고 평가하는 실무 판단에 무엇을 남기는지를 차례로 본다.
창발의 정의
과학에서의 창발
과학에서 창발(Emergence)은 부분 하나하나에는 없는 성질이 전체에서 나타나는 현상을 말한다. 물 분자 하나는 젖지 않지만 분자가 많이 모이면 액체가 되고, 개미 한 마리는 집을 지을 줄 모르지만 수백만 마리의 무리는 정교한 개미집을 만든다. 물리학자 필립 앤더슨이 1972년에 「More is Different」라는 짧은 글로 이 생각을 정리했는데, Wei 등의 논문도 그 제목을 인용하며 시작한다. 양이 늘었을 뿐인데 질이 바뀐다는 것이 핵심이다.
LLM에 이 말을 옮기면 이렇게 된다. Wei 등은 「작은 모델에는 없고 큰 모델에는 있는 능력」을 창발적이라고 정의했다. 여기서 「크다」는 파라미터 수만이 아니라 학습에 쓴 연산량(FLOPs)으로도 잰다. 같은 파라미터라도 토큰을 더 많이 본 모델은 더 큰 모델처럼 행동하기 때문이다. 이 정의에서 중요한 것은 임계 규모, 곧 능력이 나타나기 시작하는 규모가 하나의 점처럼 보인다는 데 있다.
두 가지 예측 불가능
창발을 「예측할 수 없다」고 말할 때 그 말에는 두 가지 뜻이 섞여 있다. 하나는 어느 능력이 나타날지 모른다는 것이고, 다른 하나는 이미 알려진 능력이 어느 규모에서 나타날지 모른다는 것이다.
첫째는 목록의 문제다. 아무도 재 보지 않은 능력은 나타나도 모르고 지나간다. 모델이 정교한 설득 글을 쓸 줄 알게 되었는지는 누군가 그것을 시험할 과제를 만들어야 비로소 드러난다. 둘째는 곡선의 문제다. 산술처럼 이미 재고 있는 과제라도 작은 모델들의 점수가 전부 바닥에 붙어 있으면 그 점들로 선을 그어 위쪽을 내다볼 수가 없다. 0, 0, 0으로 이어진 점에서 다음 점이 0일지 60일지는 알 길이 없다. 안전 쪽에서 걱정하는 것은 주로 첫째이고, 학습 계획 쪽에서 곤란한 것은 주로 둘째다.
손실과 정확도의 간격
창발을 처음 보면 스케일링 법칙과 모순처럼 느껴진다. 한쪽은 매끄럽게 내려가는 곡선이고 다른 쪽은 계단이다. 그러나 둘은 다른 것을 잰다. 스케일링 법칙이 예측하는 교차 엔트로피 손실은 모델이 정답 토큰에 얼마의 확률을 주었는지를 토큰마다 연속값으로 재고, 그것을 수많은 문서에 걸쳐 평균한다. 과제 정답률은 특정 형식의 문제에서 답이 통째로 맞았는지를 0과 1로 잰다.
손실이 조금씩 줄어드는 동안 정답 토큰의 확률도 조금씩 오른다. 그런데 답이 여러 토큰으로 되어 있고 그중 하나만 틀려도 오답이라면, 정답률은 그 확률들이 전부 충분히 높아질 때까지 바닥에 머문다. 이 간격이 창발 논쟁 전체의 뼈대이고, 뒤에서 측정 방식 논쟁으로 다시 돌아온다.
창발이라 부르지 않는 것도 짚어 둔다. 규모에 따라 조금씩 꾸준히 좋아지는 능력은 아무리 크게 좋아져도 창발이 아니다. 파인튜닝으로 특정 과제를 가르쳐서 생긴 능력도 창발이 아니다 — 그것은 규모가 아니라 데이터가 만든 것이다. 창발이라는 말은 같은 학습 방식에서 규모만 바꿨을 때 곡선이 꺾이는 경우에만 쓴다.
창발로 불린 능력들
다자릿수 산술
가장 자주 인용되는 예가 덧셈과 곱셈이다. GPT-3 논문은 같은 계열의 여러 크기 모델에 두 자리·세 자리 덧셈을 풀게 했는데, 작은 모델들은 거의 못 풀다가 가장 큰 175B 모델에서 정답률이 크게 뛰었다. Wei 등은 이 결과를 다시 그려 GPT-3 계열에서는 13B 언저리에서, 다른 계열에서는 그보다 큰 규모에서 도약이 시작된다고 정리했다.
왜 하필 산술인가에 대한 그럴듯한 설명은 자릿수 올림이다. 세 자리 덧셈은 아래 자리의 올림을 위 자리로 넘기는 중간 상태를 들고 가야 한다. 답의 숫자 하나하나가 맞을 확률이 어느 정도 높아도, 세 자리가 모두 맞아야 정답이므로 확률이 곱해져 작아진다. 이 대목을 자릿수별로 나눠 재면 계단이 상당 부분 풀리는데, 그 실험은 다음 절에서 본다. 곱셈은 여기서 한 단계 더 어렵다. 부분곱을 여럿 만들어 자리를 맞춰 더해야 하므로 들고 가야 할 중간 상태가 덧셈보다 훨씬 많고, 같은 모델 계열에서도 곱셈의 도약은 덧셈보다 더 큰 규모에서 나타났다. 들고 가야 할 상태의 양이 임계 규모를 밀어 올린다는 해석과 맞아떨어지는 모습이다.
사고 사슬 프롬프팅
사고 사슬(Chain-of-Thought, CoT) 프롬프팅은 답을 바로 내지 말고 풀이 과정을 먼저 쓰게 하는 기법이다. 예시 문제에 단계별 풀이를 붙여 보여 주면 모델도 그 형식을 따라 중간 과정을 적는다. Wei 등의 CoT 논문은 이 기법이 수학 문장제에서 효과를 보이는 것이 대략 100B 규모부터라고 보고했다. 그보다 작은 모델은 풀이를 쓰기는 쓰는데 그 풀이가 논리적으로 엉켜 있어서, 오히려 답만 바로 내게 했을 때보다 정답률이 떨어지기도 했다.
이 사례가 산술과 다른 점은 능력 자체가 아니라 기법의 효과가 창발한다는 데 있다. 작은 모델에게 같은 프롬프트를 줘도 아무 일도 일어나지 않거나 손해가 나고, 큰 모델에서만 이득이 생긴다. 같은 규모 의존은 지시문으로 파인튜닝하는 지시 학습(instruction tuning)에서도 보고됐다. FLAN 논문에서 지시 학습은 작은 모델의 처음 보는 과제 성능을 오히려 떨어뜨렸고, 일정 규모를 넘은 뒤에야 이득으로 돌아섰다.
임계 규모의 이동
이렇게 모은 임계 규모는 절대적인 값이 아니다. 같은 능력이라도 논문마다, 모델 계열마다 임계가 다르게 보고된다. 학습 데이터의 구성과 품질, 토크나이저가 숫자를 쪼개는 방식, 프롬프트에 예시를 몇 개 넣느냐에 따라 곡선이 좌우로 옮겨 간다. 숫자를 한 자리씩 토큰으로 쪼개는 토크나이저를 쓰면 산술 성능이 눈에 띄게 달라진다는 보고가 대표적이다.
그리고 세대가 바뀌면 같은 능력이 훨씬 작은 모델에서 나타난다. 더 많은 토큰과 더 깨끗한 데이터로 학습한 다음 세대의 작은 모델이 이전 세대의 몇 배 큰 모델에 근접하는 일은 이제 흔하다. 그래서 「이 능력은 몇 B부터」라는 문장은 「그 계열, 그 데이터, 그 프롬프트에서는」이라는 단서를 달아야만 참이다. 임계값을 상수처럼 외워 두면 반년 뒤에 틀린다.
측정 방식 논쟁
Exact Match와 부분 점수
2023년 Schaeffer 등의 「Are Emergent Abilities of Large Language Models a Mirage?」는 창발에 정면으로 의문을 던졌다. 계단처럼 보이는 곡선이 모델의 성질이 아니라 평가 지표의 성질일 수 있다는 것이다.
다섯 자리 덧셈을 예로 들어 보자. 답이 통째로 맞을 때만 1을 주는 완전 일치(Exact Match)로 재면 계단이 나온다. 그러나 다섯 자리 중 몇 자리를 맞혔는지로 부분 점수를 주면 같은 모델들이 매끄럽게 올라가는 곡선을 그린다. 계산은 간단하다. 숫자 하나를 맞힐 확률을 라 하고 자리끼리 독립이라고 단순화하면, 다섯 자리가 모두 맞을 확률은 다음과 같다.
가 0.5에서 0.8로 오르는 동안 완전 일치는 0.03에서 0.33으로, 가 0.9를 넘어서야 0.59가 된다. 자릿수당 정확도는 일정한 속도로 오르는데 완전 일치는 오랫동안 바닥에 있다가 막판에 치솟는다. 답이 길수록 그 꺾임은 더 날카로워진다.
같은 로그에서 두 지표를 함께 계산해 보면 이 차이를 직접 확인할 수 있다.
def exact_match(pred: str, answer: str) -> float:
"""답이 통째로 같을 때만 1 — 계단을 만든다."""
return float(pred.strip() == answer)
def digit_credit(pred: str, answer: str) -> float:
"""오른쪽 자리부터 맞힌 비율 — 매끄러운 곡선을 만든다."""
pred = pred.strip().rjust(len(answer))[-len(answer):]
hits = sum(a == b for a, b in zip(reversed(answer), reversed(pred)))
return hits / len(answer)
def score(rows):
"""rows: [(모델 크기, 예측, 정답), ...] → 크기별 두 지표 평균"""
table = {}
for size, pred, ans in rows:
em, dc = table.setdefault(size, ([], []))
em.append(exact_match(pred, ans))
dc.append(digit_credit(pred, ans))
return {s: (sum(e) / len(e), sum(d) / len(d)) for s, (e, d) in sorted(table.items())}
Schaeffer 등은 BIG-Bench에서 창발로 보고된 사례를 다시 훑어, 그 대부분이 완전 일치나 객관식 정답 여부처럼 0 아니면 1을 주는 소수의 지표 아래에서만 나타난다고 지적했다. 같은 과제를 연속적인 지표로 다시 재면 계단이 사라지는 경우가 많았다. 그리고 반대 방향의 실험도 했다. 이미지 분류 모델처럼 아무도 창발을 말하지 않던 곳에서, 지표를 일부러 불연속하게 고르면 계단을 만들어 낼 수 있음을 보였다.
남는 계단과 사라지는 계단
그렇다고 창발이 전부 착시로 정리된 것은 아니다. 지표를 바꿔도 꺾임이 남는 과제가 있다. 부분 점수를 줄 수 없는 과제, 이를테면 여러 단계의 추론을 거쳐 마지막에 하나의 판단을 내리는 과제에서는 「반쯤 맞았다」를 정의하기가 어렵다. 그리고 실무에서 우리가 원하는 것도 대개 그 통째로 맞는 답이다. 덧셈 답의 다섯 자리 중 넷이 맞았다는 것은 지표로서는 진전이지만 쓰는 사람에게는 틀린 답이다.
그래서 논쟁이 남긴 정리는 이 정도다. 능력의 바탕은 대개 매끄럽게 자라고, 그것이 쓸 만한 수준을 넘는 순간은 여전히 갑작스러울 수 있다. 바탕이 매끄럽다는 사실은 예측에 쓸모가 있고, 쓸 만한 수준이 갑자기 온다는 사실은 운영과 안전에 쓸모가 있다. 둘 중 하나만 맞는 것이 아니다.
표본 효과
계단을 만드는 세 번째 원인은 평가 셋의 크기다. 문항이 50개뿐인 과제에서 정답률은 2% 단위로만 움직인다. 진짜 정답률이 0.5%와 1.5% 사이를 오가는 동안 화면에는 0%만 찍히다가, 우연히 한두 문제가 맞는 순간 2%, 4%로 튀어 오른다. 점이 몇 개 없는 규모 축 위에서는 이것이 그대로 계단처럼 보인다.
Wei 등이 다룬 모델 계열들은 크기가 서너 개씩밖에 없었다. 8B, 62B, 540B처럼 띄엄띄엄 놓인 점 사이에서 무슨 일이 일어났는지는 아무도 모른다. 사이의 점을 채운 연구들에서는 계단이 경사로 바뀌는 경우가 적지 않았다. 계단을 보면 먼저 문항 수와 규모 축의 점 개수부터 세어 보는 것이 좋다.
임계값 예측
작은 모델로 외삽
창발이 진짜든 착시든, 개발하는 쪽에서는 큰 모델을 학습하기 전에 그 모델이 무엇을 할지 알고 싶다. 가장 직접적인 방법은 작은 모델 여럿의 점수로 곡선을 그려 큰 쪽으로 연장하는 외삽이다. OpenAI는 GPT-4 기술 보고서에서 같은 방식으로 학습한 훨씬 작은 모델들의 결과로 최종 모델의 손실과, 코딩 과제 일부의 통과율을 미리 맞혔다고 밝혔다.
이 방법은 지표가 연속적일 때 잘 듣는다. 손실이나 정답 토큰의 로그 확률처럼 작은 모델에서도 0이 아닌 값이 나오는 지표는 선을 그을 수 있다. 완전 일치 정답률처럼 작은 쪽이 전부 0이면 외삽할 재료가 없다. 그래서 외삽이 깨지는 자리가 곧 창발로 보고되는 자리와 겹친다.
손실 기준 관점
다른 접근은 규모 대신 사전 학습 손실을 가로축에 놓는 것이다. 2024년 Du 등은 크기와 데이터가 다른 여러 모델을 같은 축에 놓았을 때, 특정 과제의 성능이 모델 크기와 상관없이 손실이 어떤 값 아래로 내려가는 순간 오르기 시작한다고 보고했다. 크기는 손실을 낮추는 수단 중 하나일 뿐이고, 능력을 정하는 것은 도달한 손실이라는 관점이다.
이 관점은 앞에서 본 임계 규모의 이동을 잘 설명한다. 데이터를 더 많이, 더 잘 넣어 같은 손실에 작은 모델로 도달하면 능력도 작은 모델에서 나타난다. 그리고 예측의 문제를 손실의 문제로 바꿔 준다. 손실은 스케일링 법칙으로 꽤 정확히 내다볼 수 있으므로, 과제별 임계 손실만 알면 그 과제가 언제 풀릴지도 어림할 수 있다.
대리 지표
능력이 나타나기 전에 미리 재는 대리 지표도 쓰인다. 정답 문자열 전체에 모델이 주는 로그 확률은 정답률이 0인 동안에도 조금씩 올라간다. 여러 번 뽑아 한 번이라도 맞히는지를 보는 pass@k를 큰 k로 재는 것도 같은 효과가 있다. k=1에서 0이던 과제가 k=100에서는 몇 퍼센트로 잡히고, 그 값이 규모에 따라 오르는 기울기가 나중의 도약을 예고한다.
다만 대리 지표가 오른다고 실제 정답률이 따라 오른다는 보장은 없다. 대리 지표는 능력의 바탕을 재고, 쓸 만한 수준을 넘는 시점은 여전히 따로 확인해야 한다. 앞 절의 정리가 여기서도 그대로 적용된다.
안전 쪽의 함의
사전 평가
창발이 안전 연구자에게 중요한 이유는 앞에서 가른 첫 번째 예측 불가능, 곧 어떤 능력이 나타날지 모른다는 데 있다. 유용한 능력만 갑자기 나타나는 것이 아니다. 사이버 공격을 돕는 능력이나 위험 물질에 관한 전문 지식, 사람을 정교하게 설득하는 능력도 같은 방식으로 나타날 수 있다.
그래서 주요 개발사들은 출시 전에 위험 능력 목록을 정해 두고 그것을 재는 사전 평가를 돌린다. 측정 형태는 능력마다 다르다. 지식은 전문가가 만든 문항으로, 사이버 능력은 실제 취약점을 찾는 실습 과제로, 자율 행동은 여러 단계에 걸친 에이전트 과제로 잰다. 이 평가가 창발 논쟁에서 배운 것은 지표를 하나만 보지 않는다는 점이다. 과제를 끝까지 해냈는지와 함께 몇 단계까지 갔는지를 함께 재면, 아직 문턱 아래인 능력이 문턱에 얼마나 다가왔는지가 보인다.
단계별 안전 조치
평가 결과는 단계별 안전 조치로 이어진다. Anthropic의 Responsible Scaling Policy, OpenAI의 Preparedness Framework, Google DeepMind의 Frontier Safety Framework가 같은 구조를 공유한다. 위험 능력마다 문턱을 정해 두고, 모델이 문턱에 가까워지면 더 강한 보안과 배포 제한을 건다는 약속이다.
이 구조가 창발 문제에 대한 답인 이유는 문턱을 넘은 다음이 아니라 다가갈 때 조치가 걸린다는 데 있다. 능력이 계단처럼 올 수 있다면 문턱을 넘은 것을 확인하고 나서 대비하면 늦다. 그래서 평가를 학습 도중에도 일정 연산량마다 다시 돌리고, 문턱 아래에 여유 구간을 두고 그 구간에 들어서면 다음 단계의 조치를 준비하도록 짜여 있다.
해석 가능성
장기적인 방향은 모델 내부를 직접 들여다보는 것이다. 기계적 해석 가능성(Mechanistic Interpretability)은 모델의 가중치와 활성값에서 특정 기능을 맡은 회로를 찾아내려는 연구다. 외부 점수로는 능력이 문턱 아래로 보여도 내부에 그 기능을 하는 회로가 자라고 있다면 미리 알아챌 수 있다는 기대가 있다.
작은 모델에서 학습 도중 손실이 갑자기 꺾이는 순간을 추적해, 그때 앞 문맥의 패턴을 복사하는 회로가 형성된다는 것을 보인 연구가 그 가능성을 보여 준 사례다. 아직 큰 모델 전체에 적용할 수준은 아니지만, 창발을 「밖에서 놀라는 현상」에서 「안에서 관찰하는 현상」으로 바꾸려는 시도라는 점에서 방향은 분명하다.
실무 판단
모델 교체와 평가 설계
창발이 진짜냐는 물음은 학계의 논쟁처럼 보이지만 실무 판단도 바꾼다. 첫째, 모델을 바꿀 때마다 자기 과제를 다시 재야 하는 이유가 된다. 이전 모델에서 안 되던 일이 다음 모델에서 갑자기 될 수 있고, 반대로 기대했던 능력이 아직 문턱 아래일 수도 있다. 벤치마크 평균이 조금 올랐다는 발표만 보고는 우리 과제가 문턱을 넘었는지 알 수 없다.
둘째, 평가 지표를 두 겹으로 둔다. 실제로 쓸 수 있는지를 보는 완전 일치와, 얼마나 다가왔는지를 보는 부분 점수를 함께 기록한다. 완전 일치만 남기면 모델이 바뀔 때 점수가 0에서 갑자기 뛰는 것처럼 보여 다음 교체를 예측할 수 없고, 부분 점수만 남기면 「거의 맞는」 답이 실제로는 쓸모없다는 사실을 놓친다. 그리고 평가 셋은 문항이 수십 개 이상이 되게 잡는다. 앞에서 본 표본 효과는 사내 평가에서도 똑같이 생긴다. 예를 들어 계약서에서 조항 다섯 개를 뽑는 과제라면, 다섯 개를 모두 맞힌 문서의 비율과 조항별 정답률을 나란히 적는다. 조항별 정답률이 세대마다 꾸준히 오르고 있다면 문서 단위 정답률이 아직 낮아도 다음 교체에서 쓸 만해질 가능성이 높다는 것을 미리 읽을 수 있다.
규모 밖의 축
지금의 그림은 창발이 처음 이야기될 때와 조금 다르다. 능력이 나타나는 축이 파라미터 수 하나가 아니다. 추론 시간에 더 많이 생각하게 하는 테스트 타임 연산, 도구를 쓸 수 있게 하는 것, 강화 학습으로 다단계 문제 풀이를 가르치는 후훈련이 각각 어떤 능력을 불러내는 문턱 노릇을 한다. 같은 모델이 생각할 시간을 더 받으면 못 풀던 문제를 풀기 시작하는 모습은 규모에서 본 계단과 닮았다.
그래서 「규모가 커지면 무엇이 나타나는가」라는 원래의 물음은 「어느 축을 얼마나 밀면 무엇이 나타나는가」로 넓어졌다. 축이 여럿이 되면 예측은 더 어려워지지만, 측정 방식 논쟁에서 배운 도구 — 연속 지표, 충분한 표본, 촘촘한 점 — 는 어느 축에서나 그대로 쓸 수 있다.
다음 글에서는 이런 능력들이 실제로 펼쳐지는 작업 공간, 곧 모델이 한 번에 읽을 수 있는 분량을 정하는 컨텍스트 윈도우를 다룬다.
읽어주셔서 감사합니다. 😊

