에이전트·RAG

AGENT / 5번째 글

Chain-of-Thought 프롬프팅: LLM이 생각하게 만드는 기술

답 전에 중간 단계를 쓰게 하는 CoT 프롬프팅을 원리부터 본다. 트리거 한 문장의 Zero-shot CoT, 풀이 예시의 Few-shot CoT와 Auto-CoT, 효과가 갈리는 과제와 모델 규모, 그럴듯한 오답과 충실성, 추론에 드는 토큰과 지연까지 정리한다.

PALDYN Team35 MIN READ

지난 글에서 지시만 주는 Zero-shot과 예시를 몇 개 붙이는 Few-shot을 다뤘다. 그 글은 갈래 하나를 남겨 두고 끝났다. 여러 단계를 거쳐야 풀리는 문제에서는 예시가 답만 보여 줘서는 모자라고, 풀이 과정까지 보여 줘야 한다는 것이다. 이 글이 그 갈래를 다룬다. 모델이 최종 답을 내기 전에 중간 추론 단계를 글로 써 내려가게 만드는 기법, Chain-of-Thought(CoT) 프롬프팅이다.

출발점은 2022년의 두 논문이다. Wei et al.은 풀이가 담긴 예시 여덟 개를 프롬프트에 넣는 것만으로 5,400억 파라미터 모델이 초등 수학 문장제 벤치마크 GSM8K에서 당시 최고 기록을 냈다고 보고했다. 몇 달 뒤 Kojima et al.은 예시도 없이 답 앞에 "Let's think step by step" 한 문장을 붙여 비슷한 효과를 얻었다. InstructGPT(text-davinci-002)에서 MultiArith 정확도가 17.7%에서 78.7%로, GSM8K가 10.4%에서 40.7%로 올랐다. 다만 이 숫자는 특정 모델과 특정 벤치마크의 기록이지 어느 과제에나 붙는 상승폭이 아니다. 이 글은 왜 오르는지, 어디서는 왜 안 오르는지, 그리고 그 대가가 무엇인지를 함께 본다.

중간 단계 출력

자기회귀 생성

LLM은 글을 한 번에 쓰지 않는다. 지금까지의 토큰 열을 보고 다음 토큰 하나의 확률을 계산해 하나를 고르고, 그 토큰을 열 끝에 붙인 뒤 다시 다음 하나를 고른다. 토큰은 모델이 글을 자르는 단위로, 낱말 하나이거나 그보다 작은 조각이다. 이렇게 방금 낸 출력을 다음 입력으로 되먹이며 한 토큰씩 이어 쓰는 방식을 자기회귀(autoregressive) 생성이라 한다.

CoT가 기대는 성질이 여기 있다. 모델이 써 낸 추론 문장은 사라지지 않고 입력 열에 남아, 그 뒤에 오는 모든 토큰의 조건이 된다. "23 − 20 = 3"이라고 써 둔 모델은 다음 토큰을 고를 때 그 3을 다시 볼 수 있다. 써 두지 않은 모델은 같은 3을 토큰 하나를 고르는 한 번의 계산 안에서 만들어 내고, 곧바로 다음 연산에까지 써야 한다. 앞서 쓴 추론이 뒤 토큰의 조건이 된다는 것, 이것이 CoT를 한 문장으로 줄인 설명이다.

단계 나누기

문제 하나로 따라가 보자. 「식당에 사과가 23개 있었다. 점심에 20개를 쓰고 6개를 더 샀다. 지금 몇 개인가?」 답만 내라고 하면 모델은 「답:」 다음 첫 토큰에서 바로 숫자를 골라야 한다. 이 자리에서 모델이 볼 수 있는 것은 문제 문장뿐이고, 빼기와 더하기를 차례로 하는 일 전체가 그 토큰 하나를 고르는 계산 안에 접혀 들어가야 한다. 23과 6을 엮은 29나 20과 6에서 나온 26처럼, 문제에 나온 수를 그럴듯하게 섞은 오답이 나오기 쉬운 자리다.

CoT로 풀게 하면 같은 문제가 세 걸음이 된다. 먼저 「23개에서 20개를 쓰면 3개」를 쓰고, 그 3을 보며 「6개를 사면 3 + 6 = 9」를 쓰고, 마지막으로 「답: 9」를 쓴다. 걸음마다 모델이 하는 일은 한 자리 연산 하나뿐이다. 문제의 어려움이 사라진 것이 아니라 여러 토큰 위로 나뉘어 실렸다. 그래서 CoT가 듣는 문제는 대개 단계로 쪼갤 수 있는 문제이고, 쪼갤 단계가 없는 문제에서는 쓸 말만 는다.

답만 내게 할 때와 단계를 쓰게 할 때

작업 메모리

그래서 흔히 CoT를 컨텍스트를 작업 메모리로 쓰는 일에 빗댄다. 컨텍스트는 모델이 한 번에 읽는 입력 토큰 전체이고, 작업 메모리는 사람이 암산하며 중간값을 잠깐 붙들어 두는 자리다. 사람이 세 자리 곱셈을 종이에 적어 가며 하듯, 모델도 중간값을 컨텍스트에 적어 두고 다시 읽는다. 토큰 하나를 내는 데 모델 안에서 일어나는 계산의 양은 정해져 있으므로, 더 많은 계산이 필요한 문제는 더 많은 토큰을 거쳐야 풀린다는 설명이다.

비유에는 한계가 둘 있다. 사람의 종이는 적은 것을 지우고 고칠 수 있지만 모델의 컨텍스트는 한 방향으로만 자란다. 잘못 적은 중간값은 지워지지 않고 남아 뒤의 모든 토큰에 조건으로 걸린다. 그리고 종이에 적힌 풀이를 그대로 따라 계산하는 사람과 달리, 모델이 적은 추론이 답을 만든 실제 계산 경로라는 보장은 없다. 두 한계는 뒤의 「추론의 신뢰성」 절에서 다시 다룬다.

Zero-shot CoT

트리거 문장

Kojima et al.이 보인 것은 예시 없이도 추론을 끌어낼 수 있다는 점이다. 답의 첫머리에 "Let's think step by step", 우리말로 「단계별로 생각해 보자」 한 문장을 둔다. 이렇게 모델이 추론을 쓰기 시작하게 만드는 문장을 트리거라 부른다. 예시가 필요 없으니 과제마다 풀이 예시를 손으로 쓸 일이 없고, 처음 보는 종류의 문제에도 그대로 붙일 수 있다. 지난 글의 말로 하면 Zero-shot에 문장 하나를 더한 것이다.

트리거가 듣는 이유는 앞 절의 설명과 같다. 답이 「단계별로 생각해 보자」로 시작하면 그 뒤에 이어지기 가장 자연스러운 글은 숫자 하나가 아니라 첫 단계의 서술이다. 학습 데이터 속 풀이 글이 대개 그렇게 이어지기 때문이다. 트리거는 모델에게 새 능력을 주는 것이 아니라, 답을 곧바로 쓰던 자리를 풀이를 쓰는 자리로 바꿔 놓는다.

추론과 답 추출

원 논문의 구성은 두 단계다. 첫 호출에서 질문과 트리거를 넣어 추론을 받고, 둘째 호출에서 질문·트리거·받은 추론을 그대로 이어 붙인 뒤 「따라서 답은」 같은 답 추출 문장을 끝에 단다. 그러면 모델은 앞의 추론을 조건 삼아 답만 짧게 쓴다. 추론 글은 형식이 제각각이라 마지막 문장에서 숫자를 정규식으로 뽑으면 자주 어긋나는데, 둘째 단계가 그 일을 모델에게 맡긴다. 숫자만 쓰라는 식으로 답의 형식을 추출 문장에 함께 적어 두면 더 안정적이다.

import anthropic

client = anthropic.Anthropic()
MODEL = "claude-opus-5-5"

def ask(prompt: str, max_tokens: int) -> str:
    msg = client.messages.create(
        model=MODEL,
        max_tokens=max_tokens,
        messages=[{"role": "user", "content": prompt}],
    )
    return msg.content[0].text

def zero_shot_cot(question: str) -> str:
    head = f"Q: {question}\nA: 단계별로 생각해 보자.\n"
    reasoning = ask(head, 512)                               # 1단계: 추론
    return ask(f"{head}{reasoning}\n따라서 답(숫자만)은", 16)  # 2단계: 답 추출

호출이 두 번이라 지연과 비용도 그만큼 붙는다. 그래서 요즘은 한 번의 호출에서 추론과 답을 태그로 갈라 받는 구성을 더 흔히 쓴다. 추론은 <thinking> 안에, 최종 답은 <answer> 안에 쓰라고 지시하고, 프로그램은 <answer> 안만 읽는다. 형식이 깨질 위험은 남지만 태그는 문장 끝의 숫자보다 훨씬 뽑기 쉽고, 추론을 로그로 따로 남겨 두기도 좋다.

문제를 풀 때 먼저 <thinking> 안에 풀이를 단계별로 쓰고,
최종 답은 <answer> 안에 숫자만 써라.

문구 의존성

트리거는 아무 문장이나 되는 것이 아니다. Kojima et al.은 여러 문구를 바꿔 가며 같은 벤치마크에서 정확도를 쟀는데, 추론을 권하는 문구끼리도 수치가 꽤 갈렸고 추론과 무관하거나 엉뚱한 쪽으로 이끄는 문구는 효과가 없었다. 「단계별로 생각해 보자」가 특별한 주문이라서가 아니라, 그 문장이 풀이를 이어 쓰게 만드는 정도가 문구마다 다르다는 뜻이다.

실무에 남는 교훈은 둘이다. 하나는 논문의 영어 문구가 한국어 프롬프트와 다른 모델에서도 가장 좋으리라는 보장이 없다는 것이다. 다른 하나는 그래서 트리거도 프롬프트의 일부로 평가셋에서 재야 한다는 것이다. 가령 문구 후보 셋을 정해 같은 문제 200개에 돌리고 정답률과 평균 출력 길이를 함께 본다. 정답률이 비슷하면 짧게 쓰는 쪽이 낫다 — 추론 토큰은 그대로 비용이다. 지시를 따르도록 다듬은 최근 모델은 트리거 없이도 계산 문제를 보면 풀이부터 쓰는 경우가 많아서, 트리거가 보태는 몫은 원 논문 때보다 작아졌을 수 있다. 이것도 짐작하지 말고 트리거가 없는 경우를 후보에 넣어 함께 잰다.

Few-shot CoT

풀이를 담은 예시

Wei et al.의 원래 기법은 Few-shot 쪽이다. 프롬프트 앞에 놓는 예시, 곧 질문과 답의 짝에 답만이 아니라 답에 이르는 풀이를 함께 적는다. 답만 있는 예시는 모델에게 「이런 질문에는 숫자 하나로 답한다」는 형식을 가르친다. 풀이가 있는 예시는 「이런 질문에는 이런 순서로 따져서 답한다」를 가르친다. 같은 여덟 문제라도 모델이 무엇을 따라 하게 되는지가 다르다.

Q: 사과 5개짜리 바구니가 3개 있다. 사과는 모두 몇 개인가?
A: 바구니 하나에 5개이므로 3개면 5 × 3 = 15개다. 따라서 답은 15다.

Q: 기차가 시속 80km로 2시간 30분을 달렸다. 이동 거리는?
A: 2시간 30분은 2.5시간이다. 거리는 80 × 2.5 = 200km다. 따라서 답은 200이다.

Q: {question}
A:

Zero-shot CoT와 견주면 맞바꾸는 것이 분명하다. 트리거는 쓰기 쉽지만 추론의 모양을 정하지 못한다. 예시는 쓰는 데 품이 들지만 단위를 먼저 맞추라든지 시간을 시간 단위로 먼저 바꾸라든지 하는 풀이의 형식까지 정해 준다. Kojima et al.의 비교에서도 Zero-shot CoT는 손으로 쓴 풀이 예시를 넣은 Few-shot CoT에 대체로 못 미쳤다. 예시를 쓸 품이 있고 과제가 한 종류로 좁다면 Few-shot 쪽이 기본값이다.

Zero-shot CoT와 Few-shot CoT

예시의 조건

좋은 풀이 예시에는 조건이 넷 있다.

  • 다양성 — 같은 꼴의 문제만 넣으면 모델이 그 꼴의 풀이를 다른 문제에도 억지로 끼워 맞춘다.
  • 생략 없는 단계 — 예시가 중간을 건너뛰면 모델도 건너뛰고, 건너뛴 그 자리가 가장 자주 틀리는 자리가 된다.
  • 일관된 형식 — 모든 예시가 같은 순서로 쓰여야 모델이 형식을 하나로 읽는다. 마지막 줄을 언제나 「따라서 답은 N이다」로 끝내면 답을 뽑기도 쉬워진다.
  • 적당한 수 — 원 논문은 대부분의 벤치마크에 여덟 개를 썼다. 보통 넷에서 여덟 사이에서 정답률이 평평해지고, 그 뒤로는 컨텍스트와 비용만 는다.

마지막 조건은 숫자로 보면 더 분명하다. 풀이가 붙으면 예시 하나가 답만 있을 때보다 몇 배 길어진다. 가령 예시 하나가 풀이를 포함해 150토큰이면 여덟 개는 1,200토큰이고, 이것이 모든 요청 앞에 붙는다. 지난 글에서 본 레이블 쏠림과 순서 편향도 그대로 따라온다. 예시의 답이 한쪽에 몰려 있거나 비슷한 풀이가 끝에 몰려 있으면, 모델은 풀이 방식과 함께 그 쏠림도 배운다.

Auto-CoT

풀이 예시를 손으로 쓰는 품을 덜려는 시도가 Zhang et al.(2022)의 Auto-CoT다. 발상은 Zero-shot CoT로 만든 추론을 Few-shot 예시로 다시 쓰는 것이다. 문제 풀에서 질문 몇 개를 고르고, 각각에 트리거를 붙여 추론을 받고, 그 질문과 추론의 짝을 예시로 앞에 붙인다.

함정은 Zero-shot이 만든 추론에 오답이 섞인다는 것이다. 비슷한 질문들만 골라 예시를 만들면 같은 종류의 실수가 예시 여러 개에 함께 들어가고, 모델은 그 실수를 형식으로 배운다. 그래서 Auto-CoT는 질문을 의미가 가까운 것끼리 묶은 뒤 묶음마다 대표 질문을 하나씩 뽑아 다양성을 확보하고, 지나치게 길거나 단계가 많은 질문과 추론은 간단한 규칙으로 걸러 낸다. 한 종류의 실수가 예시 전체를 물들이지 않게 흩어 놓는 것이 요점이다. 실무에서는 정답이 알려진 질문만 골라, 추론의 최종 답이 정답과 맞는 것만 예시로 남기는 거름망을 하나 더 두면 좋다. 답이 맞았다고 풀이까지 옳다는 보장은 없지만, 적어도 틀린 결론을 가르치는 예시는 빠진다.

과제별 효과

과제 유형

Wei et al.이 효과를 보인 과제는 세 갈래다. 산술 추론(수학 문장제), 상식 추론(일상 지식 여러 개를 엮어야 답이 나오는 질문), 기호 추론(낱말들의 마지막 글자 잇기나 동전을 몇 번 뒤집었는지 따라가기 같은 규칙 조작)이다. 셋의 공통점은 답이 하나의 사실이 아니라 여러 걸음의 결과라는 것이다.

반대쪽 끝에는 단순 조회와 분류가 있다. 「프랑스의 수도는?」에는 쪼갤 단계가 없다. 모델이 그 사실을 알면 바로 맞히고, 모르면 풀이를 길게 써도 모른다. 감정 분류처럼 문장 전체의 인상으로 정하는 과제도 추론을 쓰게 하면 이유가 그럴듯하게 붙을 뿐 정답률이 크게 안 오르고, 길어진 추론이 엉뚱한 단서를 끌어들여 판단을 흔들기도 한다. 원 논문에서도 한 걸음이면 풀리는 쉬운 산술 문제에서는 상승이 작거나 없었다.

과제 답의 모양 CoT의 효과
산술 추론 여러 연산의 결과 크다
상식 추론 여러 사실의 결합 크다
기호 추론 규칙을 거듭 적용한 결과 크다
사실 조회 기억된 사실 하나 거의 없다
짧은 분류 문장 전체의 인상 작거나 오히려 흔들린다

모델 규모

Wei et al.의 또 다른 관찰은 효과가 모델 크기를 따라 고르게 늘지 않았다는 것이다. 그들이 실험한 모델 계열에서 대략 1,000억 파라미터보다 작은 모델은 CoT를 붙여도 이득이 없거나 오히려 정답률이 떨어졌다. 작은 모델은 매끄럽지만 논리가 맞지 않는 추론을 써 냈고, 그 틀린 추론을 조건 삼아 틀린 답을 냈다. 그보다 큰 모델에서는 상승이 가팔랐다. 규모가 어느 선을 넘을 때 갑자기 나타나는 능력을 창발적 능력(emergent ability)이라 부르는데, 논문은 CoT의 효과를 그 예로 들었다.

이 관찰을 오늘에 그대로 옮길 때는 조심해야 한다. 1,000억이라는 선은 2022년의 그 모델들과 그 벤치마크에서 나온 것이다. 그 뒤로 풀이 글을 많이 학습하고 지시를 따르도록 다듬은 모델들은 훨씬 작은 크기에서도 쓸 만한 추론을 써 내는 경우가 많다. 남는 교훈은 숫자가 아니라 방향이다. 작은 모델일수록 CoT가 독이 될 수 있으니, 붙이기 전에 그 모델로 재 본다.

CoT 라우팅

두 관찰을 합치면 운영 방침이 나온다. 모든 질문에 CoT를 붙이지 말고 질문을 먼저 가른다. 계산이나 여러 조건의 결합이 필요한 질문에는 CoT를, 사실 조회나 짧은 분류에는 바로 답을, 정확한 수치 계산이 핵심이면 코드 실행을 붙인다. 이렇게 질문마다 처리 경로를 고르는 단계를 라우팅이라 한다.

CoT 라우팅

가르는 방법은 가벼운 것부터 쓴다. 질문 유형을 미리 아는 서비스라면 기능마다 프롬프트를 따로 두는 것으로 충분하다. 여러 유형이 섞여 들어오면 작은 모델에게 「이 질문에 여러 단계 계산이 필요한가」만 예/아니오로 묻는 분류 호출을 앞에 둔다. 가령 질문의 30%만 CoT가 필요하고, CoT 응답이 답만 내는 응답보다 열 배 길다고 하자. 전부 CoT로 처리하면 출력은 질문당 평균 10단위이고, 라우팅하면 0.7×1+0.3×10=3.70.7 \times 1 + 0.3 \times 10 = 3.7 단위다. 분류 호출의 몫을 더해도 출력이 셋 중 둘 가까이 줄어든다. 반대로 CoT가 필요한 질문이 대부분이라면 분류 호출이 지연만 더하므로, 이 계산은 자기 서비스의 비율을 넣어 다시 해 봐야 한다.

추론의 신뢰성

오류 누적

CoT의 추론은 그럴듯하게 읽힌다. 문제는 그럴듯함과 맞음이 다르다는 것이다. 추론의 첫 줄에서 문제의 수를 잘못 옮겨 적으면 — 23을 32로 읽는 식이다 — 뒤의 계산이 하나하나 정확해도 결론은 틀린다. 앞에서 본 대로 컨텍스트는 지워지지 않으므로 틀린 중간값은 뒤의 모든 단계에 조건으로 남는다. 초기 단계의 오류가 끝까지 실려 가는 이 현상을 오류 누적이라 한다. 단계가 길수록 어딘가 한 군데 틀릴 기회도 많아진다.

더 곤란한 것은 겉모습이다. 틀린 전제 위의 계산이 매끄러우면 읽는 사람도 넘어간다. 답만 낸 오답은 「모델이 몰랐다」로 보이지만, 풀이가 붙은 오답은 근거가 있는 답처럼 보여 사람의 검토를 오히려 덜 받는다. 추론을 사용자에게 보여 주는 화면이라면 이 점을 의식해야 하고, 검토하는 사람에게는 풀이를 읽기 전에 결론을 따로 검산하라고 일러 두는 편이 낫다.

충실성

한 걸음 더 들어가면 다른 질문이 나온다. 모델이 써 낸 추론이 정말로 답을 만든 경로인가. 추론이 실제 판단 과정을 그대로 반영하는 정도를 충실성(faithfulness)이라 한다. Turpin et al.(2023)은 Few-shot 예시의 정답을 늘 같은 보기 자리에 두는 식으로 프롬프트에 편향을 심었을 때, 모델의 답은 그 편향을 따라 바뀌는데 추론에서는 그 편향을 한 번도 언급하지 않고 다른 이유로 답을 정당화하는 경우를 보였다. 추론이 답의 원인이 아니라 사후 설명일 수 있다는 뜻이다.

그래서 추론 글은 디버깅 단서로는 쓸모 있지만 증명으로 쓰면 안 된다. 추론을 읽고 「이런 이유로 이 답을 냈구나」라고 믿어 프롬프트를 고쳤는데 정답률이 그대로라면, 그 추론이 실제 원인이 아니었을 가능성을 의심해 본다. 개선의 판정은 언제나 추론이 아니라 평가셋의 정답률로 한다.

도구 결합

틀리기 쉬운 걸음을 모델 밖으로 빼는 것이 가장 직접적인 처방이다. 추론 속 계산을 모델이 직접 하지 않고 파이썬 코드로 쓰게 한 뒤, 그 코드를 실행해 값을 받는다. Gao et al.(2022)의 PAL(Program-Aided Language models)이 이 방식이다. 모델은 문제를 식으로 옮기는 일, 곧 잘하는 일만 맡고 계산은 실행기가 맡는다. 코드 생성 과제라면 같은 원리로 모델이 쓴 코드를 테스트로 돌려 통과한 것만 받는다.

이렇게 추론의 걸음 일부를 도구가 확인한 값으로 바꾸면 오류 누적의 사슬이 그 자리에서 끊긴다. 23을 32로 읽는 실수는 여전히 남지만, 32 − 20을 13으로 계산하는 실수는 없어진다. 남은 실수, 곧 문제를 식으로 옮기는 단계의 실수는 실행 결과가 상식에 맞는지 보는 간단한 검사로 일부 잡을 수 있다. 사과 수가 음수로 나오거나 거리가 지구 둘레보다 길면 식이 틀린 것이다.

추론 비용

출력 토큰과 지연

CoT의 대가는 출력 길이다. 답만 내면 열 토큰 안쪽에서 끝날 응답이 추론을 붙이면 수백 토큰이 된다. 가령 답만 내는 응답이 20토큰, CoT 응답이 300토큰이라 하면 출력은 15배다. API는 대개 출력 토큰을 입력 토큰보다 비싸게 매기므로, 입력이 같아도 요청당 비용이 그만큼 커진다.

지연은 더 직접적이다. 자기회귀 생성은 토큰을 하나씩 차례로 만들므로 출력 길이가 곧 응답 시간이다. 초당 50토큰을 내는 모델이라 하면 20토큰은 0.4초, 300토큰은 6초다. 채팅 화면이라면 스트리밍으로 버틸 수 있지만, 응답 전체를 받아야 다음 단계로 넘어가는 파이프라인에서는 이 6초가 그대로 사용자의 대기 시간이 된다. 앞의 라우팅이 비용만이 아니라 지연을 위한 장치이기도 한 이유다.

추론 감추기

추론을 사용자에게 보여 줄지는 따로 정한다. 고객 응대 챗봇이 「먼저 환불 규정을 확인하면…」으로 시작하는 장문을 내보내는 것은 대개 원하는 그림이 아니다. 이럴 때 앞에서 본 태그 형식을 쓴다. 추론은 <thinking> 안에 쓰게 하고 서버가 <answer> 안만 꺼내 화면에 보낸다. 추론은 로그에 남겨 앞 절에서 말한 디버깅 단서로 쓴다.

감출 때 따라오는 일이 둘 있다. 하나는 스트리밍이다. 토큰이 오는 대로 화면에 흘려보내면 추론이 그대로 새므로, <answer> 태그가 열린 뒤부터만 흘려보내도록 거르는 처리가 필요하다. 그만큼 사용자가 첫 글자를 보기까지의 시간이 추론 길이만큼 늘어난다. 다른 하나는 형식 실패다. 모델이 태그를 빠뜨리거나 답을 태그 밖에 쓰면 화면에 아무것도 안 나가거나 추론이 통째로 나간다. 태그가 없을 때 어떻게 할지를 미리 정해 두고 그 비율을 지켜본다. 요즘은 답 전에 내부 추론을 따로 생성하는 추론 모델과 확장 사고 기능이 있어 이 분리를 API가 대신해 주기도 하는데, 그때도 그 추론 토큰이 대개 출력으로 과금된다는 점은 같다.

캐시 밖의 토큰

프롬프트 캐시는 요청의 앞부분이 이전 요청과 같을 때 그 계산을 재사용해 싸고 빠르게 처리하는 장치다. Few-shot CoT의 풀이 예시는 매 요청 똑같으므로 캐시의 덕을 크게 본다. 앞에서 계산한 1,200토큰의 예시도 첫 요청 뒤로는 캐시 단가로 읽힌다.

추론은 그렇지 않다. 캐시가 듣는 것은 입력이고, 추론은 매 요청 새로 생성되는 출력이다. 같은 질문이 다시 와도 모델은 추론을 처음부터 다시 쓴다. 그래서 CoT의 비용을 줄이는 손잡이는 캐시가 아니라 길이다. 예시의 풀이를 필요한 단계만 남기게 짧게 다듬으면 모델의 추론도 따라 짧아지고, 「각 단계는 한 줄로」 같은 지시가 출력 길이를 줄인다. 이렇게 줄여 가면서 정답률이 떨어지지 않는 선을 평가셋으로 찾는다.

정리

한 경로의 한계

CoT는 답 전에 중간 단계를 쓰게 해, 한 토큰에 접혀 있던 계산을 여러 토큰 위로 펼친다. Zero-shot은 트리거 한 문장으로, Few-shot은 풀이가 담긴 예시로 그렇게 하고, Auto-CoT는 앞의 것으로 뒤의 것을 만든다. 여러 걸음을 거치는 산술·상식·기호 추론에서 듣고, 단계가 없는 조회와 분류에서는 비용만 는다. 대가는 출력 토큰과 지연이고, 추론이 그럴듯하다는 것과 맞다는 것은 별개다.

그리고 구조적인 약점이 하나 남는다. 추론이 한 줄로만 나아간다는 것이다. 한 번 갈라선 길은 되돌릴 수 없고, 그 길이 틀렸으면 답도 틀린다. 오류 누적도 충실성 문제도 결국 이 한 경로 위에서 벌어진다.

고르는 순서

  1. 질문을 먼저 가른다 — 조회와 분류는 바로 답, 여러 걸음은 CoT, 정확한 계산은 코드 실행.
  2. CoT는 Zero-shot부터 시작한다 — 트리거 후보를 평가셋에서 재고 정답률과 출력 길이를 함께 본다.
  3. 풀이의 모양이 흔들리면 Few-shot으로 간다 — 풀이 예시 넷에서 여덟을 고정부로 두어 캐시에 싣는다.
  4. 추론과 답은 태그로 가른다 — 답만 화면에, 추론은 로그로.
  5. 판정은 정답률로 한다 — 추론 글은 단서이지 증명이 아니다.

다음 글에서는 이 한 경로의 약점에 정면으로 답하는 두 기법을 본다. 같은 문제를 여러 번 풀게 해 가장 자주 나온 답을 고르는 Self-Consistency와, 추론을 나무처럼 여러 갈래로 펼쳐 나쁜 갈래를 버리며 나아가는 Tree-of-Thought다. 둘 다 호출이 배수로 붙으므로 이 글에서 본 비용 계산이 그대로 이어진다.


읽어주셔서 감사합니다. 😊

LATEST

에이전트·RAG의 최신 글

에이전트·RAG2026.08.23

에이전트는 어디서 어긋나기 시작하는가

에이전트가 이상한 답을 낼 때 증상은 마지막에 보이지만 어긋난 자리는 그보다 앞입니다. 한 걸음이 무너지는 여섯 자리를 나누고, 증상에서 원인을 거슬러 찾는 방법과 자리별 처방을 정리합니다.

29 MIN
에이전트·RAG2026.08.23

에이전트가 무엇을 했는지 나중에 알 수 있게 만들기

에이전트는 같은 입력에도 다른 경로로 갑니다. 그래서 로그 몇 줄로는 왜 그렇게 됐는지 복원이 안 됩니다. 트레이스를 어떻게 나누고 구간마다 무엇을 붙이며 어떤 지표를 볼지 정리합니다.

29 MIN
에이전트·RAG2026.08.23

에이전트 비용은 걸음 수보다 빨리 늘어난다

걸음이 두 배면 비용은 두 배가 아니라 서너 배입니다. 왜 그렇게 되는지, 어디서 새는지, 상한을 몇 겹으로 어떻게 거는지와 실제로 효과가 큰 순서대로의 대응을 정리합니다.

13 MIN