지난 글에서 프롬프트 엔지니어링의 6대 원칙과 기본 구조를 살펴봤다. 이번 글에서는 프롬프트 기법 중 가장 근본적인 두 가지, Zero-shot과 Few-shot을 깊이 파고든다. 2020년 GPT-3 논문(Brown et al., 「Language Models are Few-Shot Learners」)이 이 둘에 이름을 붙이고 예시 수에 따라 성능이 어떻게 달라지는지를 체계적으로 견줬고, 그 뒤로 거의 모든 프롬프트 기법이 이 구분 위에서 이야기된다. 예시를 몇 개 넣을지, 어떤 예시를 어떤 순서로 넣을지, 그 선택이 비용과 캐시에 무엇을 남기는지까지 따라가 본다.
문맥 안 학습
가중치를 안 바꾸는 학습
LLM 안에는 수십억 개의 숫자가 들어 있고, 학습은 그 숫자를 데이터에 맞게 정하는 절차다. 이 숫자가 파라미터이고, 학습이 끝난 뒤 질문에 답하는 일(추론)은 정해진 파라미터를 읽기만 한다. 파인튜닝은 추론 전에 그 숫자를 한 번 더 옮겨 새 과제에 맞추는 일이다.
GPT-3가 보여 준 것은 세 번째 길이었다. 파라미터는 그대로 두고, 프롬프트 안에 입력과 정답의 쌍을 몇 개 적어 넣기만 했는데 모델이 그 패턴을 따라 새 입력을 처리했다. 번역 예시 셋을 보여 주면 번역을 하고, 감정 분류 예시 셋을 보여 주면 분류를 했다. 이렇게 숫자를 하나도 안 바꾸고 프롬프트에 든 예시만으로 과제를 옮겨 가는 현상을 문맥 안 학습(In-Context Learning, ICL)이라 부른다. 「학습」이라는 말이 붙었지만 모델 안에서 바뀌는 것은 없다. 요청이 끝나면 예시의 효과도 함께 사라지고, 다음 요청에 같은 예시를 다시 넣어야 같은 행동이 나온다.
예시를 하나도 안 주고 지시만 주면 Zero-shot, 하나를 주면 One-shot, 여럿을 주면 Few-shot이다. 여기서 「shot」은 보여 주는 예시 한 쌍을 센다. GPT-3 논문은 이 셋을 같은 과제에서 나란히 재서, 모델이 클수록 예시를 붙였을 때의 이득이 커지는 경향을 보고했다. 작은 모델에서는 예시를 줘도 잘 안 따라오던 것이 큰 모델에서는 따라오기 시작한 것이다.
조건이 되는 예시
왜 예시가 통하는가. LLM은 앞에 놓인 토큰 전체를 읽고 다음 토큰의 확률을 낸다. 프롬프트에 「문장: … 감정: 긍정」 꼴의 줄이 셋 있고 마지막 줄이 「문장: … 감정:」으로 끝나면, 모델이 다음에 올 토큰을 고를 때 앞의 세 쌍이 그대로 조건으로 들어간다. 다음 토큰이 「긍정」·「부정」·「중립」 중 하나일 확률이 크게 오르고, 형식도 한 낱말로 끝나는 쪽으로 기운다. 예시는 모델에 무엇을 가르친다기보다 지금 어떤 과제를 하는 중인지를 좁혀 주는 셈이다.
그 안에서 정확히 무슨 계산이 일어나는지는 아직 다 밝혀지지 않았다. 어텐션이 앞쪽 패턴을 찾아 뒤에서 이어 쓰는 회로를 만든다는 분석도 있고, 사전학습 때 본 수많은 과제 가운데 지금 프롬프트에 맞는 것을 추정해 고른다는 해석도 있다. 어느 쪽이든 실무에서 기억할 것은 하나다. 예시는 정답을 외우게 하는 재료가 아니라 이후 예측을 기울이는 조건이고, 그래서 예시의 정답 칸에 적힌 「긍정」 같은 값, 곧 레이블뿐 아니라 길이·순서·말투까지 함께 조건으로 들어간다. 뒤에서 다룰 편향이 전부 여기서 나온다.
파인튜닝·RAG와의 경계
모델의 행동을 바꾸는 방법은 세 가지가 나란히 놓인다. 파인튜닝은 파라미터를 바꾸고, RAG는 검색한 문서를 프롬프트에 넣어 모델이 모르는 지식을 공급하고, Few-shot은 예시를 넣어 형식과 과제를 알려 준다. 고를 때 묻는 질문은 바꾸려는 것이 지식인가 형식인가다. 사내 규정의 최신 조항을 답하게 하려면 지식이 모자란 것이라 RAG 자리이고, 답은 아는데 원하는 JSON 모양이나 분류 기준대로 안 나오면 형식의 문제라 Few-shot 자리다.
파인튜닝은 둘 다 해결할 수 있지만 값이 비싸다. 학습 데이터를 수백·수천 건 모아야 하고, 기준이 바뀔 때마다 다시 학습해야 한다. Few-shot은 예시 세 줄을 고치면 그날 바로 바뀐다. 그래서 순서는 대개 Zero-shot → Few-shot → 파인튜닝이고, 앞 단계에서 풀리면 뒤로 가지 않는다. 지식과 형식이 둘 다 모자라면 RAG로 문서를 넣고 Few-shot으로 답의 모양을 잡는 조합도 흔하다.
예시 없는 프롬프트
잘 되는 조건
Zero-shot은 지시만으로 과제를 시킨다. 예시가 없으니 프롬프트가 짧고 만들기도 쉽다.
import anthropic
client = anthropic.Anthropic()
# Zero-shot: 예시 없이 감정 분류
response = client.messages.create(
model="claude-sonnet-4-6",
max_tokens=50,
messages=[{
"role": "user",
"content": """다음 문장의 감정을 '긍정', '부정', '중립' 중 하나로 분류하세요.
문장: "오늘 발표가 생각보다 잘 됐다."
감정:"""
}]
)
print(response.content[0].text) # "긍정"
이 정도면 예시가 필요 없다. 잘 되는 조건이 세 가지 겹쳐 있기 때문이다. 첫째, 과제가 흔하다. 감정 분류·번역·요약은 사전학습 데이터에 셀 수 없이 등장했고, 지시 따르기 학습에서도 반복해서 다뤄졌다. 둘째, 출력 형식이 익숙하다. 「긍정·부정·중립 중 하나」는 모델이 따로 배울 것이 없는 모양이다. 셋째, 지시가 짧고 하나다. 무엇을 하라는지가 한 문장에 다 들어 있어 해석의 여지가 좁다.
무너지는 조건
반대로 세 가지가 무너지면 Zero-shot도 무너진다. 첫째는 특수한 출력 형식이다. 사내 티켓 시스템이 「P2/결제/환불요청」처럼 우선순위·부서·유형을 슬래시로 이어 받는다면, 이 모양을 말로 아무리 설명해도 모델은 「우선순위: P2, 부서: 결제…」처럼 제 식으로 풀어 쓰기 쉽다. 둘째는 도메인 용어다. 「이 건은 CS 이관인가 TS 이관인가」를 묻는데 그 회사에서 CS와 TS를 가르는 기준이 어디에도 안 적혀 있으면 모델은 일반적인 뜻으로 추측한다. 셋째는 복잡한 추론이다. 여러 조건을 차례로 따져야 하는 판정은 지시 한 줄로는 어느 조건을 먼저 보라는 건지가 안 전해진다.
세 번째 경우는 예시를 붙이는 것만으로 안 풀릴 때가 많다. 답만 적힌 예시는 결론의 모양만 보여 주고 거기까지 가는 과정은 안 보여 주기 때문이다. 과정을 적게 하는 방법은 다음 글의 주제다.
지시부터 고치기
Zero-shot이 틀렸을 때 바로 예시를 붙이고 싶어지지만, 그 전에 지시를 한 번 고쳐 본다. 실패의 상당수는 예시가 없어서가 아니라 지시가 모호해서 생긴다. 「요약해 줘」가 세 문장짜리 요약을 원했는지 한 줄을 원했는지, 「분류해 줘」가 레이블만 원했는지 이유까지 원했는지가 지시에 없으면 모델은 아무 쪽이나 고른다. 길이·형식·출력할 것과 하지 말 것을 문장으로 적으면 예시 없이 풀리는 경우가 꽤 있다.
순서가 중요한 이유는 비용과 유지보수다. 지시 한 줄을 고치는 것은 토큰이 거의 안 늘고, 왜 그렇게 했는지가 문장으로 남는다. 예시는 요청마다 수십~수백 토큰을 더하고, 예시가 무엇을 가르치고 있는지는 문장처럼 읽히지 않는다. 지시를 고쳐도 안 풀리는 것, 특히 말로 설명하기 어려운 형식과 경계가 남았을 때 예시를 붙인다.
예시 수와 수확 체감
One-shot과 Few-shot
Few-shot은 프롬프트에 입력과 출력의 쌍을 적어 넣는다. 위의 감정 분류에 예시 셋을 붙이면 이렇게 된다.
# Few-shot: 예시 3개로 한국어 감정 분류
few_shot_prompt = """다음 예시를 참고해 문장의 감정을 분류하세요.
예시 1:
문장: "이 영화 진짜 최고야. 두 번 봤어."
감정: 긍정
예시 2:
문장: "버스를 놓쳐서 30분 기다렸어."
감정: 부정
예시 3:
문장: "내일 회의가 오전 10시에 있어."
감정: 중립
이제 분류하세요:
문장: "생각보다 별로였는데 그냥 그랬어."
감정:"""
response = client.messages.create(
model="claude-sonnet-4-6",
max_tokens=20,
messages=[{"role": "user", "content": few_shot_prompt}]
)
print(response.content[0].text) # "중립" 또는 "부정"
마지막 문장은 일부러 애매한 것을 골랐다. 「별로였는데 그냥 그랬다」는 부정에도 중립에도 걸친다. 예시 셋은 레이블이 세 종류이고 출력이 한 낱말이라는 것은 분명히 알려 주지만, 이런 경계의 문장을 어느 쪽으로 보낼지는 알려 주지 않는다. 그래서 답이 둘 중 하나로 갈린다. 경계를 정하는 일은 뒤의 「좋은 예시의 조건」에서 다시 다룬다.
첫 예시의 몫
예시를 늘리면 성능은 대체로 오르지만, 오르는 폭이 고르지 않다. 여러 과제에서 되풀이해 보고되는 모양은 0개에서 1개로 갈 때 가장 크게 오르고, 그 뒤로는 하나를 더할 때마다 이득이 줄다가 네 개에서 여덟 개 사이 어딘가에서 거의 평평해진다는 것이다. 더할수록 이득이 줄어드는 이 모양을 수확 체감이라 한다.
첫 예시가 유독 큰 것은 그 하나가 형식과 과제를 한꺼번에 정해 주기 때문이다. 출력이 한 낱말인지 문장인지, 레이블이 어떤 말로 적히는지가 예시 하나로 다 드러난다. 두 번째부터는 이미 아는 것을 되풀이하면서 경계를 조금씩 더 보여 줄 뿐이다. 다만 이 「4~8개」는 경험에서 나온 어림이지 법칙이 아니다. 모델·과제·예시의 질에 따라 포화 지점이 앞뒤로 움직이므로, 자기 데이터로 0·1·3·5·8개를 한 번씩 재 보는 것이 가장 확실하다.
과제별 적정 수
과제가 단순할수록 적은 예시로 충분하다. 레이블이 두셋인 분류라면 레이블마다 하나씩, 두세 개면 형식과 답이 될 수 있는 레이블 목록이 다 전해진다. 반대로 출력 구조가 복잡하거나 판단 갈래가 많은 과제는 다섯에서 여덟 개 정도가 필요한 경우가 많다. 갈래마다 하나씩은 보여 줘야 모델이 그 갈래의 존재를 알기 때문이다. 앞서 본 티켓 분류에서 부서가 일곱이라면 예시 셋으로는 넷이 한 번도 안 나온다.
모자란 것과 넘치는 것은 증상이 다르다. 예시가 모자라면 모델이 처음 보는 갈래의 입력에서 형식이 흔들리거나 아는 레이블 쪽으로 몰린다. 넘치면 성능은 그대로인데 토큰만 늘고, 예시가 길면 정작 처리할 입력이 긴 프롬프트 뒤쪽에 묻힌다.
토큰 비용 어림
예시는 공짜가 아니다. 위 감정 분류 예시 한 쌍이 줄바꿈과 「예시 N:」 머리까지 합쳐 대략 40토큰이라고 어림해 보자. 예시 셋이면 요청마다 120토큰, 여덟이면 320토큰이 붙는다. 한 번 부를 때는 아무것도 아닌 수다.
요청 수를 곱하면 달라진다. 하루 1만 건, 한 달 30만 건을 처리하는 분류기라면 예시 셋은 한 달에 120 × 300,000 = 3,600만 토큰, 여덟은 320 × 300,000 = 9,600만 토큰이다. 셋에서 여덟로 늘리는 결정 하나가 한 달 입력 토큰을 6,000만 개 늘린다. 분류할 문장 자체가 건당 20토큰 남짓이라면, 여덟 개짜리 프롬프트에서는 입력의 9할 이상이 예시다. 그래서 예시 수는 성능 곡선이 평평해지는 지점에서 멈추고, 셋과 다섯의 성능이 같으면 셋을 고른다. 고정 예시라면 뒤에서 볼 프롬프트 캐시가 이 계산을 크게 바꿔 놓는다.
예시가 만드는 편향
예시가 조건으로 들어간다는 말은, 예시의 의도하지 않은 성질까지 조건이 된다는 뜻이다. Zhao et al.(2021)의 「Calibrate Before Use」는 Few-shot 성능이 예시를 무엇으로, 어떤 순서로 고르느냐에 따라 크게 흔들린다는 것을 보이고 그 원인으로 몇 가지 편향을 짚었다. 그중 둘과, 실무에서 자주 만나는 형식 과적합을 함께 본다.
다수 레이블 편향
예시 다섯이 전부 긍정이고 부정이 하나도 없으면, 모델은 새 입력도 긍정으로 보내는 쪽으로 기운다. 예시 안에서 자주 나온 레이블이 답으로 더 자주 나오는 이 경향이 다수 레이블 편향이다. 모델 입장에서는 이상할 것이 없다. 앞의 다섯 줄이 모두 「긍정」으로 끝났으니 여섯 번째 줄도 「긍정」으로 끝날 확률을 높게 매기는 것이 자연스럽다.
실제 데이터가 긍정 8할이라 예시도 그 비율로 넣고 싶어질 때가 있는데, 그러면 이 편향이 실제 비율 위에 한 겹 더 얹힌다. 예시의 레이블은 실제 분포보다 고르게 맞추는 편이 안전하다. 셋이면 긍정·부정·중립 하나씩이다.
최근성 편향
레이블 수를 고르게 맞춰도 순서가 남는다. 모델은 프롬프트 끝에 가까운 예시의 레이블을 되풀이하는 경향이 있고, 이것을 최근성 편향이라 부른다. 긍정·부정·중립을 하나씩 넣었더라도 마지막 예시가 중립이면 애매한 입력이 중립 쪽으로 조금 더 기운다. Lu et al.(2022)은 같은 예시 묶음의 순서만 바꿔도 성능이 크게 갈린다는 것을 따로 보였다.
대응은 두 가지다. 하나는 순서를 고정하지 않고 요청마다 섞는 것으로, 특정 레이블이 늘 끝에 오는 일을 막는다. 다른 하나는 레이블이 번갈아 나오게 순서를 정해 두는 것이다. 섞는 쪽은 캐시를 깨므로(뒤에서 다룬다), 고정 예시를 쓴다면 순서를 정해 두고, 정답을 미리 알고 있는 입력 묶음인 평가셋을 그 순서로 한 번 돌려 쏠림이 없는지 보는 편이 실용적이다. Zhao et al.은 내용 없는 입력(「N/A」 같은 것)을 넣었을 때 모델이 각 레이블에 주는 확률을 재고, 그 쏠림만큼 실제 출력 확률을 되돌려 고르게 맞추는 보정을 제안했다. 레이블 확률을 받아 볼 수 있는 환경이라면 쓸 만한 방법이다.
형식 과적합
세 번째는 레이블이 아니라 모양이다. 예시의 답이 전부 세 문장이면 모델은 한 문장이면 될 입력에도 세 문장을 쓰고, 예시가 전부 존댓말이면 반말 입력에도 존댓말로 답한다. 예시의 길이·문체·문장 구조까지 따라 하는 이 현상을 형식 과적합이라 부를 수 있다. 원하는 형식을 가르치려고 넣은 예시가, 원하지 않은 형식까지 함께 가르친 것이다.
요약 과제에서 특히 잘 보인다. 예시 요약이 모두 「이 글은 ~를 다룬다」로 시작하면 모델의 요약도 전부 그렇게 시작한다. 막는 방법은 예시끼리 길이와 시작을 일부러 다르게 두는 것, 그리고 따라 하지 말아야 할 것을 지시에 문장으로 적는 것이다. 「예시의 길이는 참고하지 말고 입력의 길이에 맞춰 요약한다」처럼.
좋은 예시의 조건
다양성·대표성·간결성
Few-shot의 성능은 예시의 수만큼 질에 달려 있다. 나쁜 예시를 넣으면 Zero-shot보다 오히려 나빠질 수도 있다. 좋은 예시의 조건은 셋으로 정리된다.
다양성은 레이블과 패턴이 고르게 들어가는 것이다. 나쁜 예는 앞서 본 긍정 다섯·부정 영이고, 좋은 예는 레이블마다 하나씩에 길이와 말투가 서로 다른 문장이다. 대표성은 예시가 실제로 들어올 입력과 닮은 것이다. 나쁜 예는 깔끔한 신문 문장 셋을 예시로 두고 실제로는 오타와 줄임말투성이의 앱 리뷰를 분류하는 경우이고, 좋은 예는 실제 리뷰에서 뽑아 온 문장이다. 간결성은 예시가 요점만 담는 것이다. 나쁜 예는 300자짜리 리뷰 전문을 예시로 붙이는 것이고, 좋은 예는 판단에 필요한 한두 문장만 남긴 것이다. 앞의 토큰 계산에서 봤듯 예시 길이는 요청 수만큼 곱해진다.
실제 입력의 잡음
대표성에서 가장 자주 놓치는 것이 잡음이다. 예시를 사람이 손으로 쓰면 맞춤법이 바르고 문장이 정돈된다. 그런데 실제 입력은 「ㅋㅋ 배송 개빠름 근데 포장이 좀..」 같은 모양이다. 예시가 전부 정돈된 문장이면 모델에게 「이 과제의 입력은 정돈된 문장이다」라는 조건이 걸리고, 실제 입력이 그 조건에서 멀어질수록 판단이 흔들린다.
그래서 예시는 실제 로그에서 뽑아 오고, 오타·이모티콘·말줄임을 지우지 않는다. 개인정보만 가린다. 실제 입력에 영어가 섞여 들어온다면 예시에도 하나쯤 섞인 문장을 둔다. 예시는 모델에게 보여 주는 견본이지 모범 답안 전시가 아니다.
경계 사례 고르기
예시 셋을 고를 수 있다면, 모델이 이미 잘 맞히는 문장은 넣을 이유가 없다. 「최고야」가 긍정이라는 것은 Zero-shot도 안다. 예시가 일을 하는 자리는 모델이 틀리는 곳, 특히 레이블과 레이블 사이의 경계다. 앞의 「별로였는데 그냥 그랬다」를 중립으로 보낼지 부정으로 보낼지가 팀의 기준이라면, 그 기준을 보여 주는 문장 하나가 흔한 긍정 예시 다섯보다 값지다.
고르는 방법은 단순하다. Zero-shot으로 평가셋을 한 번 돌리고, 틀린 것을 모아 어떤 갈래에서 틀렸는지 본다. 가장 자주 틀리는 갈래에서 대표적인 문장을 하나씩 골라 예시로 넣고 다시 돌린다. 이렇게 하면 예시 하나하나가 왜 들어 있는지 설명할 수 있고, 나중에 기준이 바뀌었을 때 어느 예시를 갈아야 할지도 분명해진다.
레이블보다 형식
뒤섞인 레이블 실험
예시의 레이블이 틀리면 어떻게 될까. 상식으로는 틀린 정답을 보여 주면 모델이 틀린 쪽을 배울 것 같다. Min et al.(2022)의 「Rethinking the Role of Demonstrations」는 Few-shot 예시의 레이블을 무작위로 바꿔 넣는 실험을 했고, 여러 분류·선택형 과제에서 성능이 생각보다 크게 떨어지지 않는다는 것을 보고했다.
# 실험: 레이블이 틀린 예시
wrong_label_prompt = """예시:
문장: "정말 행복해" → 부정 ← (틀린 레이블)
문장: "너무 슬퍼" → 긍정 ← (틀린 레이블)
문장: "오늘 기분 최고야"
감정:"""
# 무작위로 섞인 레이블이라면 성능이 크게 안 떨어질 수 있다.
# 위처럼 일관되게 뒤집힌 레이블을 어떻게 따르는지는 모델마다 다르다.
해석은 이렇다. 모델은 감정 분류를 이미 할 줄 알고, 예시가 하는 일은 「지금 감정 분류를 하는 중이며 답은 이 낱말들 중 하나다」라고 알려 주는 것이다. 그 정보는 레이블이 틀려도 그대로 전해진다.
형식·분포·레이블 공간
같은 논문은 예시가 주는 정보를 셋으로 갈라 봤다. 입력 분포는 예시의 입력 문장이 어떤 종류의 글인지, 레이블 공간은 답이 될 수 있는 낱말의 집합이 무엇인지, 형식은 입력과 출력이 어떤 틀로 짝지어지는지다. 입력 문장을 엉뚱한 분야의 글로 바꾸거나, 레이블을 과제와 무관한 낱말로 바꾸거나, 입력과 출력의 짝 구조를 없애면 성능이 눈에 띄게 떨어졌다. 반면 짝은 유지한 채 레이블의 맞고 틀림만 섞었을 때는 덜 떨어졌다.
이 결과는 앞 절의 내용과 맞물린다. 대표성이 중요한 것은 입력 분포를 전하기 때문이고, 다양성이 중요한 것은 레이블 공간을 빠짐없이 보여 주기 때문이며, 형식 과적합이 생기는 것은 형식이 그만큼 강한 조건이기 때문이다.
레이블의 무게
그렇다고 이 결과를 「예시 레이블은 대충 써도 된다」로 읽으면 안 된다. 실험의 대상은 모델이 이미 할 줄 아는 분류 과제였다. 모델이 사전학습으로 모르는 기준, 예컨대 앞의 「CS 이관과 TS 이관」처럼 그 회사만의 경계를 가르치려는 예시라면 레이블이 곧 가르치려는 내용이다. 레이블이 틀리면 기준 자체가 틀리게 전해진다.
모델 크기도 변수다. 이후 연구(Wei et al., 2023)는 큰 모델일수록 일관되게 뒤집힌 레이블을 보면 자기가 원래 알던 뜻을 누르고 뒤집힌 쪽을 따라간다고 보고했다. 큰 모델은 예시를 더 진지하게 읽는다는 뜻이고, 그만큼 틀린 레이블이 끼면 그대로 따라갈 위험도 커진다. 결론은 단순하다. 레이블은 정확하게 쓰고, 공은 형식과 입력 분포에도 똑같이 들인다.
동적 선택과 캐시
임베딩 기반 선택
지금까지의 예시는 모든 요청에 똑같이 들어가는 고정 예시였다. 다른 방법은 예시 후보를 수백 개 모아 두고 요청이 들어올 때마다 그 입력과 가장 닮은 몇 개를 골라 넣는 것이다. 닮음은 임베딩으로 잰다. 임베딩은 문장을 수백 차원의 숫자 벡터로 바꾼 것으로, 뜻이 가까운 문장일수록 벡터의 방향이 가깝게 놓인다. 두 벡터가 이루는 각의 코사인으로 가까움을 재고, 가장 높은 k개를 예시로 쓴다. Liu et al.(2022)이 GPT-3에서 이렇게 고른 예시가 무작위 예시보다 낫다는 것을 보였고, 이 방식을 동적 Few-shot이라 부른다.
from anthropic import Anthropic
import numpy as np
client = Anthropic()
# 예시 후보 풀
example_pool = [
{"input": "맛있는 음식 먹었어", "output": "긍정"},
{"input": "화가 났어", "output": "부정"},
{"input": "회의 있어", "output": "중립"},
{"input": "대박이다", "output": "긍정"},
{"input": "진짜 짜증나", "output": "부정"},
{"input": "일정이 바뀌었어", "output": "중립"},
]
def cosine_similarity(a: list, b: list) -> float:
a, b = np.array(a), np.array(b)
return float(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)))
def get_embedding(text: str) -> list:
"""텍스트 임베딩 (실제로는 임베딩 API를 부른다)"""
raise NotImplementedError
def dynamic_few_shot(query: str, k: int = 3) -> str:
"""쿼리와 가장 유사한 k개 예시를 골라 프롬프트를 만든다"""
query_emb = get_embedding(query)
scored = [
(ex, cosine_similarity(query_emb, get_embedding(ex["input"])))
for ex in example_pool
]
top_k = sorted(scored, key=lambda x: x[1], reverse=True)[:k]
examples_text = "\n\n".join(
f"문장: {ex['input']}\n감정: {ex['output']}" for ex, _ in top_k
)
return f"""다음 예시를 참고해 문장의 감정을 분류하세요.
{examples_text}
문장: {query}
감정:"""
이 코드는 가장 가까운 k개만 고르므로 함정이 하나 있다. 「진짜 짜증나」가 들어오면 「진짜 짜증나」와 비슷한 부정 문장 셋이 뽑혀, 앞에서 본 다수 레이블 편향이 저절로 생긴다. 그래서 실무에서는 가까움에 더해 이미 고른 예시와 너무 닮은 후보에 벌점을 주는 다양성 항을 붙인다. 가까움 점수에서 「이미 고른 것과의 최대 유사도」에 가중치를 곱한 값을 빼는 MMR(Maximal Marginal Relevance) 방식이 흔하고, 더 단순하게는 레이블마다 가장 가까운 것을 하나씩 뽑기도 한다. 원리는 검색 결과의 중복을 줄이는 것과 같다.
프리픽스 캐시
동적 선택에는 비용 쪽 대가가 있다. 요즘 LLM API는 대부분 프롬프트 캐시를 제공한다. 요청의 앞부분이 이전 요청과 토큰 하나까지 같으면 그 부분의 계산 결과를 저장해 두었다가 재사용하고, 캐시에서 읽은 토큰은 새로 계산한 토큰보다 싸게 매겨지며 응답도 빨라진다. 핵심은 앞에서부터만 재사용된다는 점이다. 중간이 한 토큰이라도 바뀌면 그 뒤는 전부 새로 계산한다. 자세한 동작은 캐시가 듣는 프롬프트와 듣지 않는 프롬프트에서 다뤘다.
고정 예시는 캐시와 궁합이 좋다. 지시와 예시 여덟 개가 매 요청 똑같으니 그 320토큰은 첫 요청 이후 캐시에서 읽힌다. 앞의 계산에서 한 달 9,600만 토큰이던 예시 비용의 대부분이 캐시 단가로 내려간다. 동적 예시는 반대다. 요청마다 다른 예시가 들어가니 예시가 시작되는 자리부터 캐시가 끊긴다. 지시 뒤에 동적 예시를 두고 그 뒤에 또 긴 고정 지침을 두면, 그 고정 지침까지 매번 새로 계산하게 된다. 앞에서 본 「요청마다 순서를 섞는」 대응이 캐시를 깨는 이유도 같다.
고정 앞·동적 뒤 배치
절충은 배치로 한다. 바뀌지 않는 것을 전부 앞으로 모으고 바뀌는 것을 끝에 둔다. 시스템 지시 → 고정 예시(레이블마다 대표 하나씩, 경계 사례 몇 개) → 동적 예시(입력과 가까운 두셋) → 실제 입력 순이다. 이러면 고정부는 캐시에서 읽히고, 요청마다 새로 계산하는 것은 동적 예시와 입력뿐이다.
이 배치는 최근성 편향과도 맞물린다. 끝에 가까운 예시가 더 세게 작용하므로, 입력과 가장 닮은 동적 예시가 입력 바로 앞에 오는 것은 오히려 유리하다. 다만 동적 예시 두셋의 레이블이 한쪽으로 쏠리면 그 쏠림도 가장 세게 작용하니, 앞의 다양성 항은 여기서도 필요하다. 캐시에는 최소 길이가 있어 고정부가 짧으면 아예 캐시 대상이 안 될 수 있고, 그럴 때는 이 배치의 비용 이득이 사라진다. 고정부가 짧고 요청이 적다면 동적 예시만 쓰는 쪽이 간단하다.
고르는 순서
지금까지를 한 줄로 이으면 이렇다. 먼저 Zero-shot으로 평가셋을 돌리고, 틀리면 지시를 고친다. 지시로 안 풀리는 형식과 경계가 남으면 레이블마다 하나씩, 틀리는 갈래의 경계 사례를 골라 고정 예시 두셋을 붙인다. 레이블 비율과 순서의 쏠림을 평가셋으로 확인하고, 예시 수는 성능이 평평해지는 지점에서 멈춘다. 입력의 종류가 너무 넓어 고정 예시 몇 개로 다 덮을 수 없을 때 동적 선택을 더하고, 그때는 고정부를 앞에 둬 캐시를 살린다. 그래도 안 풀리고 여러 단계의 추론이 필요한 과제라면 예시가 답만이 아니라 풀이 과정을 보여 줘야 한다.
예시는 짧은 몇 줄이지만 모델에게는 지시보다 강한 조건이다. 그래서 무엇을 넣을지만큼 무엇이 함께 딸려 들어가는지를 봐야 한다. 다음 글에서는 마지막 갈래, 예시에 풀이 과정을 함께 적거나 「단계별로 생각해 보자」 한 문장을 붙여 모델이 답 전에 추론을 써 내려가게 하는 Chain-of-Thought 프롬프팅을 다룬다. 왜 그 한 문장이 여러 단계를 거치는 추론 과제의 정답률을 끌어올리는지, 그리고 어떤 모델과 과제에서 효과가 나타나는지를 살펴본다.
읽어주셔서 감사합니다. 😊

