지난 글에서 CLIP이 이미지와 텍스트를 하나의 벡터 공간에 배치하는 원리를 살펴봤다. 임베딩 이야기는 여기서 잠시 접어 두고, 이제부터는 LLM을 실제로 잘 부리는 기술로 넘어간다. 그 첫 주제가 프롬프트 엔지니어링이다. 같은 모델에 같은 질문을 해도 무엇을 어떤 순서로 적어 넣느냐에 따라 답의 형식도, 정확도도, 길이도 달라진다. 이 글은 그 차이가 어디서 오는지, 어떤 손질이 실제로 듣고 어떤 손질은 듣지 않는지, 그리고 프롬프트로는 끝내 안 풀리는 문제가 무엇인지까지 따라간다.
프롬프트 엔지니어링
입력 설계
LLM에 넣는 글 전체를 프롬프트라고 부른다. 사용자가 친 질문 한 줄만이 아니라 그 앞에 붙는 지시문, 참고 자료, 예시, 지난 대화까지, 모델이 한 번에 읽는 입력 전부가 프롬프트다. 이 입력을 원하는 결과가 나오도록 설계하는 일이 프롬프트 엔지니어링이다. 「잘 물어보는 요령」으로 들리기 쉽지만 실제로 하는 일은 사양서를 쓰는 일에 가깝다. 머릿속에만 있는 기대 — 누가 읽을 글인지, 얼마나 길어야 하는지, 어떤 형식이어야 프로그램이 받아 쓸 수 있는지 — 를 모델이 읽을 수 있는 글로 옮기는 것이다.
이 일이 따로 이름을 얻은 까닭은 모델을 고치지 않고 결과를 바꿀 수 있는 거의 유일한 손잡이이기 때문이다. 파인튜닝은 모델 안의 숫자를 다시 정하는 일이라 데이터와 시간이 들고, 모델을 갈아 끼우면 비용 구조가 통째로 달라진다. 프롬프트는 문자열 하나를 고치고 다시 돌리면 끝이다. 그래서 대부분의 LLM 기능은 프롬프트에서 시작하고, 프롬프트로 안 될 때에야 다른 손잡이를 찾는다.
조건부 생성
프롬프트가 이만한 힘을 갖는 이유는 LLM이 글을 만드는 방식에 있다. 모델은 글을 토큰이라는 조각 단위로 읽고 쓴다. 한국어 낱말 하나가 대략 토큰 한두 개다. 그리고 다음 토큰 하나를 고를 때마다 그때까지 놓인 토큰 전부, 곧 프롬프트와 지금까지 자기가 쓴 답을 조건으로 삼는다. 앞의 출력을 다시 입력으로 받아 한 토큰씩 이어 가는 이 방식이 자기회귀 생성이다.
이 구조에서 추론 시점에 사람이 정할 수 있는 조건은 프롬프트뿐이다. 그리고 모델이 쓴 첫 문장도 곧바로 뒤 문장의 조건이 된다. 첫머리가 「물론입니다! 좋은 질문이네요」로 열리면 그 뒤도 그 말투를 이어 가기 쉽고, 첫 글자가 여는 중괄호면 JSON이 이어지기 쉽다. 프롬프트가 답의 첫머리를 어디로 여느냐가 이어지는 문장들의 결을 상당 부분 정한다.
반대쪽도 같은 원리다. 프롬프트에 없는 정보는 모델이 학습 때 본 흔한 경우로 채운다. 대상 독자를 안 적으면 평균적인 독자를 상정하고, 길이를 안 적으면 그런 질문에 흔히 붙는 길이로 쓴다. 기대와 다른 답의 상당수는 모델이 틀린 것이 아니라 우리가 비워 둔 칸을 평균으로 채운 것이다. 이 글의 나머지는 대부분 그 칸을 어떻게 채우느냐의 이야기다.
프롬프트의 한계
손잡이가 하나뿐이라는 말은 그 손잡이로 안 되는 일이 있다는 말이기도 하다. 다음 셋은 프롬프트를 아무리 다듬어도 안 낫는다.
- 지식이 없어서 틀리는 것. 학습 이후에 생긴 사실이나 사내 문서의 내용은 모델 안에 없다. 「정확하게 답하라」를 열 번 적어도 없는 것은 안 나온다. 필요한 문서를 검색해 프롬프트에 넣어 주는 RAG의 몫이다.
- 입력 데이터가 잘못 생긴 것. 표가 깨진 채로 추출됐거나 문서가 엉뚱한 자리에서 잘려 들어가면 모델은 깨진 입력을 성실하게 읽는다. 고칠 자리는 프롬프트 앞의 파이프라인이다.
- 도구가 없어서 못 하는 것. 긴 산술, 지금 시각, 데이터베이스 조회는 글을 이어 쓰는 능력으로 대신할 수 없다. 함수 호출로 도구를 쥐여 줘야 한다.
실패를 만나면 이 셋인지부터 가린다. 셋 중 하나인데 프롬프트를 고치고 있으면 며칠을 써도 제자리다. 프롬프트로 고칠 수 있는 것은 모델이 이미 할 줄 아는 일을 우리가 원하는 방식으로 하게 만드는 데까지다.
메시지 구조
시스템 메시지
지금의 LLM API는 대부분 프롬프트를 역할이 붙은 메시지 목록으로 받는다. 그중 대화 전체에 걸리는 설정을 담는 칸이 시스템 메시지다. 모델이 맡을 역할, 답의 언어와 형식, 지켜야 할 규칙처럼 질문이 바뀌어도 그대로인 것을 여기에 둔다. 사용자가 무엇을 묻든 매 요청에 함께 실려 가므로, 여기 적은 한 줄은 그 대화의 모든 답에 걸린다.
그래서 시스템 메시지에 한 줄을 더할 때는 그 줄이 모든 요청에 맞는 말인지 먼저 따진다. 특정 질문 유형 하나를 고치려고 넣은 규칙이 다른 유형의 답을 비트는 일이 흔하다. 「표로 정리하라」를 넣었더니 한 줄짜리 답까지 표가 되는 식이다.
사용자 메시지
사용자 메시지는 이번 요청에만 해당하는 것을 담는다. 구체적인 질문, 처리할 데이터, 이번에만 걸리는 제약이다. 둘을 가르는 기준은 간단하다. 다음 요청에서도 그대로일 문장이면 시스템 메시지로, 이번 한 번뿐인 문장이면 사용자 메시지로 보낸다.
이 경계를 지키면 얻는 것이 하나 더 있다. 시스템 메시지가 요청마다 같으면 프롬프트의 앞부분이 고정되고, 같은 앞부분을 다시 계산하지 않는 프롬프트 캐시가 그 부분을 재사용할 수 있다. 시스템 메시지 안에 오늘 날짜나 사용자 이름처럼 요청마다 바뀌는 값을 섞으면 앞부분이 매번 달라져 그 이득이 사라진다.
구조의 예
아래는 둘을 나눠 적은 요청이다. 시스템 메시지에는 역할·응답 형식·언어·금지 사항이, 사용자 메시지에는 이번 프로젝트의 스택과 요청, 이번에만 걸리는 제약이 들어 있다.
import anthropic
client = anthropic.Anthropic()
response = client.messages.create(
model="claude-sonnet-5-5",
max_tokens=2048,
system="""당신은 시니어 파이썬 백엔드 개발자입니다.
응답 형식:
1. 간략한 설명 (2-3문장)
2. 구현 코드 (Python 3.10+, 타입 힌트 포함)
3. 주의사항 또는 개선 방향
언어: 한국어로 답변, 코드 주석은 영어
기본 개념 설명은 생략하고 구현에 집중합니다.""",
messages=[
{
"role": "user",
"content": """컨텍스트: FastAPI + PostgreSQL(asyncpg) 프로젝트
요청: 대용량 데이터 조회를 위한 cursor-based 페이지네이션 구현
제약: offset 방식 금지 (성능 이슈), 정렬 기준은 created_at DESC"""
}
]
)
print(response.content[0].text)
그림 오른쪽의 네 칸 — 역할, 형식, 컨텍스트, 제약 — 이 다음 절의 원칙들과 그대로 겹친다. 원칙은 결국 이 칸들을 무엇으로 채우느냐의 이야기다.
여섯 가지 원칙
여섯 원칙을 따로 외우기보다 나쁜 프롬프트 하나를 놓고 무엇이 비었는지 짚는 편이 빠르다. 둘씩 짝을 지어 나쁜 쪽과 고친 쪽을 나란히 놓아 본다.
역할과 과제
「이 코드 좀 봐줘」라는 요청에는 누가, 무엇을, 어떤 모양으로가 다 비어 있다. 모델은 칭찬 한 줄과 흔한 개선점 대여섯 개를 늘어놓기 쉽다. 고친 쪽은 이렇다. 「너는 보안을 먼저 보는 코드 리뷰어다. 아래 함수에서 문제를 찾아 심각도(높음·중간·낮음)를 붙이고, 문제마다 고친 코드를 덧붙여라. 보안, 성능, 가독성 순으로 본다.」
앞 문장처럼 모델에게 특정 전문가의 자리를 주는 것이 역할 부여다. 그 자리에 어울리는 어휘와 관심사가 따라온다. 다만 역할이 하는 일은 관점과 말투를 정하는 것이지 없던 실력을 만드는 것이 아니다. 「10년 경력」 같은 수식어보다 「보안을 먼저 본다」처럼 무엇을 우선하는지 적은 쪽이 답을 더 많이 바꾼다.
뒤 문장들은 과제 정의다. 「봐줘」가 「찾아서 붙여라」로, 막연한 관심이 심각도라는 출력 칸으로 바뀌었다. 「짧게」 대신 「100단어 이내」, 「자세히」 대신 「단계마다 코드 예시를 붙여」처럼 잴 수 있는 말로 바꾸는 것이 이 원칙의 전부다. 잴 수 있어야 답이 지켰는지 아닌지도 판정할 수 있다.
맥락과 예시
「페이지네이션 구현해 줘」만 받은 모델은 가장 흔한 답, 곧 offset 방식의 예제를 낸다. 그 프로젝트의 테이블이 수천만 행이라 offset이 느리다는 사정은 모델이 알 길이 없다. 쓰는 스택, 데이터의 크기, 대상 독자, 이미 해 보고 안 된 방법을 적어 주는 것이 맥락 제공이다. 앞 절의 예에서 사용자 메시지 첫 줄이 하는 일이 그것이다. 사람 동료에게 일을 넘길 때 처음 듣는 사람이 알아야 할 것을 적는다고 생각하면 무엇을 넣을지 대개 정해진다.
예시는 말로 설명하기 어려운 형식을 보여 주는 방법이다. 「영수증에서 정보를 뽑아 줘」만 주면 모델은 키 이름을 요청마다 다르게 짓는다. 한 번은 store, 다음엔 상호명이다. 입력 한 줄과 기대 출력 한 줄을 붙여 주면 키 이름과 날짜 꼴이 거기에 맞춰진다. 이렇게 입력과 출력의 쌍을 몇 개 보여 주는 방식을 Few-shot, 예시 없이 지시만 주는 방식을 Zero-shot이라 부른다. 예시를 몇 개, 어떤 순서로 넣을지는 다음 글의 주제다.
제약과 단계
제약은 하지 말 것과 반드시 지킬 것을 적는 칸이다. 「서론 없이」, 「코드만」, 「500자 이내」가 쓸데없는 출력을 줄인다. 다만 하지 말 것만 적으면 문제가 생기는데, 그건 다음 절에서 따로 본다.
마지막 원칙은 답 전에 풀이 과정을 글로 적게 하는 것이다. 「단계별로 생각한 다음 답하라」처럼 중간 추론을 먼저 쓰게 하는 기법을 Chain-of-Thought라 부른다. 자기회귀 생성에서는 이미 쓴 풀이가 다음 토큰의 조건이 되므로, 계산이나 여러 단계의 추론에서 답이 풀이를 딛고 나온다. 결과를 프로그램이 읽어야 한다면 풀이와 최종 답을 서로 다른 태그에 나눠 적게 해서 답만 뽑아 쓴다. 답하기 전에 스스로 추론 과정을 거치도록 만든 모델에서는 이 지시가 더하는 몫이 작을 수 있다.
지시의 충돌
부정형 지시
「~하지 마라」로만 적은 지시를 부정형 지시라 하자. 이 지시에는 두 가지 약점이 있다. 하나는 무엇을 대신 하라는지 말하지 않는다는 것이다. 「마크다운을 쓰지 마라」를 받은 모델은 목록을 어떻게 적어야 하는지 모른 채 남는다. 다른 하나는 금지하려는 바로 그것을 프롬프트에 적어 넣는다는 것이다. 모델은 프롬프트에 놓인 낱말 전부를 조건으로 삼으므로, 「사과하지 마라」라고 적은 프롬프트에 사과가 오히려 나오는 일이 생긴다.
고치는 법은 해야 할 일을 긍정형으로 적는 것이다. 「평문 문단으로만 쓴다. 나열이 필요하면 '첫째, 둘째'로 문장 안에서 센다.」 금지를 남겨야 할 때도 그 옆에 대안을 붙인다. 「모르는 것은 추측하지 말고 '확인 필요'라고 적는다」처럼 피할 행동과 대신할 행동이 한 문장에 있으면 모델이 갈 곳이 생긴다.
어긋나는 지시
시스템 메시지에 「답은 세 문장 이내」가 있는데 사용자가 「각 단계를 예시와 함께 설명해 줘」라고 하면 두 지시가 정면으로 부딪힌다. 모델은 어느 한쪽을 고르는데, 그 선택이 요청마다 다를 수 있다는 것이 문제다. 어떤 날은 세 문장으로 자르고 어떤 날은 길게 쓴다. 테스트에서 몇 번 돌려 볼 때는 우연히 한쪽만 나와서 충돌이 있다는 사실조차 안 보이기도 한다.
이런 충돌은 대개 처음부터 있던 것이 아니라 고치는 동안 쌓인다. 문제가 하나 보일 때마다 시스템 메시지에 규칙을 한 줄씩 더하다 보면 서른 줄짜리 규칙 목록 안에 서로 다른 시기에 쓴 문장이 서로를 밀어낸다. 해법은 둘이다. 우선순위를 명시한다 — 「길이 제한과 상세 요청이 부딪히면 사용자의 요청을 따른다.」 그리고 규칙을 더할 때마다 기존 규칙과 겹치는지 읽어 보고, 겹치면 더하지 말고 합친다.
예시와 지시
지시는 「요약은 한 문장으로」인데 붙인 예시의 요약이 두 문장이면 무엇이 이길까. 정해진 답은 없지만, 형식에 관해서는 예시 쪽이 이기는 경우가 많다. 모델에게 예시는 「이렇게 생긴 것을 이어 쓰라」는 가장 구체적인 신호이고, 지시문은 그것을 설명하는 말일 뿐이기 때문이다. 키 이름, 문장 길이, 말투, 심지어 예시에 우연히 들어간 값까지 따라오는 일이 흔하다.
그래서 예시도 사양의 일부로 다뤄야 한다. 지시를 고쳤으면 예시도 같이 고친다. 예시를 고를 때는 정답이 맞는지만 보지 말고 지시가 요구하는 형식을 예시가 그대로 지키는지 본다. 지시와 예시가 서로 다른 말을 하는 프롬프트는 어긋나는 지시 두 줄을 가진 프롬프트와 다를 바 없다.
형식과 위치
형식 강제의 세 층
출력을 프로그램이 받아 쓰려면 형식이 매번 맞아야 한다. 형식을 강제하는 방법은 세 층이고, 아래로 갈수록 확실하다.
첫 층은 부탁이다. 「JSON으로만 답하라」고 지시문에 적는다. 대개는 지키지만 가끔 앞에 「다음은 요청하신 JSON입니다」를 붙이거나, 코드 펜스로 감싸거나, 키 하나를 빠뜨린다. 둘째 층은 예시다. 원하는 객체를 하나 보여 주면 키 이름과 중첩 구조가 훨씬 안정된다. 하지만 둘 다 여전히 확률적이다. 모델이 다음 토큰을 고르는 방식은 그대로이고 우리는 그 확률을 한쪽으로 기울였을 뿐이다.
셋째 층은 스키마다. 출력이 가져야 할 키와 타입을 기계가 읽는 규격으로 적은 것이 스키마이고, 주요 LLM API는 JSON Schema를 받아 출력 형태를 맞추는 구조화 출력 기능을 갖추고 있다. 이 방식은 디코딩 단계에서 스키마를 벗어나는 토큰을 아예 고르지 못하게 막으므로 형태가 깨질 일이 없다. 원리는 JSON Schema로 출력 형태를 못 박기에서 따로 다룬다.
숫자로 한 번 따라가 보면 층의 차이가 분명해진다. 가령 부탁만으로 1,000번 중 990번 형식이 맞는다고 하자. 99%면 충분해 보이지만 하루 10만 건을 처리하는 기능이라면 매일 1,000건이 파서에서 깨진다. 그 1,000건마다 재시도를 하면 비용과 지연이 붙고, 재시도도 실패하면 사용자에게 오류가 간다. 스키마는 이 1%를 없앤다. 다만 스키마가 보장하는 것은 모양이지 값이 아니다. amount 칸에 숫자가 오는 것은 보장해도 그 숫자가 영수증의 금액과 같은지는 보장하지 않는다.
지시의 위치
같은 지시라도 프롬프트의 어디에 두느냐에 따라 듣는 정도가 다르다. 짧은 프롬프트에서는 차이가 작지만, 긴 문서를 함께 넣을 때는 자리가 중요해진다. Anthropic의 문서는 긴 자료를 프롬프트 앞쪽에 두고 질문과 지시를 맨 뒤에 두라고 권한다. 모델이 답을 쓰기 직전에 읽은 것이 지시이면 그 지시가 답의 첫머리에 가장 가까운 조건이 된다.
시스템 메시지에 둔 핵심 규칙이 긴 대화 끝에서 흐려질 때 쓰는 방법도 같은 원리다. 정말 지켜야 하는 규칙 하나를 사용자 메시지 끝에 짧게 다시 적는다. 모든 규칙을 되풀이하면 프롬프트가 불어나고 무엇이 중요한지가 다시 흐려지므로, 되풀이하는 것은 하나나 둘로 그친다.
가운데 손실
모델이 한 번에 읽을 수 있는 토큰의 상한을 컨텍스트 창이라 한다. 창이 수십만 토큰으로 커졌어도 그 안의 모든 자리가 고르게 읽히는 것은 아니다. 2023년 Liu 등의 연구(「Lost in the Middle」)는 긴 입력의 어느 자리에 정답 문서를 두느냐를 바꿔 가며 정확도를 쟀고, 정답이 맨 앞이나 맨 뒤에 있을 때보다 가운데에 있을 때 성능이 떨어지는 U자 모양을 보고했다. 이 현상을 가운데 손실이라 부른다.
실무에서 이 현상이 말하는 것은 단순하다. 중요한 지시와 중요한 자료를 긴 프롬프트의 한가운데에 묻지 않는다. 검색한 문서를 여러 개 넣을 때는 가장 관련 높은 것을 끝 쪽에 두는 식으로 순서를 고른다. 창의 크기와 실제로 잘 읽는 범위의 차이는 창이 크다는 말과 잘 읽는다는 말에서 더 자세히 본다.
모델별 관례
모델마다 잘 받는 형식에도 관례가 있다. Anthropic은 프롬프트의 부분들을 XML 태그로 감싸라고 권한다. 지시, 자료, 예시를 태그로 가르면 모델이 어디까지가 지시이고 어디부터가 처리할 자료인지 헷갈리지 않고, 답도 태그 안에 넣으라고 하면 뽑아 쓰기 쉽다.
SYSTEM = """<role>시니어 개발자</role>
<rules>
- 한국어로 답변
- 코드 예시 필수 포함
- 추측 대신 "확인 필요"로 표시
</rules>"""
OpenAI와 Google의 API도 JSON Schema를 받는 구조화 출력을 제공하므로, 형식이 중요한 일에서는 지시문보다 그 기능을 먼저 찾는다. 관례는 문서가 갱신되면서 바뀌므로 특정 모델의 성향을 외워 두기보다 그 회사의 프롬프트 가이드를 쓰는 시점에 다시 읽는 편이 낫다. 모델을 갈아 끼울 때는 같은 프롬프트가 같은 결과를 낸다고 가정하지 말고 다음 절의 평가 세트로 다시 잰다.
이터레이션
단일 변경
좋은 프롬프트는 한 번에 나오지 않는다. 고치고, 돌려 보고, 다시 고치는 반복을 거친다. 이 반복에서 가장 자주 어기는 규칙이 한 번에 한 가지만 바꾸라는 것이다.
가령 평가용 입력 30건이 있고 지금 프롬프트 A가 그중 22건을 통과한다고 하자. 역할을 바꾸고, 예시를 하나 더하고, 형식 지시를 고친 B가 25건을 통과했다. 나아졌다. 그런데 셋 중 무엇이 효과였는지 모른다. 실제로는 예시가 다섯 건을 고치고 형식 지시가 두 건을 깨뜨렸을 수도 있다. 그러면 형식 지시만 되돌린 쪽이 27건으로 더 나은데, 셋을 한꺼번에 바꾼 기록으로는 그 길이 안 보인다. 한 번에 하나씩 바꾸면 돌리는 횟수는 늘지만 어느 줄이 무엇을 했는지가 남는다.
기록 양식
변경마다 남길 것은 많지 않다. 무엇을 바꿨는지(바뀐 줄 그대로), 왜 바꿨는지(어떤 실패 사례를 보고), 평가 세트에서 몇 건이 통과했는지, 새로 깨진 사례가 있으면 어느 것인지. 이 네 칸이면 석 달 뒤에 「이 줄은 왜 있지」라는 질문에 답할 수 있다. 답을 못 하는 줄은 지웠다가 무엇이 깨지는지 보기 전까지는 아무도 못 지우고, 그런 줄이 쌓여 앞에서 본 어긋나는 지시가 된다.
통과 수를 읽을 때는 잡음도 감안한다. 같은 프롬프트를 두 번 돌려도 생성이 확률적이라 한두 건이 달라질 수 있다. 30건에서 22건과 23건의 차이는 우연일 수 있으므로, 차이가 작으면 각 버전을 여러 번 돌려 평균을 견준다.
평가 세트
평가 세트는 고칠 때마다 다시 돌리는 고정된 입력 묶음이다. 실제로 실패했던 사례를 모으는 것이 출발점이다. 사용자가 불만을 남긴 답, 파서가 깨진 응답, 엉뚱한 언어로 나온 답을 하나씩 더한다. 새로 고친 프롬프트가 그 사례를 고쳤는지만 보지 말고 원래 잘 되던 사례를 깨뜨리지 않았는지도 함께 보는 것이 이 세트의 목적이다.
def evaluate(system: str, user_template: str, cases: list[dict], client) -> float:
"""평가 세트 전체를 돌려 통과 비율을 돌려준다."""
passed = 0
for case in cases:
response = client.messages.create(
model="claude-sonnet-5-5",
max_tokens=1024,
system=system,
messages=[{"role": "user", "content": user_template.format(**case["input"])}],
)
if case["check"](response.content[0].text):
passed += 1
return passed / len(cases)
판정 함수는 가능한 한 기계적으로 짠다. JSON으로 파싱되는지, 필수 키가 있는지, 금지어가 없는지, 길이가 범위 안인지처럼 코드로 판정할 수 있는 것부터 채운다. 사람이 봐야 하는 품질 판정과 버전을 레지스트리에 박아 두는 방법은 프롬프트를 코드처럼 다루기에서 이어서 다룬다.
정리
흔한 실수
앞의 내용을 실수 쪽에서 다시 보면 넷으로 모인다. 첫째, 시스템 메시지가 너무 길다. 문제가 보일 때마다 한 줄씩 더한 규칙이 서로 부딪히고, 핵심 규칙이 가운데에 묻힌다. 정말 모든 요청에 걸려야 하는 규칙만 남기고 나머지는 그것이 필요한 요청의 사용자 메시지로 보낸다. 둘째, 하지 말 것만 적는다. 금지 옆에는 언제나 대신할 행동을 붙인다. 셋째, 지시와 예시, 지시와 지시가 서로 다른 말을 한다. 고칠 때마다 함께 읽는다.
넷째는 원하는 출력을 먼저 정하지 않고 프롬프트부터 쓰는 것이다. 좋은 답이 어떻게 생겼는지 한 번 손으로 적어 보면 무엇을 프롬프트에 넣어야 하는지가 거꾸로 나온다. 독자가 누구인지, 길이가 얼마인지, 어떤 칸이 있어야 하는지가 그 답 안에 다 있다. 그 손으로 쓴 답이 그대로 첫 예시이자 평가 세트의 첫 정답이 된다.
이어지는 글
이 글에서 한 줄씩 짚고 넘어간 기법은 뒤의 글들이 하나씩 깊게 다룬다. Zero-shot과 Few-shot Learning은 예시의 수와 순서, 고르는 법을 다룬다. Chain-of-Thought 프롬프팅은 풀이를 먼저 쓰게 하는 기법이 언제 듣고 언제 안 듣는지를, Tree-of-Thought와 Self-Consistency는 풀이를 여러 갈래로 펼쳐 고르는 방법을 본다. 시스템 메시지와 템플릿은 이 글의 메시지 구조를 재사용할 수 있는 골격으로 짜는 일이고, 프롬프트 인젝션 방어는 남이 넣은 글이 우리 지시를 덮어쓰려 할 때를, 버전 관리와 평가는 위의 이터레이션을 팀 단위로 굴리는 일을 다룬다.
다음 글은 그 첫 번째인 Zero-shot과 Few-shot이다. 예시를 하나도 안 줄 때와 몇 개 줄 때 모델이 어떻게 다르게 움직이는지, 예시가 늘수록 이득이 어떻게 줄어드는지, 어떤 예시가 좋은 예시인지를 따라간다.
읽어주셔서 감사합니다. 😊

