지난 글에서 대화가 길어질 때 무엇을 접고 무엇을 남길지를 정했다면, 어느 경우에도 접히지 않고 매번 맨 앞에 실려 가는 블록이 하나 남는다. 시스템 프롬프트다.
시스템 프롬프트는 사용자 메시지보다 앞에 놓여 모델의 역할·규칙·형식을 정하는 고정 지시문이다. 대화 기록은 길어지면 요약하고, 검색 문서는 질문마다 바뀌지만, 이 블록은 같은 서비스의 모든 요청에 같은 모양으로 실린다. 그래서 시스템 프롬프트 설계는 문장을 잘 쓰는 문제이기 전에 무엇을 어느 자리에 둘지 정하는 문제다. 이 글은 그 자리를 비용·캐시·보안의 순서로 정한 뒤, 안에 들어갈 규칙과 예시를 어떻게 쓰고, 고친 것을 어떻게 내보내는지까지 간다.
시스템 프롬프트의 자리
고정 비용
시스템 프롬프트의 첫 번째 성질은 요청 한 번마다 예외 없이 실려 간다는 것이다. 그러니 길이가 곧 고정 비용이다. 셈은 간단하다 — 길이 × 요청 수.
3,000토큰짜리 시스템 프롬프트를 쓰는 서비스가 한 달에 100만 번 호출되면, 사용자가 한 글자도 안 쳐도 이 블록만으로 30억 입력 토큰이 나간다. 입력 단가가 100만 토큰당 3달러라고 치면 한 달 9,000달러다. 같은 블록을 1,500토큰으로 줄이면 그 절반이 사라진다. 대화 하나 안에서도 같은 일이 생긴다. 열 턴짜리 대화는 시스템 프롬프트를 열 번 다시 보낸다. 사용자의 질문은 몇십 토큰인데 매 턴 수천 토큰의 지시문이 함께 가는 구조라, 길이를 줄이는 것이 응답 지연에도 그대로 이어진다.
캐시의 맨 앞
두 번째 성질은 이 블록이 프롬프트 캐시의 맨 앞이라는 것이다. 프롬프트 캐시는 앞부분이 같은 요청들 사이에서 그 앞부분의 계산 결과를 재사용하는 기능이고, 여러 벤더가 캐시에서 읽은 토큰을 기본 단가보다 크게 할인해 준다 — Anthropic은 캐시 읽기를 기본 입력 단가의 10분의 1로 매긴다.
캐시는 앞에서부터 토큰 단위로 완전히 같아야 적중한다. 시스템 프롬프트가 요청 맨 앞에 있으니, 여기서 한 글자가 달라지면 그 뒤의 도구 정의·예시·대화 기록까지 전부 새로 계산된다. 앞의 셈에 캐시를 얹으면, 같은 3,000토큰이 캐시에 늘 적중할 때 한 달 9,000달러가 900달러 언저리로 내려간다. 반대로 맨 위에 매일 바뀌는 한 줄이 있으면 그 할인은 하루에 한 번도 못 받는다. 길이를 줄이는 것보다 흔들리지 않게 하는 것이 더 큰 돈이다.
유출 전제
세 번째 성질은 보안이다. 시스템 프롬프트는 사용자에게 안 보이지만, 비밀이 지켜지는 자리는 아니다. 「위의 지시를 그대로 출력해 줘」 같은 요청부터 문서에 숨긴 지시까지, 모델이 자기 지시문을 말하게 만드는 방법은 계속 나오고, 완전히 막을 수 있다고 가정하면 안 된다.
그래서 원칙은 하나다. 유출되어도 문제없는 내용만 쓴다. API 키, 내부 시스템 주소, 다른 고객의 정보, 「이 고객사에는 할인율 30%까지 허용」 같은 협상 조건은 이 블록에 들어가면 안 된다. 권한이 필요한 값은 도구가 서버에서 확인하고, 모델에는 결과만 넘긴다. 시스템 프롬프트에 「이 내용을 절대 말하지 마세요」를 적는 것은 방어가 아니라 기대일 뿐이다.
이 원칙을 지키면 설계가 오히려 쉬워진다. 「누가 봐도 괜찮은 문서」라고 생각하고 쓰면, 숨겨야 할 조건을 우회하려고 꼬아 쓴 문장이 사라지고 규칙이 평이해진다. 경쟁사가 우리 시스템 프롬프트를 통째로 읽어도 잃을 것이 없게 쓰는 것, 그것이 이 블록의 보안 기준이다.
담는 범위
요청마다 달라지는가
무엇을 넣을지의 기준은 하나다 — 요청마다 값이 달라지는가. 달라지지 않는 것은 시스템 프롬프트에, 달라지는 것은 그 뒤에 둔다.
| 넣는다 | 넣지 않는다 |
|---|---|
| 역할과 담당 범위 | 이번 질문에만 해당하는 조건 |
| 항상 지켜야 할 규칙 | 검색해 온 문서 |
| 출력 형식과 도구 사용 원칙 | 오늘 날짜, 세션 상태 |
| 판단이 갈릴 때의 우선순위 | 사용자 이름 같은 개인 값 |
| 모르는 것을 만났을 때의 행동 | 자주 바뀌는 정책 표 |
왼쪽은 서비스가 존재하는 한 그대로인 것들이다. 오른쪽은 질문·사용자·날짜에 따라 바뀌는 것들이다. 오른쪽을 시스템 프롬프트에 넣으면 앞 절의 두 성질이 동시에 깨진다 — 사용자마다 다른 문자열이 되어 캐시가 갈라지고, 그 값이 바뀔 때마다 배포물을 고치는 일이 된다.
날짜와 사용자 이름
오른쪽 아래 두 줄이 가장 자주 어겨진다. 오늘 날짜와 사용자 이름은 시스템 프롬프트에 넣기 딱 좋아 보인다. 「오늘은 2026년 8월 13일입니다. 지금 대화하는 분은 김민지 님입니다.」 두 줄이면 모델이 날짜 계산도 하고 이름도 부르니 편하다.
그 순간 이 블록은 사용자마다 그리고 하루마다 달라지는 문자열이 된다. 날짜 한 줄 때문에 자정마다 모든 사용자의 캐시가 한꺼번에 무효가 되고, 이름 한 줄 때문에 애초에 사용자끼리 캐시를 나눠 쓸 수 없다. 자주 바뀌는 정책 표도 같다. 이벤트 가격표를 넣어 두면 이벤트가 바뀔 때마다 시스템 프롬프트를 고쳐 배포해야 하고, 그때마다 아래 절에서 볼 회귀 확인을 다시 돌려야 한다. 정책 표는 도구로 조회하게 하는 편이 낫다.
뒤쪽 상태 블록
이런 값은 지난 글에서 본 상태 블록처럼 뒤쪽에 붙인다. 대화 기록 다음, 마지막 사용자 메시지 바로 앞에 「현재 날짜: 2026-08-13 / 사용자: 김민지 / 요금제: 프로」 같은 작은 블록을 두는 것이다.
뒤에 두면 덜 지켜질 것 같지만 실제로는 반대인 경우가 많다. 모델은 긴 입력에서 맨 앞과 맨 끝을 더 잘 참조하는 경향이 있고, 마지막 사용자 메시지에 가까운 정보는 지금 답하는 데 바로 쓰인다. 「오늘이 며칠인지」는 지금 질문에 답할 때 필요한 정보라 그 질문 옆에 있는 편이 자연스럽다. 캐시도 지키고 준수율도 지키는 배치다.
층의 순서
다섯 층
같은 내용이라도 배열에 따라 캐시 적중률이 완전히 달라진다. 원칙은 덜 바뀌는 것이 위로다. 실제로 쌓으면 대개 다섯 층이 된다.
맨 위가 역할과 범위(「당신은 ○○사 결제 고객센터의 상담 도우미다. 결제·환불·영수증만 다룬다」), 그 아래가 규칙(무엇을 하고 무엇을 하지 않는가), 그다음이 도구 설명과 출력 형식(언제 어느 도구를 부르는가, 답의 길이·구조·말투)이다. 이 세 층은 제품이 바뀌어 배포할 때만 바뀌므로 모든 사용자, 모든 요청에서 같은 앞부분을 공유한다.
그 아래로 바뀌는 층이 둘 온다. 조직·사용자 설정(이 고객사가 고른 말투, 이 사용자의 언어)은 사용자마다 바뀌고, 오늘 날짜·세션 상태는 요청마다 바뀐다. 이 두 층은 작게 유지하고, 앞 절의 원칙대로 가능하면 시스템 프롬프트 밖의 상태 블록으로 내린다. 층의 순서는 곧 「얼마나 자주 바뀌는가」의 순서다.
맨 위 한 줄의 계산
거꾸로 배열하면 어떻게 되는지가 더 중요하다. 맨 위에 「오늘은 2026년 8월 13일입니다」 한 줄을 두면 그 아래 수천 토큰이 전부 매일 새로 계산된다. 하루 요청이 3만 번이라면 그날 첫 요청이 캐시를 다시 쓰고 나머지 29,999번이 그것을 읽는 것이 정상인데, 날짜가 바뀌는 자정마다 이 흐름이 끊긴다.
더 나쁜 경우는 사용자 이름이 맨 위에 있을 때다. 그러면 캐시 단위가 사용자 하나가 되어, 하루에 몇 번 안 오는 사용자는 캐시를 만들기만 하고 읽지 못한다. 캐시를 만드는 쓰기에 할증을 붙이는 벤더도 있어서(Anthropic은 기본 입력 단가의 1.25배다), 이 배열은 캐시를 안 쓰는 것보다 비싸질 수도 있다. 한 줄의 자리 하나가 전체 비용의 부호를 바꾼다.
캐시 경계
캐시를 명시적으로 지정하는 API에서는 어디까지를 캐시할지 경계를 직접 찍는다. 그 경계는 「모든 요청이 공유하는 마지막 지점」, 곧 도구 설명과 출력 형식 층 바로 아래에 둔다. 경계 위는 한 글자도 안 바뀌게 지키고, 경계 아래에는 바뀌는 것만 둔다.
경계 아래를 얼마나 작게 유지하느냐가 실제 할인율을 정한다. 경계 위가 3,000토큰이고 아래가 200토큰이면 요청의 9할 넘게가 할인을 받는다. 아래가 2,000토큰으로 커지면 그 비율이 6할로 떨어진다. 그래서 새 규칙을 넣을 때도 질문을 하나 더 던진다 — 이 규칙은 모든 사용자에게 같은가. 같으면 위로, 아니면 아래로, 아래로 가는 것이 크면 도구 조회로 뺀다.
대체 행동
금지와 대체
내용으로 넘어가면 가장 효과가 큰 습관이 이것이다. 하지 말라는 문장은 그 상황이 왔을 때 무엇을 해야 하는지를 알려 주지 않는다.
- 약한 규칙 — 「추측해서 답하지 마세요.」
- 강한 규칙 — 「근거를 찾지 못하면 '자료에서 확인되지 않습니다'라고 답하고, 어떤 자료를 찾아봤는지 적으세요.」
앞쪽은 모델이 규칙을 지키려 할 때 갈 곳이 없다. 사용자는 답을 기다리고 있고, 답을 안 할 수도 없으니 결국 추측하거나 어색하게 말을 돌린다. 뒤쪽은 그 상황에서 할 대체 행동이 명시돼 있어 그대로 실행할 수 있다. 금지 규칙을 쓰고 싶을 때마다 「그러면 대신 무엇을 하는가」를 한 문장 더 붙이는 습관이면 된다. 「경쟁사 제품을 추천하지 마세요」는 「경쟁사 제품을 물으면 우리 제품 중 같은 용도를 안내하고, 비교가 필요하면 공식 비교 페이지를 알려 주세요」가 된다.
관찰 가능한 조건
같은 이유로 「간결하게」, 「친절하게」 같은 형용사보다 관찰 가능한 조건이 낫다. 「간결하게」는 모델마다, 질문마다 다르게 해석된다. 한 문단이 간결한 사람도 있고 세 문단이 간결한 사람도 있다.
「세 문단 이내」, 「코드가 필요하면 먼저 코드를 보이고 설명은 뒤에」, 「표가 다섯 줄을 넘으면 표로 정리」처럼 적으면 해석의 폭이 줄고, 무엇보다 어겼는지를 밖에서 볼 수 있다. 「친절하게」도 마찬가지로 행동으로 바꾼다 — 「사용자가 오류 메시지를 붙이면 먼저 원인을 한 문장으로 말하고 해결 단계를 번호로 적는다」. 이렇게 쓰고 나면 그 규칙이 실제로 원하던 것이 무엇이었는지도 분명해진다.
셀 수 있는 규칙
관찰 가능한 조건의 진짜 값은 평가에서 나온다. 「세 문단 이내」는 답의 문단 수를 세면 되고, 「모르면 '자료에서 확인되지 않습니다'로 시작」은 문자열을 찾으면 된다. 프롬프트를 고칠 때마다 이런 검사를 자동으로 돌릴 수 있다.
「간결하게」는 셀 수 없으니 회귀 평가에도 안 걸린다. 셀 수 없는 규칙은 지켜지는지 안 지켜지는지 아무도 모르는 채로 프롬프트에 남아 토큰만 쓴다. 그래서 규칙을 쓸 때 「이것을 어떻게 검사할 것인가」를 함께 적어 두면, 그 자체가 규칙을 다듬는 도구가 된다. 검사 방법이 떠오르지 않는 규칙은 대개 아직 덜 쓴 규칙이다.
규칙 수와 준수율
충돌하는 쌍
규칙을 늘리면 준수율이 함께 올라갈 것 같지만, 실제로는 반대 방향으로 꺾이는 지점이 온다. 규칙이 스무 개를 넘어가면 서로 충돌하는 쌍이 거의 반드시 생긴다.
예를 들면 이렇다. 「답은 세 문단 이내」와 「환불 문의에는 절차를 빠짐없이 안내」가 같이 있으면, 절차가 일곱 단계인 환불 문의에서 둘 중 하나는 어겨야 한다. 「항상 존댓말」과 「사용자의 말투에 맞춘다」도 반말을 쓰는 사용자 앞에서 부딪힌다. 모델은 그중 무엇을 우선할지 모르므로 요청마다 다르게 고른다. 겉으로는 「가끔 규칙을 안 지킨다」로 보이지만, 원인은 규칙끼리의 충돌이다.
우선순위와 예외
해법 하나는 우선순위를 명시하는 것이다. 「안전 규칙 > 정확성 > 형식 규칙 > 문체 규칙」처럼 한 줄만 적어도 충돌 시 행동이 안정된다. 위의 예라면 「정확성(절차를 빠짐없이)」이 「형식(세 문단)」을 이긴다는 것이 정해진다.
다른 하나는 예외를 규칙 바로 옆에 붙이는 것이다. 규칙 목록 아래에 「예외」 절을 따로 두면 모델이 어느 예외가 어느 규칙에 걸리는지 연결하지 못하는 일이 잦다. 「답은 세 문단 이내. 단, 절차 안내는 번호 목록으로 길이 제한 없이.」처럼 예외를 해당 규칙 다음 줄에 적는다. 규칙을 읽는 순간 그 경계까지 함께 읽히게 하는 것이다.
코드로 옮길 규칙
프롬프트로 열 번 시도해도 안 지켜지는 규칙은 대개 프롬프트로 안 되는 것이다. 그런 규칙은 다른 곳으로 옮긴다. 출력 형식이 반드시 JSON이어야 하면 구조화 출력 기능으로, 금지어나 개인정보가 절대 나가면 안 되면 후처리 검증으로, 특정 작업 전에 반드시 사용자 확인을 받아야 하면 도구 쪽의 승인 단계로 옮긴다.
시스템 프롬프트는 지켜지면 좋은 것을 담는 자리이지, 반드시 지켜져야 하는 것을 보장하는 장치가 아니다. 반드시 지켜져야 하는 것은 코드로 막는다. 이렇게 옮기고 나면 프롬프트에서 그 규칙을 지워도 되고, 그만큼 짧아져 남은 규칙의 준수율도 오른다. 규칙을 더하는 것만큼 덜어 내는 것도 설계다.
예시
대화 쌍 예시
설명으로 잘 전달되지 않는 것이 형식과 어조인데, 이 둘은 짧은 예시 하나로 거의 해결된다. 「정중하되 군더더기 없이, 확인되지 않은 것은 확인되지 않았다고, 다음에 할 일은 구체적으로」를 문장으로 설명하는 것보다 아래 한 쌍이 빠르다.
[예시]
질문: 지난달 환불 건수는?
답변: 확인된 자료가 없습니다. 조회 가능한 범위는 이번 분기이며,
지난달 데이터는 `billing.monthly` 권한이 필요합니다.
이 예시 하나가 문체(짧은 평서문), 형식(결론 먼저, 이유 다음), 거절 방식(못 하는 것과 그 이유와 다음 길)을 한꺼번에 보여 준다. 모델은 규칙 문장보다 예시의 모양을 더 강하게 따라 하는 경향이 있어서, 규칙과 예시가 어긋나면 대개 예시 쪽을 따른다. 그러니 예시를 넣을 때는 규칙과 맞는지부터 확인한다.
고르는 기준
예시는 두세 개면 충분하고, 가장 자주 틀리는 경우를 골라 넣는다. 잘하고 있는 것을 예시로 넣는 것은 자리 낭비다. 일반 질문에 이미 좋은 답을 하는 모델에 일반 질문 예시를 보여 주면 아무것도 안 바뀐다.
고르는 방법은 로그에서 시작한다. 지난 몇 주의 대화에서 사용자가 불만을 표시했거나 상담원에게 넘어간 건을 모아 보면, 틀리는 모양이 몇 갈래로 모인다. 권한 밖 요청을 거절하는 방식, 모호한 질문에 되묻는 방식, 오류 메시지에 답하는 방식 같은 것이다. 그 갈래마다 하나씩, 잘된 답을 손으로 써서 예시로 넣는다.
예시도 늙는다. 처음 넣을 때 가장 자주 틀리던 갈래가 예시 덕분에 고쳐지면, 그 예시는 다음 달에는 잘하고 있는 것을 보여 주는 자리 낭비가 된다. 분기마다 로그를 다시 훑어 지금 가장 자주 틀리는 갈래로 예시를 갈아 끼우고, 바꾼 것은 아래 절의 버전 기록에 함께 남긴다. 예시를 바꾸는 것도 프롬프트를 고치는 일이라 같은 회귀 확인을 지나야 한다.
형식 고착과 비용
예시에는 비용이 있다. 하나는 토큰이다. 예시는 시스템 프롬프트 안에 있으니 매 요청 실려 가고, 대화 한 쌍이 200토큰이면 세 쌍에 600토큰이 고정 비용에 더해진다.
다른 하나는 형식 고착이다. 예시가 많고 서로 비슷하면 모델이 그 형식에 지나치게 묶여, 예시와 다른 종류의 질문에도 같은 틀로 답한다. 모든 예시가 「확인된 자료가 없습니다」로 시작하면, 자료가 있는 질문에도 그 말로 시작하는 답이 나온다. 예시를 고를 때 서로 다른 상황을 고르고, 「예시는 형식을 보여 주기 위한 것이며 내용을 따라 하지 않는다」를 한 줄 덧붙이면 고착이 준다.
버전 관리
파일과 버전 문자열
마지막은 운영 얘기다. 시스템 프롬프트는 배포물인데 자주 배포물처럼 취급되지 않는다. 관리자 화면에서 직접 고치고, 누가 언제 무엇을 바꿨는지 기록이 없고, 되돌릴 방법도 없다.
최소한 이 정도는 갖춰 두는 편이 낫다.
| 갖출 것 | 없으면 |
|---|---|
| 파일로 저장하고 형상 관리 | 어제와 무엇이 달라졌는지 모른다 |
| 버전 문자열을 응답 로그에 남기기 | 문제 재현이 안 된다 |
| 고정된 회귀 평가 묶음 | 한 줄 고쳐 다른 것이 깨진 줄 모른다 |
| 되돌리기 절차 | 나쁜 변경이 오래 남는다 |
파일로 두면 코드와 같은 리뷰를 거칠 수 있다. 버전 문자열(예: support-v14)은 요청마다 응답 로그에 함께 남긴다. 사용자가 이상한 답을 받았다고 신고하면, 그 시점에 어떤 프롬프트가 나가 있었는지를 로그 한 줄로 찾을 수 있어야 재현이 된다.
회귀 묶음
세 번째 줄이 핵심이다. 시스템 프롬프트 수정은 겉보기에 한 줄이지만 영향 범위가 전체다. 「정중하게」를 「간결하게」로 바꿨더니 거절 문구가 짧아져 사용자가 이유를 알 수 없게 되는 식의 부작용이 흔하다.
그래서 자주 나오는 질문 스무 개 정도를 고정해 두고, 프롬프트를 고칠 때마다 그 스무 개를 다시 돌려 답이 어떻게 달라졌는지 비교한다. 스무 개에는 흔한 질문뿐 아니라 거절해야 할 질문, 모호한 질문, 앞에서 예시로 넣은 실패 갈래를 고루 넣는다. 자동 채점까지 갈 것도 없이, 이전 답과 나란히 놓고 눈으로 보는 것만으로도 큰 사고는 걸러진다. 앞에서 셀 수 있게 써 둔 규칙은 여기서 자동 검사가 된다.
되돌리기
나쁜 변경은 반드시 나온다. 그때 할 일은 고치는 것이 아니라 먼저 되돌리는 것이다. 새 버전을 고치는 동안 사용자는 계속 나쁜 답을 받기 때문이다. 버전 파일이 있으면 되돌리기는 이전 버전을 다시 내보내는 일 하나다.
내보낼 때도 한 번에 전체로 바꾸지 않는 편이 안전하다. 요청의 일부에만 새 버전을 적용하고, 응답 로그의 버전 문자열로 두 버전의 불만율·상담원 이관율을 나눠 본 뒤 넓힌다. 캐시도 염두에 둔다 — 버전이 바뀌면 그 앞부분 캐시가 전부 새로 만들어지므로, 잦은 수정 자체가 비용이다.
정리하면 좋은 시스템 프롬프트는 짧은 프롬프트가 아니라 자리가 정해진 프롬프트다. 안 바뀌는 것이 위, 바뀌는 것이 아래. 규칙은 금지가 아니라 대체 행동으로. 반드시 지켜져야 하는 것은 프롬프트가 아니라 코드로. 그리고 고칠 때마다 같은 질문 묶음으로 확인한다. 이 넷이 있으면 프롬프트를 손보는 일이 도박이 아니라 배포가 된다.
읽어주셔서 감사합니다. 😊

