Databricks GenAI Associate 시험 노트개념 정리18 MIN
LLM 가드레일 구현하기
입력 가드레일과 출력 가드레일의 자리, 시스템 프롬프트 제약, Llama Guard류 안전 모델, 금칙어·정규식 필터, 모델 서빙 엔드포인트의 AI Gateway 가드레일, 거부 응답 설계를 정리합니다.
앞 노트에서 응답을 읽어 결함을 갈래 이름으로 적었습니다. 그 목록 가운데 일부는 프롬프트를 고쳐서 줄이고, 일부는 아예 사용자에게 닿기 전에 막아야 합니다. 막는 장치가 가드레일입니다. 가드레일은 모델의 입력이나 출력을 검사해, 정한 조건에 걸리면 요청을 거부하거나 응답을 바꾸는 규칙입니다. 시험 가이드의 Application Development 영역은 부정적인 결과를 막는 LLM 가드레일을 구현하는 것을 목표로 둡니다. 이 노트는 가드레일이 서는 자리 둘과 그 자리에 놓는 장치들, 그리고 걸렸을 때 사용자에게 무엇을 돌려줄지를 다룹니다.
가드레일의 자리
입력 가드레일
입력 가드레일은 사용자 요청이 모델에 닿기 전에 검사합니다. 막을 대상은 애초에 처리하면 안 되는 요청입니다 — 유해 행위를 돕는 요청, 주민등록번호 같은 개인정보가 담긴 요청, 시스템 지시를 무시하게 만들려는 문장입니다. 입력에서 막으면 모델 호출 자체가 일어나지 않으므로 비용도 들지 않고, 위험한 내용이 로그 뒤쪽 단계로 흘러가지도 않습니다.
출력 가드레일
출력 가드레일은 모델이 만든 응답이 사용자에게 가기 전에 검사합니다. 정상 요청에도 유해한 내용이나 개인정보, 범위 밖의 답이 섞여 나올 수 있으므로 입력만 막아서는 부족합니다. RAG에서는 근거 문서에 들어 있던 개인정보가 답에 그대로 옮겨지는 일도 있어, 입력이 깨끗해도 출력은 검사해야 합니다.
| 구분 | 입력 가드레일 | 출력 가드레일 |
|---|---|---|
| 검사 시점 | 모델 호출 전 | 모델 호출 뒤, 사용자에게 보내기 전 |
| 막는 것 | 유해 요청, 입력 속 개인정보, 지시 무력화 시도 | 유해 응답, 근거 문서에서 새어 나온 개인정보, 범위 밖 답 |
| 걸렸을 때 | 모델을 부르지 않고 거부한다 | 응답을 거부 문구로 바꾸거나 일부를 가린다 |
| 놓치는 것 | 정상 요청에서 나온 나쁜 응답 | 이미 쓴 호출 비용 |
둘은 갈음하지 않고 겹쳐 씁니다. 한쪽만 두면 위 표의 마지막 줄이 그대로 구멍이 됩니다.
프롬프트 제약
시스템 프롬프트
가장 먼저 놓는 가드레일은 시스템 프롬프트 안의 규칙입니다. 「사내 인사 규정에 관한 질문에만 답한다」, 「근거에 없으면 모른다고 답한다」, 「개인의 연락처를 출력하지 않는다」처럼 범위와 금지를 적습니다. 비용이 거의 없고 정상 사용자에게 가장 자연스럽게 작동합니다.
프롬프트만으로 부족한 점
시스템 프롬프트의 규칙은 모델이 따르기를 기대하는 지시일 뿐 강제가 아닙니다. 사용자가 「앞의 지시는 무시하고 …」라고 쓰면 따르지 않을 수도 있고, 긴 대화 속에서 규칙이 흐려지기도 합니다. 그래서 시스템 프롬프트는 첫 겹으로 두고, 반드시 막아야 하는 것은 모델 바깥의 검사로 한 번 더 막습니다. 보기가 「시스템 프롬프트에 금지 문장을 넣는 것만으로 충분하다」고 하면 그 「만으로」가 틀린 자리입니다.
안전 분류 모델
Llama Guard
Llama Guard는 Meta가 공개한 안전 분류용 모델로, 대화의 사용자 발화나 모델 응답을 받아 안전(safe)인지 위험(unsafe)인지 판정하고 위험이면 어느 범주에 걸렸는지 코드(S1, S2 …)로 함께 돌려줍니다. 범주는 폭력 범죄, 자해, 혐오 표현 같은 위험 갈래이고, 분류 대상이 사용자 입력이냐 모델 출력이냐를 프롬프트에서 지정해 같은 모델을 입력 가드레일과 출력 가드레일 양쪽에 씁니다. 이런 안전 분류 모델은 정해진 낱말 대신 문장의 뜻을 보고 판정하므로, 표현을 바꿔 쓴 위험 요청도 잡을 수 있습니다.
체인에 끼우기
안전 분류 모델을 서빙 엔드포인트로 띄워 두었다면 본 체인 앞뒤에 판정 단계를 끼웁니다.
from databricks_langchain import ChatDatabricks
guard = ChatDatabricks(endpoint="llama-guard-endpoint", temperature=0)
REFUSAL = "이 요청은 도와드릴 수 없습니다. 인사 규정에 관한 질문을 해 주세요."
def is_unsafe(role, text):
verdict = guard.invoke(f"[{role}] {text}").content.strip()
return verdict.startswith("unsafe")
def answer(question):
if is_unsafe("User", question): # 입력 가드레일
return REFUSAL
reply = rag_chain.invoke(question)
if is_unsafe("Agent", reply): # 출력 가드레일
return REFUSAL
return reply
llama-guard-endpoint는 예시 이름이고, 실제 분류 프롬프트의 형식은 쓰는 모델 버전의 모델 카드가 정합니다. 판정은 창작이 아니므로 temperature=0으로 고정합니다. 대가는 지연입니다. 요청마다 모델 호출이 두 번 늘어나므로, 지연 요구가 빡빡한 애플리케이션에서는 입력 쪽만 분류 모델을 두고 출력 쪽은 아래의 가벼운 필터로 대신하는 식으로 조정합니다.
규칙 필터
금칙어
가장 단순한 가드레일은 금칙어 목록입니다. 경쟁사 이름, 내부 코드명, 욕설처럼 응답에 절대 나오면 안 되는 낱말을 목록으로 두고, 응답에 들어 있으면 막거나 가립니다. 빠르고 결과를 예측할 수 있지만, 낱말을 조금만 바꿔 써도 못 잡고(띄어쓰기를 넣거나 철자를 바꾸는 식), 정상 문장에 같은 낱말이 우연히 들어가도 막아 버립니다.
정규식
꼴이 정해진 값은 정규식이 잘 잡습니다. 정규식은 문자열의 패턴을 기호로 적은 식입니다. 주민등록번호, 카드 번호, 전화번호처럼 자리 수와 구분자가 정해진 개인정보가 대상입니다.
import re
PATTERNS = {
"rrn": re.compile(r"\b\d{6}-[1-4]\d{6}\b"), # 주민등록번호
"phone": re.compile(r"\b01[016789]-\d{3,4}-\d{4}\b"),
}
def mask(text):
for name, pat in PATTERNS.items():
text = pat.sub(f"[{name} 가림]", text)
return text
mask("연락처는 010-1234-5678입니다") # '연락처는 [phone 가림]입니다'
정규식은 뜻을 모르므로 꼴이 없는 위험(유해한 설명, 편향)은 못 잡고, 안전 분류 모델은 꼴이 정확한 값을 놓칠 수 있습니다. 그래서 둘을 겹쳐 씁니다.
| 장치 | 강점 | 약점 |
|---|---|---|
| 시스템 프롬프트 | 비용 없음, 자연스러운 응답 | 강제가 아니다 |
| 금칙어 목록 | 빠르고 결과가 예측된다 | 바꿔 쓴 표현을 놓친다 |
| 정규식 | 꼴이 정해진 개인정보에 정확하다 | 뜻을 모른다 |
| 안전 분류 모델 | 바꿔 쓴 위험 표현도 잡는다 | 호출이 늘어 지연·비용이 든다 |
AI Gateway 가드레일
엔드포인트 단위 설정
앞의 장치들은 애플리케이션 코드 안에 있습니다. 같은 모델을 여러 팀의 앱이 함께 쓰면 앱마다 가드레일을 다시 짜야 하고, 한 곳이라도 빠뜨리면 구멍이 납니다. Databricks의 AI Gateway는 모델 서빙 엔드포인트 앞에서 요청과 응답을 다스리는 층으로, 그 엔드포인트를 부르는 모든 요청에 같은 가드레일을 겁니다. 설정은 엔드포인트에 붙고 입력과 출력을 따로 적습니다.
{
"guardrails": {
"input": { "safety": true, "pii": { "behavior": "BLOCK" } },
"output": { "safety": true, "pii": { "behavior": "BLOCK" } }
}
}
safety는 안전 분류로 유해한 요청·응답을 걸러 내고, pii는 개인정보가 감지됐을 때의 동작을 정합니다. 이 설정은 앱 코드를 고치지 않고 엔드포인트에서 켜고 끄므로, 모든 사용처에 같은 기준을 강제해야 하는 자리에 맞습니다. 같은 게이트웨이가 사용량 추적, 요청 수 제한, 추론 로그 같은 다른 기능도 들고 있는데, 그쪽은 비용 통제 노트에서 따로 다룹니다.
어디에 둘 것인가
모든 앱에 같은 기준이 필요하고 코드를 고치기 어려우면 게이트웨이에, 앱마다 범위와 문구가 달라야 하면 앱 코드에 둡니다. 인사 챗봇만의 「인사 규정 밖 질문 거부」는 앱의 규칙이고, 사내 모든 앱이 지켜야 하는 「개인정보 출력 금지」는 게이트웨이의 규칙입니다. 문항은 요구사항을 주고 「코드 변경을 최소로 하면서 모든 사용처에 적용」 같은 단서를 붙여 둘 중 하나를 고르게 할 수 있으므로, 그 단서가 어느 쪽을 가리키는지 읽습니다.
거부 응답
거부 문구
가드레일이 걸리면 사용자에게 무언가를 돌려줘야 합니다. 빈 응답이나 오류 메시지를 내보내면 사용자는 고장으로 읽고 같은 요청을 되풀이합니다. 좋은 거부 응답은 세 가지를 담습니다 — 도울 수 없다는 사실, 이 애플리케이션이 맡는 범위, 갈 곳(다른 창구나 다시 물을 방법)입니다. 왜 걸렸는지 규칙을 자세히 알려 주지는 않습니다. 「주민등록번호 패턴이 감지되어」처럼 검사 방식을 드러내면 우회하는 법을 가르치는 셈입니다.
과잉 거부
가드레일을 세게 걸면 정상 요청까지 막는 과잉 거부가 생깁니다. 「프로세스를 죽이는 명령어」를 묻는 개발자의 질문이 「죽이다」 때문에 막히는 식입니다. 과잉 거부도 결함이므로 앞 노트의 검토 세트에 정상인데 경계에 걸친 질문을 넣어 두고, 가드레일을 바꿀 때마다 막지 말아야 할 요청이 통과하는지도 함께 확인합니다. 정상 질문 50개 중 4개가 막혔다면 과잉 거부율은 이고, 이 값을 위험 요청 차단율과 나란히 봐야 가드레일의 세기를 정할 수 있습니다.
연습 문제
RAG 챗봇의 근거 문서에 직원 전화번호가 들어 있어 답에 그대로 나왔습니다. 사용자의 질문에는 개인정보가 없었습니다. 이 일을 막을 가드레일은?
① 입력 가드레일만
② 출력 가드레일
③ 임베딩 모델 교체
④temperature낮추기②. 입력은 깨끗했으므로 응답을 검사해야 잡힙니다.시스템 프롬프트에 「경쟁사 제품을 추천하지 않는다」를 넣었는데도 가끔 추천이 나옵니다. 가장 알맞은 설명은?
① 시스템 프롬프트의 규칙은 강제가 아니므로 출력 쪽 검사를 더해야 한다
② 시스템 프롬프트는 언제나 완벽히 지켜지므로 모델 버그다
③ 청크 크기가 너무 크다
④ AI Gateway는 출력을 검사할 수 없다①. 프롬프트 제약은 첫 겹일 뿐이고, 반드시 막을 것은 모델 바깥에서 한 번 더 검사합니다.여러 팀의 애플리케이션이 같은 모델 서빙 엔드포인트를 씁니다. 앱 코드를 고치지 않고 모든 요청에 개인정보 차단을 적용하려면?
① 앱마다 정규식 필터를 추가한다
② 엔드포인트의 AI Gateway 가드레일에서 입력·출력 PII 동작을 설정한다
③ 각 팀의 시스템 프롬프트를 바꾼다
④ Vector Search 인덱스를 다시 만든다②. 게이트웨이 설정은 엔드포인트에 붙어 모든 사용처에 같은 기준을 겁니다.Llama Guard류 안전 모델에 대한 설명으로 알맞은 것을 둘 고르시오.
① 입력이나 응답이 안전한지 판정하고 위험 범주를 함께 돌려준다
② 정해진 낱말만 찾으므로 바꿔 쓴 표현은 못 잡는다
③ 같은 모델을 입력 검사와 출력 검사에 모두 쓸 수 있다
④ 호출이 늘지 않으므로 지연이 생기지 않는다
⑤ 주민등록번호의 자리 수를 정규식보다 정확히 잡는다①과 ③. 뜻으로 판정하므로 바꿔 쓴 표현도 잡지만 호출이 늘어 지연이 생기고, 꼴이 정확한 값은 정규식이 낫습니다.가드레일이 요청을 막았을 때의 응답으로 가장 알맞은 것은?
① 빈 문자열
② 「Error 403」
③ 「이 요청은 도와드릴 수 없습니다. 인사 규정 질문은 이 창에서, 그 밖의 문의는 사내 헬프데스크로 해 주세요.」
④ 「입력에서 주민등록번호 패턴\d{6}-\d{7}이 감지되어 차단했습니다.」③. 도울 수 없다는 사실, 범위, 갈 곳을 담습니다. ④는 검사 방식을 드러내 우회를 돕습니다.가드레일을 강화한 뒤 위험 질문 40개 중 38개를 막았고, 정상 질문 80개 중 6개도 막혔습니다. 위험 차단율과 과잉 거부율은?
① 0.95, 0.075
② 0.95, 0.06
③ 0.9, 0.075
④ 0.38, 0.06①. 위험 차단율은 , 과잉 거부율은 입니다.
가드레일은 하나를 고르는 문제가 아니라 겹을 쌓는 문제입니다. 문항이 「가장 알맞은」 하나를 고르라고 하면, 막을 것이 입력에서 오는지 출력에서 오는지, 꼴이 있는지 뜻으로만 보이는지, 한 앱의 규칙인지 모든 사용처의 규칙인지를 차례로 물어 자리를 정합니다.

