AWS GenAI Developer – Professional

AWS GenAI Developer – Professional 시험 노트개념 정리15 MIN

프롬프트 템플릿 거버넌스와 품질 보증

Bedrock Prompt Management의 역할 정의와 Guardrails, 승인 워크플로·S3·CloudTrail·CloudWatch Logs로 하는 템플릿 관리, Lambda·Step Functions·CloudWatch로 하는 프롬프트 시험을 정리합니다.

검색이 근거를 가져왔으면 이제 그 근거를 어떤 지시와 함께 모델에 넘길지가 남습니다. 이 노트부터 Task 1.6(프롬프트 엔지니어링 전략과 거버넌스)입니다. 프롬프트가 코드 여기저기에 문자열로 흩어져 있으면 누가 언제 무엇을 바꿨는지 모르고, 바꾼 뒤 답이 나빠져도 알아차리지 못합니다. 그래서 이 노트는 프롬프트를 코드처럼 다루는 일 — 한곳에 두고, 버전을 매기고, 승인하고, 기록하고, 시험하는 일 — 을 다룹니다.

Prompt Management

템플릿과 버전

프롬프트 템플릿은 고정된 지시문 안에 바뀌는 값이 들어갈 자리를 비워 둔 프롬프트입니다. Bedrock Prompt Management는 템플릿을 서비스 안의 자원으로 저장하고, 자리는 {{변수}} 꼴로 적습니다. 프롬프트 하나에 모델·추론 설정·템플릿을 묶은 변형을 여럿 두고 견줄 수 있습니다.

작업 중인 초안은 언제든 고칠 수 있지만, 초안에서 버전을 만들면 그 시점의 내용이 바뀌지 않는 사본으로 고정됩니다. 운영 코드는 초안이 아니라 버전의 ARN을 가리킵니다. 그래야 누군가 초안을 고쳐도 운영 응답이 몰래 바뀌지 않고, 문제가 생기면 이전 버전 ARN으로 돌려 놓을 수 있습니다.

import boto3

brt = boto3.client("bedrock-runtime")

resp = brt.converse(
    modelId="arn:aws:bedrock:us-east-1:111122223333:prompt/PROMPT12345:3",
    promptVariables={
        "context": {"text": retrieved_chunks},
        "question": {"text": user_question},
    },
)

modelId 자리에 프롬프트 버전 ARN을 넣으면, 모델과 추론 설정은 그 버전에 묶인 값을 따르고 애플리케이션은 변수만 채웁니다.

역할 정의 강제

템플릿에는 시스템 프롬프트를 함께 둘 수 있습니다. 「당신은 사내 인사 규정 상담원이다. 제공된 문서에 없는 내용은 모른다고 답한다」 같은 역할 정의를 템플릿에 넣어 두면, 그 템플릿을 쓰는 모든 호출에 같은 역할이 실립니다. 개발자가 호출마다 역할 문장을 적게 두면 누군가는 빠뜨리거나 다르게 적습니다. 역할을 템플릿에 묶는 것이 곧 강제입니다.

역할을 바꾸고 싶을 때도 같은 자리에서 합니다. 앞에서 말한 변형을 써서 역할 문장만 다른 두 변형을 나란히 두고, 같은 질문 묶음에 대한 응답을 콘솔에서 견준 뒤 나은 쪽으로 버전을 냅니다. 이때 변형끼리 모델과 추론 설정을 같게 두어야 차이가 역할 문장에서 온 것인지 가릴 수 있습니다. 여러 팀이 같은 역할을 쓴다면 역할 문장을 담은 템플릿 하나를 공유하고, 팀마다 다른 것은 변수로 넘깁니다. 같은 역할 문장을 팀마다 복사해 두면 한 곳만 고쳐지고 나머지는 옛 문장으로 남습니다.

Guardrails

책임 있는 AI 정책

역할 정의는 모델에게 부탁하는 문장입니다. 모델이 따르지 않을 수도 있고, 사용자가 「앞의 지시를 무시하라」고 덮어쓰려 할 수도 있습니다. Bedrock Guardrails는 모델 바깥에서 입력과 출력을 검사해 정책을 어긴 것을 막는 장치이고, 그래서 부탁이 아니라 강제가 됩니다. 정책은 여러 갈래를 함께 겁니다.

정책 막는 것
콘텐츠 필터 혐오·폭력·성적 표현·프롬프트 공격
거부 주제 투자 권유처럼 다루지 않기로 한 주제
단어 필터 경쟁사 이름·욕설 같은 특정 낱말
민감 정보 필터 주민번호·카드번호 같은 PII를 막거나 가림
맥락 근거 검사 근거 문서에 없는 답, 질문과 무관한 답

가드레일은 ID와 버전을 가진 자원이고, Converse 호출의 guardrailConfig에 그 둘을 적어 붙입니다. 프롬프트 템플릿과 마찬가지로 운영에는 고정된 버전을 씁니다.

응답 형식 템플릿

책임 있는 출력에는 내용만이 아니라 모양도 들어갑니다. 템플릿 끝에 「답 뒤에 근거 문서 제목을 목록으로 붙인다」, 「JSON으로 answer·sources 두 키만 돌려준다」 같은 형식 지시를 두면 응답을 받는 쪽이 파싱할 수 있습니다. 형식은 템플릿이 지시하고, 지켜졌는지는 아래 품질 보증 절의 검증 함수가 확인합니다. 지시와 검증을 둘 다 두는 까닭은 모델이 형식을 가끔 어기기 때문입니다.

템플릿 거버넌스

파라미터화와 승인 워크플로

템플릿을 파라미터화한다는 것은 바뀌는 값을 모두 변수로 빼고 지시문 본체는 고정한다는 뜻입니다. 그러면 바꿔야 하는 것이 지시문 자체일 때만 새 버전이 생기고, 그 변경을 사람이 검토할 수 있습니다.

승인 워크플로는 Step Functions로 짭니다. 초안을 고친 사람이 실행을 시작하면 자동 시험이 돌고, 통과하면 검토자에게 알림을 보낸 뒤 기다립니다. 이 기다림은 작업 토큰으로 만듭니다 — 상태 머신이 토큰을 발급하고 멈춰 있다가, 검토자가 승인 링크를 누르면 그 토큰으로 SendTaskSuccess가 호출되어 다음 상태로 넘어갑니다. 승인되면 버전을 만들고 운영 별칭이 가리키는 ARN을 바꿉니다.

  1. 초안 수정과 실행 시작
  2. 시험 묶음 실행(아래 절)
  3. 검토자 승인 대기(작업 토큰)
  4. 버전 생성과 운영 전환

저장과 감사 기록

템플릿 원문을 Prompt Management 밖에도 두고 싶다면 버전 관리를 켠 S3 버킷이 저장소가 됩니다. 덮어써도 이전 객체가 남아 되돌릴 수 있습니다. 누가 프롬프트를 만들고 고치고 버전을 냈는지는 CloudTrail이 API 호출 단위로 남깁니다 — CreatePrompt·UpdatePrompt·CreatePromptVersion 같은 관리 호출이 호출자·시각과 함께 기록됩니다.

CloudTrail이 「누가 템플릿을 바꿨는가」를 답한다면, 「그 템플릿으로 실제 무엇이 오갔는가」는 Bedrock의 모델 호출 로깅이 답합니다. 이 로깅을 켜면 요청과 응답 본문이 CloudWatch Logs나 S3에 쌓이고, 어떤 역할이 어떤 모델을 불렀는지 접근 기록으로 쓸 수 있습니다. 둘을 헷갈리지 않는 것이 중요합니다 — 관리 이력은 CloudTrail, 호출 내용은 호출 로깅입니다.

품질 보증

기대 출력 검증

프롬프트를 바꾸면 답이 좋아졌는지 나빠졌는지 재야 합니다. 가장 작은 단위는 응답 하나가 기대한 모양인지 보는 검증 함수이고, Lambda에 둡니다.

import json

def handler(event, context):
    try:
        out = json.loads(event["response"])
    except json.JSONDecodeError:
        return {"pass": False, "reason": "JSON 아님"}
    if set(out) != {"answer", "sources"}:
        return {"pass": False, "reason": "키가 다름"}
    if not out["sources"]:
        return {"pass": False, "reason": "근거 없음"}
    return {"pass": True}

형식뿐 아니라 「거부 주제를 물으면 거절 문구가 나와야 한다」, 「정답 문서 제목이 sources에 있어야 한다」처럼 사례마다 기대를 적어 둘 수 있습니다.

엣지 케이스 테스트

정상 질문만으로는 템플릿의 약점이 안 드러납니다. 빈 질문, 매우 긴 질문, 다른 언어로 쓴 질문, 「앞의 지시를 무시하라」는 주입 시도, 근거 문서가 비어 있는 경우 같은 엣지 케이스를 시험 묶음에 넣습니다. Step Functions의 Map 상태가 사례마다 템플릿을 호출하고 검증 Lambda를 거쳐 결과를 모읍니다. 사례 200개에 하나라도 실패하면 승인 단계로 넘어가지 않게 Choice 상태로 막습니다.

회귀 테스트

회귀 테스트는 바꾸기 전에 통과하던 사례가 바꾼 뒤에도 통과하는지 보는 시험입니다. 시험 묶음의 통과율을 CloudWatch 사용자 지정 지표로 올리고 경보를 겁니다. 예를 들어 이전 버전이 사례 200개 중 188개(94%)를 통과했는데 새 초안이 176개(88%)라면 6%포인트가 떨어진 것이고, 「통과율 92% 미만」 경보가 울려 운영 전환을 멈춥니다. 운영 중에도 같은 지표를 정해진 주기로 재면, 모델 쪽 변화로 답이 나빠지는 것을 템플릿을 고치지 않았을 때도 잡을 수 있습니다. 시험 가이드는 Task 1.6에 템플릿 거버넌스와 함께 Lambda 검증·Step Functions 엣지 케이스 시험·CloudWatch 회귀 시험을 적고 있어, 「무엇을 기록하는가」와 「무엇을 시험하는가」를 어느 서비스가 맡는지 짝짓는 꼴로 물을 수 있습니다.

연습 문제

  1. 운영 중인 챗봇의 답이 어느 날부터 길어졌습니다. 누군가 프롬프트를 고친 것으로 의심됩니다. 누가 언제 프롬프트를 바꿨는지 확인할 곳은?
    ① Bedrock 모델 호출 로깅
    ② CloudTrail
    ③ CloudWatch 경보 기록
    ④ Guardrails 차단 지표
    ②. UpdatePrompt·CreatePromptVersion 같은 관리 호출과 호출자가 CloudTrail에 남습니다. ①은 요청·응답 본문을 남길 뿐 템플릿 변경 이력이 아닙니다.
  2. 운영 코드가 Prompt Management 프롬프트의 초안을 직접 가리키고 있습니다. 이 구성의 위험과 고칠 방법은?
    누가 초안을 고치면 검토 없이 운영 응답이 바로 바뀝니다. 초안에서 버전을 만들어 운영 코드는 그 버전 ARN을 가리키게 합니다.
  3. 회귀 시험 묶음 250개 사례에서 현재 버전이 235개, 새 초안이 220개를 통과했습니다. 경보 임계가 「통과율 90% 미만」이면 새 초안은 운영 전환이 되는가?
    안 됩니다. 새 초안의 통과율은 220/250=0.88220 / 250 = 0.88 로 88%라 임계 90%에 못 미칩니다. 현재 버전은 235/250=0.94235 / 250 = 0.94 입니다.
  4. 다음 가운데 Bedrock Guardrails로 강제할 수 있는 것을 둘 고르시오.
    ① 응답에서 카드번호를 가린다
    ② 프롬프트 템플릿의 승인자를 지정한다
    ③ 투자 권유 주제의 질문을 막는다
    ④ 프롬프트 버전 사이의 회귀를 감지한다
    ⑤ 템플릿 원문을 S3에 버전별로 보관한다
    ①과 ③. 민감 정보 필터와 거부 주제입니다. ②는 Step Functions 승인 워크플로, ④는 CloudWatch 회귀 시험, ⑤는 S3 버전 관리의 일입니다.
  5. 템플릿에 「JSON으로 answer·sources만 돌려준다」고 적었는데도 가끔 설명 문장이 앞에 붙어 파싱이 깨집니다. 승인 전에 이를 잡는 구성을 적으시오.
    응답을 json.loads로 읽고 키 집합을 확인하는 Lambda 검증 함수를 두고, Step Functions Map 상태로 시험 사례마다 호출해 하나라도 실패하면 승인 단계로 못 가게 Choice 상태로 막습니다.
  6. 승인 워크플로에서 검토자가 승인할 때까지 상태 머신을 멈춰 두는 Step Functions의 장치는?
    작업 토큰. 상태 머신이 토큰을 발급하고 기다리다가, 검토자의 승인이 그 토큰으로 SendTaskSuccess를 호출하면 다음 상태로 넘어갑니다.
AWS GenAI Developer – Professional 시험 노트 전체 보기