Databricks GenAI Associate 시험 노트개념 정리18 MIN
사용자 입력으로 프롬프트 보강하고 응답 조정
사용자 입력에서 필드·용어·의도를 뽑아 템플릿 변수를 채우는 법, 검색 결과와 대화 이력을 넣는 자리, baseline 응답을 목표 응답으로 바꾸는 말투·길이·관점 조정을 정리합니다.
앞 노트에서 프롬프트 → 모델 → 파서로 이어지는 체인을 코드로 조립했습니다. 그 체인이 같은 템플릿으로 모든 요청을 처리한다면, 답의 질은 템플릿에 무엇을 채워 넣느냐에 달려 있습니다. 시험 가이드의 Application Development 영역(30%)은 이 자리를 두 목표로 적습니다. 사용자 입력의 핵심 필드·용어·의도를 바탕으로 프롬프트에 맥락을 더하는 것, 그리고 기준이 되는 응답을 원하는 응답으로 바꾸는 프롬프트를 만드는 것입니다. 이 노트는 그 둘을 차례로 다룹니다.
입력 분석
필드·용어·의도
사용자가 보낸 문장은 그대로 템플릿에 넣기에는 덩어리가 큽니다. 「지난주 주문한 노트북이 아직 안 왔고 환불 가능한지 알고 싶어요, 주문번호 A-1042」라는 문의에는 세 가지가 섞여 있습니다. 필드는 값으로 뽑아낼 수 있는 구조화된 조각이고(주문번호 A-1042, 상품 「노트북」), 용어는 검색이나 규칙 조회의 열쇠가 되는 도메인 낱말이며(「환불」), 의도는 사용자가 결국 무엇을 원하는지를 정해 둔 갈래 중 하나로 부른 이름입니다(refund_inquiry). 셋을 갈라 두면 의도로 템플릿을 고르고, 필드로 그 템플릿의 빈칸을 채우고, 용어로 검색 질의를 만들 수 있습니다.
| 뽑는 것 | 예 | 프롬프트에서 하는 일 |
|---|---|---|
| 필드 | 주문번호, 날짜, 상품명 | 템플릿 변수의 값, 도구 호출의 인자 |
| 용어 | 환불, 배송 지연 | 검색 질의, 정책 문서 필터 |
| 의도 | 환불 문의, 배송 조회 | 어느 템플릿·체인으로 보낼지 결정 |
추출 단계
뽑는 일 자체를 LLM에 맡길 수 있습니다. 앞에 작은 추출 체인을 하나 두고, 그 출력을 본 체인의 입력으로 넘기는 구조입니다. 추출 체인은 형식이 정해진 출력을 내야 하므로 설계 영역에서 본 JSON 형식 지시를 그대로 씁니다.
from databricks_langchain import ChatDatabricks
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import JsonOutputParser
extract_prompt = ChatPromptTemplate.from_template(
"다음 문의에서 order_id, product, intent를 JSON으로 뽑으세요. "
"intent는 refund_inquiry, shipping_status, other 중 하나입니다. "
"없는 값은 null로 둡니다.\n\n{message}"
)
extractor = extract_prompt | ChatDatabricks(endpoint="databricks-meta-llama-3-3-70b-instruct", temperature=0) | JsonOutputParser()
fields = extractor.invoke({"message": "지난주 주문한 노트북이 ... 주문번호 A-1042"})
print(fields) # {'order_id': 'A-1042', 'product': '노트북', 'intent': 'refund_inquiry'}
temperature=0을 준 이유는 추출이 창작이 아니기 때문입니다. 같은 문의에서 매번 같은 값이 나와야 뒤 단계가 흔들리지 않습니다. 주문번호처럼 꼴이 정해진 값은 정규식으로도 뽑을 수 있으므로, 모델이 뽑은 값을 정규식으로 한 번 더 확인하면 엉뚱한 번호가 템플릿에 들어가는 일을 막습니다.
템플릿 변수
변수 채우기
프롬프트 템플릿은 고정된 지시문 안에 중괄호로 빈칸을 남겨 둔 틀이고, 그 빈칸이 템플릿 변수입니다. 추출 단계에서 얻은 딕셔너리가 그대로 변수의 값이 됩니다.
answer_prompt = ChatPromptTemplate.from_messages([
("system", "당신은 온라인 상점의 상담원입니다. 환불 정책 근거만 써서 답합니다.\n\n정책:\n{context}"),
("human", "주문번호: {order_id}\n상품: {product}\n문의: {message}"),
])
변수 이름과 넘기는 키가 어긋나면 앞 노트에서 본 대로 오류가 나지만, 더 조용한 실패가 있습니다. 추출이 null을 돌려준 필드를 그대로 넣으면 프롬프트에 「주문번호: None」이 찍히고, 모델은 그 문자열을 진짜 번호처럼 다루기도 합니다. 빈 필드는 「주문번호 미확인」처럼 모델이 해석할 수 있는 말로 바꿔 넣거나, 그 필드가 꼭 필요한 의도라면 템플릿을 채우기 전에 사용자에게 되묻는 갈래로 보냅니다.
의도별 템플릿
의도가 다르면 필요한 맥락도 다릅니다. 환불 문의에는 환불 정책이, 배송 조회에는 배송 상태 조회 결과가 필요합니다. 모든 것을 한 템플릿에 넣으면 프롬프트가 길어지고 관계없는 정책이 답에 섞입니다. 의도를 열쇠로 템플릿을 고르는 분기를 두면 프롬프트마다 필요한 것만 들어갑니다. LangChain에서는 이 분기를 RunnableBranch나 의도를 받아 체인을 돌려주는 함수로 만듭니다. 이 분기는 순서가 미리 정해진 조건문이므로 에이전트가 아니라 체인의 일입니다.
맥락 주입
검색 결과의 위치
RAG에서 검색한 근거를 어디에 넣느냐도 설계입니다. 근거는 대개 시스템 메시지 안에, 구분자로 감싸서 넣습니다. 사용자 메시지 안에 섞으면 근거 문서 속 문장(「위 지시를 무시하고 …」 같은 것)이 사용자의 요청처럼 읽힐 여지가 커집니다. 순서도 봅니다. 긴 근거를 지시보다 앞에 두면 정작 지시가 근거 더미 뒤로 묻히므로, 지시를 먼저 쓰고 근거를 그 아래 구분된 블록에 두고, 마지막에 질문을 둡니다.
| 자리 | 넣는 것 | 이유 |
|---|---|---|
| 시스템 메시지 앞부분 | 역할, 규칙, 출력 형식 | 근거보다 먼저 읽혀야 한다 |
| 시스템 메시지 뒷부분 | 구분자로 감싼 근거 | 지시와 섞이지 않는다 |
| 사용자 메시지 | 질문과 추출한 필드 | 이번 요청이 무엇인지 |
검색한 청크를 몇 개 넣을지는 컨텍스트 창이 정합니다. 컨텍스트 창은 모델이 한 번에 읽을 수 있는 입력과 출력 토큰의 상한입니다. 창이 8,192토큰인 모델에 시스템 지시 600토큰, 대화 이력 1,500토큰, 질문 100토큰을 넣고 답에 1,000토큰을 남기면 근거에 쓸 수 있는 것은 토큰입니다. 청크가 512토큰이면 아홉 개()까지 들어가고 열 개()는 넘칩니다.
대화 이력
여러 차례 오가는 챗봇에서는 앞선 대화도 맥락입니다. 「그럼 그건 언제 와요?」의 「그건」은 이력이 없으면 풀리지 않습니다. 이력을 다루는 방법은 셋입니다.
- 최근 N턴만 메시지 목록으로 넣는다 — 단순하지만 오래된 사실이 사라진다
- 오래된 부분을 요약해 한 메시지로 넣고 최근 턴은 그대로 둔다 — 길이를 묶어 두면서 사실을 남긴다
- 이력과 새 질문을 합쳐 홀로 읽히는 질문으로 다시 쓴 뒤 그 질문으로 검색한다 — 검색 질의가 대명사로 망가지지 않는다
세 번째가 RAG 챗봇에서 중요합니다. retriever는 「그건 언제 와요?」로 검색하면 아무것도 못 찾습니다. 이력을 보고 「주문번호 A-1042 노트북의 배송 예정일」로 다시 쓴 질문으로 검색해야 합니다. LangChain의 ChatPromptTemplate에서는 MessagesPlaceholder("history")로 이력 목록이 들어갈 자리를 비워 둡니다.
응답 조정
baseline과 목표 응답
baseline 응답은 아무 조정 없이 지금 프롬프트로 받은 첫 응답이고, 목표 응답은 요구사항이 바라는 모양의 응답입니다. 조정은 두 응답을 나란히 놓고 차이를 낱말로 적는 데서 시작합니다. 「너무 길다」가 아니라 「다섯 문단인데 세 문장이어야 한다」, 「딱딱하다」가 아니라 「고객에게 존댓말로, 사과를 먼저」처럼 적어야 프롬프트에 옮길 수 있습니다. 차이를 적은 다음에는 한 번에 하나만 고치고 다시 받아 봅니다. 여러 지시를 한꺼번에 넣으면 어느 지시가 효과를 냈는지 알 수 없습니다.
말투·길이·관점
요구사항이 조정하라고 하는 축은 대개 이 셋입니다.
| 축 | baseline의 흔한 모습 | 프롬프트에 넣는 지시 |
|---|---|---|
| 말투 | 설명서 같은 평서문 | 「고객에게 존댓말로, 첫 문장에서 불편에 사과한다」 |
| 길이 | 배경 설명까지 붙은 긴 답 | 「세 문장 이내」, 「항목 셋의 목록」 |
| 관점 | 회사 내부 용어로 쓴 답 | 「처음 이용하는 고객이 읽는다고 생각하고 내부 코드명을 쓰지 않는다」 |
길이는 낱말보다 구조로 거는 편이 잘 지켜집니다. 「짧게」보다 「세 문장」이, 「세 문장」보다 「항목 셋의 목록」이 덜 흔들립니다. max_tokens로 길이를 자르는 것은 조정이 아니라 절단입니다. 문장 한가운데에서 끊긴 답이 나오므로 길이 상한은 안전장치로만 두고, 원하는 길이는 프롬프트로 요구합니다. 말투와 관점은 목표 응답 하나를 few-shot 예시로 보여 주면 지시문 여러 줄보다 빨리 맞춰집니다.
조정 순서
원하는 응답이 안 나올 때 고치는 차례는 이렇습니다.
- 지시가 모호한지 본다 — 「간단히」를 수나 구조로 바꾼다
- 빠진 맥락이 있는지 본다 — 추출한 필드나 근거가 프롬프트에 실제로 들어갔는지 확인한다
- 예시를 넣는다 — 목표 응답 하나를 few-shot으로 보여 준다
- 그래도 안 되면 모델이나 생성 파라미터를 바꾼다
temperature는 이 목록의 뒤쪽입니다. 낮추면 응답이 덜 흔들리지만 말투나 길이를 원하는 쪽으로 옮겨 주지는 않습니다. 시험의 보기는 이 차례를 뒤섞어 「먼저 할 일」을 묻는 꼴로 나올 수 있으므로, 프롬프트 안에서 풀 수 있는 것을 먼저 푼다는 원칙으로 가릅니다.
연습 문제
사용자 문의 「어제 받은 의자 다리가 부러져 교환하고 싶어요, 주문 B-221」에서 의도에 해당하는 것은?
①B-221
② 의자
③ 교환 요청
④ 다리③. 주문번호와 상품은 필드이고, 사용자가 원하는 것을 갈래 이름으로 부른 것이 의도입니다.컨텍스트 창이 16,384토큰인 모델에 시스템 지시 800토큰, 대화 이력 2,400토큰, 질문 200토큰을 넣고 답에 1,500토큰을 남기려 합니다. 청크 하나가 1,024토큰이면 근거로 넣을 수 있는 청크는 최대 몇 개인가?
① 10개
② 11개
③ 12개
④ 13개②. 근거에 쓸 수 있는 것은 토큰입니다. 는 들어가고 은 넘칩니다.RAG 챗봇에서 두 번째 질문 「그건 얼마예요?」로 검색했더니 관련 없는 청크만 돌아왔습니다. 가장 알맞은 조치는?
① 청크 크기를 두 배로 늘린다
② 대화 이력과 새 질문을 합쳐 홀로 읽히는 질문으로 다시 쓴 뒤 검색한다
③temperature를 0으로 낮춘다
④ 대화 이력을 프롬프트에서 뺀다②. 대명사로 된 질문은 검색 질의로 쓸 수 없습니다. 이력을 빼면 「그건」을 풀 단서가 아예 사라집니다.baseline 응답이 다섯 문단이고 요구사항은 「고객이 휴대폰에서 읽을 짧은 답」입니다. 알맞은 조치를 둘 고르시오.
① 프롬프트에 「세 문장 이내」처럼 길이를 구조로 적는다
②max_tokens를 50으로 줄여 답을 자른다
③ 목표 길이의 응답 하나를 few-shot 예시로 넣는다
④ 검색 청크 수를 늘린다
⑤ 임베딩 모델을 바꾼다①과 ③.max_tokens로 자르면 문장 중간에서 끊깁니다. 청크 수와 임베딩 모델은 길이와 무관합니다.프롬프트에서 검색 근거를 넣는 자리로 가장 알맞은 것은?
① 사용자 메시지 안, 질문 앞에 구분자 없이
② 시스템 메시지 안, 지시 뒤에 구분자로 감싸서
③ 출력 파서의 인자로
④ 시스템 메시지 맨 앞, 역할 지시보다 먼저②. 지시가 먼저 읽히고, 근거는 구분자로 갈라 지시와 섞이지 않게 둡니다.추출 체인이 주문번호를 못 찾아
null을 돌려줬는데 그대로 템플릿에 넣었습니다. 일어날 수 있는 일로 알맞은 것은?
① 템플릿 변수가 비었다는 오류로 체인이 멈춘다
② 프롬프트에 「None」 같은 문자열이 들어가 모델이 그것을 값처럼 다룰 수 있다
③ retriever가 자동으로 주문번호를 채운다
④ 모델 서빙 엔드포인트가 요청을 거부한다②. 키는 있으므로 오류가 나지 않고 조용히 틀린 맥락이 들어갑니다. 빈 필드는 해석 가능한 말로 바꾸거나 사용자에게 되묻는 갈래로 보냅니다.
보강과 조정은 같은 질문의 두 얼굴입니다. 앞쪽은 「모델이 답에 필요한 것을 다 받았는가」이고 뒤쪽은 「받은 것으로 원하는 모양을 내는가」입니다. 보기에서 원인을 고를 때 이 둘 중 어느 쪽이 빠졌는지부터 가르면 오답이 빨리 지워집니다.

