Databricks GenAI Associate

Databricks GenAI Associate 시험 노트개념 정리17 MIN

응답 품질과 안전을 정성 평가하기

LLM 응답을 사람이 읽어 환각·근거 없음, 유해·편향, 주제 이탈, 형식 위반을 가려내는 법과 평가 단계·모니터링 단계의 차이, 정성 검토를 지표로 옮기는 자리를 정리합니다.

체인이 돌고 답이 나오면 다음 질문은 「그 답이 괜찮은가」입니다. 시험 가이드의 Application Development 영역은 응답을 정성적으로 평가해 품질과 안전 문제를 찾아내는 것을 목표로 둡니다. 여기서 정성 평가는 점수를 내는 자동 지표보다 먼저, 사람이 응답을 읽고 무엇이 잘못됐는지를 갈래 이름으로 적는 일입니다. 지표는 무엇을 셀지 알아야 만들 수 있고, 무엇을 셀지는 읽어 봐야 압니다. 이 노트는 읽으면서 찾는 문제 네 갈래와, 그 결과를 평가와 모니터링으로 이어 가는 자리를 다룹니다.

근거 판별

환각

환각은 모델이 사실이 아닌 내용을 그럴듯한 문장으로 만들어 내는 것입니다. 없는 정책 조항을 인용하거나, 존재하지 않는 API 이름을 지어내거나, 숫자를 바꿔 적는 식입니다. 환각은 문장이 매끄러워 읽는 사람이 놓치기 쉽습니다. 그래서 검토자는 응답을 「읽기 좋은가」가 아니라 「이 문장 하나하나가 어디서 왔는가」로 읽습니다.

근거 없음

RAG에서는 환각을 더 좁게 잴 수 있습니다. 응답의 주장마다 프롬프트에 넣은 근거에서 그 주장을 찾을 수 있는지를 보는 것입니다. 찾을 수 있으면 근거가 있는 주장이고, 근거에 없는데 응답에 있으면 근거 없음(ungrounded)입니다. 근거 없음은 환각과 겹치지만 같지 않습니다.

경우 사실과 맞는가 근거에 있는가 판정
근거를 정확히 옮겼다 맞다 있다 정상
근거에 없는 일반 상식을 덧붙였다 맞다 없다 근거 없음
근거를 잘못 옮겼다 틀리다 있지만 다르다 환각
근거에도 상식에도 없는 것을 지었다 틀리다 없다 환각이자 근거 없음

둘째 줄이 헷갈리는 자리입니다. 답이 사실로 맞아도 요구사항이 「사내 문서 근거로만 답한다」였다면 그 문장은 결함입니다. 근거 없는 정답은 이번에는 맞았을 뿐, 같은 버릇이 다음에는 틀린 답을 만듭니다. 검토할 때는 응답을 주장 단위로 끊어 근거와 하나씩 대조합니다. 응답에 주장이 다섯 개 있고 그중 넷이 근거에서 찾아진다면 근거 있는 비율은 4/5=0.84 / 5 = 0.8 입니다. 이 비율이 뒤에서 지표로 넘어갈 때의 출발점이 됩니다.

안전성 검토

유해 응답

유해 응답은 폭력·자해·불법 행위를 돕거나 혐오 표현을 담은 응답입니다. 사용자가 노골적으로 요청했을 때만 나오는 것이 아니라, 정상적인 질문에 대한 답 속에 섞여 나오기도 합니다. 정성 검토에서는 일부러 경계에 걸친 질문을 섞은 검토 세트를 만들어 읽습니다. 「이 화학 제품 둘을 섞으면 어떻게 되나」처럼 정상 용도와 위험한 용도가 한 문장에 겹치는 질문이 그런 자리입니다.

편향

편향은 응답이 성별·나이·출신 같은 집단에 따라 다르게, 그리고 부당하게 다루는 것입니다. 채용 도우미가 같은 경력의 지원자를 이름만 바꿨을 때 다르게 평가하는 식입니다. 편향은 응답 하나만 읽어서는 잘 안 보입니다. 다른 조건은 그대로 두고 집단을 드러내는 낱말 하나만 바꾼 질문 짝을 만들어, 두 응답을 나란히 놓고 비교해야 드러납니다. 낱말 하나 차이로 결론이나 말투가 바뀌었다면 그 자리가 검토 기록에 남습니다.

요구 위반

주제 이탈

주제 이탈은 애플리케이션이 맡은 범위 밖의 질문에 답하거나, 범위 안의 질문에도 범위 밖 내용을 섞는 것입니다. 사내 인사 규정 챗봇이 주식 투자 조언을 하면 내용이 틀리지 않아도 결함입니다. 회사가 책임질 수 없는 영역의 답을 회사 이름으로 내보낸 셈이기 때문입니다. 정상 반응은 범위 밖이라고 알리고 갈 곳을 안내하는 것입니다. 반대쪽 실패도 함께 봅니다. 범위 안의 질문인데 「답할 수 없습니다」로 물러서는 응답은 안전해 보여도 애플리케이션이 제 일을 못 한 것이므로, 검토 기록에는 주제 이탈과 따로 「불필요한 거부」로 적습니다.

형식 위반

형식 위반은 요구사항이 정한 출력 모양을 어긴 것입니다. JSON을 요구했는데 앞에 「다음은 결과입니다」 같은 문장을 붙였거나, 필수 키를 빠뜨렸거나, 세 문장 제한을 넘긴 경우입니다. 형식 위반은 사람보다 코드가 더 잘 잡습니다. JSON 파싱이 되는지, 필수 키가 다 있는지는 검사 함수 한 줄로 셀 수 있으므로 정성 검토에서 발견하면 바로 자동 검사로 옮깁니다.

문제 무엇을 보고 아는가 자동화하기 쉬운 정도
환각·근거 없음 응답 주장과 근거의 대조 판정자 모델이 필요하다
유해·편향 경계 질문, 낱말을 바꾼 질문 짝 안전 분류 모델이 일부를 덮는다
주제 이탈 범위 정의와 응답 내용 판정자 모델이나 분류기
형식 위반 파싱, 키, 길이 코드 검사로 바로 된다

평가와 모니터링

평가 단계

평가는 배포 전에 정해 둔 질문 세트로 애플리케이션을 돌려 보고 결과를 읽는 단계입니다. 질문과 기대 답(있다면)을 미리 정해 두므로 같은 세트로 프롬프트나 모델을 바꾼 전후를 비교할 수 있습니다. 정성 검토의 대부분이 여기서 일어납니다. 검토 세트에는 정상 질문, 경계 질문, 범위 밖 질문, 낱말을 바꾼 질문 짝을 고루 넣습니다.

모니터링 단계

모니터링은 배포 뒤 실제 사용자의 요청과 응답을 지켜보는 단계입니다. 평가와 달리 질문을 우리가 고르지 않으므로, 검토 세트에 없던 유형의 질문이 들어옵니다. 기대 답도 없습니다. 그래서 모니터링은 정답과의 비교보다 응답 자체에서 셀 수 있는 신호에 기댑니다 — 형식 오류율, 거부 비율, 사용자의 엄지 아래 피드백, 안전 분류기가 걸러 낸 비율 같은 것입니다. Databricks에서는 모델 서빙 엔드포인트의 요청과 응답을 inference table에 남겨 두고 그 로그를 다시 읽는 방식으로 이 단계를 받칩니다. 그 로그의 구성은 모니터링 노트에서 따로 다룹니다.

구분 평가 모니터링
시점 배포 전, 바꿀 때마다 배포 뒤, 계속
질문 우리가 정한 세트 실제 사용자 요청
기대 답 있을 수 있다 대개 없다
하는 일 후보를 견주고 결함을 찾는다 새 실패 유형과 변화를 잡는다

검토 세트 구성

평가 세트는 결함이 드러날 자리를 일부러 품어야 합니다. 정상 질문만 모으면 응답이 다 멀쩡해 보이고, 배포 뒤에야 실패가 드러납니다. 네 갈래를 섞습니다.

  • 정상 질문 — 애플리케이션이 맡은 범위 한가운데의 질문. 근거 없음과 형식 위반이 여기서 보인다
  • 경계 질문 — 정상 용도와 위험한 용도가 겹치는 질문. 유해 응답과 과하게 막는 응답이 함께 보인다
  • 범위 밖 질문 — 맡지 않은 영역의 질문. 주제 이탈이 보인다
  • 질문 짝 — 집단을 드러내는 낱말 하나만 바꾼 두 질문. 편향이 보인다

각 갈래에서 몇 개씩 넣었는지 적어 두면, 프롬프트를 고친 뒤 어느 갈래의 결함이 줄었는지를 갈래별로 따로 셀 수 있습니다. 전체 결함 비율만 보면 정상 질문의 개선이 범위 밖 질문의 악화를 가려 버립니다.

모니터링에서 찾은 새 실패 사례는 평가 세트로 되돌아갑니다. 그래야 다음에 프롬프트를 고쳤을 때 그 사례가 다시 깨지지 않았는지 배포 전에 확인할 수 있습니다.

정성에서 지표로

넘어가는 자리

정성 검토는 비쌉니다. 스무 개는 읽을 수 있어도 이만 개는 못 읽습니다. 그래서 검토가 어느 정도 쌓이면 사람이 반복해서 내린 판정을 자동으로 셀 수 있는 지표로 바꿉니다. 넘어가는 신호는 둘입니다. 같은 갈래의 결함이 계속 나와 판정 기준을 한 문장으로 적을 수 있게 됐을 때, 그리고 검토할 응답 수가 사람이 읽을 수 있는 양을 넘었을 때입니다. 「근거에 없는 주장이 있으면 결함」이라는 기준이 서면 그것을 판정자 모델에게 그대로 지시해 근거 있는 비율을 지표로 셉니다.

검토 기록

지표로 옮기려면 정성 검토를 처음부터 기록으로 남겨야 합니다. 응답마다 갈래 이름 하나와 근거 한 줄을 적어 두면, 그 기록이 판정자 지시문의 예시가 되고 판정자가 사람과 얼마나 일치하는지 재는 기준이 됩니다.

import mlflow

reviews = [
    {"request_id": "r-017", "issue": "ungrounded", "note": "근거에 없는 연차 이월 규정을 덧붙임"},
    {"request_id": "r-018", "issue": "off_topic", "note": "인사 챗봇이 세금 신고 방법을 안내함"},
    {"request_id": "r-019", "issue": "none", "note": ""},
]
with mlflow.start_run(run_name="qualitative-review-v1"):
    mlflow.log_table(data={k: [r[k] for r in reviews] for k in reviews[0]}, artifact_file="reviews.json")
    mlflow.log_metric("issue_rate", sum(r["issue"] != "none" for r in reviews) / len(reviews))

세 건 중 두 건에 결함이 있으므로 기록되는 issue_rate는 2/3≈0.672 / 3 \approx 0.67 입니다. 같은 실험에 기록해 두면 프롬프트를 고친 뒤의 검토와 나란히 비교할 수 있습니다. 판정자 모델과 커스텀 지표를 만드는 법은 평가 영역의 노트들이 이어서 다룹니다.

연습 문제

  1. 사내 문서만 근거로 답하라는 요구사항의 챗봇이, 근거에 없는 일반 상식을 정확하게 덧붙였습니다. 이 응답의 판정으로 알맞은 것은?
    ① 정상 — 내용이 사실이다
    ② 근거 없음 — 근거에서 찾을 수 없는 주장이 있다
    ③ 형식 위반
    ④ 편향
    ②. 사실과 맞아도 근거에 없으면 요구사항을 어긴 것입니다.
  2. RAG 응답을 주장 단위로 끊었더니 여덟 개였고, 그중 근거에서 찾아지는 것이 여섯 개였습니다. 근거 있는 비율은?
    ① 0.25
    ② 0.6
    ③ 0.75
    ④ 0.8
    ③. 6/8=0.756 / 8 = 0.75 입니다.
  3. 채용 도우미의 편향을 찾으려 할 때 가장 알맞은 검토 방법은?
    ① 응답 길이의 평균을 잰다
    ② 다른 조건은 같고 지원자 이름만 바꾼 질문 짝의 응답을 비교한다
    ③ JSON 파싱 성공률을 잰다
    ④ temperature를 높여 여러 번 받는다
    ②. 집단을 드러내는 낱말 하나만 바꿔야 차이가 그 낱말 때문인지 알 수 있습니다.
  4. 평가 단계와 모니터링 단계에 대한 설명으로 알맞은 것을 둘 고르시오.
    ① 평가는 우리가 정한 질문 세트로 배포 전에 한다
    ② 모니터링에는 언제나 기대 답이 있다
    ③ 모니터링에서 찾은 새 실패 사례는 평가 세트에 더한다
    ④ 평가는 배포 뒤 실제 사용자 요청만 쓴다
    ⑤ 둘 중 하나만 하면 된다
    ①과 ③. 실제 사용자 요청에는 대개 기대 답이 없고, 둘은 서로를 채웁니다.
  5. 다음 중 정성 검토 없이 코드 검사만으로 가장 쉽게 잡을 수 있는 문제는?
    ① 근거 없는 주장
    ② 필수 키가 빠진 JSON 응답
    ③ 미묘한 편향
    ④ 주제 이탈
    ②. 파싱과 키 확인은 검사 함수로 바로 셀 수 있습니다. 나머지는 의미를 읽어야 합니다.
  6. 검토 기록 열 건 중 결함이 있는 것이 네 건입니다. 위 코드처럼 issue_rate를 기록하면 값은?
    ① 0.4
    ② 0.6
    ③ 4
    ④ 0.25
    ①. 4/10=0.44 / 10 = 0.4 입니다. 개수가 아니라 비율이라 검토 건수가 달라도 비교할 수 있습니다.

정성 검토의 산출물은 점수가 아니라 이름 붙은 결함 목록입니다. 그 목록이 있어야 무엇을 지표로 셀지, 무엇을 가드레일로 막을지가 정해집니다 — 막는 쪽은 다음 노트에서 다룹니다.

Databricks GenAI Associate 시험 노트 전체 보기