Databricks GenAI Associate

Databricks GenAI Associate 시험 노트개념 정리17 MIN

모델 카드와 실험 지표로 LLM 고르기

모델 카드가 적는 용도·한계·학습 데이터·라이선스, Databricks Marketplace와 Hugging Face 허브, 지연·비용·다국어·컨텍스트 같은 애플리케이션 속성, 실험 지표로 후보를 견주는 법과 오픈 웨이트·상용 API의 차이를 정리합니다.

체인의 조각 가운데 가장 바꾸기 쉬운 것이 모델입니다. ChatDatabricks의 엔드포인트 이름 하나만 바꾸면 다른 모델이 들어옵니다. 바꾸기 쉬운 만큼 무엇으로 바꿀지 정하는 기준이 필요합니다. 시험 가이드의 Application Development 영역은 애플리케이션의 속성에 맞는 LLM을 고르는 것과, 모델 카드와 지표를 바탕으로 LLM을 고르는 것을 목표로 둡니다. 이 노트는 후보를 찾는 곳, 후보에 대해 읽는 문서, 요구사항을 속성으로 옮기는 법, 실험으로 마지막 하나를 고르는 법을 차례로 다룹니다.

모델 카드

적는 것

모델 카드는 모델을 공개한 쪽이 그 모델에 대해 적어 둔 설명 문서입니다. 무엇을 하려고 만든 모델인지, 무엇에 쓰면 안 되는지, 무엇으로 학습했는지, 어떤 조건으로 쓸 수 있는지를 한 자리에 모읍니다.

항목 담는 것 고를 때 묻는 것
용도 의도한 사용처, 지원 태스크 우리 태스크가 그 안에 드는가
한계 알려진 약점, 쓰지 말아야 할 자리, 편향 우리 요구가 그 약점에 걸리는가
학습 데이터 데이터 출처, 언어 구성, 기준 시점 우리 도메인·언어가 들어 있었는가
라이선스 사용·배포·상업적 이용 조건 우리 서비스에 써도 되는가
평가 결과 공개 벤치마크 점수, 평가 조건 비슷한 태스크에서 어땠는가

모델 카드는 후보를 걸러 내는 첫 체입니다. 라이선스가 상업적 이용을 막으면 성능이 아무리 좋아도 사내 서비스에는 못 쓰고, 학습 데이터에 한국어가 거의 없다면 한국어 고객 상담 후보에서 먼저 빠집니다. 이 둘은 실험을 돌려 볼 필요도 없이 문서만 읽고 정해집니다.

읽는 순서

카드를 읽는 순서는 탈락 사유가 큰 것부터입니다. 라이선스를 먼저 보고, 다음에 한계와 용도, 그다음 학습 데이터, 마지막에 평가 결과를 봅니다. 벤치마크 점수를 먼저 보면 점수 높은 모델에 마음이 기운 채 라이선스를 읽게 됩니다. 그리고 카드의 평가 점수는 공개 벤치마크에서 잰 값이라 우리 데이터에서의 성능을 보장하지 않습니다. 카드는 후보를 줄이는 데 쓰고, 마지막 결정은 우리 데이터로 잰 실험이 합니다.

후보 출처

Databricks Marketplace

Databricks Marketplace는 데이터셋·노트북·모델 같은 자산을 공급자가 올리고 이용자가 받아 쓰는 장터입니다. 모델을 받으면 Unity Catalog의 카탈로그 안에 등록된 모델로 들어오므로, 3단 이름으로 권한을 걸고 바로 모델 서빙 엔드포인트로 띄울 수 있습니다. 받은 모델이 처음부터 거버넌스 안에 들어온다는 점이 이 경로의 이점입니다.

Hugging Face 허브

Hugging Face 허브는 공개 모델과 데이터셋이 가장 많이 모인 저장소입니다. 모델마다 저장소 첫 화면의 README가 모델 카드이고, 머리에 라이선스·언어·학습 데이터셋을 기계가 읽을 수 있는 메타데이터로 적습니다. 허브의 모델은 transformers로 내려받아 MLflow로 기록한 뒤 Unity Catalog에 등록하는 단계를 거쳐야 Databricks의 서빙과 권한 체계에 들어옵니다.

import mlflow
from transformers import pipeline

pipe = pipeline("text-generation", model="org/some-open-model")   # 허브의 모델 id
mlflow.set_registry_uri("databricks-uc")
with mlflow.start_run():
    mlflow.transformers.log_model(
        transformers_model=pipe,
        artifact_path="model",
        registered_model_name="main.llm.some_open_model",
    )
구분 Databricks Marketplace Hugging Face 허브
받는 형태 Unity Catalog에 등록된 모델 저장소의 가중치 파일
거버넌스 받자마자 카탈로그 권한 안에 든다 기록·등록을 거쳐야 든다
폭 공급자가 올린 것 공개 모델 대부분
모델 카드 목록 페이지의 설명 저장소의 README

애플리케이션 속성

네 속성

요구사항은 모델의 속성으로 옮겨 적어야 후보와 견줄 수 있습니다. 많이 쓰는 축이 넷입니다.

속성 요구사항의 말 모델에서 보는 것
지연 「채팅 창에서 1초 안에 첫 글자」 모델 크기, 첫 토큰까지의 시간, 초당 토큰
비용 「월 예산 안에서 하루 10만 건」 토큰당 단가, 처리량 확보 비용
다국어 「한국어·일본어 고객 응대」 학습 데이터의 언어 구성, 그 언어의 평가
컨텍스트 「계약서 한 부를 통째로 읽고 답」 컨텍스트 창 길이

속성끼리는 서로 당깁니다. 큰 모델은 대개 품질이 좋지만 느리고 비쌉니다. 그래서 「가장 좋은 모델」을 묻는 문항은 거의 언제나 조건을 달고 있고, 그 조건이 어느 속성을 우선하라는 뜻인지 읽는 것이 풀이의 절반입니다. 「품질 저하 없이 비용을 줄인다」면 작은 모델 후보를 실험으로 재 보는 쪽이고, 「계약서 전체」라면 컨텍스트 창이 모자란 후보부터 지웁니다.

비용 계산

비용은 토큰 수 곱하기 단가로 어림합니다. 요청 하나에 입력 1,500토큰과 출력 300토큰이 들고, 모델 A는 입력 100만 토큰당 0.50달러·출력 100만 토큰당 1.50달러, 모델 B는 입력 3.00달러·출력 15.00달러라고 합시다. 요청 하나의 비용은 A가

1500×0.50106+300×1.50106=0.00075+0.00045=0.00121500 \times \frac{0.50}{10^6} + 300 \times \frac{1.50}{10^6} = 0.00075 + 0.00045 = 0.0012

달러이고, B가 1500×3.00/106+300×15.00/106=0.0045+0.0045=0.0091500 \times 3.00 / 10^6 + 300 \times 15.00 / 10^6 = 0.0045 + 0.0045 = 0.009 달러입니다. 하루 10만 건이면 A는 120달러, B는 900달러로 일곱 배 반 차이입니다. 이 차이를 치를 만큼 B의 품질이 나은지가 다음 절의 실험이 답할 질문입니다. 위 단가는 계산을 보이려고 정한 값이며, 실제 단가는 모델과 요금 방식마다 다르므로 그때의 가격표를 봅니다.

실험 지표

같은 평가 세트

카드와 속성으로 후보를 둘셋으로 줄였으면, 같은 평가 세트를 모든 후보에 돌려 같은 지표로 잽니다. 조건이 하나라도 다르면 비교가 성립하지 않습니다 — 프롬프트, 검색 결과, 생성 파라미터를 고정하고 모델만 바꿉니다. 결과는 후보마다 MLflow run 하나로 기록해 실험 화면에서 나란히 봅니다.

import mlflow, time

candidates = ["databricks-meta-llama-3-3-70b-instruct", "small-model-endpoint"]
for endpoint in candidates:
    chain = build_chain(endpoint)            # 프롬프트·retriever는 고정, 모델만 바꾼다
    with mlflow.start_run(run_name=endpoint):
        start = time.time()
        outputs = [chain.invoke(q) for q in eval_questions]
        mlflow.log_metric("avg_latency_s", (time.time() - start) / len(eval_questions))
        mlflow.log_metric("grounded_rate", grounded_rate(outputs, eval_contexts))
        mlflow.log_metric("format_ok_rate", sum(is_valid_json(o) for o in outputs) / len(outputs))

grounded_rate와 is_valid_json은 앞 노트에서 정성 검토를 지표로 옮긴 바로 그 판정입니다. 판정자 모델로 품질을 재는 법과 ROUGE 같은 정량 지표는 평가 영역의 노트에서 이어서 다룹니다.

결과 읽기

지표가 여럿이면 한 후보가 모든 지표에서 이기는 일은 드뭅니다. 그때는 요구사항이 정한 문턱부터 봅니다. 「형식 오류 1% 미만」, 「평균 지연 2초 이하」 같은 문턱을 못 넘은 후보를 먼저 지우고, 남은 후보 가운데 비용이 가장 낮은 것을 고르는 식입니다. 남은 후보가 품질 차이는 작고 비용 차이가 크다면 싼 쪽이 답이고, 품질 지표가 문턱 근처에서 갈린다면 비싼 쪽을 고른 이유를 지표로 남겨 둡니다.

오픈 웨이트와 상용 API

두 갈래

모델을 받는 방식은 크게 둘입니다. 오픈 웨이트 모델은 학습된 가중치 파일이 공개되어 우리가 내려받아 직접 띄울 수 있는 모델이고, 상용 API 모델은 가중치는 공개되지 않고 제공사의 API로만 부를 수 있는 모델입니다. Databricks에서 오픈 웨이트 모델은 Foundation Model API나 직접 등록한 모델로, 상용 API 모델은 외부 모델 엔드포인트로 연결해 같은 모델 서빙 인터페이스로 부릅니다.

기준 오픈 웨이트 상용 API
데이터가 가는 곳 우리 워크스페이스 안 제공사의 서버
파인튜닝 가중치를 직접 고칠 수 있다 제공사가 여는 범위 안에서만
운영 부담 서빙 자원과 버전을 우리가 관리 제공사가 관리
비용 구조 띄워 둔 처리량만큼 쓴 토큰만큼
조건 모델마다 다른 라이선스 제공사의 이용 약관

고르는 기준

데이터가 워크스페이스 밖으로 나가면 안 된다는 요구가 있으면 오픈 웨이트 쪽이고, 우리 도메인 데이터로 가중치를 고쳐야 한다는 요구도 오픈 웨이트 쪽입니다. 운영 인력이 없고 최고 수준의 범용 품질이 필요하면 상용 API가 자연스럽습니다. 「오픈 웨이트」를 「아무 조건 없이 쓸 수 있다」로 읽으면 안 됩니다. 가중치가 공개됐어도 상업적 이용이나 사용자 수에 제한을 거는 라이선스가 있으므로, 첫 절에서 본 대로 카드의 라이선스를 먼저 읽습니다.

연습 문제

  1. 사내 고객 상담 서비스에 쓸 모델을 고르는데, 후보 모델의 카드에 「연구 목적으로만 사용 가능」이라고 적혀 있습니다. 벤치마크 점수는 후보 중 가장 높습니다. 알맞은 판단은?
    ① 점수가 가장 높으므로 채택한다
    ② 라이선스 때문에 후보에서 뺀다
    ③ 파인튜닝하면 라이선스 제한이 풀린다
    ④ 외부 모델 엔드포인트로 연결하면 제한이 풀린다
    ②. 라이선스는 성능과 상관없이 먼저 거르는 조건입니다.
  2. 요청 하나에 입력 2,000토큰과 출력 500토큰이 듭니다. 입력 100만 토큰당 0.60달러, 출력 100만 토큰당 2.40달러인 모델로 하루 5만 건을 처리하면 하루 비용은?
    ① 60달러
    ② 120달러
    ③ 180달러
    ④ 240달러
    ②. 요청 하나는 2000×0.60/106+500×2.40/106=0.0012+0.0012=0.00242000 \times 0.60 / 10^6 + 500 \times 2.40 / 10^6 = 0.0012 + 0.0012 = 0.0024 달러이고, 하루는 0.0024×50000=1200.0024 \times 50000 = 120 달러입니다.
  3. Hugging Face 허브의 모델을 Databricks 모델 서빙으로 띄우고 Unity Catalog 권한으로 관리하려 합니다. 빈칸에 들어갈 것으로 알맞은 것을 둘 고르시오.
    mlflow.set_registry_uri("____")
    mlflow.transformers.log_model(..., registered_model_name="____")
    ① databricks-uc
    ② huggingface
    ③ main.llm.some_open_model
    ④ org/some-open-model
    ⑤ ChatDatabricks
    ①과 ③. 레지스트리를 Unity Catalog로 지정하고 3단 이름으로 등록합니다. ④는 허브의 모델 id로, 내려받을 때 씁니다.
  4. 후보 두 모델을 비교하는 실험에서 지켜야 할 것으로 알맞은 것은?
    ① 모델마다 가장 잘 나오는 프롬프트를 따로 쓴다
    ② 프롬프트·검색 결과·생성 파라미터를 고정하고 모델만 바꾼다
    ③ 큰 모델에는 평가 질문을 더 많이 준다
    ④ 모델 카드의 벤치마크 점수로 실험을 갈음한다
    ②. 조건이 하나라도 다르면 차이가 모델 때문인지 알 수 없습니다.
  5. 요구사항이 「고객 데이터가 워크스페이스 밖으로 나가면 안 되고, 사내 용어로 모델을 파인튜닝해야 한다」일 때 알맞은 선택은?
    ① 상용 API 모델을 외부 모델 엔드포인트로 연결한다
    ② 오픈 웨이트 모델을 워크스페이스 안에서 서빙하고 파인튜닝한다
    ③ 아무 모델이나 쓰고 출력 가드레일을 건다
    ④ 컨텍스트 창이 가장 긴 모델을 고른다
    ②. 데이터 위치와 가중치 수정, 두 조건이 모두 오픈 웨이트 쪽을 가리킵니다.
  6. 세 후보의 실험 결과가 다음과 같고, 요구사항의 문턱은 「평균 지연 2초 이하, 형식 오류율 2% 미만」입니다. 고를 모델은?
    ① 모델 X — 지연 1.2초, 형식 오류 3%, 요청당 0.002달러
    ② 모델 Y — 지연 1.8초, 형식 오류 1%, 요청당 0.004달러
    ③ 모델 Z — 지연 3.1초, 형식 오류 0.5%, 요청당 0.003달러
    ④ 세 모델 모두 탈락
    ②. X는 형식 오류, Z는 지연 문턱을 넘어 빠지고 남은 것은 Y 하나입니다. 문턱을 먼저 적용하고 비용은 그 뒤에 봅니다.

모델을 고르는 순서는 거르는 힘이 큰 것부터입니다. 라이선스와 데이터 위치처럼 문서로 정해지는 조건, 그다음 지연·비용·언어·컨텍스트 같은 속성, 마지막에 우리 데이터로 잰 실험입니다. 보기에 벤치마크 점수가 크게 적혀 있어도 앞의 두 단계에서 걸리는 후보라면 거기서 끝납니다.

Databricks GenAI Associate 시험 노트 전체 보기