Databricks Context Engineer Associate

Databricks Context Engineer Associate 시험 노트개념 정리18 MIN

Genie 지시·예시 질문·trusted SQL

Genie 스페이스에서 업무 용어를 일반 지시로 정의하고, 예시 질문·trusted SQL·SQL 표현식을 언제 쓰는지 가른 뒤, 운영 전에 벤치마크로 검증하고 해석 실패마다 고칠 자리를 고르는 법을 정리합니다.

둘째 영역 System Prompt and Instruction Design은 시험 가이드에서 9%를 차지하고, 계획은 이를 두 편으로 나눴습니다. 이 노트는 그중 Genie 쪽입니다. Genie 스페이스는 업무 사용자가 자연어로 물으면 Genie가 SQL을 만들어 테이블에 실행하고 답을 돌려주는 대화형 분석 공간입니다. 여기서 모델이 받는 지시는 사람이 한 문단으로 쓰는 시스템 프롬프트만이 아닙니다. 스페이스 작성자가 넣는 일반 지시, 예시 SQL, SQL 표현식, 그리고 사용자에게 보여 주는 예시 질문이 모두 Genie가 질문을 해석할 때 쓰는 재료입니다. 이 노트는 재료마다 맡는 일을 가르고, 운영 전에 검증하는 법과 해석이 틀렸을 때 어느 재료를 고칠지 고르는 순서를 정리합니다.

일반 지시

업무 용어 정의

일반 지시(general instructions)는 Genie 스페이스에 글로 적어 넣는 지침으로, Genie가 질문을 해석할 때마다 함께 읽습니다. 01번 노트의 네 재료로 말하면 지시에 해당하고, 매 질문마다 실리는 고정 비용입니다. 가장 쓸모 있는 자리는 회사 안에서만 통하는 말을 테이블의 말로 옮겨 주는 것입니다. 「활성 고객」이 최근 90일 안에 주문한 고객을 뜻한다거나, 「회계연도」가 2월에 시작한다거나, 「매출」이 반품을 뺀 순매출을 뜻한다는 것은 테이블 이름과 컬럼 이름만 보고는 알 수 없습니다.

- "활성 고객"은 orders.order_date 기준 최근 90일 안에 주문이 한 건 이상인 고객이다.
- 회계연도는 2월 1일에 시작한다. "1분기"는 2~4월이다.
- "매출"은 반품을 뺀 순매출(net_amount)이다. gross_amount는 쓰지 않는다.
- 금액은 원 단위로 반올림해 보여 준다.

지시가 맞지 않는 자리

일반 지시는 자유로운 글이라 무엇이든 적을 수 있지만, 그만큼 해석의 여지도 남습니다. 「매출은 순매출이다」라는 문장은 Genie가 어느 컬럼에 어떤 식을 써야 하는지까지 정해 주지 않습니다. 같은 정의를 SQL로 못 박을 수 있다면 다음 절의 SQL 표현식이나 예시 SQL이 더 정확합니다. Databricks 문서의 모범 사례도 SQL로 적을 수 있는 지식은 SQL 쪽 재료에 두고, 일반 지시는 SQL로 옮기기 어려운 전반적 맥락과 서식에 쓰라는 방향입니다. 일반 지시를 길게 늘리면 매 질문의 토큰이 늘고 지시끼리 부딪힐 여지도 커져 03번 노트의 주의 예산을 먹습니다.

SQL 표현식

측정·필터·차원

SQL 표현식(SQL expressions)은 자주 쓰는 업무 개념을 이름 붙인 SQL 조각으로 정의해 두는 재료입니다. 세 갈래가 있습니다. 측정(measure)은 집계 식이고, 필터(filter)는 행을 거르는 조건이며, 차원(dimension)은 값을 묶는 기준입니다.

갈래 이름 예 SQL 조각 예
측정 순매출 SUM(net_amount)
필터 대형 주문 net_amount >= 1000000
차원 회계 분기 FLOOR(((MONTH(order_date) + 10) % 12) / 3) + 1

질문에 「대형 주문의 순매출」이 나오면 Genie는 이 두 조각을 가져다 SQL을 조립합니다. 정의가 한 곳에 있으니 같은 말을 여러 질문이 같은 뜻으로 씁니다.

지시와 표현식의 경계

경계는 그 개념이 컬럼 위의 식 하나로 떨어지는가입니다. 순매출, 대형 주문, 회계 분기는 식 하나로 떨어지므로 표현식이 맞습니다. 「결과에 항상 단위를 붙여라」나 「질문이 지역을 말하지 않으면 전체를 기준으로 답하라」는 식이 아니라 행동 규칙이므로 일반 지시에 남깁니다. 시나리오가 「같은 용어를 질문마다 다르게 계산한다」를 말하면 그 용어를 표현식으로 옮기는 보기가 가장 직접적입니다.

예시 SQL과 trusted SQL

예시 SQL 쿼리

예시 SQL 쿼리는 자연어 질문 하나와 그 질문에 맞는 정답 SQL을 짝지어 스페이스에 넣어 둔 것입니다. 여러 테이블을 특정 방식으로 조인하거나 창 함수를 써야 하는 복잡한 질문처럼, 식 하나가 아니라 쿼리 전체의 모양을 가르쳐야 할 때 씁니다. Genie는 비슷한 질문이 들어오면 이 짝을 참고해 SQL을 만듭니다. 학습 글에서 말하는 few-shot 예시를 Genie 식으로 넣는 자리라고 볼 수 있습니다.

trusted asset

trusted asset은 작성자가 정답을 보증하는 자산으로, 파라미터가 있는 예시 SQL 쿼리와 Unity Catalog에 등록한 SQL 함수가 여기에 듭니다. Genie가 이 자산을 그대로 써서 답하면 응답에 신뢰 표시가 붙어, 사용자는 그 답이 작성자가 검증한 쿼리에서 나왔다는 것을 알 수 있습니다. 파라미터는 이름 붙은 표식으로 적습니다.

-- 질문: "특정 지역의 이번 회계연도 순매출은?"
SELECT region, SUM(net_amount) AS net_revenue
FROM sales.gold.orders
WHERE region = :region
  AND order_date >= :fiscal_year_start
GROUP BY region;

사용자가 「서울 지역 이번 회계연도 순매출」을 물으면 Genie는 :region에 서울을 넣어 이 쿼리를 실행합니다. 조인과 집계는 작성자가 쓴 그대로이고 바뀌는 것은 값뿐입니다. 정확도가 가장 중요한 핵심 지표, 예를 들어 경영진 보고에 쓰는 매출 수치는 trusted asset으로 고정해 두는 것이 맞습니다.

예시 질문

사용자에게 보이는 질문

예시 질문(sample questions)은 Genie 스페이스를 처음 연 사용자에게 보여 주는 질문 목록입니다. 이 스페이스가 무엇에 답할 수 있는지를 알려 주고, 사용자가 답할 수 있는 범위 안에서 묻도록 이끕니다. 예시 SQL 쿼리와 이름이 비슷하지만 하는 일이 다릅니다.

예시 질문 예시 SQL 쿼리
누가 보나 사용자 Genie
담는 것 자연어 질문만 질문과 정답 SQL의 짝
고치는 문제 사용자가 범위 밖을 묻는다 Genie가 SQL을 잘못 만든다

범위 알리기

예시 질문은 정확도를 직접 올리지 않습니다. 그 대신 질문의 분포를 바꿉니다. 스페이스가 영업 실적만 담고 있는데 사용자가 재고를 묻는다면, 그것은 Genie가 SQL을 잘못 짠 것이 아니라 사용자가 범위를 몰랐던 것입니다. 이때 예시 질문에 영업 실적 질문 서너 개를 두면 처음 온 사용자가 무엇을 물을지 압니다. 시나리오가 「사용자가 이 스페이스가 다루지 않는 데이터를 묻는다」를 말할 때 예시 질문이 답이 되고, 「같은 질문에 틀린 SQL이 나온다」를 말할 때는 답이 아닙니다.

운영 전 검증

벤치마크

벤치마크는 질문과 정답 SQL의 짝을 모아 두고 Genie에게 그 질문을 던져 답이 정답과 맞는지 재는 평가 기능입니다. 지시나 표현식을 고칠 때마다 같은 벤치마크를 다시 돌리면 고친 것이 정확도를 올렸는지, 다른 질문을 망가뜨렸는지 숫자로 보입니다. 벤치마크 질문은 예시 SQL에 넣은 질문과 따로 둡니다. 같은 질문을 쓰면 Genie가 넣어 둔 정답을 참고해 맞히는 것이라 처음 보는 질문에 대한 정확도를 재지 못합니다.

투입 판단

운영 투입 전에는 벤치마크 질문을 실제 사용자가 할 법한 말투로, 표현을 바꿔 가며 여러 벌 둡니다. 「이번 분기 매출」, 「1분기 순매출이 얼마야」, 「Q1 revenue」처럼 같은 뜻을 다른 말로 물었을 때 같은 SQL이 나오는지가 업무 용어 정의가 제대로 됐는지를 보여 줍니다. 벤치마크 질문 40개 중 34개를 맞혔다면 정확도는 34÷40=0.8534 \div 40 = 0.85 입니다. 틀린 6개를 하나씩 열어 어느 재료가 빠졌는지 찾고, 고친 뒤 같은 40개를 다시 돌립니다. 투입한 뒤에는 사용자의 피드백이 붙은 질문을 벤치마크에 더해 갑니다.

고칠 자리 고르기

실패 갈래와 재료

해석이 틀렸을 때 가장 먼저 할 일은 Genie가 만든 SQL을 열어 어디서 어긋났는지 보는 것입니다. 어긋난 자리가 고칠 재료를 정합니다.

관찰한 실패 고칠 재료
업무 용어를 엉뚱한 컬럼으로 옮긴다 SQL 표현식, 또는 일반 지시의 용어 정의
같은 용어를 질문마다 다르게 계산한다 SQL 표현식
여러 테이블 조인 모양이 틀린다 예시 SQL 쿼리
핵심 지표가 매번 조금씩 다르게 나온다 trusted asset(파라미터 쿼리·UC 함수)
결과 서식·단위·기본 범위가 제멋대로다 일반 지시
사용자가 스페이스 밖의 데이터를 묻는다 예시 질문
컬럼 뜻 자체를 모른다 UC 테이블·컬럼 설명(07번 노트)

헷갈리는 처방

두 처방이 그럴듯하지만 대개 직접적이지 않습니다. 첫째는 틀릴 때마다 일반 지시에 문장을 더하는 것입니다. SQL로 못 박을 수 있는 정의를 글로 쌓으면 지시가 길어지고 서로 부딪힙니다. 둘째는 예시 질문을 늘리는 것입니다. 예시 질문은 사용자에게 보이는 목록이라 Genie의 SQL 생성을 고치지 못합니다. 시험 가이드는 이 영역의 목표를 해석 실패에 맞는 구성 요소를 고르는 일로 적고 있으므로, 시나리오에서는 「무엇이 어긋났는가」를 먼저 짚고 표에서 짝을 찾는 꼴로 풀 수 있습니다.

연습 문제

  1. Genie 스페이스에서 「대형 주문」을 어떤 질문은 50만 원 이상으로, 어떤 질문은 100만 원 이상으로 해석합니다. 회사 기준은 100만 원 이상입니다. 가장 직접적인 조치는?
    ① 예시 질문에 「대형 주문은 몇 건인가」를 더한다
    ② net_amount >= 1000000을 「대형 주문」 필터로 SQL 표현식에 정의한다
    ③ 스페이스에 테이블을 더 넣는다
    ④ 사용자에게 금액을 직접 적어 묻게 한다
    ②. 식 하나로 떨어지는 업무 개념이라 표현식으로 정의하면 모든 질문이 같은 조건을 씁니다. ①은 사용자에게 보이는 목록이라 SQL 생성을 바꾸지 않습니다.
  2. 예시 질문과 예시 SQL 쿼리의 차이로 옳은 것은?
    ① 예시 질문은 Genie만 보고 사용자에게는 보이지 않는다
    ② 예시 SQL 쿼리는 질문과 정답 SQL의 짝이고 예시 질문은 자연어 질문만 담는다
    ③ 둘 다 응답에 신뢰 표시를 붙인다
    ④ 예시 질문을 늘리면 조인 오류가 줄어든다
    ②. 예시 질문은 사용자에게 범위를 알리는 목록이고, 정답 SQL을 담아 Genie의 생성을 이끄는 쪽은 예시 SQL 쿼리입니다.
  3. 벤치마크 질문 50개 중 41개를 맞혔습니다. SQL 표현식을 추가한 뒤 같은 50개에서 46개를 맞혔습니다. 정확도는 몇 %p 올랐습니까?
    10%p. 고치기 전 41÷50=0.8241 \div 50 = 0.82, 고친 뒤 46÷50=0.9246 \div 50 = 0.92 이므로 0.92−0.82=0.100.92 - 0.82 = 0.10 입니다.
  4. 경영진 보고용 순매출을 지역별로 묻는 질문에서 답이 매번 조금씩 다른 SQL로 만들어집니다. 정답 쿼리를 고정하고 지역만 바꿔 넣게 하려면? 둘 고르시오.
    ① :region 파라미터가 있는 예시 SQL 쿼리를 trusted asset으로 둔다
    ② 같은 로직을 Unity Catalog SQL 함수로 등록해 스페이스에 넣는다
    ③ 일반 지시에 「순매출을 정확히 계산하라」를 적는다
    ④ 예시 질문에 지역별 순매출 질문을 넣는다
    ⑤ 벤치마크 질문을 지운다
    ①과 ②. 파라미터 쿼리와 UC SQL 함수가 trusted asset이고, Genie가 이를 써서 답하면 값만 바뀌고 로직은 고정됩니다.
  5. 벤치마크 질문을 예시 SQL 쿼리에 넣은 질문과 똑같이 두면 생기는 문제는?
    ① 벤치마크가 실행되지 않는다
    ② Genie가 넣어 둔 정답을 참고해 맞히므로 처음 보는 질문의 정확도를 재지 못한다
    ③ 예시 질문 목록이 사라진다
    ④ trusted asset 표시가 붙지 않는다
    ②. 평가 질문과 예시 질문이 겹치면 정확도가 부풀려집니다. 같은 뜻을 다른 말로 바꾼 질문을 따로 둡니다.
  6. 사용자가 「Genie 답의 금액에 단위가 없다」고 불평합니다. 고칠 재료는?
    ① SQL 표현식의 측정
    ② 일반 지시
    ③ 예시 질문
    ④ UC 컬럼 설명
    ②. 단위 표기는 식이 아니라 결과를 보여 주는 행동 규칙이라 일반 지시에 둡니다.
Databricks Context Engineer Associate 시험 노트 전체 보기