Databricks Context Engineer Associate 시험 노트개념 정리14 MIN
UC 메타데이터와 Genie 객체 큐레이션
빠지거나 부실한 Unity Catalog 테이블·컬럼 설명을 찾아 채우고, Genie 스페이스에 담을 managed table·view·파라미터 쿼리·SQL 함수를 업무 도메인별로 골라 정확도를 가장 크게 올리는 구성 변경을 고르는 법을 정리합니다.
셋째 영역 Knowledge Retrieval and Genie Configuration은 시험 가이드에서 20%로 일곱 영역 가운데 가장 큽니다. 계획은 이를 다섯 편으로 나눴고, 이 노트가 첫 편입니다. 05번 노트가 Genie 스페이스 안에서 작성자가 쓰는 지시를 다뤘다면, 이 노트는 그 아래층, 곧 Genie가 읽는 데이터 객체와 그 객체에 붙은 설명을 다룹니다. Genie가 SQL을 짜려면 어느 테이블의 어느 컬럼이 질문의 무엇에 해당하는지 알아야 하는데, 그 판단의 근거가 Unity Catalog에 붙은 메타데이터, 곧 테이블·컬럼의 설명, 태그, 키 관계 같은 데이터에 관한 데이터입니다. 메타데이터가 비면 Genie는 이름만 보고 짐작합니다.
UC 메타데이터
테이블·컬럼 설명
Unity Catalog의 테이블과 컬럼에는 설명(comment)을 달 수 있습니다. Genie는 스페이스에 넣은 테이블의 스키마와 함께 이 설명을 읽고 질문의 말과 컬럼을 짝짓습니다. 설명은 SQL로 답니다.
COMMENT ON TABLE sales.gold.orders IS
'주문 한 건당 한 행. 반품은 status = ''RETURNED''로 남는다.';
ALTER TABLE sales.gold.orders
ALTER COLUMN amt2 COMMENT '반품을 뺀 순매출(원). 매출을 물으면 이 컬럼을 쓴다.';
ALTER TABLE sales.gold.orders
ALTER COLUMN cust_cd COMMENT '고객 코드. customers.customer_id와 같은 값이다.';
카탈로그 탐색기에서 AI가 만든 설명 초안을 받아 검토한 뒤 저장할 수도 있습니다. 초안은 시작점일 뿐이라, 업무 뜻이 맞는지 사람이 확인합니다.
부실한 메타데이터 찾기
빠진 설명은 information_schema로 셉니다. 설명이 아예 없는 컬럼뿐 아니라, 있어도 이름을 되풀이할 뿐인 설명(amt2에 「amt2 컬럼」)도 부실한 것입니다.
SELECT table_name, column_name
FROM sales.information_schema.columns
WHERE table_schema = 'gold'
AND (comment IS NULL OR length(comment) < 10);
특히 먼저 볼 것은 이름만으로 뜻이 안 드러나는 컬럼입니다. amt1·amt2처럼 번호가 붙은 컬럼, flag·type 같은 일반명, 코드값을 담는 컬럼, 두 테이블에서 같은 값을 다른 이름으로 담는 조인 키가 그렇습니다. 이름이 net_revenue처럼 뜻을 말해 주는 컬럼은 설명이 짧아도 Genie가 덜 헷갈립니다.
설명과 정확도
정확도 차이
메타데이터가 정확도에 주는 영향은 같은 벤치마크로 잽니다. 05번 노트의 벤치마크를 설명을 채우기 전과 후에 돌리면 됩니다. 예를 들어 질문 60개에서 설명 없이 39개를 맞히다가, 이름이 모호한 컬럼 열둘에 설명을 단 뒤 51개를 맞혔다면 정확도는 에서 로 올랐습니다. 틀린 질문을 열어 보면 어느 컬럼을 잘못 골랐는지가 남아 있어, 다음에 설명을 달 컬럼이 거기서 정해집니다.
영향이 가장 큰 변경
시나리오가 여러 구성 변경을 보기로 주고 「정확도를 가장 크게 올릴 것」을 고르게 하면, 실패의 원인과 가장 가까운 층을 찾습니다. Genie가 컬럼을 잘못 고르는데 그 컬럼에 설명이 없다면, 일반 지시를 늘리는 것보다 그 컬럼에 설명을 다는 것이 직접적입니다. 설명은 그 테이블을 쓰는 모든 스페이스와 에이전트가 함께 읽으므로 한 번 고친 것이 여러 곳에 퍼집니다. 반대로 한 스페이스에서만 통하는 업무 용어라면 05번 노트의 SQL 표현식이나 지시가 맞습니다.
| 관찰 | 영향이 큰 변경 |
|---|---|
| 이름이 모호한 컬럼을 잘못 고른다 | 그 컬럼의 UC 설명을 채운다 |
| 두 테이블을 엉뚱한 키로 조인한다 | 키 관계를 설명이나 제약으로 적는다 |
| 관련 없는 비슷한 테이블을 쓴다 | 스페이스에서 그 테이블을 뺀다 |
| 핵심 지표 계산이 흔들린다 | trusted asset으로 고정한다 |
담을 객체
managed table과 view
Genie 스페이스에는 Unity Catalog에 등록된 테이블과 뷰를 넣습니다. managed table은 Unity Catalog가 저장 위치와 수명까지 관리하는 테이블이고, view는 저장된 쿼리로 다른 테이블을 원하는 모양으로 보여 주는 객체입니다. 원천 테이블이 여러 시스템의 원시 컬럼을 그대로 담고 있다면, 업무에 필요한 컬럼만 알아보기 쉬운 이름으로 골라 낸 뷰를 만들어 그 뷰를 넣는 편이 낫습니다. Genie가 보는 컬럼 수가 줄고 이름이 뜻을 말하게 됩니다. 테스트용 행처럼 답에 섞이면 안 되는 데이터도 뷰의 조건에서 미리 걸러 둘 수 있어, Genie가 질문마다 그 조건을 기억할 필요가 없습니다.
CREATE VIEW sales.gold.v_orders_for_genie AS
SELECT order_id,
cust_cd AS customer_id,
order_dt AS order_date,
amt2 AS net_revenue,
region
FROM sales.silver.orders_raw
WHERE status <> 'TEST';
파라미터 쿼리와 SQL 함수
테이블과 뷰가 Genie가 SQL을 짤 재료라면, 파라미터 쿼리와 SQL 함수는 이미 짜 둔 SQL입니다. 05번 노트에서 본 것처럼 둘은 trusted asset이 됩니다. SQL 함수는 Unity Catalog에 등록한 함수로, 테이블을 돌려주는 함수라면 Genie가 인자만 채워 부릅니다.
CREATE FUNCTION sales.gold.net_revenue_by_region(p_region STRING, p_from DATE)
RETURNS TABLE (region STRING, net_revenue DECIMAL(18, 0))
COMMENT '지역과 시작일을 받아 그 뒤의 순매출 합계를 돌려준다'
RETURN
SELECT region, SUM(net_revenue)
FROM sales.gold.v_orders_for_genie
WHERE region = p_region AND order_date >= p_from
GROUP BY region;
파라미터 쿼리는 스페이스 안에 두는 예시 SQL이라 그 스페이스에서만 쓰이고, SQL 함수는 UC 객체라 권한을 받은 다른 스페이스나 에이전트도 부를 수 있습니다. 여러 곳에서 같은 계산을 써야 하면 함수가 맞습니다.
도메인별 큐레이션
스페이스 하나에 도메인 하나
큐레이션은 스페이스에 넣을 객체를 골라 담는 일입니다. 원칙은 스페이스 하나가 업무 도메인 하나를 맡는 것입니다. 영업, 재무, 인사 테이블을 한 스페이스에 다 넣으면 Genie가 질문마다 고를 후보가 늘고, 「매출」이라는 말이 영업 테이블과 재무 테이블 양쪽에 걸려 엉뚱한 쪽을 쓰기 쉽습니다. 이것은 02번 노트의 context confusion이 Genie에서 나타난 모양입니다. Databricks 문서도 작게 시작해 필요한 테이블만 넣고 넓혀 가라는 방향을 권합니다.
고르는 순서
큐레이션은 다음 순서로 합니다.
- 이 스페이스가 답할 질문 목록을 먼저 적는다
- 그 질문에 답하는 데 필요한 테이블만 고른다
- 원시 테이블이면 업무용 뷰를 만들어 대신 넣는다
- 고른 객체의 UC 설명을 채운다
- 핵심 지표를 파라미터 쿼리나 SQL 함수로 고정한다
- 벤치마크로 정확도를 재고, 질문이 안 쓰는 객체는 뺀다
마지막 단계가 중요합니다. 「혹시 쓰일지 모른다」로 넣은 테이블은 Genie의 후보만 늘립니다. 시험 가이드가 이 목표를 도메인별 큐레이션으로 적은 것처럼, 시나리오는 넓은 스페이스에서 정확도가 떨어지는 상황을 주고 객체를 줄이거나 도메인별로 나누는 보기를 고르게 하는 꼴로 세울 수 있습니다.
연습 문제
Genie가 「매출」을 물으면
amt1(총매출)을 쓰는데 회사 기준은amt2(순매출)입니다. 두 컬럼 모두 UC 설명이 비어 있습니다. 정확도를 가장 직접 올리는 변경은?
① 스페이스에 테이블을 더 넣는다
②amt1·amt2에 UC 컬럼 설명을 달아 뜻을 적는다
③ 예시 질문을 늘린다
④ Genie 대신 다른 모델을 쓴다②. 원인이 이름만으로 뜻이 안 드러나는 컬럼이고 설명이 비어 있습니다. 설명은 그 테이블을 쓰는 다른 스페이스에도 함께 퍼집니다.설명을 채우기 전 벤치마크 80개 중 52개, 채운 뒤 68개를 맞혔습니다. 정확도는 몇 %p 올랐습니까?
20%p. , 이므로 입니다.information_schema.columns에서 설명이 없는 컬럼을 찾는 조건으로 알맞은 것은?
①WHERE comment IS NULL
②WHERE column_name IS NULL
③WHERE table_name = comment
④WHERE data_type IS NULL①. 설명은comment컬럼에 있고, 설명이 없으면 NULL입니다. 이름만 되풀이한 짧은 설명까지 잡으려면 길이 조건을 함께 겁니다.영업·재무·인사 테이블 40개를 한 Genie 스페이스에 넣었더니 「매출」 질문에 재무 테이블과 영업 테이블이 번갈아 쓰입니다. 알맞은 조치를 둘 고르시오.
① 업무 도메인별로 스페이스를 나눈다
② 스페이스의 질문이 쓰지 않는 테이블을 뺀다
③ 테이블을 더 넣어 선택지를 넓힌다
④ 예시 질문을 지운다
⑤ 모든 컬럼 설명을 지운다①과 ②. 후보가 많을수록 비슷한 테이블 사이에서 헷갈립니다. 도메인을 나누고 쓰지 않는 객체를 빼서 후보를 줄입니다.같은 순매출 계산을 Genie 스페이스 세 곳과 에이전트 하나가 함께 써야 합니다. 알맞은 형태는?
① 스페이스마다 일반 지시에 계산식을 적는다
② Unity Catalog SQL 함수로 등록하고 각 곳에서 부른다
③ 스페이스 하나에만 파라미터 쿼리로 둔다
④ 예시 질문에 계산식을 적는다②. SQL 함수는 UC 객체라 권한을 받은 여러 스페이스와 에이전트가 같은 정의를 씁니다. 파라미터 쿼리는 그 스페이스 안에만 있습니다.원천 테이블에 컬럼이 120개이고 이름이
c_017꼴입니다. Genie 스페이스에 넣기 전에 할 일로 가장 알맞은 것은?
① 그대로 넣고 일반 지시에 120개 컬럼의 뜻을 적는다
② 업무에 필요한 컬럼만 알아보기 쉬운 이름으로 고른 뷰를 만들어 넣는다
③ 테이블을 복제해 두 번 넣는다
④ 컬럼 이름을 그대로 두고 예시 질문만 더한다②. 뷰가 Genie가 보는 컬럼 수를 줄이고 이름이 뜻을 말하게 합니다. ①은 매 질문에 긴 지시를 싣습니다.

