에이전트·RAG

AGENT / 55번째 글

필터를 어디에 거느냐가 검색 결과를 바꾼다

메타데이터 필터링은 조건을 하나 더 붙이는 일이 아니라 벡터 탐색의 앞뒤 어디에 끼우느냐의 문제입니다. 사전·사후 필터링의 차이, 조건이 좁을 때 근사 탐색이 무너지는 지점, 필터로 쓸 값을 어떻게 설계할지 정리합니다.

PALDYN Team28 MIN READ

지난 글까지는 문서를 어떻게 읽어 색인에 넣을 것인가를 다뤘다. 이번에는 방향이 반대다. 넣어 둔 것 중에서 어떤 범위만 보게 할 것인가.

「지난달 계약서에서 해지 조항 찾아 줘」라는 질문에는 두 종류의 조건이 섞여 있다. 「해지 조항」은 뜻으로 찾는 것이고 「지난달」과 「계약서」는 맞거나 틀리거나 둘 중 하나다. 앞엣것은 벡터가 하고 뒤엣것은 필터가 한다. 여기서 메타데이터는 청크 본문 옆에 따로 붙여 두는 값 — 문서 종류, 부서, 작성 월 같은 것 — 이고, 필터는 그 값에 거는 「같다·안에 든다·이후다」 같은 조건이다. 벡터는 본문의 뜻을 거리로 재고, 필터는 메타데이터를 예·아니요로 가른다. 문제는 이 둘을 어떤 순서로 실행하느냐인데, 순서만 바꿔도 결과가 달라진다.

사전 필터링과 사후 필터링

벡터와 필터의 몫

두 조건을 가르는 기준은 단순하다. 답이 「얼마나 비슷한가」로 매겨지면 벡터의 몫이고, 「맞는가 틀리는가」로 갈리면 필터의 몫이다. 「해지 조항」과 「계약 종료 사유」는 낱말이 달라도 가까워야 하므로 벡터가 맡는다. 반대로 2026년 7월 문서와 2026년 6월 문서는 아무리 내용이 닮아도 「지난달」이라는 질문 앞에서는 하나만 맞다. 이런 조건을 벡터에게 맡기면 — 질문에 「지난달」을 넣은 채 임베딩만 하면 — 날짜는 수천 개 낱말 가운데 하나로 희석되어 거의 아무 힘도 못 쓴다. 날짜·종류·소유자처럼 경계가 분명한 것은 처음부터 메타데이터로 떼어 두고 필터로 거는 것이 맞다.

둘은 결과에 남기는 흔적도 다르다. 벡터는 순위를 만들고, 필터는 순위를 만들지 않는다. 필터를 통과한 청크끼리는 여전히 벡터 거리로 줄을 서고, 필터는 그 줄에 설 자격만 가른다. 그래서 「계약서를 더 우선해 달라」처럼 정도를 따지는 요구는 필터로 못 푼다 — 그건 점수에 가중치를 얹는 재순위의 일이다. 필터로 거는 것은 빠지면 안 되거나 들어오면 안 되는 것뿐이다.

사후 필터링

필터를 벡터 탐색 앞에 두느냐 뒤에 두느냐

사후 필터링(post-filtering)은 벡터 탐색을 먼저 돌려 가까운 순 50개를 뽑고, 그중 조건에 맞는 것만 남긴다. 구현이 가장 쉽다 — 검색은 그대로 두고 결과 목록을 한 번 훑어 거르면 되니 저장소가 필터를 몰라도 된다. 벡터 저장소를 처음 붙일 때 대부분 이 모양으로 시작하는 이유가 그것이다.

무너지는 자리는 정해져 있다. 조건을 통과하는 비율, 곧 통과율이 2%라고 하자. 가까운 순 50개를 뽑으면 그중 조건을 통과하는 것은 기댓값으로 50 × 0.02 = 1개다. 열 개를 요청했는데 한 개가 온다. 통과율이 0.5%면 넷 중 셋의 질의에서 하나도 안 남는다. 뽑는 수를 500으로 늘리면 열 개쯤 채워지지만 그만큼 탐색과 전송이 열 배로 무거워지고, 통과율이 질의마다 다르니 몇 배로 늘려야 할지를 미리 정할 수도 없다.

더 나쁜 것은 좋은 후보가 51등에 있었다는 사실조차 모른다는 점이다. 뽑히지 않았으니 거를 기회도 없었다. 결과가 적게 온 것은 눈에 띄지만, 더 나은 답이 바로 아래에 있었다는 것은 어떤 로그에도 남지 않는다.

사전 필터링

사전 필터링(pre-filtering)은 순서를 뒤집는다. 조건에 맞는 청크 800개를 먼저 정하고, 그 안에서만 가까운 것을 찾는다. 개수는 언제나 채워진다 — 조건에 맞는 것이 열 개 이상 있기만 하면 열 개가 온다. 대신 저장소가 필터를 알아야 하고, 탐색의 한가운데에 조건 검사가 들어간다. 저장소마다 구현은 둘로 나뉜다. 하나는 조건에 맞는 청크를 먼저 목록으로 뽑고 그 목록만 전부 비교하는 방식이고, 다른 하나는 평소처럼 이웃 그래프를 걷되 걸음마다 「이 노드가 조건을 통과하는가」를 물어 통과한 것만 결과에 담는 방식이다. 뒤엣것을 필터 중 탐색이라고 부르기도 한다. 앞엣것은 목록이 작을 때 빠르고 클 때 느리며, 뒤엣것은 그 반대다. 어느 쪽이든 그 대가가 무엇인지는 탐색이 어떻게 생겼는지를 봐야 보인다.

선택도

끊긴 그래프

대부분의 벡터 저장소는 전부 비교하지 않는다. 근사 최근접 탐색은 벡터끼리 이웃 관계를 그래프로 미리 엮어 두고, 한 노드에서 출발해 더 가까운 이웃으로 걸어가며 답에 접근한다. 수백만 개를 다 재지 않고도 답에 닿는 것은 이 그래프의 연결 덕분이다. 노드 하나하나가 목적지이면서 동시에 다른 곳으로 가는 길목이다.

조건이 좁아지면 근사 탐색의 길이 끊긴다

여기서 조건을 통과하지 못한 노드를 빼면, 그 노드가 맡고 있던 길목도 함께 사라진다. 그림 오른쪽처럼 남은 노드가 두 덩어리로 갈라지면 출발점에서 걸어가 닿을 수 있는 것은 한쪽뿐이다. 다른 쪽에 더 가까운 답이 있어도 있는데 안 나온다. 사후 필터링이 「개수가 모자란」 오류라면 이쪽은 「개수는 맞는데 더 좋은 것이 빠진」 오류다. 조용히 빠지는 종류라 로그만 봐서는 알아채기 어렵다.

세 구간

그래서 실제 저장소들은 조건이 얼마나 좁히느냐 — 선택도(selectivity), 즉 전체 중 조건을 통과하는 비율 — 를 먼저 재고 방식을 갈아탄다. 앞 절의 통과율과 같은 값이고, 저장소 쪽에서 부르는 이름이다.

선택도 남는 후보 저장소가 보통 하는 일
30% 이상 넉넉함 그래프를 걸으며 조건에 맞는 것만 결과에 담는다
1~30% 애매함 그래프를 걷되 탐색 폭을 크게 늘린다. 가장 비싼 구간
1% 미만 몇천 개 그래프를 버리고 남은 것을 전부 비교한다

위 구간은 쉽다. 노드 셋 중 하나만 빠져도 길은 대부분 이어져 있으니 평소처럼 걷고 결과에만 조건을 건다. 아래 구간도 쉽다. 100만 청크에서 1% 미만이면 1만 개 아래인데, 그 정도는 그래프 없이 전부 거리를 재도 수 밀리초 안에 끝난다. 남은 것이 작으면 근사할 이유 자체가 없다.

가운데 구간이 가장 어렵다. 그래프는 아직 쓸 만한데 군데군데 끊겨서, 놓치지 않으려면 훨씬 넓게 훑어야 한다. 남은 후보가 수만에서 수십만이라 전부 비교하기에는 많고, 그래프만 믿기에는 구멍이 크다. 지연이 몇 배로 뛰는 것이 보통 이 구간이다.

저장소의 판단

사전·사후를 강제로 지정하는 옵션이 있어도 직접 고르지 말고 저장소가 판단하게 두는 편이 낫다. 선택도는 질의마다 달라지므로 고정값으로 맞히기 어렵다. 같은 「부서: 법무」 조건도 법무팀 문서가 많은 회사와 적은 회사에서 구간이 다르고, 한 회사 안에서도 다른 조건과 겹치면 자릿수가 바뀐다.

다만 어떤 조건이 얼마나 좁히는지는 알고 있어야 한다. 사용자 한 명으로 좁히는 조건은 보통 0.01% 아래이고, 「문서 종류: 계약서」는 10~20%쯤이다. 둘을 함께 걸면 곱해져 더 좁아진다. 자주 쓰이는 조건 조합 열 개쯤의 선택도를 미리 세어 표로 두면, 어느 날 특정 화면만 느려졌을 때 그 조합이 가운데 구간에 빠졌는지를 바로 확인할 수 있다. 느린 질의를 고치는 첫걸음이 대개 이 표다.

필터 재현율

느린 것은 재면 보이지만, 빠뜨린 것은 따로 재야 보인다. 방법은 하나다. 조건이 걸린 질의를 수백 개 모아, 같은 조건 안에서 전부 비교한 정답 상위 10개를 먼저 구해 둔다. 그다음 실제 저장소가 돌려준 상위 10개와 견줘 몇 개가 겹치는지를 센다. 열 중 아홉이 겹치면 재현율이 0.9다 — 정답 가운데 찾아낸 비율이라는 뜻이다. 전부 비교는 느리지만 시험 때만 돌리므로 상관없다.

이 값을 질의 전체의 평균으로 하나만 내면 안 된다. 선택도 구간별로 나눠 적는다. 조건이 없는 질의에서 0.95가 나오는 저장소도 가운데 구간에서는 0.7로 떨어지는 일이 흔하고, 평균에 섞으면 그 하락이 안 보인다. 구간별 재현율이 기준 아래로 떨어지면 그 구간만 탐색 폭을 늘리거나 전부 비교로 넘기는 경계를 옮긴다. 저장소 버전을 올리거나 색인 설정을 바꿀 때마다 이 시험을 다시 돌려 두면, 「있는데 안 나오는」 오류가 처음으로 숫자가 된다.

필터 값 설계

갈래가 적은 값

색인에 넣을 수 있는 값과 필터로 쓸 만한 값은 다르다. 값의 가짓수, 곧 카디널리티(cardinality)가 그 둘을 가른다. 문서 종류, 부서, 연월, 언어처럼 가짓수가 손에 꼽히는 값이 좋은 필터다. 저장소는 이런 값마다 「이 값을 가진 청크 목록」을 미리 만들어 둘 수 있고, 조건을 걸 때 그 목록을 꺼내 오기만 하면 된다.

반대로 자유 문장이나 제목처럼 값이 거의 다 다른 것은 필터가 아니라 검색 대상이다. 「제목에 '해지'가 든 것」을 필터로 걸고 싶어지면 그건 그 낱말을 찾는 키워드 검색의 일이다. 카디널리티가 높은 값에 필터용 색인을 만들면 값마다 목록이 하나씩 생겨 색인이 본문보다 커지기도 한다.

값이 여럿인 칸도 있다. 문서 하나에 태그가 셋 붙거나, 한 문서를 여러 부서가 함께 쓰는 경우다. 이런 칸은 문자열 하나에 쉼표로 이어 넣지 말고 목록으로 넣어 「이 값을 포함한다」 조건을 걸 수 있게 한다. 쉼표로 이어 두면 legal을 찾는 조건이 legal,hr과 같지 않아서 그 문서가 빠진다. 같은 이유로 값의 표기도 한 벌로 못 박는다 — Legal·legal·법무가 섞이면 필터 입장에서는 서로 다른 세 부서다.

시각 자르기

시각이 그 대표적인 함정이다. 초 단위 타임스탬프로 범위 조건을 걸면 가짓수가 사실상 무한해져 색인이 커지고 느려진다. 질문이 원하는 것도 대개 초 단위가 아니다 — 「지난달」·「올해」·「최근 분기」처럼 거친 범위다. 그래서 2026-08처럼 월로 자른 값을 따로 두고, 정확한 시각은 결과를 정렬하거나 표시할 때만 쓴다. 「지난달」은 월 하나에 대한 같음 조건이 되고, 「최근 분기」는 월 세 개에 대한 「안에 든다」 조건이 된다.

chunk = {
    "text": "...",
    "vector": [...],
    "doc_type": "contract",      # 갈래 넷
    "dept": "legal",             # 갈래 열둘
    "year_month": "2026-08",     # 월로 자름
    "published_at": 1755734400,  # 정렬·표시용, 필터 아님
}

미리 넣는 값

나중에 쓸지 모르는 값도 지금 넣는다. 값을 추가하는 것 자체는 싸지만, 색인이 다 만들어진 뒤에 값을 채우려면 전체를 다시 훑어야 한다. 원문을 다시 읽어 값을 뽑고 청크마다 갱신하는 일인데, 청크가 수백만이면 그 작업만 며칠이다. 뒤에 나올 갱신 이야기에서 다시 보겠지만, 이 재작업 비용이 생각보다 크다. 원본 문서의 식별자와 그 문서 안에서의 위치는 지금 당장 쓸 일이 없어도 반드시 넣어 둔다 — 갱신·삭제·인용이 전부 그 둘에 기댄다.

조건 추출

질의 재작성과 추출

사용자는 필터 문법으로 묻지 않는다. 「지난달 계약서」라고 쓸 뿐이다. 그래서 자연어를 조건으로 옮기는 단계가 하나 필요하고, 보통 모델에게 시킨다 — 질의 재작성에서 다룬 그 자리에 조건 추출을 함께 붙인다. 모델은 질문을 받아 두 가지를 돌려준다. 검색에 쓸 다듬은 문장(「해지 조항」)과, 메타데이터에 걸 조건(doc_type = contract, year_month = 2026-07)이다. 두 일을 한 번의 호출로 묶으면 지연이 한 번만 붙는다.

이때 조건 칸에 쓸 수 있는 키와 값의 모양을 프롬프트에 적어 준다. 키를 모르면 모델은 category·type·kind 중 아무거나 지어낸다. 「지난달」 같은 상대 시각을 옮기려면 오늘 날짜도 넣어 줘야 한다 — 모델은 지금이 몇 월인지 모른다.

허용 목록 대조

모델이 만든 조건은 후보일 뿐 확정이 아니다. 「지난달」을 잘못 계산하거나 없는 부서 이름을 지어내면, 조건에 걸려 결과가 0건이 되고 사용자는 「자료가 없다」는 답을 받는다. 실제로는 있는데 말이다. 그래서 조건은 허용 목록, 곧 키마다 실제로 존재하는 값의 목록에 대조한 뒤에 쓴다. 부서 이름이 목록에 없으면 그 조건은 버리고 나머지로 검색한다. 「법무」를 「법무팀」으로 적는 정도의 어긋남은 가까운 값으로 고쳐 주고, 아예 없는 값만 버린다.

시각은 허용 목록이 아니라 범위로 대조한다. 오늘이 11월 3일인데 모델이 「지난달」을 2026-11로 옮겼다면 목록에는 있는 값이니 통과하지만 뜻은 틀렸다. 상대 시각만큼은 모델에게 맡기지 않고 코드가 계산하는 편이 낫다 — 모델에게는 「지난달」이라는 낱말을 그대로 뽑게 하고, 그 낱말을 월 값으로 바꾸는 일은 달력을 아는 함수가 한다.

0건 재시도

조건을 걸어 0건이 나오면 조건을 하나씩 떼면서 다시 시도한다. 떼는 차례는 덜 확실한 것부터다 — 모델이 질문에서 추론해 낸 부서보다 사용자가 직접 적은 「계약서」가 더 확실하다. 그리고 답할 때 「부서 조건은 빼고 찾았습니다」라고 밝힌다. 사용자는 그 한 줄로 결과를 어떻게 읽을지 정하고, 필요하면 조건을 고쳐 다시 묻는다. 조용히 0건을 돌려주는 것이 가장 나쁘고, 조용히 조건을 떼 엉뚱한 범위의 답을 정답처럼 내미는 것이 그다음으로 나쁘다. 재시도에는 횟수 상한도 둔다. 조건이 넷이면 하나씩 떼는 길만 해도 네 번이고, 조합까지 따지면 금세 열 번을 넘는다. 두 번쯤 떼어도 0건이면 그 질문은 조건보다 자료 쪽이 비어 있을 가능성이 크니, 그때는 없다고 답하고 어떤 조건으로 찾았는지를 함께 보여 준다.

권한 필터

두 필터의 차이

지금까지 필터는 「더 잘 찾기 위한 것」이었다. 그런데 조건이 접근 권한이면 성격이 완전히 달라진다. 필터가 한 번 새면 그것은 검색 품질 문제가 아니라 사고다.

차이가 세 가지에서 드러난다.

품질을 위한 필터 권한을 위한 필터
빠뜨렸을 때 결과가 조금 나빠진다 남의 문서가 노출된다
정하는 주체 모델이 질의에서 뽑아도 된다 서버가 세션에서 정한다. 모델은 손대지 않는다
0건일 때 조건을 떼고 재시도 그대로 0건. 절대 떼지 않는다

앞 절의 「0건이면 조건을 떼고 다시」라는 규칙이 권한에 그대로 적용되면 곧바로 유출이다. 영업팀 직원이 인사 문서를 찾다가 0건을 받고, 재시도 단계가 권한 조건을 「덜 확실한 것」으로 떼어 내면 인사 문서가 나온다. 이 사고는 누가 악의를 품지 않아도 난다.

통로 분리

품질 조건과 권한 조건을 다른 통로로 넘긴다

그래서 두 종류의 조건을 코드에서 아예 다른 통로로 다룬다. 품질 조건은 모델의 추출 결과에서 오고, 허용 목록 대조와 재시도를 거친다. 권한 조건은 로그인 세션에서 서버가 만들고, 검색 함수 안쪽에서 무조건 덧붙인다. 검색 함수를 부르는 쪽이 권한 조건을 넘기는 모양이면, 언젠가 누군가 그 인자를 빠뜨린다. 함수가 세션을 직접 받아 스스로 붙이게 해 두면 빠뜨릴 자리가 없다. 모델이 프롬프트 주입으로 「권한 조건을 빼라」는 지시를 받아도 닿을 수 있는 곳이 아니다.

권한 조건은 대개 선택도가 아주 낮다는 점도 기억해 둔다. 한 사람이 볼 수 있는 문서가 전체의 1% 아래인 것은 흔하고, 그러면 앞의 세 구간 가운데 맨 아래에 떨어져 전부 비교로 돌아간다. 권한을 붙였더니 검색이 오히려 빨라지는 일이 있는 것은 이 때문이다.

유출 시험

권한 필터는 잘 돌 때 아무 표시도 안 나므로, 새는지를 일부러 찔러 봐야 안다. 시험용 계정 둘을 만들고 한쪽에만 보이는 문서를 몇 개 심어 둔다. 그 문서의 제목과 본문 문장을 그대로 질문으로 바꿔 다른 쪽 계정으로 던졌을 때 결과가 0건인지를 본다. 뜻이 가장 가까운 질문을 던지는 것이 요점이다 — 권한 필터가 빠졌다면 그 문서가 반드시 1등으로 나와야 하는 질문이라, 0건이 아니면 곧바로 드러난다.

이 시험은 재시도 경로까지 지나게 짠다. 0건이 나온 뒤 조건을 떼며 다시 찾는 단계, 질의 재작성 단계, 답에 출처를 붙이는 단계가 모두 같은 권한 조건 아래에서 도는지를 본다. 유출은 대개 본 검색이 아니라 이런 곁길에서 난다. 그리고 배포 때마다 자동으로 돌린다. 권한 코드는 한 번 맞게 짜 두면 손댈 일이 드물어서, 다른 곳을 고치다 깨졌을 때 아무도 안 본다.

고객사가 여럿일 때

여러 고객사의 데이터를 한 색인에 담을 때 이 문제가 본격적으로 커진다. 고객사 하나의 문서가 다른 고객사 화면에 한 번이라도 뜨면 계약이 끝난다. 이 자리에서는 필터 하나로 막을지, 고객사마다 색인을 따로 둘지부터 정해야 한다. 그리고 권한이 바뀌거나 문서가 지워졌을 때 메타데이터가 얼마나 빨리 따라가는지가 같은 무게로 걸린다 — 퇴사자 권한을 걷었는데 색인의 값이 하루 늦게 바뀌면 그 하루가 구멍이다. 다음 글은 그 뒤쪽, 바뀐 문서가 색인에 도착하기까지를 다루고, 고객사를 가르는 설계는 그다음에 이어진다.

정리

  • 필터는 벡터 탐색의 앞이나 뒤에 놓이고, 순서가 결과 개수를 바꾼다
  • 사후 필터링은 조건이 좁을수록 결과가 비고, 뽑히지 않은 좋은 후보는 알 길이 없다
  • 사전 필터링은 개수를 채우지만 후보가 줄면 근사 탐색 그래프가 끊겨 조용히 빠뜨린다
  • 선택도에 따라 저장소가 방식을 갈아탄다. 1~30% 구간이 가장 비싸다
  • 필터로 쓸 값은 카디널리티를 낮게, 시각은 월 단위로 잘라 따로 넣는다
  • 빠뜨림은 조건 안의 전부 비교와 견준 재현율로, 선택도 구간마다 따로 잰다
  • 모델이 뽑은 조건은 허용 목록에 대조하고, 0건이면 떼면서 재시도하되 그 사실을 밝힌다
  • 권한 조건은 서버가 정하고 절대 떼지 않는다. 품질 필터와 같은 통로로 다루지 않는다
  • 권한이 새는지는 다른 계정으로 그 문서를 겨냥한 질문을 던져 배포 때마다 확인한다

읽어주셔서 감사합니다. 😊

LATEST

에이전트·RAG의 최신 글

에이전트·RAG2026.08.23

에이전트는 어디서 어긋나기 시작하는가

에이전트가 이상한 답을 낼 때 증상은 마지막에 보이지만 어긋난 자리는 그보다 앞입니다. 한 걸음이 무너지는 여섯 자리를 나누고, 증상에서 원인을 거슬러 찾는 방법과 자리별 처방을 정리합니다.

29 MIN
에이전트·RAG2026.08.23

에이전트가 무엇을 했는지 나중에 알 수 있게 만들기

에이전트는 같은 입력에도 다른 경로로 갑니다. 그래서 로그 몇 줄로는 왜 그렇게 됐는지 복원이 안 됩니다. 트레이스를 어떻게 나누고 구간마다 무엇을 붙이며 어떤 지표를 볼지 정리합니다.

29 MIN
에이전트·RAG2026.08.23

에이전트 비용은 걸음 수보다 빨리 늘어난다

걸음이 두 배면 비용은 두 배가 아니라 서너 배입니다. 왜 그렇게 되는지, 어디서 새는지, 상한을 몇 겹으로 어떻게 거는지와 실제로 효과가 큰 순서대로의 대응을 정리합니다.

13 MIN