지난 글 끝에서 권한 값이 낡으면 필터가 소용없다는 이야기를 했다. 그 문제가 가장 커지는 자리가 여기다 — 한 시스템이 여러 고객사의 문서를 함께 다룰 때. 이렇게 한 서비스를 여러 고객이 나눠 쓰는 구조를 멀티테넌트라 부르고, 그 고객 하나하나를 테넌트라 부른다. B2B로 파는 RAG 서비스는 거의 다 이 모양이다.
사내용 RAG에서는 검색이 조금 새도 대개 사고까지는 안 간다. 같은 회사 사람이 못 볼 문서를 본 것이다. 그런데 다른 회사의 문서가 검색되면 그것은 품질 문제가 아니라 계약 위반이고, 대개 한 건으로도 서비스가 끝난다. 고객사 A의 직원이 「우리 단가표」를 물었는데 경쟁사 B의 단가표가 근거로 나오는 장면을 떠올리면 된다. 그래서 이 설계는 성능보다 격리를 먼저 놓고 시작한다.
테넌트 분리 방식
가르는 방법은 셋이다. 셋은 격리의 세기와 고객사 하나에 드는 비용을 맞바꾸는 세 점이고, 어느 하나가 정답인 것이 아니라 고객사의 수와 크기에 따라 맞는 점이 다르다.
전용 색인
고객사마다 색인을 따로 두는 방식이 가장 세다. 파일이 아예 다르니 조건을 빼먹어도 남의 것이 나올 수 없다. 검색 코드에 버그가 있어도 그 버그가 닿을 수 있는 범위가 그 고객사의 색인뿐이다.
부수 이득도 크다. 고객사별로 임베딩 모델이나 청크 크기를 다르게 가져갈 수 있다. 법률 문서가 주인 고객사와 짧은 상담 기록이 주인 고객사는 맞는 청크 크기가 다르다. 한국어 고객사와 일본어 고객사에 다른 임베딩 모델을 쓸 수도 있다. 그리고 이탈하면 색인 하나를 지우면 끝난다.
색인 안의 칸
한 색인 안에 칸을 나누는 방식이 절충이다. 저장소마다 이름이 다르지만(네임스페이스, 파티션, 컬렉션 안의 구획) 하는 일은 같다. 검색할 때 칸을 지정하면 그 안에서만 찾고, 다른 칸의 벡터는 탐색 대상에 아예 안 들어간다.
조건으로 거르는 것이 아니라 찾는 범위 자체가 다르다는 점이 중요하다. 근사 탐색 색인에 조건을 걸면 생기는 문제가 하나 있다. 조건에 맞는 벡터가 전체의 0.1%뿐이면, 그래프를 따라 가까운 후보를 모아 놓고 조건으로 걸렀을 때 거의 다 탈락해 10건을 달라고 했는데 2건이 돌아오거나, 10건을 채우려고 그래프를 훨씬 오래 헤맨다. 조건에 맞는 비율을 선택도라 부르는데, 테넌트가 수천이면 고객사 하나의 선택도가 늘 이 정도로 낮다. 칸으로 나누면 애초에 그 고객사의 벡터만으로 탐색하므로 이 문제가 생기지 않는다.
값 하나로 구분
값 하나로 구분하는 방식은 모든 청크에 tenant 값을 넣고 검색할 때마다 조건을 거는 것이다. 고객사 하나에 드는 고정 비용이 거의 없어 고객사가 수만이어도 된다. 새 고객사가 가입하면 색인도 칸도 만들 필요 없이 그 값을 단 청크를 넣기만 하면 된다.
대신 격리가 조건 하나에 달려 있다. 그 조건을 빠뜨린 코드 경로가 하나만 있어도 샌다. 관리자 화면의 「전체 검색」 기능, 디버깅용으로 만든 내부 API, 새로 붙인 추천 기능 같은 곳이 흔한 구멍이다. 그리고 앞 소절의 선택도 문제도 그대로 안고 간다. 저장소가 조건을 탐색 중에 함께 보는 방식(필터를 그래프 탐색 안에서 적용하는 것)을 지원하는지 확인해야 하는 이유다.
다섯 축 비교
| 전용 색인 | 색인 안의 칸 | 값으로 구분 | |
|---|---|---|---|
| 격리 | 물리적 | 탐색 범위가 갈림 | 조건 하나 |
| 고객사당 고정 비용 | 크다 | 작다 | 거의 없다 |
| 현실적 상한 | 수백 | 수만 | 사실상 없음 |
| 고객사별 설정 | 자유롭다 | 일부 가능 | 어렵다 |
| 이탈 처리 | 색인을 지운다 | 칸을 지운다 | 조건으로 골라 지운다 |
표를 위에서 아래로 읽으면, 왼쪽은 안전과 유연함을 사고 개수를 내주며 오른쪽은 그 반대다. 가운데가 양쪽을 조금씩 내주는 자리다. 처음 고를 때 묻는 것은 둘이다 — 고객사가 몇 곳까지 늘 것인가, 그리고 고객사 중에 격리의 증빙을 계약으로 요구할 곳이 있는가.
색인 개수의 벽
전용 색인이 가장 세다면 왜 다들 그걸 안 쓰는가. 답은 개수다.
색인당 고정 비용
근사 탐색 색인은 하나마다 고정 비용이 붙는다. 벡터 사이를 잇는 그래프 구조, 빠른 탐색을 위해 메모리에 늘 올려 두는 부분, 색인마다 따로 여는 연결과 파일 핸들, 색인마다 도는 압축·정리 작업. 저장소에 따라 이 비용의 크기는 다르지만 「색인 수에 비례한다」는 성질은 같다.
가령 색인 하나에 문서와 상관없이 고정으로 수십 MB가 붙는다고 하면, 고객사 5,000곳이면 그것만으로 수백 GB다. 문서 자체가 차지하는 메모리와 별개로.
메모리만이 아니다. 운영 작업도 색인 수만큼 곱해진다. 임베딩 모델을 바꾸면 색인 5,000개를 전부 다시 만들어야 하고, 그중 몇 개가 실패했는지 따로 추적해야 한다. 저장소를 올려 판이 바뀌면 색인 5,000개가 새 형식으로 옮겨졌는지 확인해야 한다. 지표도 색인마다 나오므로 대시보드에 줄이 5,000개 선다. 색인이 수십 개일 때는 안 보이던 이 곱셈이 수천 개에서는 팀 하나의 일거리가 된다.
빈 색인 문제
그 비용을 문서가 열 개뿐인 고객사도 그대로 쓴다. B2B 서비스의 고객사 분포는 대개 한쪽으로 크게 쏠려 있다. 소수의 큰 고객사가 문서의 대부분을 갖고, 대다수 고객사는 문서가 수십에서 수백 건이다. 무료 체험으로 가입만 하고 문서를 거의 안 올린 곳도 많다. 그래서 수백 개까지는 버티지만 수천 개가 되면 대부분이 거의 빈 색인인 채로 메모리를 먹는 상황이 된다. 문서 열 건짜리 색인에 근사 탐색 그래프를 세우는 것은 애초에 의미도 없다. 열 건이면 전부 계산해도 순식간이다. 그래서 칸으로 나누는 저장소 중에는 칸이 작을 때 그래프를 안 세우고 전수 비교로 찾다가, 칸이 일정 크기를 넘으면 그때 근사 색인을 만드는 것도 있다. 작은 고객사가 다수인 분포에 맞춘 동작이다.
혼합 구성
그래서 하나를 고르는 문제가 아니다. 문서가 많고 요구가 까다로운 큰 고객사 몇 곳만 전용 색인으로 떼고, 나머지 대다수는 한 색인에 칸이나 값으로 담는 구성이 흔하다. 요금제와 나란히 가는 경우가 많다. 기업 요금제에는 「전용 색인 · 고객사별 설정 · 증빙 가능한 삭제」가 들어가고, 기본 요금제는 공유 색인이다. 큰 고객사가 실제로 원하는 것이 바로 그 셋이라 값을 받을 근거도 된다.
혼합 구성에서 놓치기 쉬운 것은 옮기는 길이다. 공유 색인에 있던 고객사가 커져서 전용 색인으로 옮겨야 할 때, 그 고객사의 청크를 골라 새 색인에 다시 적재하고 검색 경로를 바꾸고 옛 청크를 지우는 절차가 필요하다. 처음부터 「이 고객사는 어느 색인에 있는가」를 한 곳에서 찾게 해 두면, 옮길 때 바꿀 곳이 그 한 줄로 준다.
다층 격리
값으로 구분하는 방식을 쓴다면 — 대부분 여기서 시작한다 — 격리를 코드 한 줄에 걸어 두지 않는 것이 핵심이다. 층을 여러 겹 두고, 층마다 다른 실수를 잡게 한다.
세션에서 정하는 테넌트
테넌트는 요청에서 받지 않는다. 세션이나 인증 토큰에서 서버가 정한다. 요청 본문에 tenant 값을 받아 그대로 쓰는 코드는, 그 값을 바꾸면 남의 데이터가 나온다는 뜻이다. 브라우저 개발자 도구 하나로 할 수 있는 공격이다.
모델이 질의에서 뽑아내게 하는 것은 더 나쁘다. 「B사 기준으로 답해 줘」라는 글자가 질의나 업로드한 문서에 들어 있으면, 모델이 그 글자를 따라 테넌트 값을 바꿀 수 있다. 프롬프트 주입의 표적이 되기 딱 좋은 자리다. 테넌트는 모델이 손댈 수 있는 곳 밖에서 정해져야 한다.
한 사람이 여러 고객사에 속하는 경우가 까다롭다. 여러 고객사를 맡는 외부 컨설턴트나, 계열사 몇 곳을 함께 보는 지주사 직원이다. 이때는 화면에서 「지금 어느 고객사로 일하는가」를 고르게 하되, 고른 값을 그대로 믿지 않고 서버가 그 사람의 소속 목록에 그 값이 있는지 매번 대조한다. 고른 값은 요청이 보내는 것이고, 허락 여부는 서버가 들고 있는 것이다.
검색 계층의 강제 조건
조건은 검색 계층 안쪽에서 붙인다. 호출하는 쪽이 조건을 넘기게 하지 말고, 검색 함수가 세션에서 읽어 무조건 덧붙이게 만든다. 그러면 새 기능을 만드는 사람이 조건을 빠뜨릴 여지가 없다. 빠뜨리려 해도 빠뜨릴 수 없는 구조가 목표다.
def search(query, k=10, filters=None):
f = dict(filters or {})
f["tenant"] = current_session.tenant_id # 넘겨받지 않고 여기서 정한다
hits = store.query(embed(query), k=k, filter=f)
return [h for h in hits if h.meta["tenant"] == f["tenant"]] # 한 번 더 본다
filters에 호출하는 쪽이 tenant를 넣어 보내도 그 줄에서 세션 값으로 덮인다. 저장소 클라이언트를 직접 부르는 코드를 저장소 전체에서 이 함수 하나로 모으고, 다른 곳에서 클라이언트를 직접 부르면 린트나 코드 검토에서 걸리게 해 두면 이 층이 단단해진다.
결과 재확인
함수 마지막 줄이 세 번째 층이다. 결과에 다른 테넌트의 것이 섞여 있으면 버리고 경보를 올린다. 정상이라면 절대 걸리지 않는 검사이므로 평소에는 비용이 0에 가깝다. 걸린다면 조건이 안 먹었거나 적재 때 값이 잘못 들어갔다는 뜻이고, 그 사실을 아는 것 자체가 이 검사의 값어치다. 위 코드는 조용히 거르기만 하지만, 실제로는 거른 건수가 0이 아니면 그 질의와 청크 id를 남기고 담당자를 깨워야 한다. 조용히 거르면 같은 결함이 몇 달씩 남는다.
캐시와 로그
격리를 꼼꼼히 해 놓고 질의 결과 캐시의 키를 질의 문자열로만 만들면, 같은 질문을 한 다른 고객사에게 앞 사람의 답이 그대로 간다. 「환불 규정 알려 줘」처럼 어느 고객사나 묻는 질문일수록 캐시가 잘 맞고, 그래서 더 위험하다. 검색 결과와 생성된 답의 캐시에는 테넌트를 키에 넣는다.
임베딩 캐시는 사정이 다르다. 「환불 규정 알려 줘」라는 글자의 벡터는 누가 물었든 같으므로, 텍스트에서 벡터로 가는 캐시는 공유해도 된다. 가르는 기준은 그 캐시의 값이 테넌트의 데이터에 기대는가다. 텍스트만 보고 만드는 것은 공유하고, 색인을 거쳐 만드는 것은 가른다.
로그도 마찬가지다. 근거 문서의 내용이 로그에 남는데 로그 색인이 하나면 운영 화면에서 다 보인다. 운영자가 고객사 A의 장애를 보려고 로그를 검색하다 B의 계약서 문단을 보게 된다. 로그에도 테넌트를 남기고, 운영자가 볼 수 있는 범위를 그 값으로 가른다.
시끄러운 이웃
격리를 다 해도 자원은 공유한다. 한 고객사가 문서 백만 건을 한꺼번에 올리면 색인 작업이 그쪽으로 쏠리고, 그동안 다른 고객사의 갱신은 대기열 뒤에 선다. 앞 글에서 본 처리 지연, 곧 다시 자르고 임베딩을 만드는 데 걸리는 시간이 남의 사정으로 몇 시간이 된다. 이렇게 이웃 하나 때문에 모두가 느려지는 현상을 시끄러운 이웃이라 부른다.
고객사별 대기열
하나의 큰 대기열 대신 고객사마다 줄을 세우고 돌아가며 처리한다. A사의 줄에서 하나, B사의 줄에서 하나, C사의 줄에서 하나를 꺼내고 다시 A사로 돌아온다. 그러면 A사가 백만 건을 올려도 B사의 문서 한 건은 A사의 백만 건 뒤가 아니라 한 바퀴 뒤에 처리된다. A사 자신은 느려지지만, 그것은 A사가 올린 양 때문이니 공정하다. 요금제에 따라 한 바퀴에 꺼내는 수를 달리하면(기업 요금제는 셋, 기본 요금제는 하나) 공정함을 유지하면서 값을 낸 만큼 빠르게 할 수도 있다.
적재 상한
적재 속도에도 상한을 둔다. 시간당 처리할 문서 수를 고객사별로 정해 두고, 넘치는 것은 그 고객사의 줄에서 기다리게 한다. 상한이 없으면 돌아가며 처리해도 한 고객사가 임베딩 API의 분당 한도를 혼자 다 쓰는 일이 생긴다. 처음 가입하면서 기존 문서 수십만 건을 옮기는 대량 이관은 평소 갱신과 다른 경로로 받는다. 밤 시간에 돌리거나 별도 작업자를 띄워서, 평소 갱신의 줄을 아예 건드리지 않게 한다.
검색 동시 실행 상한
검색 쪽에도 같은 장치가 필요하다. 한 고객사가 사내 전 직원에게 서비스를 열거나 자동화 스크립트로 질의를 퍼부으면, 그 트래픽이 검색 서버를 채워 다른 고객사의 응답이 느려진다. 고객사별로 동시에 처리할 질의 수에 상한을 두면 급증이 그 고객사 안에서 멈춘다. 속도 제한에서 다룬 그 장치다. 상한은 요금제와 묶는 것이 자연스럽다.
이탈과 삭제
계약이 끝나면 데이터를 지워야 하고, 대개 기한과 증빙이 함께 요구된다. 이것을 나중에 생각하면 곤란해지는 이유는 데이터가 색인 한 곳에만 있는 것이 아니어서다.
지울 자리
지울 자리를 세어 보면 보통 이만큼이다.
| 어디 | 흔히 빠뜨리는 이유 |
|---|---|
| 벡터 색인의 청크 | 여기는 안 빠뜨린다 |
| 원문 보관소 | 파싱 전 원본 파일을 따로 두는 경우가 많다 |
| 결과·응답 캐시 | 만료만 걸어 두고 삭제 대상으로 안 본다 |
| 질의 로그·대화 기록 | 보존 기간 정책과 삭제 요구가 서로 어긋난다 |
| 평가용 데이터셋 | 실제 질의를 골라 만들어 둔 것이 남는다 |
| 백업 | 지운 뒤 만든 백업에는 없지만 옛 백업에는 있다 |
색인은 자리 여섯 중 하나일 뿐이다. 특히 평가용 데이터셋은 「고객사 데이터」라는 생각 없이 만들어지기 쉽다. 품질을 보려고 실제 질의와 근거 청크를 뽑아 모아 둔 것인데, 그 안에 계약서 문단이 그대로 들어 있다. 백업은 지울 수 없는 경우가 많으므로, 백업 보존 기간을 계약서의 삭제 기한과 맞추고 그 사실을 고객에게 미리 알리는 것이 보통이다.
삭제 절차 시험
전용 색인 방식이 여기서 값을 한다. 색인 하나와 그에 딸린 저장소를 지우면 끝나므로 증빙도 간단하다. 값으로 구분하는 방식은 위 목록을 하나씩 훑어야 한다. 그래서 삭제 절차를 코드로 만들어 두고, 가짜 데이터를 넣은 시험 고객사를 하나 만들어 정기적으로 돌려 본다. 돌린 뒤 여섯 자리 어디에도 그 고객사의 흔적이 없는지 확인하는 검사까지가 한 벌이다. 새 저장소나 캐시가 생길 때마다 이 시험이 실패하므로, 삭제 대상 목록이 저절로 따라 갱신된다. 계약 종료 통보를 받고 처음 짜기 시작하면 반드시 뭔가 빠진다.
지움 표시와 유예
앞 글에서 다룬 지움 표시, 곧 청크를 실제로 지우기 전에 검색에서 빼는 표시가 여기서도 쓸모 있다. 계약 종료 즉시 표시를 세워 검색에서 빼고, 유예 기간이 지난 뒤 실제로 지우면 노출은 곧바로 멎으면서 되돌릴 여지도 남는다. 계약 종료가 실수였거나 재계약이 되는 경우가 생각보다 많다. 다만 유예 기간은 계약서가 허용하는 범위 안이어야 하고, 그 기간이 끝나면 저절로 실제 삭제로 넘어가야 한다. 사람이 기억해서 지우는 구조는 잊는다.
고객사별 평가
마지막으로 자주 놓치는 것 하나. 전체 평균 검색 품질이 좋아도 특정 고객사에서는 나쁠 수 있다. 문서 종류가 다르고, 용어가 다르고, 질문 방식이 다르기 때문이다.
평균의 착시
RAG 평가를 돌릴 때 결과를 고객사별로 나눠 보면 대개 편차가 꽤 크다. 문서가 많은 몇 곳이 평균을 끌어올리고, 문서가 적거나 형식이 특이한 곳은 평균 아래에 조용히 깔려 있다. 평가 질의를 전체에서 고르게 뽑으면 큰 고객사의 질의가 대부분을 차지하므로, 평균은 사실상 큰 고객사 몇 곳의 점수다. 그리고 불만은 그 아래쪽에서 나온다. 고객사별로 질의를 일정 수씩 뽑아 따로 점수를 내야 아래쪽이 보인다.
작은 고객사
작은 고객사에서는 검색이 뽑을 후보 자체가 적다. 문서가 스무 건뿐이면 어떤 질문에도 그 스무 건 중 열 개가 나온다. 상위 10건을 달라고 하면 검색은 관련이 있든 없든 열 건을 채워 돌려주기 때문이다. 모델은 그 열 건을 근거로 받으면 어떻게든 답을 만든다. 질문과 상관없는 회의록을 근거로 휴가 규정을 지어내는 식이다. 문서가 많은 고객사에서는 관련 문서가 상위를 채우니 드러나지 않던 문제가, 작은 고객사에서는 거의 모든 질문에서 드러난다.
최소 점수 기준
그래서 최소 점수 기준을 두고, 못 미치는 청크는 근거에서 빼고, 남는 것이 없으면 「자료에 없습니다」라고 답하게 한다. 이 기준은 고객사 규모에 따라 달라야 한다. 문서가 많은 곳에서 맞춘 기준을 작은 곳에 그대로 쓰면 너무 느슨하고, 작은 곳에서 맞춘 기준을 큰 곳에 쓰면 쓸 만한 근거까지 잘린다. 고객사별 평가 결과가 있으면 그 기준을 고객사마다, 적어도 규모 구간마다 따로 맞출 수 있다. 평가를 고객사별로 나눠 두는 것이 여기서 다시 값을 한다.
정리
- 가르는 방법은 전용 색인 · 색인 안의 칸 · 값으로 구분 셋이고, 격리와 비용이 맞바뀐다
- 칸으로 나누면 탐색 범위 자체가 갈려, 조건에 맞는 벡터가 적을 때의 선택도 문제가 안 생긴다
- 전용 색인은 개수가 벽이다. 색인마다 고정 비용이 붙어 빈 색인도 자원을 쓴다. 큰 고객사만 떼는 혼합 구성이 보통이다
- 값으로 구분할 때는 층을 여러 겹 둔다 — 세션에서 확정, 계층에서 강제 주입, 결과 재확인과 경보
- 결과·답 캐시 키와 로그에도 테넌트를 넣는다. 텍스트만 보고 만드는 임베딩 캐시는 공유해도 된다
- 대기열을 고객사별로 나눠 돌아가며 처리하고, 적재와 검색에 고객사별 상한을 건다
- 삭제할 자리는 색인 밖에 더 많다. 절차를 코드로 만들어 시험 고객사로 정기적으로 돌린다
- 평가는 고객사별로 나눠 본다. 작은 고객사에는 최소 점수 기준과 「자료에 없습니다」가 필요하다
읽어주셔서 감사합니다. 😊

