ELMo와 BERT가 등장하면서 단어는 문맥에 따라 다른 벡터를 갖게 됐다. 그런데 여기서 현실적인 질문이 하나 남는다. "AI 기술이 발전했다"와 "인공지능이 급속히 성장하고 있다" — 이 두 문장이 의미상 비슷한가? BERT는 문장의 각 토큰에 문맥적 벡터를 만들어 주지만, 문장 전체를 하나의 벡터로 표현하는 것은 별도의 문제다. 문장 하나를 고정 길이 벡터 하나로 바꾸는 일, 그리고 그렇게 얻은 벡터를 문장 임베딩이라 부른다. 문서 검색, 의미 유사도 측정, RAG(Retrieval-Augmented Generation, 검색해 온 문서를 LLM에 함께 넣어 답하게 하는 방식)의 검색 단계가 전부 이 벡터 위에 서 있다. 그 중심에는 2019년 Reimers와 Gurevych가 발표한 SBERT(Sentence-BERT)가 있다.
이 글은 문장 임베딩을 검색에 쓰는 사람의 순서대로 간다. 먼저 왜 BERT를 그대로 쓸 수 없는지, SBERT가 그 문제를 어떤 구조와 학습으로 풀었는지 본다. 그다음 검색에 쓸 때 가장 자주 밟는 함정인 질문과 문서의 비대칭, 한국어에서 모델을 고르는 기준, 실제 검색 시스템에 얹는 순서, 그리고 품질을 재는 방법을 차례로 다룬다.
문장 벡터
토큰 벡터와 문장 벡터
BERT에 문장을 넣으면 토큰마다 768차원 벡터가 하나씩 나온다. "AI 기술이 발전했다"가 토큰 여덟 개로 쪼개지면 벡터도 여덟 개다. 이 벡터들은 각 토큰이 문장 안에서 무슨 뜻으로 쓰였는지를 담고 있지만, 문장 둘을 견주려면 길이가 서로 다른 벡터 묶음 두 개를 견줘야 한다. 여덟 개짜리와 열두 개짜리를 어떻게 비교할지는 BERT가 알려 주지 않는다.
검색에 필요한 것은 문장마다 같은 길이의 벡터 하나다. 그래야 두 문장의 유사도가 벡터 둘 사이의 각도 하나로 끝난다. 이때 쓰는 값이 코사인 유사도다 — 두 벡터의 내적을 두 길이의 곱으로 나눈 값으로, 같은 방향이면 1, 직각이면 0이다.
토큰 벡터 여럿을 하나로 접는 단계를 풀링이라 한다. 첫 토큰([CLS]) 자리의 벡터만 쓰는 것, 전부 평균 내는 것, 차원마다 최댓값을 고르는 것이 대표적이다. 문장 임베딩 모델은 결국 "BERT 같은 인코더 + 풀링"이고, 차이는 그 인코더를 무엇으로 학습시켰느냐에서 난다.
크로스 인코더
BERT로 두 문장의 유사도를 재는 가장 직관적인 방법은 두 문장을 한 입력으로 이어 넣는 것이다.
[CLS] 문장A [SEP] 문장B [SEP]
이렇게 두 문장을 함께 넣고 [CLS] 위에 분류기나 회귀기를 얹어 점수 하나를 뽑는 구성을 크로스 인코더라 한다. 어텐션이 두 문장의 토큰을 서로 직접 들여다보므로 "인공지능"과 "AI"가 같은 것을 가리킨다는 관계를 층마다 맞춰 볼 수 있다. 문장 쌍 하나의 점수를 매기는 데는 지금도 이 방식이 가장 정확하다.
문제는 계산량이다. 크로스 인코더는 문장 하나만 따로 계산해 둘 수가 없다 — 점수는 언제나 쌍에 대해서만 나온다. 10,000개 문장 가운데 가장 비슷한 쌍을 찾으려면 모든 쌍을 넣어야 하고, 쌍의 수는 이렇다.
SBERT 논문은 이 계산이 BERT로 약 65시간 걸린다고 적었다. 검색으로 옮겨도 사정은 같다. 문서 100만 건에 질문 하나가 들어오면 100만 번의 추론을 그 자리에서 돌려야 한다. 질문이 들어오기 전에 미리 해 둘 수 있는 일이 하나도 없다는 것이 크로스 인코더의 근본적인 제약이다.
바이 인코더
반대쪽 구성은 두 문장을 따로따로 인코더에 넣어 벡터 둘을 얻고, 그 벡터의 코사인 유사도를 점수로 쓰는 것이다. 이것을 바이 인코더라 한다. 문장마다 벡터가 독립적으로 나오므로 문서 쪽 벡터는 질문이 오기 전에 전부 계산해 둘 수 있다. 질문이 오면 질문 하나만 인코딩하고, 나머지는 벡터 곱셈이다.
같은 10,000문장 문제에서 바이 인코더는 인코딩 10,000번과 행렬 곱 한 번으로 끝난다. SBERT 논문이 보고한 시간은 약 5초였다. 65시간이 5초가 되는 차이는 정확도를 조금 내주고 얻은 것이다 — 두 문장이 인코더 안에서 서로를 보지 못하므로, 미세한 관계는 벡터 하나에 다 실리지 못한다. 이 맞바꿈은 뒤의 「검색 구성」에서 두 방식을 함께 쓰는 형태로 다시 돌아온다.
풀링의 한계
그렇다면 학습 없이 BERT를 바이 인코더로 쓰면 되지 않을까. 각 문장을 따로 넣고 [CLS] 벡터를 꺼내는 것이다.
# 나쁜 방법: [CLS] 벡터를 그냥 사용
out = bert(sentence)
vec = out.last_hidden_state[:, 0, :] # [CLS] 토큰
빠르지만 품질이 낮다. 원래 BERT의 [CLS]는 사전 학습에서 "두 문장이 이어지는 문장인가"를 맞히는 데만 쓰였고, 문장 전체의 의미를 담도록 학습된 적이 없다. SBERT 논문의 실험에서 이렇게 얻은 벡터는 의미 유사도 과제에서 GloVe 단어 벡터를 평균 낸 것보다도 나빴다.
평균 풀링은 조금 낫다.
# 평균 풀링
hidden = out.last_hidden_state # [1, seq_len, 768]
mask = inputs["attention_mask"].unsqueeze(-1) # [1, seq_len, 1]
vec = (hidden * mask).sum(dim=1) / mask.sum(dim=1)
그래도 의미 유사도와 벡터 유사도가 잘 맞지 않는다. 학습 없이 얻은 BERT 벡터는 공간 전체에 고르게 퍼지지 않고 좁은 원뿔 안에 몰려 있는 경향이 있다. 그래서 아무 두 문장이나 재도 코사인 유사도가 0.6~0.9 같은 좁은 구간에 들어온다. "오늘 날씨가 맑다"와 "트랜스포머의 어텐션 구조"가 0.7이 나오고, 거의 같은 뜻의 두 문장이 0.85가 나오는 식이다. 0.15 차이 안에 "무관함"부터 "같은 말"까지가 다 들어 있으니, 임계값 하나로 비슷한 것과 아닌 것을 가를 수가 없다. 풀링 방법을 바꾸는 것으로는 이 문제가 안 풀린다 — 인코더가 애초에 문장 유사도를 목표로 학습되지 않았기 때문이다.
SBERT 학습
샴 구조
SBERT의 해법은 BERT를 바이 인코더 모양 그대로 두고, 그 모양에서 문장 유사도를 직접 목표로 파인튜닝하는 것이다. 이때 쓰는 틀이 샴 네트워크다. 두 문장을 각각 인코더에 넣는데, 두 인코더가 가중치를 공유한다 — 사실상 같은 인코더를 두 번 부르는 것이다.
문장 A → BERT(shared) → 풀링 → 벡터 u ∈ R^768
문장 B → BERT(shared) → 풀링 → 벡터 v ∈ R^768
가중치를 공유하는 것이 핵심이다. 문장 A 자리와 문장 B 자리에 같은 함수가 쓰이므로, 같은 뜻의 문장은 어느 자리에 들어가든 같은 방향의 벡터로 가야 한다는 제약이 생긴다. 그리고 학습이 끝나면 인코더 하나만 떼어 내 아무 문장에나 쓸 수 있다 — 바이 인코더의 "미리 계산해 둔다"가 여기서 가능해진다.
풀링 전략
SBERT 논문은 인코더 위의 풀링을 세 가지로 바꿔 가며 실험했다.
def pool(hidden_states, attention_mask, strategy="mean"):
if strategy == "cls":
return hidden_states[:, 0, :]
elif strategy == "mean":
mask = attention_mask.unsqueeze(-1).float()
return (hidden_states * mask).sum(1) / mask.sum(1)
elif strategy == "max":
mask = attention_mask.unsqueeze(-1).float()
hidden_states[mask == 0] = -1e9
return hidden_states.max(1).values
결과는 평균 풀링이 [CLS]와 최댓값 풀링보다 대체로 나았다. 다만 파인튜닝을 거친 뒤에는 세 방식의 차이가 학습 전만큼 크지 않다 — 인코더가 학습되면서 어떤 풀링이든 그 위에서 쓸 만한 벡터를 내도록 적응하기 때문이다. 실무에서 이 선택이 중요한 것은 모델을 학습할 때와 쓸 때의 풀링이 같아야 한다는 점이다. 평균 풀링으로 학습한 모델에서 [CLS]를 꺼내 쓰면 학습하지 않은 BERT와 다를 바 없는 벡터가 나온다. sentence-transformers로 불러오면 모델 폴더에 풀링 설정이 함께 들어 있어 이 실수를 막아 준다.
학습 목표
같은 샴 구조 위에 서로 다른 학습 목표를 얹을 수 있고, 목표마다 벡터 공간에 심는 성질이 다르다.
첫째는 NLI(자연어 추론) 분류다. 두 문장이 함의·중립·모순 중 어느 관계인지 맞히게 한다. 분류기에는 두 벡터와 그 차이의 절댓값을 이어 붙여 넣는다.
분류기 입력 = [u; v; |u-v|] (연결)
출력 = softmax(W · [u; v; |u-v|])
분류기 자체는 학습이 끝나면 버린다. 남는 것은 그 분류를 잘하도록 다듬어진 인코더다. 함의 관계인 두 문장은 분류기가 가르기 쉽게 가까이, 모순인 두 문장은 멀리 놓이도록 벡터 공간이 정리된다. SBERT는 영어 NLI 데이터(SNLI와 MultiNLI) 약 100만 쌍으로 이 학습을 먼저 했다.
둘째는 STS(의미 유사도) 회귀다. 사람이 0~5점으로 매긴 문장 쌍의 유사도를 코사인 유사도로 직접 맞힌다.
예측값 = cos(u, v) * 5
손실 = MSE(예측값, 정답 점수)
NLI가 "관계의 종류"를 가르친다면 STS는 "얼마나 비슷한가의 눈금"을 가르친다. 앞에서 본 좁은 구간 문제를 직접 겨냥하는 것이 이쪽이다 — 1점짜리 쌍은 코사인 0.2 근처로, 5점짜리 쌍은 1 근처로 끌어당기므로 점수가 0~1 전체로 펴진다.
셋째는 트리플렛 손실이다.
기준 문장 , 그와 비슷한 문장 , 다른 문장 세 개를 한 묶음으로 넣고, 와 의 유사도가 와 의 유사도보다 여유 이상 크도록 민다. 숫자로 따라가 보자. 이고 , 이면 손실은 이다. 아직 여유가 0.1 모자라므로 학습이 둘을 더 벌린다. 이 0.4까지 내려가면 손실이 0이 되고 그 묶음은 더 이상 아무것도 가르치지 않는다. 점수 눈금이 아니라 순서만 가르치므로, 검색처럼 "어느 것이 더 가까운가"만 중요한 과제와 잘 맞는다.
대조 학습
트리플렛을 한 묶음씩이 아니라 배치 전체로 넓힌 것이 대조 학습이다. 배치에 (질문, 정답 문장) 쌍이 64개 있으면, 질문 하나에 대해 자기 짝은 양성이고 나머지 63개 짝은 전부 음성으로 쓴다. 음성을 따로 모으지 않고 같은 배치의 남의 짝을 빌려 쓰는 이 방식을 인배치 네거티브라 한다. 음성이 공짜로 63개씩 생기므로 배치를 키울수록 학습 신호가 강해지고, 지금의 검색용 임베딩 모델 대부분이 이 방식으로 학습된다.
2021년에 나온 SimCSE는 레이블 없이도 대조 학습을 할 수 있음을 보였다. 같은 문장을 인코더에 두 번 넣으면 드롭아웃(학습 중 뉴런 일부를 무작위로 끄는 장치)이 매번 다르게 걸려 벡터가 조금 다르게 나온다. 이 두 벡터를 서로의 양성으로, 배치의 다른 문장을 음성으로 삼는다. 문장 쌍 데이터를 사람이 만들지 않아도 되므로 레이블이 부족한 언어에서 특히 쓸모가 있었고, 한국어 모델 가운데에도 이 방식을 이름에 단 것이 있다. 레이블이 있는 NLI 쌍을 쓰는 지도 학습 판도 함께 제안됐는데, 함의 문장을 양성, 모순 문장을 어려운 음성으로 쓰는 구성이다.
대칭 검색과 비대칭 검색
두 가지 검색
지금까지 본 학습 목표는 대부분 "문장 둘이 얼마나 비슷한가"를 가르친다. 두 문장이 같은 종류이고 길이도 비슷하다 — 이런 과제를 대칭 검색이라 한다. 중복 질문 찾기, 비슷한 상품 리뷰 묶기, 같은 뜻의 문장 찾기가 여기 든다. 어느 쪽을 질문으로 두고 어느 쪽을 답으로 두어도 점수가 같아야 한다.
RAG의 검색은 다르다. 한쪽은 "환불은 며칠 안에 되나요" 같은 짧은 질문이고, 다른 쪽은 환불 정책을 설명하는 300자짜리 문단이다. 질문과 답 문단은 같은 말을 하지 않는다. 질문은 묻고, 문단은 설명한다. 이런 과제가 비대칭 검색이다. 문장 쌍 유사도로만 학습한 모델을 여기에 쓰면, 질문과 가장 비슷한 것으로 답 문단이 아니라 다른 질문을 고르는 일이 흔하다. FAQ 문서에서 "환불은 언제 되나요?"라는 질문 줄이 그 아래 답 문단보다 위로 올라오는 식이다. 표면이 비슷한 것을 찾도록 배웠으니 당연한 결과다.
접두사 규칙
그래서 비대칭 검색용 모델은 질문–문단 쌍으로 학습한다. 그리고 상당수가 질문과 문서에 서로 다른 접두사를 붙이도록 요구한다. 예를 들어 E5 계열은 질문 앞에 query: , 문서 앞에 passage: 를 붙이라고 모델 카드에 적어 둔다. 학습 때 이 표시를 보고 "지금 들어온 것이 묻는 쪽인지 답하는 쪽인지"를 구분하도록 배웠으므로, 쓸 때 빠뜨리면 모델은 두 쪽을 같은 종류로 다룬다. 오류도 경고도 없이 검색 품질만 조용히 떨어진다.
이 실수는 찾기가 어렵다. 벡터는 정상적으로 나오고, 상위 결과도 그럴듯해 보인다. 골든셋으로 재현율을 재 보기 전에는 몇 퍼센트포인트가 빠져나간 줄 모른다. 모델을 바꿀 때마다 모델 카드에서 접두사나 지시문 요구가 있는지 확인하는 것을 습관으로 둔다.
색인과 질의의 일치
접두사와 같은 종류의 함정이 하나 더 있다. 문서 벡터는 색인할 때 한 번 만들고, 질문 벡터는 질문이 올 때마다 만든다. 두 시점이 몇 달씩 떨어지기도 한다. 그 사이에 모델을 다른 버전으로 바꿨거나, 문서 쪽만 정규화를 했거나, 질문 쪽에만 소문자 변환을 넣었다면 두 벡터는 서로 다른 공간에 있다. 같은 모델의 같은 판이 아니면 벡터끼리 견주는 것 자체가 뜻이 없다.
그래서 규칙은 단순하다. 색인과 질의에 같은 모델, 같은 판, 같은 전처리, 같은 정규화를 쓴다. 모델을 바꾸면 문서 전체를 다시 임베딩한다. 색인 메타데이터에 모델 이름과 판을 함께 저장해 두면, 질의 코드가 시작할 때 둘이 맞는지 검사할 수 있다.
한국어 모델
조사와 토크나이저
한국어는 낱말에 조사와 어미가 붙는다. "모델이", "모델을", "모델의", "모델에서는"이 전부 다른 표면형이다. 서브워드 토크나이저는 이것을 "모델 + 이"처럼 쪼개기도 하고 통째로 한 토큰으로 두기도 하는데, 어느 쪽으로 쪼개느냐는 토크나이저의 어휘에 달렸다. 영어 위주로 만든 어휘는 한국어를 글자 단위에 가깝게 잘게 쪼개고, 그러면 같은 문장이 토큰 두세 배로 늘어난다. 입력 길이 제한(대개 512토큰)에 더 빨리 닿고, 토큰 하나하나가 담는 뜻도 얇아진다.
그래서 한국어 검색에는 한국어 말뭉치로 어휘를 만든 인코더(KLUE-RoBERTa 같은)를 바탕으로 한 모델이나, 다국어 어휘가 넓은 모델을 쓰는 것이 기본이다. 직접 확인하는 방법도 간단하다. 자기 문서 몇 개를 토크나이저에 넣고 글자당 토큰 수를 세어 본다. 같은 문단이 한 모델에서 120토큰, 다른 모델에서 300토큰이면 뒤쪽은 긴 문서에서 먼저 잘린다.
모델 비교
sentence-transformers 라이브러리에서 쓸 수 있는 대표적인 한국어 문장 임베딩 모델이다.
| 모델명 | 특징 | 임베딩 차원 |
|---|---|---|
jhgan/ko-sroberta-multitask |
다양한 태스크 학습, 범용 | 768 |
snunlp/KR-SBERT-V40K-klueNLI-augSTS |
KLUE NLI + STS | 768 |
BM-K/KoSimCSE-roberta |
SimCSE 방식, 대조 학습 | 768 |
upskyy/kf-deberta-multitask |
DeBERTa 기반 | 768 |
이름이 학습 방식을 거의 그대로 말해 준다. KLUE는 2021년에 공개된 한국어 이해 벤치마크로 NLI와 STS 과제를 포함하고, 이름에 NLI·STS가 붙은 모델은 앞 절에서 본 분류·회귀 목표로 학습한 것이다. SimCSE가 붙은 것은 대조 학습 쪽이다. 앞의 논리를 그대로 적용하면, 이 넷은 대부분 문장 쌍 유사도 데이터로 학습한 대칭형에 가깝다. 짧은 문장끼리 견주는 일에는 잘 맞지만, 질문으로 긴 문단을 찾는 RAG에서는 질문–문단 쌍으로 학습한 다국어 검색 모델이 더 나은 경우가 많다. 어느 쪽이 나은지는 다음 소절의 이유 때문에 자기 데이터로 재 봐야 안다.
벤치마크 순위
공개 순위표(MTEB 같은)는 모델을 고를 때 출발점으로 쓸 만하지만, 영어 과제가 대부분이고 과제 종류도 분류·군집·검색이 섞여 있다. 영어 검색에서 1위인 모델이 한국어 검색에서도 1위라는 보장은 없다. 토크나이저가 한국어를 어떻게 쪼개는지, 학습 데이터에 한국어가 얼마나 있었는지가 순위를 통째로 바꾼다.
도메인도 순위를 바꾼다. 위키백과 문장으로 잰 점수는 사내 규정집이나 의료 기록에서의 점수를 말해 주지 않는다. 사내 문서에는 약어, 제품 코드, 부서 이름 같은 공개 말뭉치에 없는 낱말이 많고, 모델이 그 낱말을 어떻게 다루느냐가 결과를 가른다. 그래서 순위표로 후보를 셋쯤 추린 다음, 뒤의 「품질 평가」에서 만드는 골든셋으로 셋을 직접 재서 고른다.
검색 구성
사전 계산과 정규화
바이 인코더의 이점은 사전 계산에서 나온다. 문서 N개의 벡터를 미리 만들어 두면 질문 하나는 인코딩 한 번과 벡터 곱셈 N번으로 끝난다.
from sentence_transformers import (
SentenceTransformer,
util,
)
import torch
# 한국어 SBERT 로드
model = SentenceTransformer(
"jhgan/ko-sroberta-multitask"
)
# 문서 임베딩 사전 계산
corpus = [
"AI가 의료 진단에 혁명을 일으키고 있다",
"기계 학습으로 질병을 예측한다",
"자율주행 자동차의 안전성 연구",
"딥러닝이 이미지 인식을 바꾸다",
"오늘 점심 뭐 먹을까",
]
corpus_embeddings = model.encode(corpus, convert_to_tensor=True)
# 쿼리 문장
query = "인공지능이 의학에 미치는 영향"
query_embedding = model.encode(query, convert_to_tensor=True)
# 코사인 유사도로 검색
scores = util.cos_sim(query_embedding, corpus_embeddings)[0]
top_results = torch.topk(scores, k=3)
print("검색 결과:")
for score, idx in zip(top_results.values, top_results.indices):
print(f" {score:.4f}: {corpus[idx]}")
세 걸음 — 사전 계산, 정규화, 색인 — 에는 각각 함정이 있다. 사전 계산에서는 배치 크기와 최대 길이다. 최대 길이를 넘는 문서는 오류 없이 뒤가 잘리므로, 긴 문서는 청크로 나눠 임베딩해야 한다. 정규화는 벡터 길이를 1로 맞추는 일인데, 맞춰 두면 코사인 유사도가 그냥 내적이 되어 계산이 단순해진다. 문서 쪽만 정규화하고 질문 쪽을 빼먹으면 순위는 유지되더라도 점수의 눈금이 달라져 임계값이 전부 어긋난다. 저장 공간도 미리 세어 둔다. 768차원 float32 벡터는 3,072바이트이므로 100만 건이면 약 3GB다.
근사 탐색
문서가 수십만 건을 넘으면 질문마다 전부와 곱하는 완전 탐색이 부담스러워진다. 100만 건 × 768차원이면 질문 하나에 곱셈이 7억 번 남짓이다. CPU 한 대에서 수십 밀리초쯤이라 한 사람이 쓰기엔 충분하지만, 초당 수백 질문이 들어오면 모자란다. 이때 근사 최근접 탐색을 쓴다. 정확한 1위를 보장하지 않는 대신, 공간을 미리 나눠 두거나 이웃 그래프를 만들어 일부만 훑는다.
import faiss
import numpy as np
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("jhgan/ko-sroberta-multitask")
# 대규모 코퍼스 임베딩
corpus = [...] # 수십만 문장
embeddings = model.encode(corpus, batch_size=128, show_progress_bar=True)
embeddings = np.array(embeddings, dtype=np.float32)
# FAISS 인덱스 구축
dimension = embeddings.shape[1] # 768
index = faiss.IndexFlatIP(dimension) # 내적(=정규화 후 코사인 유사도)
# L2 정규화 후 추가
faiss.normalize_L2(embeddings)
index.add(embeddings)
print(f"인덱스에 {index.ntotal}개 문서 추가됨")
# 검색
query = "인공지능 의료 진단"
query_vec = model.encode([query], normalize_embeddings=True)
D, I = index.search(query_vec, k=5) # 상위 5개
for dist, idx in zip(D[0], I[0]):
print(f"유사도 {dist:.4f}: {corpus[idx][:50]}")
FAISS의 IndexFlatIP는 완전 탐색이다. 속도가 더 필요하면 IndexIVFFlat(공간을 군집으로 나눠 가까운 군집만 훑는 방식)이나 IndexHNSWFlat(이웃 그래프를 따라 걷는 방식)으로 옮긴다. 옮기는 시점은 감으로 정하지 않는다. 완전 탐색 결과를 정답으로 두고, 근사 탐색의 상위 10개 중 몇 개가 완전 탐색의 상위 10개와 겹치는지를 잰다. 겹침이 95%를 넘는 설정에서 지연이 목표 안에 들어오면 그때 옮긴다. 처음부터 근사 탐색으로 시작하면 검색이 틀렸을 때 그것이 임베딩 탓인지 색인 탓인지 가를 기준이 없다.
재순위
바이 인코더 검색의 상위 결과는 "대체로 관련 있는 것"이지 "정확히 순서대로 관련 있는 것"은 아니다. 두 문장이 서로를 보지 못한 채 벡터 하나씩으로 접혔으니 세밀한 관계가 빠진다. "환불이 안 되는 경우"와 "환불이 되는 경우"는 낱말이 거의 같아 벡터가 가깝다.
여기서 처음에 버렸던 크로스 인코더가 돌아온다. 100만 건 전부에 돌리기에는 느렸지만, 바이 인코더가 추린 상위 50건에만 돌리면 질문당 추론 50번이다. 이것을 재순위라 한다. 바이 인코더로 넓게 건지고, 크로스 인코더로 좁게 다시 잰다. 앞 그림의 아래쪽이 이 구성이다. 두 단계로 나누면 1단계의 재현율과 2단계의 정밀도를 따로 조절할 수 있다 — 1단계에서 정답이 상위 50 안에만 들어오면 2단계가 그것을 맨 위로 올린다. 반대로 1단계에서 정답을 놓치면 2단계는 아무것도 못 한다. 그래서 1단계는 넉넉하게 건지는 쪽으로 맞춘다.
RAG 연결
이렇게 찾은 문서를 LLM에 넘기면 RAG가 된다.
[사용자 질문] → [문장 임베딩] → [FAISS 검색] → [관련 문서 N개]
↓
[LLM에게 질문 + 관련 문서를 함께 전달]
↓
[근거 기반의 정확한 답변 생성]
import torch
from sentence_transformers import SentenceTransformer, util
class SimpleRAG:
def __init__(self, embed_model, llm_fn):
self.model = SentenceTransformer(embed_model)
self.llm = llm_fn
self.corpus = []
self.embeddings = None
def add_documents(self, docs):
self.corpus.extend(docs)
new_embs = self.model.encode(docs, convert_to_tensor=True)
if self.embeddings is None:
self.embeddings = new_embs
else:
self.embeddings = torch.cat([self.embeddings, new_embs])
def retrieve(self, query, top_k=3):
q_emb = self.model.encode(query, convert_to_tensor=True)
scores = util.cos_sim(q_emb, self.embeddings)[0]
top = torch.topk(scores, k=top_k)
return [self.corpus[i] for i in top.indices]
def answer(self, query):
context = self.retrieve(query)
prompt = f"문서:\n" + "\n".join(context) + f"\n\n질문: {query}"
return self.llm(prompt)
RAG에서 LLM은 받은 문서 안에서만 답을 찾으므로, 검색이 정답 문서를 놓치면 LLM이 아무리 좋아도 답이 안 나온다. 오히려 그럴듯한 엉뚱한 문서를 받으면 그것을 근거로 자신 있게 틀린다. 시스템 전체의 품질 상한을 검색이 정하는 셈이고, 그래서 다음 절의 측정이 필요하다.
품질 평가
STS 상관과 재현율
문장 임베딩 모델의 점수로 가장 흔히 보이는 것은 STS 상관이다. 사람이 매긴 유사도 점수와 모델의 코사인 유사도가 얼마나 같은 순서로 서는지를 스피어만 상관으로 잰다. 이 값은 "비슷함의 눈금이 사람과 맞는가"를 말해 준다.
검색에서 묻는 것은 다르다. 정답 문서가 상위 k개 안에 들어왔는가 — 이것이 재현율(recall@k)이다. 질문 100개 중 정답이 상위 5개 안에 든 것이 83개면 recall@5는 0.83이다. 두 지표는 다른 것을 잰다. STS 상관이 높은 모델은 문장 쌍 점수를 잘 매기지만, 앞에서 본 비대칭 문제 때문에 질문으로 문단을 찾는 재현율은 낮을 수 있다. RAG를 만든다면 재현율을 기준으로 고르고, STS 상관은 중복 탐지처럼 점수 자체를 쓰는 응용에서 본다.
임계값 정하기
중복 탐지, 군집, "비슷한 질문이 이미 있습니다" 같은 응용은 순위가 아니라 점수 자체로 판단한다. 유사도가 얼마 이상이면 같은 것으로 볼지 임계값을 정해야 한다.
from sentence_transformers import SentenceTransformer, util
model = SentenceTransformer("jhgan/ko-sroberta-multitask")
sentences = [
"오늘 날씨가 맑다",
"날씨가 오늘 좋네요",
"인공지능 기술이 발전했다",
"AI 기술 수준이 크게 향상됐다",
"내일 비가 올 예정이다",
]
embeddings = model.encode(sentences, convert_to_tensor=True)
cosine_scores = util.cos_sim(embeddings, embeddings)
# 유사도가 0.8 이상인 쌍 탐지
for i in range(len(sentences)):
for j in range(i+1, len(sentences)):
if cosine_scores[i][j] > 0.8:
print(f"유사 쌍 ({cosine_scores[i][j]:.2f}):")
print(f" {sentences[i]}")
print(f" {sentences[j]}")
코드의 0.8은 예시일 뿐이다. 임계값은 모델마다 다르다 — 점수 분포가 모델마다 다르게 펴져 있기 때문이다. 정하는 절차는 이렇다. 자기 데이터에서 문장 쌍 200~300개를 뽑아 사람이 "같다/다르다"를 붙인다. 그 쌍들의 유사도를 모두 계산하고, 임계값을 0.5부터 0.95까지 0.01씩 옮기며 정밀도와 재현율을 잰다. 잘못 묶는 것이 더 비싸면 정밀도가 0.95를 넘는 가장 낮은 임계값을, 놓치는 것이 더 비싸면 재현율 쪽에 맞춘다. 모델을 바꾸면 이 절차를 처음부터 다시 한다. 옛 임계값을 새 모델에 그대로 두면, 점수 분포가 위로 올라간 모델에서는 무관한 쌍까지 중복으로 묶인다.
골든셋
골든셋은 정답을 사람이 붙여 둔 평가용 질문 묶음이다. 실제 사용자 질문 100~200개를 모으고, 질문마다 정답 문서를 표시해 둔다. 처음 만들 때 하루쯤 들지만, 그 뒤로 모델 교체·청크 크기 변경·근사 색인 도입·접두사 누락 같은 모든 변경을 같은 잣대로 잴 수 있다.
골든셋이 공개 점수를 이기는 이유는 단순하다. 공개 점수는 남의 질문과 남의 문서로 잰 값이고, 골든셋은 우리 질문과 우리 문서로 잰 값이다. 사내 약어, 제품 코드, 우리 사용자가 실제로 쓰는 말투가 전부 들어 있다. 공개 순위 3위 모델이 골든셋에서 1위를 하는 일은 흔하다. 그리고 앞에서 본 조용한 실패들 — 접두사 누락, 색인과 질의의 모델 불일치, 잘린 긴 문서 — 은 골든셋의 재현율이 떨어지는 것으로만 드러난다. 측정 없이는 문장 임베딩의 실패가 대부분 눈에 안 보인다.
임베딩의 흐름
단어에서 문장으로
여기까지 오는 길을 짧게 돌아보면, 임베딩은 단위를 키워 가며 발전했다. Word2Vec은 신경망으로 주변 낱말을 맞히며 낱말의 의미 벡터를 처음 실용화했고, GloVe는 말뭉치 전체의 공기 통계를 함께 썼다. FastText는 글자 n-gram으로 처음 보는 낱말까지 다뤘다. ELMo와 BERT는 같은 낱말도 문맥에 따라 다른 벡터를 갖게 했다. SBERT는 그 위에서 문장 하나를 벡터 하나로 접고, 그 벡터가 의미 유사도와 맞도록 학습시켜 의미 검색과 RAG의 바탕을 만들었다.
텍스트 너머
문장 임베딩의 요점은 "비교할 것을 미리 같은 공간에 놓아 두면 비교가 곱셈 하나로 끝난다"는 것이었다. 이 생각은 텍스트에만 묶여 있지 않다. 다음 글에서는 이미지와 텍스트를 같은 벡터 공간에 놓는 멀티모달 임베딩 — CLIP과 그 후속 모델들 — 을 다룬다. 사진 한 장과 문장 한 줄이 같은 코사인 유사도로 견줘지면, 이 글에서 만든 검색 구성이 그대로 이미지 검색이 된다.
읽어주셔서 감사합니다. 😊

