좌표, 거리, 방향에서 시작해 Embedding 공간의 직관을 만듭니다.
핵심 요약
- Embedding은 대상을 연속적인 좌표로 표현합니다.
- 가까움은 학습 목표와 데이터가 정의한 유사성입니다.
- 코사인 유사도는 크기보다 방향을 비교합니다.
벡터를 좌표 이상의 것으로 보기
벡터는 숫자의 목록이지만, 각 숫자를 따로 읽기보다 공간 안의 한 점이나 방향으로 보면 관계가 보입니다. 모델은 단어, 문장, 이미지를 이 공간의 좌표로 바꿉니다.
중요한 점은 각 차원에 사람이 읽을 수 있는 이름이 없을 수 있다는 것입니다. 의미는 한 좌표가 아니라 여러 차원의 조합과 다른 점들과의 상대적 위치에 나타납니다.
거리가 만드는 유사성
두 벡터 사이의 거리나 각도를 측정하면 모델이 학습한 기준에서 얼마나 비슷한지 계산할 수 있습니다. 코사인 유사도는 벡터의 크기보다 방향에 집중합니다.
- 내적은 두 방향의 정렬 정도를 담습니다.
- 정규화하면 크기 차이의 영향을 줄일 수 있습니다.
- 가까운 벡터가 항상 사실적으로 같은 뜻인 것은 아닙니다.
Embedding의 한계 읽기
Embedding 공간은 데이터와 학습 목표의 흔적입니다. 편향된 데이터로 만든 공간에는 편향도 남습니다. 또한 특정 작업에서 가까운 것이 다른 작업에서도 유용하다는 보장은 없습니다.
따라서 검색 품질을 평가할 때는 벡터 유사도만 보지 말고 실제 질문과 정답 문서 쌍으로 검증해야 합니다.