수학

MATH / 중급 68번

임베딩 분포의 이방성: 공분산으로 재고 whitening으로 펴기

검색 결과의 코사인 유사도가 전부 0.8 근처에 몰려 순위가 흐려지는 현상을 공분산 행렬의 고윳값 분포로 측정하고, 평균 제거와 whitening이 그 분포를 어떻게 바꾸는지 4,000개 벡터로 직접 재 봤습니다. 후처리가 무엇을 대가로 치르는지까지 숫자로 확인합니다.

PALDYN Team44 MIN READ

RAG 검색기의 로그를 열어 보면 자주 마주치는 화면이 있습니다. 질의 하나에 대해 상위 10개 문서의 코사인 유사도가 0.834, 0.831, 0.828, 0.826, 0.821, ... 하는 식으로 소수 셋째 자리에서만 갈립니다. 그래서 「유사도 0.75 미만은 버린다」는 문턱을 두면 아무것도 안 걸러지고, 0.83으로 올리면 정답까지 같이 날아갑니다. 지난 글에서 무작위 초평면 해싱의 recall을 확률로 계산할 때 「데이터의 각도 분포를 먼저 보라」고 적었는데, 그 각도 분포 자체가 한쪽으로 쏠려 있으면 어떤 인덱스를 얹어도 순위가 흐려집니다.

이 글은 그 쏠림에 이름을 붙이고, 재는 법을 정하고, 펴는 변환 하나를 유도한 다음, 그 변환이 무엇을 대가로 치르는지까지 숫자로 확인합니다.

원점에서 재는 각

원점과 각

먼저 짚을 것이 하나 있습니다. 이방성(anisotropy)은 점 구름이 모든 방향으로 고르게 퍼져 있지 않고 특정 방향으로 몰려 있는 성질입니다. 반대말이 등방성이고, 등방적인 구름은 어느 방향에서 보나 같은 모양입니다.

임베딩이 이방적일 때 코사인 유사도가 왜 망가지는지는 2차원 그림 하나로 끝납니다. 내적과 코사인을 다룬 글에서 코사인 유사도는

cos⁡θ=a⋅b∥a∥ ∥b∥\cos\theta = \frac{\mathbf{a}\cdot\mathbf{b}}{\|\mathbf{a}\|\,\|\mathbf{b}\|}

로 정의했습니다. 여기서 θ\theta 는 원점에서 두 벡터를 바라봤을 때의 각입니다. 그러니까 코사인 유사도가 재는 것은 두 점 사이의 거리가 아니라, 원점이라는 한 자리에서 두 점을 봤을 때 벌어지는 각입니다.

원점 위치에 따라 같은 두 점의 각이 달라지는 모습

왼쪽과 오른쪽의 점 구름은 같은 구름입니다. 좌표를 통째로 평행이동했을 뿐이라 점들 사이의 거리는 하나도 안 변했습니다. 그런데 표시한 두 점의 각은 14∘14^\circ 에서 46∘46^\circ 로 벌어졌고, 코사인은 0.97에서 0.69로 떨어졌습니다.

원인은 하나입니다. 왼쪽은 원점이 구름 바깥에 있어서 모든 점이 원점에서 볼 때 「비슷한 방향」에 놓입니다. 구름이 원점에서 멀수록 그 각은 더 작아지고, 결국 무관한 두 점의 코사인도 1에 가까워집니다. 오른쪽은 원점이 구름 한가운데에 있어서 점들이 사방으로 흩어져 보입니다.

임베딩 벡터의 평균이 0이 아니면 이 일이 그대로 일어납니다. 언어 모델의 임베딩은 대부분 평균이 0에서 꽤 떨어져 있고, 그 평균 벡터의 길이가 개별 벡터 길이에 견줄 만큼 큰 경우도 흔합니다. 그러면 모든 벡터가 그 평균 방향 근처의 좁은 원뿔 안에 놓입니다.

이방성의 원인

그 원뿔은 두 가지가 겹쳐서 생깁니다.

첫째는 모두가 공유하는 평균입니다. 언어 모델은 다음 토큰을 맞히도록 학습하는데, 학습 신호의 대부분은 자주 나오는 토큰에서 옵니다. 드문 토큰의 벡터는 거의 모든 단계에서 「이번에도 정답이 아니다」라는 신호만 받고, 그 신호가 매번 비슷한 방향을 가리켜 여러 벡터가 함께 한쪽으로 밀린다는 분석이 있습니다. 그 결과 벡터들의 평균이 0에서 멀리 떨어진 한 점에 자리 잡습니다.

둘째는 길이가 하나로 묶이는 일입니다. 트랜스포머의 마지막에는 대개 정규화 층이 놓이는데, 이 층은 벡터 하나의 성분들에서 평균을 빼고 표준편차로 나눠 성분을 평균 0, 분산 1로 맞춥니다. 성분 dd 개의 제곱 평균이 1이니 제곱합은 dd 이고, 학습된 배율을 곱하기 전에는 모든 벡터의 길이가 d\sqrt{d} 로 같아집니다. 문장 임베딩은 끝에서 길이 1로 한 번 더 나누는 경우도 많습니다. 어느 쪽이든 점들이 반지름 하나짜리 구면 근처에 놓입니다.

이 둘이 겹치면 코사인 평균을 바로 계산할 수 있습니다. 벡터 NN 개의 길이가 전부 rr 이고 평균이 xˉ\bar{\mathbf{x}} 라고 하면

1N2∑i=1N∑j=1Nxi⋅xjr2=1r2(1N∑ixi)⋅(1N∑jxj)=∥xˉ∥2r2\frac{1}{N^2}\sum_{i=1}^{N}\sum_{j=1}^{N} \frac{\mathbf{x}_i\cdot\mathbf{x}_j}{r^2} = \frac{1}{r^2}\left(\frac{1}{N}\sum_i \mathbf{x}_i\right)\cdot\left(\frac{1}{N}\sum_j \mathbf{x}_j\right) = \frac{\|\bar{\mathbf{x}}\|^2}{r^2}

입니다. 모든 쌍의 코사인 평균이 「평균 벡터 길이를 반지름으로 나눈 값」의 제곱입니다. 자기 자신과의 쌍(i=ji = j)이 섞여 있지만 NN 이 수천이면 그 몫은 무시할 만합니다. 평균 벡터가 반지름의 0.9배 길이면 아무 두 벡터의 코사인이 평균 0.81이 됩니다. 이 글의 실험 데이터를 길이 1로 나눈 뒤 이 식을 쓰면 0.739가 나오고, 뒤에서 무작위 쌍 20만 개로 직접 잰 평균과 셋째 자리까지 같습니다. 원뿔의 좁기는 평균 벡터의 길이 하나로 정해집니다.

공분산으로 재는 쏠림

공분산 행렬

「몰려 있다」를 눈으로 보는 것이 아니라 숫자로 재려면 공분산 행렬이 필요합니다. 벡터 NN 개를 행으로 쌓은 X∈RN×dX \in \mathbb{R}^{N \times d} 에 대해

Σ=1N−1∑i=1N(xi−xˉ)(xi−xˉ)⊤\Sigma = \frac{1}{N-1}\sum_{i=1}^{N} (\mathbf{x}_i - \bar{\mathbf{x}})(\mathbf{x}_i - \bar{\mathbf{x}})^\top

이 d×dd \times d 공분산 행렬입니다. Σ\Sigma 는 대칭이고 양반정치(positive semi-definite)이므로 대칭 행렬의 직교 대각화에 따라

Σ=VΛV⊤,Λ=diag(λ1≥λ2≥⋯≥λd≥0)\Sigma = V \Lambda V^\top, \qquad \Lambda = \mathrm{diag}(\lambda_1 \ge \lambda_2 \ge \cdots \ge \lambda_d \ge 0)

로 쪼갤 수 있습니다. VV 의 열이 서로 직교하는 축(고유벡터)이고, λk\lambda_k 는 그 축 방향으로 데이터가 퍼진 정도(분산)입니다. 고윳값과 고유벡터를 다룬 글에서 세운 그대로입니다.

설명 분산비와 유효 차원

여기서 쏠림을 재는 값 둘이 나옵니다.

설명 분산비는 축 하나가 전체 분산에서 차지하는 몫, 즉 λk/∑jλj\lambda_k / \sum_j \lambda_j 입니다. 상위 몇 축의 값을 더해 누적으로 쓰는 것이 보통입니다.

참여비(participation ratio)는 「실질적으로 몇 개 축이 일하고 있는가」를 하나의 수로 답합니다.

deff=(∑kλk)2∑kλk2d_{\text{eff}} = \frac{\left(\sum_k \lambda_k\right)^2}{\sum_k \lambda_k^2}

고윳값이 전부 같으면 이 값이 정확히 dd 가 되고, 한 축에만 몰려 있으면 1에 가까워집니다. 그래서 유효 차원이라고 읽습니다. 분자는 합의 제곱, 분모는 제곱의 합이라 코시–슈바르츠 부등식이 1≤deff≤d1 \le d_{\text{eff}} \le d 를 보장합니다.

64차원 벡터 4,000개를 만들어 재 보면 이렇습니다.

공분산 고윳값 상위 12개와 누적 설명 분산비

64개 축이 있는데 분산의 절반이 축 두 개에 있고, 유효 차원은 6.1입니다. 「64차원 임베딩」이라고 부르지만 실제로 데이터가 쓰는 방향은 여섯 개 남짓이라는 뜻입니다.

원인과 처방

쏠림을 만드는 것은 앞에서 본 두 가지이고, 재는 법과 처방도 둘로 갈립니다.

원인 재는 법 처방
평균이 0이 아니다 ∥xˉ∥\|\bar{\mathbf{x}}\| 를 벡터의 평균 길이와 비교 평균 빼기
몇 축의 분산이 유독 크다 설명 분산비, 유효 차원 whitening 또는 상위 축 제거

위 데이터는 평균 벡터의 길이가 21.8이고 개별 벡터의 평균 길이가 24.6입니다. 벡터 길이의 거의 전부가 「모두가 공유하는 방향」인 셈입니다. 여기에 상위 세 축의 과대 분산이 겹쳐 있습니다.

평균 빼기는 xi←xi−xˉ\mathbf{x}_i \leftarrow \mathbf{x}_i - \bar{\mathbf{x}} 한 줄입니다. 첫 그림의 오른쪽 패널이 그 결과이고, 원점을 구름 한가운데로 옮기는 것 말고는 아무것도 안 합니다.

whitening(백색화)은 한 걸음 더 갑니다. 평균을 뺀 데이터에 행렬 하나를 곱해 모든 축의 분산을 1로, 축들 사이 상관을 0으로 만드는 변환입니다. 이름은 모든 주파수가 같은 세기로 섞인 백색 잡음에서 왔습니다. 찾는 것은

zi=W(xi−xˉ),Cov⁡(z)=I\mathbf{z}_i = W(\mathbf{x}_i - \bar{\mathbf{x}}), \qquad \operatorname{Cov}(\mathbf{z}) = I

를 만족하는 WW 입니다. 변환 뒤 공분산은 WΣW⊤W \Sigma W^\top 이므로 조건은 WΣW⊤=IW \Sigma W^\top = I 입니다.

재는 비용은 작습니다. 공분산 행렬 하나를 세우면 평균 길이도, 고윳값도, 유효 차원도 같이 나옵니다. 행렬의 칸 수는 d2d^2 이라 768차원이면 589,824칸, 약 59만 칸이고 대칭이라 실제로 다른 값은 그 절반인 29만 5천여 개입니다. 벡터 NN 개로 채우는 데 곱셈이 Nd2N d^2 번쯤 들고 고윳값 분해가 d3d^3 정도라, 코퍼스 전체로 한 번 재도 행렬 곱 한 번 분량입니다. 인덱스를 세우기 전에 이 값부터 보는 편이 쌉니다.

지표의 어긋남

설명 분산비와 유효 차원이 늘 같은 말을 하지는 않습니다. 위 데이터처럼 상위 두 축이 절반을 갖고 유효 차원이 6.1이면 둘 다 「몇 축에 몰렸다」고 말합니다. 그런데 스펙트럼의 꼬리가 길고 평평하면 둘이 갈립니다.

768차원에서 한 축이 분산의 25%를 갖고 나머지 75%를 767축이 똑같이 나눠 가진 경우를 계산해 보겠습니다. 상위 10축의 누적 설명 분산비는 25.9%이고, 90%에 닿으려면 축이 666개 필요합니다. 누적 분산비로 보면 「거의 768차원을 다 쓰는」 데이터입니다. 그런데 유효 차원은

deff=10.252+767×(0.75767)2≈10.0625+0.0007≈15.8d_{\text{eff}} = \frac{1}{0.25^2 + 767 \times \left(\frac{0.75}{767}\right)^2} \approx \frac{1}{0.0625 + 0.0007} \approx 15.8

로 열여섯 남짓입니다. 분모가 고윳값을 제곱해 더하므로 큰 축 하나가 분모를 거의 다 차지하고, 작은 값이 수백 개 깔린 꼬리는 분모에 거의 안 들어가기 때문입니다. 유효 차원은 지배 축이 있는지에 민감하고, 누적 분산비는 꼬리가 얼마나 넓은지에 민감합니다. 그래서 둘을 함께 봐야 합니다 — 유효 차원이 작은데 누적 분산비가 천천히 차오르면 지배 축 몇 개 아래에 넓은 꼬리가 깔린 모양이고, 그 꼬리를 버리는 차원 축소는 생각보다 많은 정보를 버립니다.

whitening의 세 걸음

대칭 제곱근

조건 WΣW⊤=IW \Sigma W^\top = I 를 만족하는 가장 흔한 선택이 W=Σ−1/2W = \Sigma^{-1/2} 입니다. 이 표기가 낯설다면 대각화를 거쳐 읽으면 바로 풀립니다. Σ=VΛV⊤\Sigma = V\Lambda V^\top 이고 VV 가 직교행렬(V⊤V=IV^\top V = I)이므로

Σ−1/2=VΛ−1/2V⊤,Λ−1/2=diag ⁣(λ1−1/2,…,λd−1/2)\Sigma^{-1/2} = V \Lambda^{-1/2} V^\top, \qquad \Lambda^{-1/2} = \mathrm{diag}\!\left(\lambda_1^{-1/2}, \ldots, \lambda_d^{-1/2}\right)

입니다. 이것이 정말 Σ\Sigma 의 −1/2-1/2 제곱인지는 두 번 곱해 보면 확인됩니다.

(VΛ−1/2V⊤)(VΛ−1/2V⊤)=VΛ−1/2(V⊤V)Λ−1/2V⊤=VΛ−1/2Λ−1/2V⊤=VΛ−1V⊤=Σ−1\begin{aligned} \left(V \Lambda^{-1/2} V^\top\right)\left(V \Lambda^{-1/2} V^\top\right) &= V \Lambda^{-1/2} \left(V^\top V\right) \Lambda^{-1/2} V^\top \\ &= V \Lambda^{-1/2} \Lambda^{-1/2} V^\top \\ &= V \Lambda^{-1} V^\top = \Sigma^{-1} \end{aligned}

가운데의 V⊤VV^\top V 가 II 로 사라지는 것이 전부입니다. 이렇게 만든 Σ−1/2\Sigma^{-1/2} 은 자기 자신이 대칭이라 대칭 제곱근이라고 부르고, 이 선택을 쓴 whitening을 ZCA whitening이라고 합니다.

식을 오른쪽부터 읽으면 세 걸음이 보입니다.

whitening을 회전·늘리기·되돌리기 세 걸음으로 그린 그림

V⊤V^\top 이 좌표축을 고유벡터 방향으로 돌리고, Λ−1/2\Lambda^{-1/2} 이 축마다 1/λk1/\sqrt{\lambda_k} 배를 해서 퍼진 축은 줄이고 눌린 축은 늘리고, VV 가 원래 좌표계로 되돌립니다.

회전의 자유

조건을 만족하는 WW 는 하나가 아닙니다. WW 가 해이면 아무 직교행렬 QQ 를 왼쪽에 곱한 QWQW 도 해입니다.

(QW) Σ (QW)⊤=Q(WΣW⊤)Q⊤=QIQ⊤=I(QW)\,\Sigma\,(QW)^\top = Q\left(W\Sigma W^\top\right)Q^\top = Q I Q^\top = I

공분산이 II 인 구름은 둥근 공이라 어느 쪽으로 돌려도 둥근 공이기 때문입니다. 그래서 whitening이 정하는 것은 「공으로 만든다」까지이고, 공을 어느 방향으로 세워 둘지는 고르는 사람 몫입니다.

세 걸음에서 마지막 되돌리기를 빼고 W=Λ−1/2V⊤W = \Lambda^{-1/2}V^\top 로 멈추면 PCA whitening입니다. 공분산은 똑같이 II 가 되지만 결과의 첫 좌표가 가장 큰 고유벡터 방향이 되는 식으로 축이 통째로 돌아가 있어, 원래 차원의 뜻이 사라집니다. ZCA는 그 회전을 되돌려 원래 좌표에 가장 가깝게 둡니다. 정확히는 변환 전후의 거리 제곱 ∥zi−(xi−xˉ)∥2\|\mathbf{z}_i - (\mathbf{x}_i - \bar{\mathbf{x}})\|^2 의 평균을 가장 작게 하는 whitening이 ZCA라는 것이 알려져 있습니다. 실험 데이터의 64차원 4,000개로 재면 이 평균이 ZCA 76.3, PCA 238.2입니다.

콜레스키 whitening

세 번째 판은 분해 방법에서 나옵니다. 고윳값이 모두 양수인 대칭 행렬, 곧 양정치 행렬은 대각 성분이 양수인 아래삼각행렬 LL 하나로 Σ=LL⊤\Sigma = LL^\top 처럼 쪼갤 수 있고, 이것을 콜레스키 분해라고 합니다. 그러면 W=L−1W = L^{-1} 도 조건을 만족합니다.

L−1 Σ L−⊤=L−1(LL⊤)L−⊤=IL^{-1}\,\Sigma\,L^{-\top} = L^{-1}\left(LL^\top\right)L^{-\top} = I

이것이 콜레스키 whitening입니다. 아래삼각행렬의 역도 아래삼각행렬이라 z1z_1 은 x1x_1 만으로, z2z_2 는 x1,x2x_1, x_2 만으로 정해집니다. 첫 좌표는 배율만 바뀌고, 두 번째 좌표는 첫 좌표로 설명되는 몫을 빼고 남은 것을 맞추는 식으로 차례가 쌓입니다. 그래서 결과의 축이 좌표의 순서에 묶입니다 — 성분 순서를 바꾸면 다른 WW 가 나옵니다.

2차원 Σ=[4222]\Sigma = \begin{bmatrix} 4 & 2 \\ 2 & 2 \end{bmatrix} 로 세 판을 나란히 놓아 보겠습니다. 콜레스키 분해는 L=[2011]L = \begin{bmatrix} 2 & 0 \\ 1 & 1 \end{bmatrix} 이라 L−1=[0.50−0.51]L^{-1} = \begin{bmatrix} 0.5 & 0 \\ -0.5 & 1 \end{bmatrix} 로 손으로도 나옵니다. 타원 위의 두 점 (2,1)(2, 1) 과 (0,1)(0, 1) 을 각 판으로 옮기면 다음과 같습니다.

같은 타원을 ZCA·PCA·콜레스키로 편 세 결과

원래 63.4°였던 두 점이 세 판 모두에서 90°가 됩니다. 콜레스키는 빨간 점을 정확히 (1,0)(1, 0) 에, 파란 점을 (0,1)(0, 1) 에 보냅니다. 세 결과는 같은 단위원 위에서 서로 회전만 다릅니다. 64차원 데이터에서 앞의 평균 이동 거리를 재면 콜레스키가 94.4로 ZCA(76.3)와 PCA(238.2) 사이에 섭니다.

마할라노비스 거리

세 판이 회전만 다르다는 것은 거리를 보면 식으로 드러납니다. 어느 판이든 W=QΣ−1/2W = Q\Sigma^{-1/2} 꼴이라 W⊤W=Σ−1/2Q⊤QΣ−1/2=Σ−1W^\top W = \Sigma^{-1/2}Q^\top Q\Sigma^{-1/2} = \Sigma^{-1} 이고, 콜레스키도 L−⊤L−1=(LL⊤)−1=Σ−1L^{-\top}L^{-1} = (LL^\top)^{-1} = \Sigma^{-1} 입니다. 그러므로

∥W(x−y)∥2=(x−y)⊤W⊤W(x−y)=(x−y)⊤Σ−1(x−y)\|W(\mathbf{x}-\mathbf{y})\|^2 = (\mathbf{x}-\mathbf{y})^\top W^\top W (\mathbf{x}-\mathbf{y}) = (\mathbf{x}-\mathbf{y})^\top \Sigma^{-1} (\mathbf{x}-\mathbf{y})

가 됩니다. 오른쪽에 WW 가 남아 있지 않습니다. 이 값의 제곱근이 마할라노비스 거리이고, 퍼진 방향으로는 거리를 줄여 세고 눌린 방향으로는 늘려 세는 거리입니다. whitening 뒤의 보통 거리가 원래 공간의 마할라노비스 거리입니다.

같은 식에서 내적도 za⋅zb=(a−xˉ)⊤Σ−1(b−xˉ)\mathbf{z}_a \cdot \mathbf{z}_b = (\mathbf{a}-\bar{\mathbf{x}})^\top \Sigma^{-1} (\mathbf{b}-\bar{\mathbf{x}}) 로 WW 를 고르는 방식과 무관하므로, whitening 뒤의 코사인은 마할라노비스 거리가 정하는 기하에서 잰 각입니다. 실험 데이터로 확인하면 세 판의 코사인이 소수 여섯째 자리까지 같았습니다(첫 문서와 둘째 문서 사이 0.731885). 검색 순위만 보면 셋 중 무엇을 골라도 결과가 같고, 고르는 기준은 변환 뒤의 좌표를 사람이 읽어야 하는가뿐입니다.

4,000개 벡터 실험

실험 설계

의미가 있는 주제 200개를 만들고 주제마다 문장 20개씩, 모두 4,000개 벡터를 만들었습니다. 그다음 인코더가 흔히 덧씌우는 것 — 큰 공통 평균과 세 축의 과대 분산 — 을 얹었습니다. 「정답」을 아는 데이터이므로 순위가 실제로 좋아졌는지를 recall로 잴 수 있습니다.

import numpy as np
rng = np.random.default_rng(11)
d, K, per = 64, 200, 20          # 64차원, 주제 200개, 주제당 20문장
N = K * per

centers = rng.normal(size=(K, d))
true = np.repeat(centers, per, axis=0) + rng.normal(size=(N, d)) * 0.55
label = np.repeat(np.arange(K), per)

Q, _ = np.linalg.qr(rng.normal(size=(d, d)))   # 임의의 직교 축
scale = np.ones(d)
scale[:3] = [7.0, 4.2, 3.0]                    # 지배 축 셋
X = (true @ Q) * scale @ Q.T + Q[:, 0] * 22.0  # + 공통 평균

def evaluate(A, tag):
    An = A / np.linalg.norm(A, axis=1, keepdims=True)
    S = An @ An.T
    np.fill_diagonal(S, -np.inf)
    top = np.argsort(-S, axis=1)[:, :per - 1]  # 상위 19개
    recall = (label[top] == label[:, None]).mean()
    i = rng.integers(0, N, 200000)
    j = rng.integers(0, N, 200000)
    m = i != j
    c = (An[i][m] * An[j][m]).sum(1)           # 무작위 쌍의 코사인
    print(f"{tag:20s} 평균 {c.mean():+.3f}  표준편차 {c.std():.3f}  recall@19 {recall:.3f}")

evaluate(X, "원본")
Xc = X - X.mean(0)
evaluate(Xc, "평균 제거")

w, V = np.linalg.eigh(np.cov(Xc, rowvar=False))
W = V @ np.diag(w ** -0.5) @ V.T               # Σ^(-1/2)
evaluate(Xc @ W, "+ whitening")

L = np.linalg.cholesky(np.cov(Xc, rowvar=False))
for tag, M in [("ZCA", W), ("PCA", np.diag(w ** -0.5) @ V.T), ("콜레스키", np.linalg.inv(L))]:
    Z = Xc @ M.T
    print(tag, np.mean(((Z - Xc) ** 2).sum(1)).round(1))   # ZCA 76.3 / PCA 238.2 / 콜레스키 94.4

np.linalg.eigh는 대칭 행렬 전용이라 고윳값을 오름차순 실수로 돌려줍니다. w ** -0.5가 Λ−1/2\Lambda^{-1/2} 이고, 앞뒤로 VV 를 곱한 것이 그대로 Σ−1/2\Sigma^{-1/2} 입니다. 마지막 세 줄이 앞 절에서 쓴 평균 이동 거리를 잽니다.

결과

처리 코사인 평균 표준편차 1퍼센타일 99퍼센타일 recall@19
원본 +0.739 0.169 +0.119 +0.934 0.901
평균 제거 +0.001 0.325 −0.681 +0.696 0.853
평균 제거 + whitening −0.001 0.124 −0.267 +0.286 1.000

세 처리의 코사인 유사도 분포 히스토그램

원본에서는 아무 관계도 없는 두 문장의 코사인이 평균 0.739이고, 99퍼센타일이 0.934입니다. 서두의 「0.75 문턱이 아무것도 안 거른다」가 정확히 이 숫자입니다. 무작위 쌍의 절반 이상이 0.75를 넘으니 문턱이 하는 일이 없습니다.

읽을 때 조심할 자리가 세 군데 있습니다.

첫째, 평균 제거만으로는 recall이 오히려 떨어졌습니다(0.901 → 0.853). 코사인 분포는 0을 중심으로 예쁘게 펴졌는데 순위는 나빠졌습니다. 분포가 보기 좋아진 것과 검색이 잘되는 것은 다른 일입니다. 평균을 빼면 「모두가 공유하던 방향」이 사라지는데, 그 방향이 순위에 기여하던 몫도 같이 사라집니다.

둘째, 순위를 살린 것은 축별 분산을 고른 것입니다. whitening을 얹은 뒤에야 recall이 1.000이 됐습니다. 이 데이터에서 진짜 의미는 64축에 고르게 흩어져 있었는데 상위 세 축이 과대 분산으로 그것을 덮고 있었습니다. 축마다 1/λk1/\sqrt{\lambda_k} 를 곱하는 것이 그 덮개를 걷어내는 일입니다.

셋째, whitening 뒤의 코사인 표준편차는 0.124로 가장 작습니다. 값이 더 좁아졌는데 순위는 완벽해졌습니다. 유사도의 절대값과 순위의 품질은 서로 다른 축이라는 말이고, 그래서 「0.9면 비슷한 문서」 같은 절대 임계값은 후처리를 한 번이라도 거치면 그대로 무의미해집니다.

질의 변환

실제 검색기에 얹을 때 가장 먼저 틀리는 자리는 질의 쪽입니다. 문서를 z=W(x−xˉ)\mathbf{z} = W(\mathbf{x} - \bar{\mathbf{x}}) 로 바꿔 저장했다면 질의 q\mathbf{q} 에도 똑같이 W(q−xˉ)W(\mathbf{q} - \bar{\mathbf{x}}) 를 씌워야 합니다. 여기서 xˉ\bar{\mathbf{x}} 와 WW 는 문서 코퍼스에서 적합한 그 값이어야 하고, 질의 묶음에서 새로 구하면 안 됩니다. 질의 하나로는 공분산을 세울 수도 없고, 질의 로그로 따로 구한 WW 는 문서와 다른 좌표계를 만듭니다.

변환을 빠뜨리면 코사인이 무엇을 재는지 알 수 없게 됩니다. 원래 공간의 질의는 평균 방향으로 크게 치우쳐 있고 whitening한 문서는 그 방향이 지워져 있어서, 둘의 내적은 앞 절의 Σ−1\Sigma^{-1} 내적도 아니고 원래의 코사인도 아닌 값이 됩니다. 오류도 안 나고 점수도 그럴듯한 범위에 나오므로, 평가셋으로 recall을 재 보기 전에는 드러나지 않습니다. 그래서 xˉ\bar{\mathbf{x}} 와 WW 를 인코더와 한 묶음으로 저장하고 질의 경로와 색인 경로가 같은 함수를 부르게 두는 편이 안전합니다.

인덱스 재구축

whitening은 순위를 바꾸려고 하는 변환입니다. 실험의 recall이 0.853에서 1.000으로 바뀐 것이 곧 각 질의의 최근접 이웃 목록이 바뀌었다는 뜻입니다. 원래 공간의 코사인 순서와 whitening 뒤의 코사인 순서는 일반적으로 다릅니다. 순서가 보장되는 경우는 평균을 빼지 않고 WW 가 직교행렬의 배수일 때 정도로 좁습니다.

그래서 저장된 벡터가 통째로 바뀌면 근사 최근접 이웃 인덱스, 즉 모든 쌍을 비교하는 대신 그래프나 군집으로 후보를 좁혀 가장 가까운 벡터를 빠르게 찾는 자료구조도 새로 만들어야 합니다. 이런 인덱스는 「누가 누구와 가까운가」를 구조 안에 박아 두므로, 벡터만 갈아 끼우고 구조를 그대로 두면 옛 공간의 이웃 관계로 새 공간을 찾게 됩니다. WW 를 다시 적합할 때마다 같은 일이 반복되니, 다시 적합하는 주기가 곧 인덱스를 다시 세우는 주기입니다.

whitening의 대가

여기까지만 보면 whitening을 안 할 이유가 없어 보입니다. 대가가 셋 있고, 그 사이에 눈금이 있습니다.

표본 수

Σ−1/2\Sigma^{-1/2} 을 만들려면 λk\lambda_k 로 나눠야 하는데, 표본이 적으면 작은 λk\lambda_k 의 추정값이 통째로 잡음입니다. d×dd \times d 공분산을 제대로 세우려면 표본이 dd 보다 넉넉히 많아야 하고, N<dN < d 이면 Σ\Sigma 가 특이행렬이라 역제곱근이 아예 없습니다.

같은 데이터에서 표본 nn 개만 뽑아 Σ\Sigma 를 적합한 뒤 전체 4,000개에 적용해 봤습니다(d=64d = 64).

Σ를 적합한 표본 수 코사인 표준편차 recall@19
2,000 0.125 1.000
400 0.133 0.999
128 0.171 0.957
80 0.258 0.695
70 0.419 0.449

차원의 여섯 배 남짓인 n=400n = 400 까지는 멀쩡한데, 표본 수가 차원에 바짝 다가간 n=70n = 70 에서 0.449로 무너집니다. 128에서 80 사이에 이미 비탈이 시작되니, 차원의 두 배도 안전한 거리가 아닙니다. 실무에서 이 절벽을 밟는 자리는 대개 「검색 코퍼스 전체가 아니라 최근 문서 몇백 개로 Σ\Sigma 를 다시 적합」할 때입니다.

축소 추정

표준 방어는 작은 고윳값에 하한을 두는 것이고, 그 가장 흔한 꼴이 축소 추정(shrinkage)입니다. 표본 공분산에 평균 분산짜리 단위행렬을 섞습니다.

Σα=(1−α) Σ+α λˉ I,λˉ=tr⁡Σd=1d∑kλk\Sigma_\alpha = (1-\alpha)\,\Sigma + \alpha\,\bar{\lambda}\, I, \qquad \bar{\lambda} = \frac{\operatorname{tr}\Sigma}{d} = \frac{1}{d}\sum_k \lambda_k

II 는 어떤 직교행렬로 돌려도 II 라서 Σ\Sigma 의 고유벡터가 그대로 Σα\Sigma_\alpha 의 고유벡터이고, 고윳값만 (1−α)λk+αλˉ(1-\alpha)\lambda_k + \alpha\bar{\lambda} 로 바뀝니다. 아무리 작은 λk\lambda_k 도 αλˉ\alpha\bar{\lambda} 아래로는 안 내려가니, 비율 α\alpha 하나가 곧 「평균 분산의 몇 배를 하한으로 둘 것인가」입니다. 큰 고윳값은 거의 그대로이고 작은 쪽만 끌어올려집니다.

다른 70개를 뽑아 재 봤습니다. 축소 없이는 recall이 0.441로 앞 표와 같은 절벽에 떨어졌고, 가장 작은 고윳값이 평균 분산의 0.0009배였습니다. 그 값의 제곱근으로 나누면 이 방향의 작은 흔들림이 평균적인 축보다 서른 배 넘게 확대됩니다. 그 방향의 분산은 표본 70개가 우연히 작게 잰 값이라, 전체 4,000개에 씌우면 잡음이 순위를 덮습니다.

섞는 비율 α recall@19
0 0.441
0.05 0.957
0.1 0.986
0.2 0.997

α=0.1\alpha = 0.1 이면 가장 작은 고윳값이 평균 분산의 0.101배로 올라가고 recall이 0.986으로 돌아옵니다. 같은 표본 70개에 섞는 비율 하나만 바꾼 결과입니다. α\alpha 가 1에 가까워지면 Σα\Sigma_\alpha 가 단위행렬의 배수에 가까워져 whitening이 평균 빼기와 같아지므로, α\alpha 는 「whitening을 얼마나 믿을 것인가」의 눈금이기도 합니다. λk←max⁡(λk,ε)\lambda_k \leftarrow \max(\lambda_k, \varepsilon) 처럼 바닥만 자르는 방법도 같은 생각입니다.

지배 축의 신호

위 실험은 진짜 의미가 64축에 고르게 흩어져 있고 상위 세 축이 인코더가 덧씌운 껍데기라고 가정했습니다. 그 가정을 뒤집어 봤습니다. 이번에는 주제를 가르는 정보가 상위 여덟 축에만 있고 나머지 축은 잡음뿐입니다.

처리 코사인 평균 표준편차 recall@19
원본 +0.774 0.112 0.648
평균 제거 +0.000 0.261 0.751
평균 제거 + whitening −0.000 0.122 0.110

코사인 분포는 앞의 실험과 거의 똑같이 예쁘게 펴졌는데 recall은 0.751에서 0.110으로 떨어졌습니다. whitening은 분산이 큰 축을 눌러 분산이 작은 축과 같은 무게로 만드는 변환이고, 큰 축에 신호가 있으면 그것이 정확히 신호를 죽이는 일이 됩니다. 그리고 코사인 분포만 봐서는 두 경우를 구별할 수 없습니다 — 표준편차 0.124와 0.122가 각각 recall 1.000과 0.110입니다. 분포 그림은 진단이 아니고, 정답이 있는 평가셋으로 재는 수밖에 없습니다.

평가셋이 있다면 미리 가르는 방법이 있습니다. 평균을 뺀 벡터를 상위 kk 개 고유벡터에만 투영해, 그 몇 축만 남긴 표현으로 recall을 재는 것입니다. 첫 실험의 데이터에서 상위 세 축만 남기면 recall이 0.044이고, 반대로 그 세 축을 빼고 나머지 61축만 쓰면 1.000입니다. 같은 주제가 무작위로 걸릴 확률이 19/3,999, 약 0.005이니 세 축만으로는 거의 아무것도 못 찾는 셈이고 — 지배 축이 껍데기라는 판정입니다. 두 번째 실험처럼 신호가 상위 축에 있는 데이터라면 이 값이 거꾸로 나와야 합니다. 몇 축만 남긴 recall이 높게 나오면 whitening으로 그 축을 누르기 전에 멈춰야 합니다.

상위 축 제거

두 극단 사이에 눈금이 있습니다. 상위 몇 축만 통째로 빼는 방법(all-but-the-top)은 whitening보다 덜 과격합니다. 첫 실험의 데이터로 재면 이렇습니다.

처리 코사인 표준편차 recall@19
평균 제거만 0.325 0.853
상위 1축 제거 0.217 0.971
상위 2축 제거 0.159 0.997
상위 3축 제거 0.138 1.000
상위 5축 제거 0.141 1.000
전체 whitening 0.124 1.000

지배 축이 셋이었으니 세 축만 빼도 whitening과 같은 자리에 도착합니다. 축을 빼는 쪽은 작은 λk\lambda_k 로 나누는 일이 없어 위의 소표본 절벽을 밟지 않고, 몇 축을 뺄지가 눈금이라 평가셋으로 고를 수 있습니다. 「상위 몇 축이 지배적인가」는 앞에서 그린 고윳값 스펙트럼이 그대로 답을 줍니다.

유사도 문턱

z 점수 문턱

서두의 화면으로 돌아갑니다. 상위 문서의 유사도가 0.83에 몰려 있던 것은 검색기가 못해서가 아닙니다. 무관한 쌍의 코사인이 이미 평균 0.74였기 때문에 0.83이 「꽤 비슷함」이 아니라 「평균보다 약간 위」였을 뿐입니다. 절대값을 읽으려던 것이 애초에 잘못된 독법이고, 재야 할 것은 그 코퍼스의 무작위 쌍 분포입니다.

그 분포의 평균 μ\mu 와 표준편차 σ\sigma 를 알면 코사인을 「평균에서 몇 표준편차 위인가」로 다시 쓸 수 있습니다.

z=cos⁡θ−μσz = \frac{\cos\theta - \mu}{\sigma}

이 값을 z 점수라고 부르고, 문턱도 코사인이 아니라 이 눈금으로 적습니다. 원본에서 μ=0.739\mu = 0.739, σ=0.169\sigma = 0.169 이니 서두의 0.834는 z=0.56z = 0.56 입니다. 무작위 쌍 평균에서 표준편차 반 개 남짓 위라, 문턱으로서는 거의 아무것도 안 가르는 자리입니다.

원본과 whitening 뒤의 무작위 쌍 분포에 z 점수 문턱을 그은 그림

그림이 두 가지를 더 보여 줍니다. 원본에서는 같은 주제 쌍의 평균도 z 약 1.1밖에 안 됩니다. 무작위 쌍 분포가 1 쪽에 바짝 붙어 왼쪽으로 긴 꼬리를 끌고 있어서, 같은 주제 쌍이 그 꼬리 안에 묻힙니다. 「z 3을 문턱으로」라고 정하려 해도 그 자리가 코사인 1.25라 코사인이 닿을 수 없는 값입니다. 반면 whitening 뒤에는 z 3이 코사인 0.371이고, 그 위로 넘어간 무작위 쌍이 0.52%, 같은 주제 쌍은 100%입니다. 무작위로 뽑은 쌍이 같은 주제일 확률이 약 0.48%이니, 넘어간 0.52%도 대부분은 실은 같은 주제 쌍입니다. 같은 주제 쌍의 평균은 z 약 5.8로, 무작위 쌍과 완전히 떨어져 섭니다.

변환에 딸린 문턱

z 점수 문턱의 μ\mu 와 σ\sigma 는 그 코퍼스, 그 인코더, 그 후처리에서 잰 값입니다. 평균 제거를 얹으면 μ\mu 가 0.739에서 0으로 옮겨 가고, whitening을 얹으면 σ\sigma 가 0.124로 바뀝니다. 같은 「z 3」이 원본에서는 존재하지 않는 자리이고 whitening 뒤에는 0.371입니다. 문턱은 데이터의 속성이 아니라 변환에 딸린 값이라는 뜻입니다.

그래서 문턱도 xˉ\bar{\mathbf{x}} 와 WW 와 한 묶음으로 다룹니다. 인코더를 바꾸거나, WW 를 다시 적합하거나, 축소 비율 α\alpha 를 고치면 무작위 쌍 수십만 개를 다시 뽑아 μ\mu 와 σ\sigma 를 새로 재고, 그 값으로 문턱을 다시 적습니다. 무작위 쌍 20만 개의 코사인을 구하는 데는 내적 20만 번이면 되니, 인덱스를 다시 세우는 비용에 비하면 공짜에 가깝습니다.

정리하면 서두의 화면에 대해 세 가지를 말할 수 있습니다. 0.83에 몰린 점수는 「평균보다 약간 위」였고, 그것을 읽는 눈금은 무작위 쌍 분포의 z 점수입니다. 후처리를 얹기로 했다면 고칠 대상이 평균인지 축별 분산인지를 ∥xˉ∥\|\bar{\mathbf{x}}\| 와 유효 차원으로 먼저 가르고, 그 어느 쪽이든 정답이 있는 평가셋으로 recall을 재서 고른 것이 옳은지 확인합니다. 표준편차 0.124와 0.122가 recall 1.000과 0.110으로 갈렸던 것처럼, 분포를 예쁘게 만드는 일과 검색을 잘하게 만드는 일은 다르고 그 차이를 확인하는 방법은 재는 것뿐입니다.

정리

  • 코사인 유사도는 원점에서 재는 각이다. 점 구름이 원점에서 멀면 무관한 점들끼리도 각이 작아지고 코사인이 1에 가까워진다. 길이가 모두 rr 인 벡터들의 코사인 평균은 ∥xˉ∥2/r2\|\bar{\mathbf{x}}\|^2/r^2 이다.
  • 이방성은 공분산 행렬의 고윳값 분포로 잰다. 설명 분산비 λk/∑jλj\lambda_k/\sum_j\lambda_j 와 유효 차원 (∑λk)2/∑λk2(\sum\lambda_k)^2/\sum\lambda_k^2 를 함께 본다 — 꼬리가 긴 스펙트럼에서는 유효 차원이 작아도 누적 분산비가 천천히 찬다.
  • 실험한 64차원 데이터는 분산의 절반이 축 두 개에 있고 유효 차원이 6.1이었다. 무관한 두 벡터의 코사인이 평균 0.739였다.
  • whitening은 WΣW⊤=IW\Sigma W^\top = I 를 만드는 변환이고 해가 하나가 아니다. 대칭 제곱근(ZCA) · PCA · 콜레스키가 서로 회전만 다르며, 셋 다 W⊤W=Σ−1W^\top W = \Sigma^{-1} 이라 변환 뒤의 거리는 마할라노비스 거리, 코사인도 같다.
  • 평균 제거만으로는 recall이 0.901에서 0.853으로 떨어졌고, whitening까지 얹어야 1.000이 됐다. 질의에도 문서 코퍼스에서 적합한 같은 xˉ\bar{\mathbf{x}} 와 WW 를 씌우고, 순위가 바뀌므로 근사 최근접 이웃 인덱스는 새로 세운다.
  • Σ\Sigma 를 표본 70개로 적합하면 recall이 0.449로 무너지고(d=64d = 64), 평균 분산을 10% 섞는 축소 추정이 그것을 0.986으로 되살린다. 지배 축에 신호가 있으면 whitening이 recall을 0.751에서 0.110으로 죽이며, 상위 몇 축만 남긴 recall로 미리 가를 수 있다.
  • 상위 kk 축만 빼면 작은 고윳값으로 나누는 일이 없고, kk 가 평가셋으로 고를 수 있는 눈금이 된다. 이 데이터에서는 3축 제거가 전체 whitening과 같은 자리였다.
  • 절대 임계값은 후처리를 거치면 무의미해진다. 문턱은 무작위 쌍 분포의 z 점수로 적고, 변환을 바꿀 때마다 다시 잰다.

읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN