재랭킹 모듈을 손보다 보면 반드시 한 번은 이런 생각이 듭니다. 지금은 두 벡터의 내적으로 점수를 매기고 있는데, 내적 말고 다른 유사도 함수를 넣으면 안 되나. 「길이 차이는 무시하고 방향만 보되 가까울수록 급하게 점수가 오르는」 함수를 직접 짜서 꽂으면 되지 않나.
절반은 됩니다. 어떤 함수든 짜리 점수 표를 만들어 주기는 합니다. 문제는 그 표를 받아 쓰는 쪽 — SVM의 이차계획법이든 커널 회귀든 스펙트럴 군집화든 — 이 「이 표가 어떤 공간에서의 내적 표」라는 것을 전제로 돌아간다는 데 있습니다. 전제가 깨지면 최적화가 발산하거나, 조용히 엉뚱한 답을 내놓습니다.
이 글은 그 전제에 이름을 붙이고, 어떤 함수가 그 전제를 만족하는지 판정하는 법을 세우고, 판정을 통과한 함수가 왜 「만들지 않은 특징공간의 내적」이 되는지를 손계산으로 확인합니다. 지난 글에서 공분산 행렬의 고윳값을 읽어 임베딩의 쏠림을 쟀는데, 여기서도 읽을 것은 고윳값입니다. 다만 이번에는 가 아니라 행렬입니다.
그람 행렬
벡터 이 있을 때 그람 행렬(Gram matrix)은 모든 쌍의 내적을 담은 행렬입니다.
벡터를 행으로 쌓은 로 쓰면 한 줄입니다. 지난 글의 공분산 행렬 와 곱하는 순서만 다릅니다. 공분산은 차원끼리 짝지어 가 되고, 그람은 표본끼리 짝지어 이 됩니다. 내적이 이므로 , 곧 그람 행렬은 언제나 대칭입니다.
양반정치성
그람 행렬에 붙는 두 번째 성질이 양반정치(positive semi-definite, PSD)입니다. 어떤 벡터 에 대해서도 이라는 성질이고, 증명이 한 줄입니다.
는 그냥 어떤 벡터이고, 벡터의 자기 자신과의 내적은 길이의 제곱이라 절대 음수가 될 수 없습니다. 대칭 행렬의 이차형식을 다룬 글에서 이차형식의 부호와 고윳값의 부호가 같다고 했으므로, 이것은 그람 행렬의 고윳값이 모두 0 이상이라는 말과 같습니다.
거꾸로도 성립합니다. 대칭이고 PSD인 행렬 가 있으면 로 대각화한 뒤 로 두면 입니다. 이라서 가 실수인 것이 핵심이고, 하나라도 음수면 이 구성이 무너집니다. 그래서 「대칭 + PSD」와 「어떤 벡터들의 그람 행렬」은 정확히 같은 말입니다. 이 글 전체가 이 한 줄 위에 서 있습니다.
PSD 판정
사람이 손으로 매긴 유사도 표를 하나 봅시다. 문서 A · B · C에 대해 A와 B가 0.9로 비슷하고 B와 C도 0.9로 비슷한데 A와 C는 0.2밖에 안 된다고 적었습니다.
대칭이고 대각선이 1이라 그럴듯해 보이는데, 고윳값을 구하면 입니다. 음수가 하나 있으니 PSD가 아니고, 이 표를 재현하는 벡터 세 개는 세상에 존재하지 않습니다. 비슷함이 어느 정도 옮아가야 한다는 제약을 표가 어겼기 때문입니다.
판정하는 길은 둘입니다. 첫째는 고윳값을 직접 구하는 것입니다. 가장 확실하고, 대칭 행렬 전용 루틴(numpy.linalg.eigvalsh)이 실수 고윳값을 오름차순으로 돌려줍니다. 최소 고윳값이 0 이상이면 PSD입니다.
둘째는 왼쪽 위 부분행렬의 행렬식을 에 대해 차례로 계산하는 것입니다. 이 값을 선행 주소행렬식(leading principal minor)이라고 하고, 전부 양수인 것과 양정치(positive definite, 고윳값이 모두 0보다 큼)인 것이 서로 필요충분입니다. 이것을 실베스터 판정법이라고 부르고, 행렬식을 다룬 초급 글의 계산만으로 손으로 확인할 수 있는 것이 장점입니다.
의 선행 주소행렬식은 로 전부 양수이고 고윳값도 로 전부 양수입니다. 는 라 두 번째에서 이미 틀렸고, 고윳값은 입니다. 손으로 두 번째 행렬식만 계산해도 이 나와 거기서 끝납니다.
주의할 점 하나. 선행 주소행렬식이 전부 0 이상이라고 해서 PSD인 것은 아닙니다. 그 방향으로는 왼쪽 위만이 아니라 모든 주소행렬식을 봐야 하고, 그러면 개수가 로 늘어 손계산이 무의미해집니다. 실무에서는 최소 고윳값을 보는 쪽이 낫습니다.
중심화
공분산은 평균을 뺀 벡터로 계산합니다. 그람 행렬도 평균을 뺀 뒤에 만들고 싶을 때가 많은데, 뒤에서 볼 커널처럼 벡터 자체가 손에 없고 내적 표만 있으면 평균을 뺄 길이 없어 보입니다. 길이 있습니다. 을 모든 성분이 1인 길이 벡터라 하고
를 양옆에 곱하면 됩니다. 이 를 중심화 행렬(centering matrix)이라 부르고, 는 의 각 행에서 행들의 평균을 뺀 행렬입니다. 그러므로 은 평균을 뺀 벡터들의 그람 행렬이고, 계산에는 만 쓰입니다.
점 셋 로 맞춰 봅니다. 평균이 라 평균을 뺀 점은 이고, 그 그람 행렬과 는 똑같이
입니다. 행마다 합이 0인 것이 눈에 띕니다. 평균을 뺀 벡터들은 다 더하면 영벡터이고, 행의 합은 와 그 영벡터의 내적이기 때문입니다.
이 조작은 내적 표만 손에 있을 때 평균을 빼는 길이라, 벡터를 끝내 만들지 않는 뒤의 커널 방법에서 그대로 쓰입니다. 커널 PCA가 그 예로, 그람 행렬 대신 의 고유분해를 합니다.
그람 행렬의 랭크
행렬의 랭크(rank)는 그 행들이 실제로 펼치는 공간의 차원 수입니다. 의 랭크는 의 랭크와 같아서, 점들이 실제로 차지하는 차원을 그대로 알려 줍니다. 는 라 랭크가 를 넘을 수 없습니다.
여기서 방향을 정확히 해 둘 결론이 나옵니다. 점의 개수가 특징 차원보다 많으면() 랭크가 많아야 이라, 그람 행렬은 반드시 특이 행렬(singular matrix), 곧 역행렬이 없는 행렬입니다. 앞의 세 점은 이고, 원래 그람 행렬
의 행렬식을 계산하면 입니다. 300개 점이 5차원에 있는 뒤의 실험에서도 선형 그람 행렬 의 고윳값은 다섯 개만 249~364이고 나머지 295개가 크기, 곧 반올림 오차였습니다.
반대 방향은 성립하지 않습니다. 라도 점들이 한 평면에 몰려 있으면 그람 행렬은 특이합니다. 그리고 중심화한 는 행의 합이 0이라 을 곱하면 영벡터가 나오므로, 과 에 상관없이 늘 특이합니다. 랭크와 특이성은 SVD와 랭크를 다룬 글에서 더 자세히 다룹니다.
커널과 특징 사상
이제 방향을 뒤집습니다. 「어떤 벡터들의 내적 표인가」를 판정하는 대신, 일부러 다른 공간의 내적 표를 만들어 쓰는 쪽입니다.
커널(kernel) 는 어떤 특징 사상(feature map) 가 있어서
로 쓸 수 있는 두 변수 함수입니다. 는 원본 공간의 벡터를 다른(보통 훨씬 큰) 공간의 벡터로 옮기는 함수입니다.
커널 트릭
Mercer 정리는 「그런 가 있는가」를 판정 가능한 조건으로 바꿔 줍니다. 대칭 연속 함수 에 대해, 어떤 유한한 점들을 골라 그람 행렬 를 만들어도 그것이 항상 PSD이면 그런 가 존재합니다. 앞 절의 「대칭 + PSD ⟺ 어떤 벡터들의 그람 행렬」을 모든 유한 부분집합에 대해 요구한 것이 전부입니다.
여기서 실용적인 결론이 나옵니다. 가 존재한다는 것만 알면 되고 실제로 계산할 필요가 없습니다. 를 번 부르면 그람 행렬이 나오고, 이후의 계산이 그람 행렬만 쓴다면 를 한 번도 메모리에 올리지 않고 끝납니다. 이것을 커널 트릭이라 부르고, SVM을 다룬 글이 그 쓰임을 맡습니다. 이 글은 그람 행렬 쪽만 봅니다.
다항 커널의 특징 사상
「존재한다」는 말이 미덥지 않으면 가장 작은 예에서 직접 꺼내 보면 됩니다. 2차원 벡터에 대해 차수 2 다항 커널
를 전개합니다. , 라 두면
여섯 항이고, 항마다 쪽 조각과 쪽 조각이 곱으로 갈립니다. 그 조각을 모으면
이고, 계수 2를 씩 양쪽으로 나눠 준 것이 전부입니다. , 로 맞춰 보면
같습니다. 왼쪽은 곱셈 두 번과 덧셈 몇 번, 오른쪽은 6차원 벡터 둘을 만들어 내적입니다.
이 차이가 차원과 차수를 올리면 벌어집니다. 차원에서 차수 다항 커널의 특징 차원은 입니다.
| 원본 차원 | 차수 | 특징 차원 |
|---|---|---|
| 2 | 2 | 6 |
| 768 | 2 | 296,065 |
| 768 | 3 | 76,088,705 |
| 768 | 4 | 14,685,120,065 |
768차원에 차수 4면 특징 벡터 하나가 float32로 59GB입니다. 커널 쪽은 여전히 내적 한 번과 거듭제곱 한 번입니다.
1차원에서는 어디를 잘라도 두 색이 안 갈리는데, 축을 하나 더 붙이면 수평선 하나로 갈립니다. 차수 2 다항 커널이 암묵적으로 붙이는 축이 정확히 저 자리입니다.
커널 합성 규칙
다항 커널처럼 전개해서 를 꺼내는 길은 식이 조금만 복잡해져도 막힙니다. 대신 이미 커널인 것에서 새 커널을 짓는 규칙이 있고, 이것을 커널 합성 규칙이라 부릅니다. 가 커널이면 다음도 커널입니다.
- 합 — 두 특징 벡터를 이어 붙인 것의 내적입니다.
- 양수배 () — 특징 벡터에 를 곱한 것입니다.
- 곱 — 두 특징 벡터의 성분끼리 모든 짝을 곱해 만든 더 긴 벡터의 내적입니다.
- 양쪽에 같은 함수 곱하기 — 특징 벡터에 를 곱한 것입니다.
넷 모두 새 특징 사상을 손으로 적어 보일 수 있으니, Mercer 조건을 다시 확인할 필요가 없습니다. 상수 1도 인 커널이라, 은 합과 곱만으로 지어집니다.
넷에서 하나가 따라 나옵니다. 지수함수의 급수 는 계수가 전부 양수이므로, 커널 의 거듭제곱(곱)에 양수를 곱해(양수배) 더한(합) 것의 극한이 입니다. 그래서 지수를 씌워도 커널로 남습니다. 계수에 음수가 하나라도 섞이면 이 논증이 깨진다는 점을 기억해 두면, 뒤에서 시그모이드가 왜 걸리는지 감이 옵니다.
이 규칙만으로 가우시안 꼴의 유사도 가 커널임을 세 줄에 세울 수 있습니다. 이 함수를 RBF 커널(radial basis function, 가우시안 커널이라고도 합니다)이라 부르고, 은 폭을 정하는 상수입니다. 를 지수에 넣으면
입니다. 선형 커널 에 양수 를 곱하고(규칙 2), 지수를 씌우고(급수), 양쪽에 을 곱하면(규칙 4) 끝입니다.
정규화 커널
규칙 4의 특별한 경우가 자주 쓰입니다. 로 두면
가 되고, 이것을 정규화 커널이라 부릅니다. 분자는 특징 벡터의 내적, 분모는 두 특징 벡터 길이의 곱이므로 특징공간에서의 코사인 유사도입니다. 대각선은 언제나 1이고 모든 값이 과 1 사이에 들어옵니다.
앞의 로 계산하면 , 이라 입니다. 원래 값 4만 보면 꽤 닮은 것 같지만, 길이를 나누고 보면 두 특징 벡터가 거의 직교합니다. 다항 커널은 벡터가 길수록 값이 커지므로, 길이 차이를 무시하고 방향만 보려면 이렇게 나눠야 합니다. RBF는 이라 처음부터 정규화되어 있습니다.
RBF 커널
RBF의 특징 사상은 유한 차원이 아닙니다. 1차원에서 앞의 분해를 이어 가면 이유가 보입니다.
마지막 줄에서 를 지수함수의 급수로 폈습니다. 항마다 쪽과 쪽이 갈리므로 번째 특징 성분은 이고, 이 무한히 갑니다. RBF는 무한 차원 특징공간의 내적이고, 그래서 를 실제로 만드는 길은 애초에 없습니다.
이동 불변성
RBF는 두 점의 차이 만 씁니다. 그래서 모든 점을 같은 벡터 만큼 옮겨도 값이 하나도 안 바뀌고, 이런 성질을 이동 불변(shift-invariant)이라고 합니다. 다항 커널은 내적 를 쓰는데, 내적은 원점에서 본 두 화살표의 관계라 평행이동하면 바뀝니다. 다항 커널은 원점에 매여 있는 셈입니다.
뒤의 실험에 쓸 300개 점을 만큼 옮겨 재 봤습니다. RBF 그람 행렬은 가장 크게 바뀐 칸이 , 곧 반올림 오차였습니다. 차수 2 다항 커널은 첫 두 점 사이의 값이 0.0095에서 32,433.7로 뛰었습니다. 옮긴 뒤에는 모든 점이 원점에서 멀어져 내적이 전부 커다란 양수가 되고, 표의 대부분이 「아주 닮았다」로 덮입니다.
그래서 다항 커널을 쓸 때는 앞에서 본 중심화가 실제로 결과를 바꿉니다. RBF에서는 중심화를 하든 말든 그람 행렬이 같습니다.
유효 랭크
무한 차원이라고 해서 실제로 무한히 풍부한 것은 아닙니다. 데이터 개에 대한 그람 행렬은 이라 랭크가 아무리 커도 이고, 그중 얼마나 많은 축이 실제로 일하는지는 가 정합니다. 지난 글의 참여비, 곧 고윳값의 합의 제곱을 고윳값 제곱의 합으로 나눈 유효 랭크를 그람 행렬의 고윳값에 그대로 적용해 재 봤습니다.
import numpy as np
rng = np.random.default_rng(4)
Z = rng.normal(size=(300, 5))
def rbf_gram(A, gamma):
d2 = ((A[:, None, :] - A[None, :, :]) ** 2).sum(-1)
return np.exp(-gamma * d2)
for gamma in (0.05, 0.3, 1.0, 3.0):
ev = np.linalg.eigvalsh(rbf_gram(Z, gamma))[::-1]
eff = ev.sum() ** 2 / (ev ** 2).sum() # 참여비 = 유효 랭크
k95 = int(np.searchsorted(np.cumsum(ev) / ev.sum(), 0.95) + 1)
print(f"gamma={gamma:<5} 최대 {ev[0]:7.2f} 최소 {ev[-1]:.1e} "
f"95%까지 {k95:3d}축 유효 랭크 {eff:6.2f}")
| 최대 고윳값 | 최소 고윳값 | 95%까지 필요한 축 | 유효 랭크 | |
|---|---|---|---|---|
| 0.05 | 192.17 | 3.6 × 10⁻⁹ | 13 | 2.35 |
| 0.3 | 53.14 | 7.7 × 10⁻⁵ | 106 | 20.24 |
| 1.0 | 12.33 | 9.7 × 10⁻³ | 222 | 130.38 |
| 3.0 | 3.02 | 8.3 × 10⁻² | 269 | 270.75 |
가 작으면 모든 쌍의 거리가 지수 안에서 0에 가까워져 그람 행렬이 「전부 1에 가까운 행렬」로 수렴합니다. 그런 행렬의 랭크는 사실상 1이고, 유효 랭크 2.35가 그것입니다. 커널을 썼지만 선형과 거의 다를 것이 없다는 뜻입니다.
가 크면 반대로 가 조금만 떨어져도 지수가 0으로 죽어 그람 행렬이 단위행렬에 가까워집니다. 유효 랭크 270.75는 점 300개가 각자 자기 축 하나씩을 갖는 상태이고, 학습 데이터는 완벽히 맞히지만 새 점은 어느 훈련점과도 안 닮아 예측이 0으로 떨어집니다.
를 고르는 일이 「매끄러움을 고르는 일」이라는 통상적인 설명은 이 표에서는 「그람 행렬의 유효 랭크를 고르는 일」로 다시 읽힙니다. 최소 고윳값 열도 하나를 더 알려 줍니다. 에서 최소 고윳값이 이라, 그람 행렬을 그대로 역행렬 계산에 넣는 알고리즘은 여기서 터집니다. 커널 회귀가 처럼 대각선에 상수를 더하는 이유가 이것입니다.
무작위 푸리에 특징
그람 행렬은 표본 수의 제곱으로 자랍니다. 표본이 100만 개면 칸이 개이고 float64로 칸마다 8바이트라 8TB입니다. 커널 트릭이 특징 벡터의 크기를 피하게 해 줬더니 이번에는 그람 행렬의 크기가 벽이 됩니다.
이동 불변인 커널에는 이 벽을 넘는 길이 있습니다. 보흐너 정리에 따르면 이동 불변 커널은 코사인 파동들의 평균으로 쓸 수 있고, RBF의 경우 방향 를 분산 인 정규분포에서, 위상 를 0에서 사이에서 고르면
입니다. 기댓값을 번 뽑은 평균으로 바꾸면 각 점을 개 코사인 값의 벡터 로 옮기고 로 커널을 근사할 수 있습니다. 이것이 무작위 푸리에 특징(random Fourier features)입니다. 무한 차원의 를 차원으로 잘라 실제로 만드는 것이고, 들고 다니는 것은 이 아니라 행렬입니다.
100만 개 표본에 이면 칸, 8GB입니다. 같은 300개 점과 에서 근사가 얼마나 맞는지 재 봤습니다. 오차는 근사한 그람 행렬과 원래 그람 행렬의 차를 프로베니우스 노름(모든 칸을 제곱해 더한 값의 제곱근)으로 재서 원래 행렬의 노름으로 나눈 값입니다.
gamma = 0.3
K = rbf_gram(Z, gamma)
rel = lambda A: np.linalg.norm(A - K) / np.linalg.norm(K)
for D in (100, 1000, 10000): # 무작위 푸리에 특징
r = np.random.default_rng(0)
W = r.normal(scale=np.sqrt(2 * gamma), size=(5, D))
b = r.uniform(0, 2 * np.pi, D)
F = np.sqrt(2 / D) * np.cos(Z @ W + b) # n × D
print(f"RFF D={D:<6} 상대 오차 {rel(F @ F.T):.1%}")
for m in (20, 50, 100): # 니스트룀
idx = np.random.default_rng(1).choice(300, m, replace=False)
C = K[:, idx] # n × m
print(f"Nyström m={m:<4} 상대 오차 {rel(C @ np.linalg.pinv(C[idx]) @ C.T):.1%}")
| 방법 | 크기 | 상대 오차 |
|---|---|---|
| 무작위 푸리에 특징 | 45.8% | |
| 무작위 푸리에 특징 | 14.8% | |
| 무작위 푸리에 특징 | 4.4% | |
| 니스트룀 | 33.0% | |
| 니스트룀 | 18.4% | |
| 니스트룀 | 9.0% |
를 열 배 늘릴 때마다 오차가 3.1배, 3.4배 줄었습니다. 표본 평균의 오차가 로 줄어드는 것과 맞는 속도입니다.
니스트룀 근사
표의 아래 세 줄은 다른 근사입니다. 데이터에서 점 개를 골라 기준점으로 삼고, 모든 점과 기준점 사이의 커널 값 ()와 기준점끼리의 커널 값 ()만 계산한 뒤
로 그람 행렬 전체를 메웁니다. 는 역행렬이 없을 때도 쓸 수 있게 넓힌 의 의사역행렬입니다. 이것이 니스트룀 근사(Nyström approximation)이고, 랭크가 많아야 인 저랭크 근사입니다. 저랭크 근사의 일반론은 저랭크 근사와 LoRA를 다룬 글에 있습니다.
이 데이터에서는 같은 폭끼리 견주면 니스트룀이 앞섰습니다. 이 9.0%인데 무작위 푸리에 특징은 에서 45.8%였습니다. 무작위 푸리에 특징은 데이터를 보지 않고 방향을 뽑지만, 니스트룀은 데이터 자체에서 기준점을 고르므로 유효 랭크 20 안팎인 이 그람 행렬의 실제 모양을 따라갑니다. 대신 무작위 푸리에 특징은 이동 불변 커널이면 데이터 없이 미리 정해 둘 수 있고, 뒤에서 볼 선형 어텐션이 그 성질을 씁니다.
커널이 아닌 유사도
「그럴듯한 유사도 함수」가 전부 커널인 것은 아닙니다. 판정에서 떨어지는 함수를 하나 보고, 떨어지면 무엇을 잃는지 봅니다.
시그모이드 커널
자주 인용되는 반례가 시그모이드 커널 입니다. 신경망의 활성화 함수에서 온 모양이라 이름에 커널이 붙었지만, 위와 같은 300개 점에 , 로 써서 그람 행렬을 만들면 고윳값 300개 중 142개가 음수이고 최소가 였습니다. PSD가 아니므로 Mercer 조건을 통과하지 못하고, 대응하는 도 없습니다.
합성 규칙으로 보면 이유가 짐작됩니다. 의 급수는 로 계수의 부호가 번갈아 바뀝니다. 지수함수가 커널을 보존한 근거가 「계수가 전부 양수」였으니, 그 근거가 에서는 처음부터 없습니다.
그런데도 쓰입니다. SVM 같은 볼록 최적화는 그람 행렬이 PSD라는 전제 위에서 「최솟값이 하나뿐」임을 보장받는데, 음수 고윳값이 있으면 그 보장이 사라져 풀이가 국소해에 걸리거나 수렴하지 않을 수 있습니다.
대표자 정리
커널 방법이 표 하나로 학습을 끝낼 수 있는 근거가 대표자 정리(representer theorem)입니다. 훈련점에서의 손실에, 커널이 정하는 함수 공간에서 함수의 크기를 벌점으로 더한 문제를 풀면, 최적해가 언제나
꼴, 곧 훈련점마다 하나씩 붙은 커널 함수들의 선형결합이라는 정리입니다. 찾을 것은 계수 개뿐이고, 계산에 드는 것은 그람 행렬뿐입니다. 커널 회귀라면 한 줄이고, 앞에서 본 가 바로 이 자리에 나옵니다.
이 정리가 기대는 「함수의 크기」는 특징공간의 길이에서 옵니다. 커널이 PSD여야 길이의 제곱이 음수가 안 되고 크기 벌점이 뜻을 갖습니다. 시그모이드처럼 음수 고윳값이 있으면 어떤 방향으로는 「크기의 제곱」이 음수가 되어 벌점이 오히려 상을 주고, 최적해가 선형결합 꼴이라는 보장도 무너집니다. 대표자 정리가 안 서는 자리가 곧 커널 트릭이 안 되는 자리입니다.
어텐션 점수 행렬
트랜스포머의 어텐션이 계산하는 것도 유사도 행렬입니다. 같은 자리에 있으면서 무엇을 얻고 무엇을 버렸는지가 앞의 도구로 그대로 읽힙니다.
쌍선형 형식
어텐션 식을 해부한 글에서 쓴 대로
이고, 이것을 한 줄로 접으면
입니다. 형태가 그람 행렬 과 거의 같습니다. 가운데 하나가 끼어 있을 뿐이고, 같은 꼴을 쌍선형 형식(bilinear form)이라고 합니다. 「내적을 바꾼다」는 것의 가장 직접적인 형태입니다.
여기서 갈림길이 하나 있습니다. 이 대칭이고 PSD이면 로 쪼갤 수 있고, 그러면
라 인 선형 커널이 됩니다. 그람 행렬이 되는 것이고, 위에서 세운 성질이 전부 붙습니다. 가장 쉬운 방법은 로 묶는 것입니다. 그러면 이고 는 의 행들의 그람 행렬입니다.
비대칭성
실제 트랜스포머는 묶지 않습니다. 와 는 따로 학습되는 서로 다른 행렬이라 은 대칭이 아닙니다. 무작위로 초기화한 행렬 둘로 실험해 보면 의 대칭 부분조차 고윳값이 에서 까지 걸쳐 PSD가 아니고, 토큰 8개짜리 점수 행렬 는 의 평균이 평균의 1.11배로 대칭과는 거리가 멉니다. 고윳값 8개 중 6개가 복소수로 나왔습니다.
그리고 이것은 결함이 아니라 요구사항입니다. 어텐션이 표현하려는 관계는 「 번 토큰이 번 토큰을 참조한다」인데, 이 관계는 대칭이 아닙니다. 대명사가 앞의 명사를 가리키는 것과 그 명사가 대명사를 가리키는 것은 다른 일입니다. 로 묶으면 그람 행렬의 좋은 성질을 얻는 대신 이 가리키는 방향을 잃습니다. 묶은 점수 행렬에서는 가 를 보는 정도와 가 를 보는 정도가 늘 같아지기 때문입니다.
에 붙는 것이 하나 더 있습니다. 행마다 softmax를 걸어 각 행의 합을 1로 만드는데, 이 연산도 대칭을 깹니다. 행 기준으로 정규화하므로 행의 분모와 행의 분모가 다르고, 원래 가 대칭이었더라도 결과는 비대칭이 됩니다.
| 그람 행렬 | 커널 그람 행렬 | 어텐션 점수 | |
|---|---|---|---|
| 크기 | |||
| 대칭 | 예 | 예 | 아니오 |
| PSD | 예 | 예 (Mercer 조건) | 아니오 |
| 고윳값 | 실수, 0 이상 | 실수, 0 이상 | 복소수일 수 있음 |
| 대응하는 | 항등사상 | 존재하지만 안 만든다 | 없다 |
| 쓰는 방향 | 표본끼리의 유사도 | 다른 공간에서의 유사도 | 가 를 얼마나 볼지 |
셋은 「 유사도 행렬」이라는 같은 자리에 있고, 갈리는 지점은 전부 대칭성과 PSD 하나로 설명됩니다.
선형 어텐션
점수 행렬 전체가 커널은 아니지만, softmax의 분자는 커널로 읽을 수 있습니다. 는 선형 커널에 양수배를 하고 지수를 씌운 것이라 합성 규칙으로 커널입니다. 비대칭이 생긴 것은 이 함수가 아니라, 같은 함수에 넣는 두 벡터가 서로 다른 사상 와 를 거쳐 왔기 때문입니다.
그러면 무작위 특징으로 처럼 근사할 수 있고, 출력의 번째 행은
로 묶입니다. 괄호 안의 합은 에 상관없으니 한 번만 계산해 두면 되고, 점수 행렬은 아예 만들어지지 않습니다. 비용이 에 비례하던 것이 에 비례하게 바뀌고, 이 구조를 선형 어텐션(linear attention)이라 부릅니다. 앞의 코사인 특징은 음수를 낼 수 있어 분모가 0 근처로 흔들리므로, Performer 같은 구현은 언제나 양수인 지수꼴 무작위 특징을 씁니다. 긴 문맥을 위한 이런 변형들은 효율적인 트랜스포머를 다룬 글이 이어받습니다.
유사도 함수의 선택
서두의 질문, 재랭킹 모듈에 내 유사도 함수를 꽂아도 되느냐로 돌아가면 답이 셋으로 갈립니다.
최소 고윳값 점검
그람 행렬만 쓰는 알고리즘에 넣을 거라면 그 함수가 커널인지 먼저 확인해야 합니다. 절차는 짧습니다.
- 실제 데이터에서 대표 표본 몇백 개를 뽑습니다. 그람 행렬이 수백 × 수백이면 고유분해가 순식간에 끝납니다.
- 그 표본으로 그람 행렬을 만들고
np.linalg.eigvalsh(K)[0]한 줄로 최소 고윳값을 봅니다. - 음수가 나오면 그 크기를 대각선 값과 견줍니다.
세 번째가 판단의 핵심입니다. 최소 고윳값이 쯤이면 반올림 오차라, 대각선에 그만한 을 더하는 것으로 충분합니다. 시그모이드 커널은 사정이 다릅니다. 최소 고윳값 를 메우려면 대각선에 12.72 이상을 더해야 하는데 원래 대각선 평균이 0.90이라, 보정 뒤 대각선 평균이 13.63으로 열다섯 배가 됩니다. 행렬이 사실상 단위행렬에 묻혀 원래 유사도의 모양은 거의 남지 않습니다. 음수 고윳값만 0으로 잘라 내는 다른 보정도 원래 행렬을 프로베니우스 노름으로 23% 바꾸고, 대각선 한 칸을 2.45만큼 옮겼습니다. 어느 쪽이든 원래 표를 바꿔서 쓰는 것이고, 보정량이 대각선 크기에 견줄 만하면 그 함수는 커널로 쓰지 않는 편이 낫습니다.
순위 매기기
순위만 매길 거라면 훨씬 자유롭습니다. 앞에서 본 손으로 매긴 유사도 표는 PSD가 아니지만 「A와 B가 가깝다」는 순위 정보로는 멀쩡히 쓸 수 있습니다. 커널이어야 하는 이유는 유사도가 유용해서가 아니라 뒤에 오는 최적화가 내적 구조를 전제하기 때문입니다. 재랭킹이 점수를 정렬만 한다면 전제하는 것이 없고, 조건도 필요 없습니다.
학습된 유사도
직접 학습시킬 거라면 어텐션이 이미 그 답입니다. 의 을 데이터에서 배우게 하는 것이고, 대칭이나 PSD를 요구하지 않아 「참조한다」 같은 방향 있는 관계까지 담습니다. 대신 그람 행렬의 성질을 하나도 못 씁니다. 이 맞바꿈이 커널 방법과 학습된 어텐션을 가르는 지점이고, 그 사이에 선형 어텐션처럼 커널의 근사를 빌려 비용만 줄이는 길이 있습니다.
정리
- 그람 행렬 은 모든 쌍의 내적을 담은 행렬이다. 공분산은 차원끼리, 그람은 표본끼리 짝짓는다.
- 그람 행렬은 대칭이고 양반정치다. 거꾸로 대칭 PSD 행렬은 언제나 어떤 벡터들의 그람 행렬이라, 둘은 같은 말이다.
- 대각선이 1이고 대칭인 유사도 표에서 고윳값 이 나왔고, 그 표를 재현하는 벡터 셋은 없다. 판정은 최소 고윳값(
eigvalsh)이 실무의 답이고, 실베스터 판정법은 양정치까지만 가린다. - 중심화 행렬 를 양옆에 곱한 는 평균을 뺀 벡터들의 그람 행렬이다. 그람 행렬의 랭크는 점들이 차지하는 차원이고, 이면 그람 행렬은 반드시 특이하다.
- 커널은 로 쓸 수 있는 함수이고, 는 존재만 하면 된다. 합·양수배·곱·양쪽에 같은 함수 곱하기가 커널을 보존하고, 지수도 보존한다. 이 규칙으로 RBF가 세 줄에 서고, 정규화 커널은 특징공간의 코사인이다.
- RBF는 무한 차원이고 이동 불변이다. 300개 점에서 유효 랭크가 에서 2.35, 에서 270.75였다.
- 그람 행렬은 100만 표본이면 8TB다. 무작위 푸리에 특징은 에서 14.8%, 니스트룀은 에서 9.0%의 상대 오차로 그것을 크기로 줄였다.
- 시그모이드 커널은 PSD가 아니고(142개가 음수), 대표자 정리가 안 서는 그 자리가 커널 트릭이 안 되는 자리다.
- 어텐션 점수 행렬은 로 같은 자리에 있지만 이 비대칭이라 그람 행렬이 아니다. 「참조한다」가 대칭이 아닌 관계라 그렇고, softmax 분자를 커널로 근사하면 선형 어텐션이 된다.
읽어주셔서 감사합니다. 😊

