수학

MATH / 중급 4번

벡터: 임베딩 한 줄이 숫자 배열이 아니라 벡터인 이유

덧셈과 스칼라배에 닫혀 있다는 성질이 무엇을 보장하는지 짚고, mean pooling과 어텐션 출력과 임베딩 산술이 전부 선형결합 하나임을 확인합니다.

PALDYN Team46 MIN READ

임베딩 API의 응답을 열어 봅니다.

{"embedding": [0.0123, -0.0456, 0.0789, ...]}

float 768개입니다. 그리고 토크나이저의 응답도 열어 봅니다.

{"input_ids": [9906, 1917, 0, ...]}

이쪽도 숫자 목록입니다. 파이썬에서 둘 다 그냥 리스트고, 둘 다 np.array에 넣으면 배열이 됩니다. 그런데 앞의 것은 여러 개를 평균 내서 문서 임베딩을 만들어도 되고, 뒤의 것은 평균 내면 아무 의미도 없는 숫자가 나옵니다. 토큰 9906과 1917의 평균인 5911.5는 어떤 토큰도 아닙니다.

두 배열의 자료형은 같은데 할 수 있는 일이 다릅니다. 앞의 것만 벡터이기 때문입니다.

지난 글까지가 수식을 읽는 문법이었다면 여기서부터는 수식이 다루는 대상입니다. 임베딩을 벡터로 취급한다는 말이 정확히 무엇을 보장하는지, 그리고 그 보장 위에서 mean pooling과 어텐션 출력과 "king − man + woman"이 어떻게 전부 같은 연산 하나가 되는지를 봅니다. 임베딩을 무엇에 쓰는가는 임베딩 기초가 다루므로, 이 글은 벡터라는 수학 대상만 맡습니다.

평균을 내도 되는 배열

mean pooling

문서 하나를 벡터 하나로 만드는 가장 흔한 방법이 mean pooling입니다. 토큰마다 나온 벡터를 그냥 평균 내서, 토큰 TT개의 벡터를 문서 벡터 하나로 줄입니다.

doc_vec = token_vecs.mean(axis=0)   # (T, d) -> (d,)

한 줄인데, 이 줄이 성립하려면 두 가지가 참이어야 합니다.

  1. 토큰 벡터를 더할 수 있어야 한다.
  2. 더한 결과를 TT로 나눌 수 있어야 하고, 그 결과가 여전히 같은 종류의 대상이어야 한다.

즉 결과가 여전히 "임베딩 공간의 점"이어야 합니다. 그래야 그 결과를 다시 다른 임베딩과 코사인 유사도로 비교할 수 있습니다. 만약 평균이 공간 밖으로 나가 버리면 그다음 검색이 성립하지 않습니다.

토큰 ID에는 이 둘이 없습니다. ID는 어휘 사전의 몇 번째 자리인지를 가리키는 라벨이고, 라벨끼리 더하는 연산은 정의되어 있지 않습니다. 9906 + 1917이라는 계산은 할 수야 있지만 그 결과가 가리키는 것이 없습니다. 연산을 실행할 수 있느냐가 아니라, 연산의 결과가 다시 같은 세계 안에 있느냐가 기준입니다.

순서만 있는 값

토큰 ID는 극단적인 경우라 오히려 헷갈릴 일이 적습니다. 더 자주 실수하는 것은 그 중간에 있는 값입니다. 리뷰 데이터의 별점 1~5를 생각해 봅니다. 숫자의 크기 순서에는 뜻이 있습니다 — 5점이 4점보다 좋습니다. 하지만 1점과 2점 사이의 거리가 4점과 5점 사이의 거리와 같다는 보장은 없습니다. 이렇게 순서만 뜻이 있고 간격은 뜻이 없는 값을 서열 척도라 부르고, 간격까지 뜻이 있는 값을 등간 척도라 부릅니다.

별점 두 개, 5점과 1점의 평균은 3점입니다. 이 3점이 "보통"이라는 뜻인지는 데이터가 정하지 않습니다. 같은 평균 3점이 3점 리뷰 두 개에서도 나오고 5점·1점 리뷰 두 개에서도 나오는데, 앞의 것은 무난한 상품이고 뒤의 것은 호불호가 갈리는 상품입니다. 평균을 낼 수는 있지만 평균이 원래 값의 세계 안에서 무엇을 뜻하는지가 흐립니다. 토큰 ID와 같은 문제의 덜 극단적인 판입니다 — 토큰 ID는 순서조차 뜻이 없고, 별점은 순서만 뜻이 있고, 임베딩은 더하고 나눈 결과까지 뜻이 있습니다.

그래서 별점을 학습 입력으로 쓸 때는 그대로 실수 하나로 넣기도 하고, 다섯 갈래의 범주로 바꿔 각자 임베딩을 주기도 합니다. 앞쪽은 간격이 같다고 가정하는 것이고, 뒤쪽은 그 가정을 버리고 간격을 모델이 배우게 하는 것입니다.

판정 세 걸음

어떤 숫자 배열이 벡터로 다뤄도 되는 것인지 판정할 때는 세 걸음을 밟아 보면 됩니다.

  1. 더해 본다 — 같은 종류의 배열 둘을 더한 것이 여전히 그 종류인가.
  2. 배수 해 본다 — 0.5배, 2배, −1배를 한 것이 여전히 그 종류인가.
  3. 결과를 원래 쓰던 함수에 다시 넣어 본다 — 그 배열을 받던 코드가 결과를 받아서 뜻 있는 답을 내는가.

숫자 배열 셋을 판정 세 걸음에 넣어 본 결과

토큰 ID 9906과 1917을 넣어 봅니다. 더하면 11823인데 어휘가 32,000개라면 자리는 있어도 두 토큰과 아무 관계없는 토큰이고, 0.5배인 4953도 마찬가지이며, 둘의 평균 5911.5는 정수가 아니라 임베딩 표의 줄 번호로 넣는 순간 오류가 납니다. 셋째 걸음이 가장 확실한 시험입니다 — 결과를 받을 함수가 결과를 거부하거나 엉뚱한 것을 돌려줍니다.

별점은 중간에서 갈립니다. 5점과 4점을 더한 9점, 3점의 2배인 6점은 1~5 밖이라 첫째와 둘째 걸음에서 떨어집니다. 평균만은 늘 1과 5 사이에 남지만, 앞 소절에서 본 대로 그 평균 3점을 별점을 받던 자리에 다시 넣었을 때 무엇을 뜻하는지가 정해지지 않습니다. 임베딩은 세 걸음을 다 통과합니다. 더한 것도, 배수 한 것도, 평균 낸 것도 768개의 실수이고, 그것을 검색 함수에 넣으면 다른 문서와의 유사도가 그대로 나옵니다.

벡터공간

두 연산에 닫힘

수학에서 벡터는 "화살표"나 "숫자 목록"으로 정의되지 않습니다. 덧셈과 스칼라배가 정의되어 있고, 그 결과가 다시 그 모임 안에 있는 대상을 벡터라고 부릅니다. 여기서 스칼라는 벡터에 곱하는 수 하나이고, 스칼라배는 벡터의 모든 성분에 그 수를 곱하는 연산입니다. 이 두 연산을 품은 모임을 벡터공간이라 합니다.

u,v∈V  ⟹  u+v∈Vu, v \in V \;\Longrightarrow\; u + v \in V

v∈V,  c∈R  ⟹  cv∈Vv \in V,\; c \in \mathbb{R} \;\Longrightarrow\; cv \in V

이 두 줄이 닫힘(closure)이고, 앞 절의 판정 세 걸음 중 첫째와 둘째가 정확히 이것입니다. 벡터공간의 조건 중 실무에서 유일하게 자주 확인하게 되는 것이기도 합니다. 나머지 조건들 — 덧셈의 결합·교환법칙, 영벡터의 존재, 역원의 존재, 스칼라배의 분배법칙 — 은 실수 성분으로 이루어진 Rd\mathbb{R}^d에서 자동으로 성립하므로 따로 확인할 일이 거의 없습니다.

조건 식 R768\mathbb{R}^{768}에서
덧셈에 닫힘 u+v∈Vu + v \in V 성립
스칼라배에 닫힘 cv∈Vcv \in V 성립
영벡터 존재 v+0=vv + 0 = v 0으로 채운 벡터
역원 존재 v+(−v)=0v + (-v) = 0 부호 반전
결합·교환·분배 — 실수 연산에서 자동

임베딩이 R768\mathbb{R}^{768}의 원소라고 말하는 순간 이 표 전체가 따라옵니다. mean pooling이 성립하는 근거가 그것이고, 어텐션의 가중합이 성립하는 근거도 같습니다. "벡터로 다룬다"는 선언이 곧 이 보장을 쓰겠다는 선언입니다.

여기서 한 가지가 따라 나옵니다. 벡터공간의 조건 어디에도 "길이"나 "각도"는 없습니다. 그래서 벡터라는 것만으로는 두 임베딩이 얼마나 가까운지 말할 수 없습니다. 거리를 재려면 노름을, 각도를 재려면 내적을 따로 얹어야 합니다. 다음 두 글이 그 둘을 차례로 얹습니다.

벡터끼리의 곱

정의를 다시 읽으면 빠진 것이 하나 더 보입니다. 벡터공간에는 벡터와 벡터를 곱하는 연산이 없습니다. 있는 곱셈은 스칼라 × 벡터뿐입니다.

NumPy에서 v * w는 잘 돌아갑니다. 같은 자리의 성분끼리 곱하는 원소별 곱이고, 수식에서는 v⊙wv \odot w로 적어 아다마르 곱이라 부릅니다. 게이트가 있는 구조 — LSTM의 망각 게이트, SwiGLU 피드포워드 — 가 전부 이 곱을 씁니다. 하지만 이것은 Rd\mathbb{R}^d에 나중에 따로 얹은 연산이지 벡터공간의 정의에 든 것이 아닙니다. 그래서 원소별 곱은 좌표축을 바꾸면 결과가 같은 벡터로 옮겨 가지 않습니다. 덧셈과 스칼라배는 어떤 축으로 적든 같은 화살표를 주는데, 원소별 곱은 지금 고른 축에 묶여 있습니다. 축과 좌표의 관계는 뒤의 「화살표와 좌표」 절이 다룹니다.

내적도 같은 처지입니다. 벡터 둘을 받아 수 하나를 내는 연산이고, 6번 글에서 따로 얹습니다. 벡터공간이라는 말 자체는 "더하고 늘이고 줄일 수 있다"까지만 약속합니다.

스칼라의 범위

위 정의에서 스칼라 cc는 실수였습니다. 꼭 그래야 하는 것은 아닙니다. 덧셈·곱셈·나눗셈이 실수처럼 돌아가는 수의 모임이면 무엇이든 스칼라로 쓸 수 있고, 복소수를 스칼라로 쓰면 복소 벡터공간이 됩니다. 트랜스포머의 회전 위치 인코딩(RoPE)이 좌표 두 개를 복소수 하나로 묶어 회전을 곱셈 한 번으로 적는 자리가 그 예입니다. 이 글에서는 이름만 적어 두고, 스칼라는 계속 실수로 둡니다.

선형결합

계수와 결합

벡터 여러 개에 각각 계수를 곱해 더한 것을 선형결합이라 합니다. 각 벡터에 곱하는 스칼라를 계수라 부르고, 계수만 정하면 결과가 하나로 정해집니다.

선형결합 하나로 모이는 셋

c1v1+c2v2+⋯+cnvn=∑i=1ncivic_1 v_1 + c_2 v_2 + \cdots + c_n v_n = \sum_{i=1}^{n} c_i v_i

닫힘 조건 둘을 합치면 선형결합의 결과도 반드시 같은 공간 안에 있습니다. 스칼라배로 각 항이 공간 안에 남고, 덧셈으로 합도 공간 안에 남습니다.

이 정의가 왜 중요하냐면, 딥러닝에서 벡터를 섞는 거의 모든 자리가 계수만 다른 같은 식이기 때문입니다.

하는 일 식 계수 cic_i
mean pooling 1T∑tht\frac{1}{T}\sum_t h_t 전부 1/T1/T
어텐션 출력 ∑jAijvj\sum_j A_{ij} v_j softmax가 정한 값, 합이 1
잔차 연결 x+f(x)x + f(x) 둘 다 1
지수이동평균 βm+(1−β)g\beta m + (1-\beta) g β\beta와 1−β1-\beta
임베딩 산술 vking−vman+vwomanv_{\text{king}} - v_{\text{man}} + v_{\text{woman}} 1,−1,11, -1, 1

전부 한 줄짜리 같은 연산입니다. 그리고 표를 계수 열로 읽으면 다섯 줄이 두 무리로 갈립니다.

아핀결합과 볼록결합

계수의 합을 세어 봅니다. mean pooling은 1/T1/T이 TT개라 합이 1, 어텐션은 softmax가 합을 1로 맞추고, 지수이동평균은 β+(1−β)=1\beta + (1-\beta) = 1, 임베딩 산술은 1−1+1=11 - 1 + 1 = 1입니다. 잔차 연결만 1+1=21 + 1 = 2입니다.

계수의 합이 1인 선형결합을 아핀결합이라 하고, 거기에 모든 계수가 0 이상이라는 조건까지 붙으면 볼록결합이라 합니다. mean pooling·어텐션·지수이동평균은 볼록결합이고, 임베딩 산술은 계수에 −1이 있어 아핀결합이지만 볼록결합은 아닙니다.

두 조건이 하는 일이 다릅니다. 합이 1이라는 조건은 원점을 어디에 두든 결과가 같은 자리에 오게 합니다. 모든 벡터에 같은 cc를 더해 공간을 통째로 옮기면, 계수 합이 1인 결합의 결과도 정확히 cc만큼 옮겨 갑니다 — 계수들이 cc를 한 번씩 나눠 가지기 때문입니다. 반면 합이 2인 결합, 예를 들어 두 점 u+vu + v를 그대로 더한 것은 결과가 2c2c 옮겨 갑니다. 잔차 연결 x+f(x)x + f(x)가 괜찮은 것은 f(x)f(x)를 점이 아니라 xx에 덧붙이는 보정으로 읽기 때문입니다. 음이 아니라는 조건은 결과가 재료들 "사이"에 머물게 합니다. 이 두 이름은 뒤의 「벡터가 아닌 것들」 절에서 확률분포를 다룰 때 다시 씁니다.

어텐션 출력의 범위

어텐션은 토큰마다 내놓은 값 벡터 vjv_j들을, 질의와 키의 점수를 softmax에 넣어 얻은 계수 AijA_{ij}로 섞는 연산입니다. 그러니 어텐션의 출력은 값 벡터들의 선형결합이고, 값 벡터들의 선형결합으로 닿을 수 있는 점 전부, 곧 값 벡터들의 생성 공간(span)을 벗어나지 못합니다. 이 말은 맞지만 너무 넓습니다. 값 벡터 셋 (1,0)(1, 0), (0,1)(0, 1), (1,1)(1, 1)은 2차원 평면 전체를 생성하므로, "생성 공간 안에 있다"는 말은 출력이 평면 어딘가라는 말이고 아무것도 좁히지 않습니다.

실제로는 훨씬 좁은 사실이 성립합니다. 어텐션 계수는 softmax에서 나와 전부 양수이고 합이 1이므로 어텐션 출력은 볼록결합입니다. 그리고 볼록결합으로 닿을 수 있는 점 전부를 재료 벡터들의 볼록껍질이라 부르는데, 재료 셋이면 세 점을 꼭짓점으로 하는 삼각형과 그 안쪽입니다.

점수가 (2.0, 1.0, 0.5)(2.0,\ 1.0,\ 0.5)이면 softmax 계수는 (0.629, 0.231, 0.140)(0.629,\ 0.231,\ 0.140)이고, 출력은 다음과 같습니다.

0.629 (1,0)+0.231 (0,1)+0.140 (1,1)=(0.769, 0.371)0.629\,(1, 0) + 0.231\,(0, 1) + 0.140\,(1, 1) = (0.769,\ 0.371)

삼각형 안쪽입니다. 같은 세 벡터로 계수 (1.5, −0.5, 0)(1.5,\ -0.5,\ 0) — 합은 1이지만 음수가 있는 아핀결합 — 을 쓰면 (1.5, −0.5)(1.5,\ -0.5)가 나와 삼각형 밖으로 나갑니다. 어텐션은 점수를 아무리 크게 벌려도 이쪽으로는 못 갑니다. 가장 극단적인 출력이 꼭짓점 하나, 곧 값 벡터 하나를 그대로 고르는 것입니다.

어텐션 출력은 값 벡터들의 볼록껍질 안에 남는다

그래서 어텐션은 값 벡터들 사이에서 섞기만 할 뿐 새로운 방향을 만들지 못합니다. 트랜스포머 블록에 어텐션만 있는 게 아니라 비선형 활성화가 들어간 피드포워드가 반드시 붙는 이유가 이것입니다. 선형결합만 쌓으면 아무리 깊어도 선형결합 하나로 접힙니다.

king − man + woman

차이 벡터

임베딩 산술이 유명한 예입니다. 표에서 봤듯 계수가 1,−1,11, -1, 1인 선형결합 하나입니다.

vking−vman+vwomanv_{\text{king}} - v_{\text{man}} + v_{\text{woman}}

괄호를 다르게 묶으면 왜 이것이 말이 되는지가 보입니다.

(vking−vman)⏟차이 벡터+vwoman\underbrace{(v_{\text{king}} - v_{\text{man}})}_{\text{차이 벡터}} + v_{\text{woman}}

vking−vmanv_{\text{king}} - v_{\text{man}}을 차이 벡터라 부르고, "man에서 king으로 가는 이동"입니다. 그 이동을 woman에 그대로 적용합니다.

임베딩 산술은 벡터 하나를 옮겨 붙이는 일이다

그림에서 초록 화살표가 파란 화살표와 같은 벡터입니다. 위치만 다릅니다. 이동을 나타내는 벡터는 시작점을 갖지 않고 방향과 길이만 갖기 때문입니다. 그래서 한 번 구한 차이 벡터를 어디에나 더할 수 있습니다. 그렇다면 king이라는 단어 자체는 시작점이 있는 점인지 시작점이 없는 화살표인지가 궁금해지는데, 그 구별은 다음 절 「화살표와 좌표」에서 짚습니다.

숫자로 직접 해 봅니다. 2차원 장난감 임베딩을 두고 계산합니다.

import numpy as np

E = {
    "man":   np.array([1.0, 1.0]),
    "king":  np.array([3.0, 2.5]),
    "woman": np.array([4.0, 0.8]),
    "queen": np.array([5.8, 2.5]),
    "apple": np.array([-2.0, 3.0]),
    "car":   np.array([0.5, -2.0]),
}

target = E["king"] - E["man"] + E["woman"]
print(target)                     # [6.  2.3]

for word, v in E.items():
    print(f"{word:6s} {np.linalg.norm(target - v):.3f}")
man    5.166
king   3.007
woman  2.500
queen  0.283
apple  8.031
car    6.981

계산 결과 (6.0, 2.3)(6.0,\, 2.3)은 queen의 위치 (5.8, 2.5)(5.8,\, 2.5)와 정확히 같지 않습니다. 거리가 0.2830.283 남습니다. 정확히 맞은 적이 없습니다. 임베딩 산술이 하는 일은 "queen을 계산해 내는 것"이 아니라 "queen이 가장 가까운 자리를 계산해 내는 것"이고, 실제 구현도 결과 벡터에 가장 가까운 어휘를 찾는 최근접 탐색입니다.

질의 단어 제외

위 코드는 후보에 man·king·woman까지 다 넣고 거리를 찍었습니다. 이 장난감에서는 그래도 queen이 0.283으로 1등이고, 질의에 쓴 세 단어 중 가장 가까운 woman도 2.500이라 한참 뒤입니다. 실제 임베딩에서는 사정이 다릅니다. 결과 벡터는 질의에 쓴 단어 근처에 떨어지는 일이 흔해서, 후보를 그대로 두면 1등이 king이나 woman 자신이 되곤 합니다. 그래서 word2vec 시절의 유추 평가와 gensim의 most_similar 같은 구현은 질의에 쓴 세 단어를 후보에서 빼고 나머지 중에서 최근접을 찾습니다.

이 관행은 결과를 꽤 후하게 만듭니다. "queen이 나왔다"는 말이 "queen이 모든 단어 중 가장 가까웠다"가 아니라 "질의 단어 셋을 빼고 나니 가장 가까웠다"인 경우가 많습니다. 유추 정확도를 읽을 때는 이 제외를 했는지부터 확인해야 같은 숫자끼리 견줄 수 있습니다. 뒤의 「정규화와 최근접」 소절에서 이 제외가 실제로 결과를 뒤집는 장면이 나옵니다.

여러 쌍의 평균

man에서 king으로 가는 차이 벡터를 한 쌍에서만 구하면 그 이동은 man·king 두 단어가 우연히 놓인 자리에 휘둘립니다. 같은 장난감에서 king − man과 queen − woman을 구해 보면 다릅니다.

vking−vman=(2.0, 1.5),vqueen−vwoman=(1.8, 1.7)v_{\text{king}} - v_{\text{man}} = (2.0,\ 1.5), \qquad v_{\text{queen}} - v_{\text{woman}} = (1.8,\ 1.7)

길이는 2.500과 2.476으로 거의 같고 둘 사이 코사인은 0.994라 방향도 비슷하지만, 같은 벡터는 아닙니다. 실제 임베딩에서는 이 어긋남이 훨씬 커서, 한 쌍에서 구한 차이 벡터는 "왕족이라는 방향"과 "그 두 단어만의 잡음"이 섞인 것입니다. 그래서 성별이나 시제 같은 방향을 뽑을 때는 여러 쌍의 차이 벡터를 평균 냅니다. 평균도 계수가 전부 1/n1/n인 선형결합이라, 이 절차 역시 벡터공간 안에서 닫혀 있습니다.

이 장난감에서 두 쌍을 평균 내면 (1.9, 1.6)(1.9,\ 1.6)이고, 이것을 woman에 더하면 (5.9, 2.4)(5.9,\ 2.4)로 queen까지의 거리가 0.141로 줄어듭니다. 다만 queen − woman 쌍이 답을 이미 품고 있으니 여기서는 순환 논증입니다. 실제로는 질의와 무관한 쌍(prince·princess, actor·actress 같은)을 여럿 평균 내서 방향을 잡고, 그 방향을 질의에 씁니다.

정규화와 최근접

마지막으로 "가장 가깝다"를 무엇으로 재는지가 결과를 바꿉니다. 위 코드는 유클리드 거리를 썼지만 실제 임베딩 검색은 대개 코사인을 씁니다. 코사인은 길이를 무시하고 방향만 보는 잣대라, 임베딩을 미리 길이 1로 맞춰 두는 정규화와 함께 쓰입니다. 같은 장난감을 정규화한 뒤 같은 산술을 해 봅니다.

방식 1등 2등 3등
원래 벡터, 유클리드 거리 queen 0.283 woman 2.500 king 3.007
원래 벡터, 코사인 queen 0.9992 woman 0.9858 king 0.9465
정규화 후 산술, 유클리드 거리 woman 0.091 queen 0.294 king 0.580

정규화를 먼저 하면 결과 벡터가 (1.042, 0.129)(1.042,\ 0.129)이 되고, 가장 가까운 단어가 queen이 아니라 질의에 쓴 woman입니다. 원래 벡터에서 king − man은 길이 2.5짜리 이동이었는데, 그 대부분은 방향이 아니라 길이의 차이였습니다. man의 길이는 1.414이고 king은 3.905로, 둘 다 대각선 근처를 가리키면서 king이 원점에서 더 멀리 있을 뿐입니다. 정규화로 길이를 지우면 king − man이 (0.061, −0.067)(0.061,\ -0.067), 길이 0.091로 거의 0이 되고, 그래서 결과가 정규화한 woman 바로 옆에 떨어집니다. 원래 벡터에서는 queen의 긴 길이(6.316)가 결과를 queen 쪽으로 끌고 있었던 것입니다. 여기에 앞 소절의 제외를 적용하면 woman·king·man이 빠지고 queen이 1등으로 돌아옵니다.

정규화하면 최근접이 queen에서 woman으로 바뀐다

정리하면 임베딩 산술의 답은 산술 하나로 정해지지 않습니다. 정규화를 언제 하는지, 무엇으로 재는지, 질의 단어를 빼는지가 함께 정합니다. 유클리드 거리와 코사인이 같은 순위를 주는 조건과 갈리는 조건이 있는데, 그 경계가 5번과 6번 글의 주제입니다.

화살표와 좌표

위치 벡터와 자유 벡터

앞 절에서 "벡터는 시작점을 갖지 않는다"고 했는데, 같은 그림에서 man·king은 평면 위의 점으로 찍혀 있었습니다. 이 둘은 다른 말입니다. 원점에서 그 점까지 그은 화살표로 점 하나를 나타내는 벡터를 위치 벡터라 하고, 어디서 시작하든 같은 이동을 나타내는 벡터를 자유 벡터라 합니다. 임베딩 하나하나는 위치 벡터이고, king − man 같은 차이는 자유 벡터입니다.

둘을 가르는 것이 바로 앞 절의 계수 합입니다. 원점을 cc만큼 옮기면 위치 벡터는 전부 바뀌지만 차이 king − man은 그대로입니다 — 계수 합이 1−1=01 - 1 = 0이라 cc가 상쇄되기 때문입니다. 계수 합이 0인 결합은 자유 벡터를, 합이 1인 결합은 다시 점을 줍니다. king − man + woman은 계수 합이 1이라 "이동 하나를 woman이라는 점에 붙인 점"이고, 그래서 그 결과를 다른 점들과 견줘 최근접을 찾을 수 있습니다. 합이 2인 king + woman은 원점의 위치에 따라 결과가 달라지는 값이라, 임베딩 공간의 점으로 읽을 근거가 없습니다.

기저와 좌표

그림에서 벡터를 화살표로 그렸지만, 코드에서는 숫자 목록으로 다뤘습니다. 둘은 같은 것입니다.

벡터를 보는 두 관점

연결 고리는 기저입니다. 기저는 미리 정해 둔 축 방향의 벡터 묶음이고, 화살표 하나가 축마다 얼마씩 가는지로 분해되면 그 분해 계수의 목록이 좌표입니다.

v=3e1+2e2  ⟷  v=[32]v = 3 e_1 + 2 e_2 \;\longleftrightarrow\; v = \begin{bmatrix} 3 \\ 2 \end{bmatrix}

좌표 표기 자체가 이미 선형결합입니다. e1=(1,0)e_1 = (1, 0), e2=(0,1)e_2 = (0, 1)을 계수 3과 2로 결합한 것. 그래서 축을 정하지 않으면 좌표가 없고, np.array([3.0, 2.0])이라고 쓰는 순간 우리는 이미 기저를 하나 고른 것입니다.

같은 화살표도 기저를 바꾸면 좌표가 달라집니다. 이 사실이 나중에 크게 쓰입니다. 주성분 축으로 다시 쓰기, 회전 위치 인코딩, 화이트닝 — 전부 "화살표는 그대로 두고 축만 바꾸기"입니다. 8번 글이 그 조작을 하나로 묶습니다. 앞에서 원소별 곱이 축에 묶여 있다고 한 것도 이 뜻입니다. 덧셈은 어느 기저로 계산해도 같은 화살표를 주지만, 원소별 곱은 기저를 바꾸면 다른 화살표를 줍니다.

고차원의 직관

768차원은 그릴 수 없습니다. 하지만 지금까지 쓴 것 중 그림이 필요했던 문장은 없습니다. 덧셈, 스칼라배, 선형결합, 좌표 — 전부 성분별 계산으로 정의되어 있어서 차원이 몇이든 그대로 성립합니다. 그림은 이해를 돕는 보조일 뿐 정의가 아닙니다.

다만 주의할 것이 하나 있습니다. 3차원에서 얻은 직관 중 고차원에서 깨지는 것이 있습니다. 예를 들어 고차원 정규분포에서 뽑은 두 벡터는 거의 항상 직교에 가깝고, 고차원 구의 부피는 거의 전부 껍질에 몰려 있습니다. 이 현상들이 임베딩 검색의 성능을 실제로 좌우하는데, 11단원(고차원과 검색)이 그것만 따로 다룹니다. 지금 단계에서는 "선형 연산의 규칙은 차원과 무관하게 같고, 기하적 직관은 그렇지 않다"는 구별만 기억하면 됩니다.

브로드캐스팅

코드에서 벡터 연산을 쓸 때 거의 항상 브로드캐스팅이 끼어듭니다. 셰이프가 다른 두 배열을, 작은 쪽을 큰 쪽에 맞춰 늘린 것처럼 계산해 주는 NumPy의 규칙입니다.

X = np.arange(6.0).reshape(3, 2)   # (3, 2)
b = np.array([10.0, 100.0])        # (2,)
X + b
[[ 10., 101.],
 [ 12., 103.],
 [ 14., 105.]]

(3,2)(3, 2)와 (2,)(2,)는 셰이프가 다른데 더해집니다. 수식으로 쓰면 이렇습니다.

Yi,:=Xi,:+b(i=1,…,3)Y_{i,:} = X_{i,:} + b \quad (i = 1, \ldots, 3)

즉 벡터 덧셈을 세 번 한 것이고, 브로드캐스팅은 그 반복을 대신 써 준 것입니다. 새로운 연산이 아닙니다. 지난 글의 LayerNorm에서 keepdims=True가 필요했던 것도 같은 이유입니다 — 수식이 생략한 반복을 코드에서는 축으로 표시해야 합니다.

한 가지 구별이 있습니다. 스칼라를 벡터에 더하는 v + 3은 벡터공간의 연산이 아닙니다. 벡터공간에는 덧셈(벡터+벡터)과 스칼라배(스칼라×벡터)만 있고 스칼라+벡터는 없습니다. NumPy가 해 주는 것은 3⋅13 \cdot \mathbf{1}이라는 벡터를 만들어 더하는 것이고, 그 1\mathbf{1}은 "모든 성분이 1인 벡터"입니다. 편향 항 Wx+bWx + b에서 bb가 스칼라가 아니라 벡터인 이유가 여기 있습니다. 그리고 1\mathbf{1} 방향은 지금 고른 기저가 정한 방향이라, 이 덧셈도 원소별 곱처럼 축에 묶여 있습니다.

벡터가 아닌 것들

닫힘 조건을 기준으로 보면, 자주 다루는 것 중 벡터공간이 아닌 것들이 눈에 들어옵니다. 판정 세 걸음의 첫째나 둘째에서 떨어지는 것들입니다.

확률분포와 단위 구

확률분포는 벡터공간이 아닙니다. 성분이 음이 아니고 합이 1이어야 하는데, 두 분포를 더하면 합이 2가 됩니다.

p = np.array([0.7, 0.2, 0.1])
q = np.array([0.1, 0.3, 0.6])
(p + q).sum()          # 2.0  — 나가 버린다
(2 * p).sum()          # 2.0  — 스칼라배도 나간다
(0.5*p + 0.5*q).sum()  # 1.0  — 계수 합이 1이면 남는다

닫힘이 깨졌습니다. 다만 마지막 줄처럼 계수의 합이 1이고 음이 아닌 결합, 곧 선형결합 절에서 이름 붙인 볼록결합은 안에 남습니다. 확률분포의 모임은 볼록결합에 닫혀 있고, 이 모임을 확률 단체라 부릅니다. 지난 글에서 softmax의 상이 Δn−1\Delta^{n-1}이라고 쓴 것이 이것입니다.

아핀결합으로는 부족하다는 것도 확인해 둡니다. 1.5p−0.5q1.5p - 0.5q는 계수 합이 1이라 성분의 합은 1로 남지만, 계산하면 (1.0, 0.15, −0.15)(1.0,\ 0.15,\ -0.15)로 음수 성분이 생겨 확률분포가 아닙니다. 합이 1이라는 조건과 음이 아니라는 조건이 둘 다 있어야 확률 단체 안에 남습니다. 앙상블에서 여러 모델의 확률을 그냥 더하지 않고 가중평균하는 이유, 그리고 확률을 다룰 때 로그 공간으로 옮기는 습관 — 로그 확률은 제약 없는 실수라 자유롭게 더할 수 있습니다 — 이 여기서 나옵니다.

정규화된 임베딩도 벡터공간이 아닙니다. 길이 1인 벡터끼리 더하면 길이가 1이 아닙니다. 길이 1인 벡터가 모두 모인 곳을 단위 구라 부르는데, 덧셈 한 번에 그 밖으로 나갑니다.

a = np.array([1.0, 0.0]); b = np.array([0.0, 1.0])
np.linalg.norm(a + b)   # 1.414...

코사인 유사도로 검색하는 시스템에서 임베딩을 미리 정규화해 두면, mean pooling 결과를 다시 정규화해야 하는 이유가 이것입니다. 평균을 내는 순간 단위 구를 벗어나기 때문입니다. 벡터 데이터베이스가 삽입할 때 정규화 옵션을 따로 두는 것도 같은 사정이고, 앞 절에서 정규화한 장난감 임베딩의 산술 결과 (1.042, 0.129)(1.042,\ 0.129)의 길이가 1이 아니었던 것도 같은 현상입니다.

비음수 제약

ReLU를 지난 은닉 벡터는 모든 성분이 0 이상입니다. 이런 벡터끼리 더해도, 양수를 곱해도 성분은 0 이상으로 남습니다. 그런데 −1을 곱하면 (0, 1.2, 3.4)(0,\ 1.2,\ 3.4)가 (0, −1.2, −3.4)(0,\ -1.2,\ -3.4)가 되어 나가 버립니다. 스칼라배가 모든 실수에 대해 닫혀 있어야 하는데 음수 스칼라에서 깨지므로, 비음수 벡터의 모임은 벡터공간이 아닙니다.

실무에서 이것이 드러나는 자리는 차이입니다. ReLU 출력 둘의 차이는 음수 성분을 가질 수 있어서, "이 은닉 벡터에서 저 은닉 벡터를 빼서 방향을 얻는" 조작은 ReLU 출력의 세계를 벗어난 결과를 냅니다. 그 결과를 다음 층에 넣으면 다음 층은 학습 중에 한 번도 본 적 없는 영역의 입력을 받습니다. 확률분포가 볼록결합에만 닫혀 있었던 것처럼, 비음수 벡터는 계수가 0 이상인 결합에만 닫혀 있습니다.

정수 격자

양자화된 가중치는 int8 정수와 실수 배율 하나로 저장됩니다. 실제 값은 배율 × 정수이고, 그래서 쓸 수 있는 값은 배율 간격으로 찍힌 점들, 곧 격자 위에만 있습니다. 이 격자도 닫혀 있지 않습니다. 스칼라 0.5를 곱하면 정수 3이 1.5가 되어 격자 사이로 떨어지고, 같은 배율의 두 값을 더하면 격자 위에는 남지만 int8의 범위 −128~127을 넘을 수 있고, 배율이 다른 두 텐서의 값을 더하면 결과가 어느 쪽 격자에도 맞지 않습니다.

np.array([100], dtype=np.int8) + np.array([60], dtype=np.int8)   # [-96]

100 + 60 = 160이 int8에 안 들어가 −96으로 돌아갑니다. 경고도 없습니다. 그래서 양자화된 모델의 연산은 정수끼리 곱하고 더한 값을 int32 같은 더 넓은 자료형에 모은 뒤 다시 배율을 곱해 실수로 돌리고, 저장할 때 다시 격자로 반올림합니다. 산술은 넘치지 않는 넓은 자리에서 하고 결과를 실수로 되돌리며, 격자는 보관하는 모양으로만 씁니다.

토큰 ID도 정수지만 처음부터 벡터가 아니라는 점에서 더 멉니다. 임베딩 층이 하는 일이 정확히 이 변환입니다 — 연산이 정의되지 않은 라벨을, 연산이 닫혀 있는 공간의 점으로 옮기는 것. 원핫 벡터를 거쳐 보면 더 분명합니다. 원핫 벡터는 RV\mathbb{R}^{V}의 원소지만 그중 아주 특별한 것들만 쓰고, 두 개를 더하면 원핫이 아니게 됩니다. 임베딩 행렬을 곱하는 순간 그 제약이 사라지고 Rd\mathbb{R}^{d} 전체를 쓸 수 있게 됩니다. 양자화된 값을 계산할 때 넓은 자료형과 실수로 꺼내는 것과 같은 종류의 일입니다. 둘 다 닫히지 않은 집합에 든 값을, 닫힌 공간으로 옮겨서 계산합니다.

정리

  • 벡터는 덧셈과 스칼라배에 닫힌 모임의 원소다. 숫자 배열이라는 모양이 아니라 그 두 연산의 결과가 다시 같은 세계에 남는다는 보장이 벡터를 정한다.
  • 판정은 더해 보기, 배수 해 보기, 결과를 원래 함수에 다시 넣어 보기의 세 걸음이다. 토큰 ID는 셋 다에서 떨어지고, 별점은 평균만 범위 안에 남는데 그 평균의 뜻이 흐리다.
  • 벡터공간에는 길이·각도·벡터끼리의 곱이 없다. 원소별 곱과 내적과 노름은 나중에 따로 얹는다.
  • mean pooling, 어텐션, 지수이동평균, 임베딩 산술은 계수만 다른 선형결합이다. 계수 합이 1이면 아핀결합, 거기에 음이 아니면 볼록결합이다.
  • 어텐션 출력은 값 벡터의 생성 공간보다 훨씬 좁은 볼록껍질 안에 남는다.
  • 임베딩 산술의 답은 정규화 여부, 거리 잣대, 질의 단어 제외가 함께 정한다.
  • 확률분포는 볼록결합에만, 비음수 벡터는 음 아닌 계수에만 닫히고, 정수 격자와 단위 구는 덧셈이나 스칼라배에서 깨진다. 이런 값은 닫힌 공간으로 옮겨 계산한다.

처음의 두 응답으로 돌아갑니다.

{"embedding": [0.0123, -0.0456, ...]}
{"input_ids": [9906, 1917, 0, ...]}

둘의 차이는 자료형이 아니라 어떤 연산이 닫혀 있는가입니다. 앞의 것은 더하고 스칼라배 해도 여전히 임베딩 공간의 점이라, 평균 내고 빼고 가중합하는 모든 조작이 정당합니다. 뒤의 것은 그런 보장이 없어서 인덱싱 말고는 할 수 있는 게 없고, 임베딩 층을 지나야 비로소 앞의 것이 됩니다.

그리고 앞의 것에도 아직 없는 것이 있습니다. 길이와 각도입니다. 벡터라는 것만으로는 "가깝다"를 말할 수 없습니다. 위에서 np.linalg.norm을 아무렇지 않게 썼고 정규화가 최근접 결과를 뒤집는 것까지 봤지만, 그 함수가 재는 것이 무엇이고 왜 그것이 거리로 쓸 자격이 있는지는 아직 정의하지 않았습니다. 다음 글이 크기를 재는 규칙 — 노름 — 을 정의하고, 그 선택이 그래디언트 클리핑과 가중치 감쇠와 L1 희소성에서 각각 무엇을 바꾸는지까지 갑니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN