수학

MATH / 중급 8번

생성·일차독립·기저: 같은 벡터를 다른 축으로 다시 쓰기

생성(span)과 일차독립을 정의하고 거기서 기저와 차원을 세웁니다. 좌표가 벡터가 아니라 기저에 붙는 값이라는 것을 손계산으로 확인하고, 좌표변환 행렬 B와 그 역을 유도합니다. 임베딩이 실제로 몇 차원을 쓰는가라는 질문이 왜 일차독립의 질문인지도 짚습니다.

PALDYN Team40 MIN READ

문장 임베딩 모델을 하나 불러오면 벡터가 768차원으로 나옵니다. 그런데 임베딩 공간을 실제로 들여다본 보고들은 한결같이 같은 말을 합니다 — 그 벡터들이 공간 전체에 퍼져 있지 않고 좁은 원뿔 안에 몰려 있다는 것입니다. 서로 다른 문장 두 개를 아무렇게나 뽑아 코사인 유사도를 재면 0 근처가 아니라 0.6, 0.7 같은 값이 나옵니다.

여기서 "768개를 준다고 768개를 쓰는 것은 아니다"라는 말이 나오고, 이것을 표현 붕괴라고 부릅니다. 그런데 이 문장은 아직 정확하지 않습니다. "몇 차원을 쓴다"는 것이 무엇을 세는 말인지를 먼저 정해야 합니다.

이 글이 그 도구를 만듭니다. 지난 글에서 "부분공간"과 "기저"라는 말을 정의 없이 계속 썼는데, 그 빚도 여기서 갚습니다. 마지막 절에서 그 768차원으로 돌아오면, 무엇을 셀지 정한 뒤에도 컴퓨터로 세는 일이 따로 남는다는 것까지 보게 됩니다.

생성과 부분공간

선형결합과 생성

벡터 몇 개를 손에 쥐었을 때 "이것들로 무엇을 만들 수 있는가"를 묻습니다. 벡터마다 수를 하나씩 곱해 더한 것을 선형결합이라 하고, 곱한 수들을 계수라고 부릅니다. 쥔 벡터로 만들 수 있는 것은 정확히 이 선형결합들입니다.

정의. 벡터 v1,…,vk\mathbf{v}_1, \ldots, \mathbf{v}_k 의 생성(span)은 그것들의 선형결합 전체가 이루는 집합이다.

span⁡{v1,…,vk}={ c1v1+⋯+ckvk ∣ ci∈R }\operatorname{span}\{\mathbf{v}_1,\ldots,\mathbf{v}_k\} = \{\, c_1\mathbf{v}_1 + \cdots + c_k\mathbf{v}_k \ \mid\ c_i \in \mathbb{R} \,\}

계수 cic_i 는 아무 실수나 되므로 이 집합에는 원소가 무한히 많습니다. 그런데도 적는 데 드는 것은 벡터 kk 개의 목록 하나입니다. 무한한 집합을 유한한 목록으로 붙잡는다는 점이 span이라는 말의 쓸모입니다. 768차원 공간 속의 평면 하나도 벡터 두 개만 적어 두면 빠짐없이 정해집니다. 이 글 전체가 결국 "그 목록을 얼마나 짧게 줄일 수 있는가"를 묻는 이야기입니다.

벡터 하나의 span은 직선, 나란하지 않은 둘의 span은 평면, 나란한 둘의 span은 여전히 직선

그림의 첫 칸에서 벡터 하나의 span은 원점을 지나는 직선이고, 둘째 칸에서 나란하지 않은 두 벡터의 span은 평면입니다. 셋째 칸이 중요합니다. 벡터를 하나 더 준다고 span이 반드시 커지지는 않습니다. w=−v\mathbf{w} = -\mathbf{v} 이면 c1v+c2w=(c1−c2)vc_1\mathbf{v} + c_2\mathbf{w} = (c_1 - c_2)\mathbf{v} 라서 결국 v\mathbf{v} 의 배수만 나옵니다. 이미 만들 수 있던 것을 다시 만들 뿐입니다. span이 커지는 것은 새 방향을 보탤 때뿐이고, "새 방향인가"를 판정하는 말이 다음 절의 일차독립입니다.

부분공간

span 안의 두 원소를 더하면 어떻게 될까요. x=∑aivi\mathbf{x} = \sum a_i\mathbf{v}_i 와 y=∑bivi\mathbf{y} = \sum b_i\mathbf{v}_i 를 더하고, 수 tt 를 곱해 봅니다.

x+y=∑(ai+bi)vi,tx=∑(tai)vi\mathbf{x} + \mathbf{y} = \sum (a_i + b_i)\mathbf{v}_i, \qquad t\mathbf{x} = \sum (t a_i)\mathbf{v}_i

둘 다 다시 같은 벡터들의 선형결합이라 span 안에 그대로 있습니다. 계수끼리 더하거나 곱한 것이 새 계수가 될 뿐입니다. 이렇게 덧셈과 스칼라배를 해도 밖으로 나가지 않는 집합, 곧 그 두 연산에 닫힌 집합을 부분공간이라고 부릅니다. 위의 두 줄이 "span은 언제나 부분공간이다"의 증명 전부입니다. 지난 글에서 "평면 위로 사영한다"고 할 때의 그 평면이 정확히 이것이었습니다.

닫혀 있다는 조건에서 하나가 저절로 따라 나옵니다. 아무 원소에 t=0t = 0 을 곱하면 영벡터가 나오므로 부분공간은 반드시 원점을 지납니다. 원점을 비켜 가는 직선 y=x+1y = x + 1 이 부분공간이 아닌 것도 그래서입니다. (0,1)(0,1) 과 (1,2)(1,2) 는 그 위에 있지만 둘을 더한 (1,3)(1,3) 은 그 위에 없습니다.

영벡터와 빈 모음

가장자리 두 경우를 짚어 둡니다. 벡터를 하나도 주지 않으면 더할 것이 없으므로 그 합을 영벡터로 약속하고, 그래서 빈 모음의 span은 {0}\{\mathbf{0}\} 입니다. 영벡터 하나만 든 이 집합도 덧셈과 스칼라배에 닫혀 있으니, 가장 작은 부분공간입니다.

거꾸로 어떤 모음에 영벡터를 보태도 span은 커지지 않습니다. c⋅0c \cdot \mathbf{0} 은 계수 cc 가 무엇이든 영벡터라서 선형결합에 아무것도 더하지 않기 때문입니다. 사소해 보이는 이 사실이 다음 절에서 "영벡터가 끼면 무조건 종속"이라는 판정으로 다시 나옵니다.

일차독립

자명한 해

"w\mathbf{w} 가 나머지로 만들어지는가"를 벡터마다 따로 확인하는 것은 번거롭습니다. 한 줄로 묶은 조건이 있습니다.

정의. c1v1+⋯+ckvk=0c_1\mathbf{v}_1 + \cdots + c_k\mathbf{v}_k = \mathbf{0} 의 해가 c1=⋯=ck=0c_1 = \cdots = c_k = 0 하나뿐이면 이 벡터들이 일차독립이라고 한다. 그렇지 않으면 일차종속이다.

계수를 전부 0으로 두면 합이 0\mathbf{0} 인 것은 언제나 참이라 이 해는 늘 있습니다. 그래서 이것을 자명한 해라고 부르고, 독립인지 묻는 질문은 "그 말고 다른 해가 있는가"가 됩니다.

이 조건이 "낭비가 없다"와 같은 말인 것은 한 줄로 보입니다. 자명하지 않은 해가 있어서 예컨대 c1≠0c_1 \ne 0 이라면 양변을 c1c_1 로 나눠

v1=−c2c1v2−⋯−ckc1vk\mathbf{v}_1 = -\frac{c_2}{c_1}\mathbf{v}_2 - \cdots - \frac{c_k}{c_1}\mathbf{v}_k

즉 v1\mathbf{v}_1 이 나머지의 선형결합이 됩니다. 그 벡터는 span에 아무것도 보태지 않으므로 빼도 됩니다. 거꾸로 하나라도 나머지로 만들어지면 그 식을 한쪽으로 옮겨 자명하지 않은 해를 얻습니다. 두 진술은 정확히 같습니다.

열로 세운 행렬

식 c1v1+⋯+ckvkc_1\mathbf{v}_1 + \cdots + c_k\mathbf{v}_k 는 벡터들을 열로 세운 행렬 AA 에 계수 벡터 c\mathbf{c} 를 곱한 것과 같습니다. 행렬과 벡터의 곱이 곧 "열들의 선형결합"이기 때문입니다. 그래서 독립 판정은 연립방정식 하나로 바뀝니다.

Ac=0A\mathbf{c} = \mathbf{0}

이렇게 우변이 전부 0인 연립방정식을 제차연립방정식이라고 하고, c=0\mathbf{c} = \mathbf{0} 은 그 자명한 해입니다. 절차는 소거 하나입니다. 소거를 마쳤을 때 자유변수가 남지 않으면 해가 그것 하나뿐이라 독립이고, 하나라도 남으면 그 변수에 0 아닌 값을 넣어 다른 해를 만들 수 있으니 종속입니다.

(1,2)와 (2,4)는 한 직선 위라 종속, (1,2)와 (2,1)은 평면을 만들어 독립

손으로 한 번 해 봅니다. (1,2)(1,2) 와 (2,4)(2,4) 는 2(1,2)−1(2,4)=(0,0)2(1,2) - 1(2,4) = (0,0) 이므로 계수가 (2,−1)(2,-1) 인 자명하지 않은 해가 있습니다. 종속입니다. (1,2)(1,2) 와 (2,1)(2,1) 은 어떨까요.

c1(1,2)+c2(2,1)=(0,0)⟹{c1+2c2=02c1+c2=0c_1(1,2) + c_2(2,1) = (0,0) \quad \Longrightarrow \quad \begin{cases} c_1 + 2c_2 = 0 \\ 2c_1 + c_2 = 0\end{cases}

첫 식에서 c1=−2c2c_1 = -2c_2 를 둘째에 넣으면 −4c2+c2=−3c2=0-4c_2 + c_2 = -3c_2 = 0 이라 c2=0c_2 = 0, 따라서 c1=0c_1 = 0 입니다. 자명한 해뿐이므로 독립입니다.

같은 틀에서 영벡터의 경우도 바로 나옵니다. AA 의 열 하나가 영벡터이면 그 열의 계수만 1로 두고 나머지를 0으로 두면 Ac=0A\mathbf{c} = \mathbf{0} 이 성립합니다. 자명하지 않은 해이므로, 영벡터가 하나라도 낀 모음은 다른 벡터가 무엇이든 종속입니다. 앞 절의 "영벡터는 span을 키우지 않는다"를 독립의 말로 옮긴 것입니다.

쌍마다 독립인 셋

벡터가 둘일 때는 판정이 쉽습니다. 둘이 종속이면 한쪽이 다른 쪽의 배수이고, 그 반대도 맞습니다. 그래서 "서로 배수인가"만 보면 끝납니다. 이 습관을 셋 이상으로 늘리면 틀립니다.

(1,2)(1,2), (2,1)(2,1), (4,5)(4,5) 를 봅니다. 아무 둘을 골라도 서로 배수가 아닙니다. 2×2 행렬식으로 확인하면 (1,2)(1,2) 와 (2,1)(2,1) 은 1−4=−31 - 4 = -3, (1,2)(1,2) 와 (4,5)(4,5) 는 5−8=−35 - 8 = -3, (2,1)(2,1) 과 (4,5)(4,5) 는 10−4=610 - 4 = 6 으로 셋 다 0이 아닙니다. 쌍마다 독립입니다. 그런데 셋을 함께 놓고 c3=1c_3 = 1 로 두어 풀면

{c1+2c2+4=02c1+c2+5=0⟹c1=−2, c2=−1\begin{cases} c_1 + 2c_2 + 4 = 0 \\ 2c_1 + c_2 + 5 = 0\end{cases} \quad \Longrightarrow \quad c_1 = -2,\ c_2 = -1

확인하면 −2(1,2)−1(2,1)+1(4,5)=(0,0)-2(1,2) - 1(2,1) + 1(4,5) = (0,0) 입니다. 셋은 종속입니다. 셋째 벡터가 앞의 둘 어느 하나의 배수도 아니면서 둘의 합으로는 만들어진다는 것, 이것이 쌍만 봐서는 안 보이는 종속입니다.

이것은 우연이 아닙니다. Rn\mathbb{R}^n 에서 벡터를 n+1n+1 개 이상 모으면 반드시 종속입니다. 미지수 kk 개에 식이 nn 개인 제차연립방정식이고, 식보다 미지수가 많으면 자유변수가 남아 자명하지 않은 해가 생기기 때문입니다. 평면에 세 벡터를 놓는 순간 종속은 정해져 있었습니다.

기저와 차원

표현의 유일성

이제 두 성질을 한 대상에 겹쳐 놓습니다.

정의. 부분공간 VV 에 대해 일차독립이면서 VV 를 생성하는 벡터들의 모음을 VV 의 기저라고 한다.

생성한다는 것은 "빠짐없이 만든다"이고 독립이라는 것은 "군더더기가 없다"입니다. 둘을 함께 요구하면 좋은 성질이 하나 따라옵니다. 기저로 적는 방법은 하나뿐입니다. x\mathbf{x} 를 두 가지로 적었다고 해 봅시다.

x=a1b1+⋯+anbn=c1b1+⋯+cnbn\mathbf{x} = a_1\mathbf{b}_1 + \cdots + a_n\mathbf{b}_n = c_1\mathbf{b}_1 + \cdots + c_n\mathbf{b}_n

빼면 (a1−c1)b1+⋯+(an−cn)bn=0(a_1 - c_1)\mathbf{b}_1 + \cdots + (a_n - c_n)\mathbf{b}_n = \mathbf{0} 이고, 기저는 독립이므로 계수가 전부 0이어야 합니다. 즉 ai=cia_i = c_i 입니다. 생성은 적는 방법이 하나 이상 있음을, 독립은 많아야 하나임을 보장하므로 둘이 만나 정확히 하나가 됩니다. 다음 절의 좌표는 이 유일성 위에 서 있습니다.

기저를 만드는 두 방향

기저는 어디서 구할까요. 길이 둘이고 서로 반대쪽에서 출발합니다.

생성집합에서 군더더기를 빼는 길과 독립집합에 새 방향을 보태는 길이 같은 두 벡터에서 만난다

첫째 길은 생성은 하지만 군더더기가 있는 모음에서 빼는 것입니다. 앞 절의 (1,2)(1,2), (2,1)(2,1), (4,5)(4,5) 는 평면을 생성하지만 종속입니다. 자명하지 않은 해에서 (4,5)=2(1,2)+1(2,1)(4,5) = 2(1,2) + 1(2,1) 을 읽어 내면 (4,5)(4,5) 는 span에 보태는 것이 없으니 빼도 생성이 유지됩니다. 남은 둘은 독립이므로 기저입니다. 종속이 남아 있는 동안 이 빼기를 되풀이하면 언젠가 멈추고, 멈춘 자리가 기저입니다.

둘째 길은 독립이지만 모자란 모음에 보태는 것입니다. (1,2)(1,2) 하나는 독립이지만 span이 직선뿐입니다. 그 직선 밖의 벡터, 예컨대 (2,1)(2,1) 을 보태면 독립이 유지된 채 span이 평면으로 커집니다. 새 벡터가 기존 span 밖에 있으면 독립이 깨지지 않는다는 것이 앞 절의 "새 방향" 이야기 그대로입니다. 공간을 다 덮을 때까지 보태면 기저가 됩니다.

차원과 좌표 개수

두 길이 그림처럼 같은 개수에서 만나는 것은 우연이 아닙니다. 어떤 기저를 잡아도 벡터의 개수는 같다는 것이 알려져 있고, 그 개수를 VV 의 차원이라고 부릅니다. R2\mathbb{R}^2 는 {(1,0),(0,1)}\{(1,0),(0,1)\} 로도 {(1,1),(1,−1)}\{(1,1),(1,-1)\} 로도 {(1,2),(2,1)}\{(1,2),(2,1)\} 로도 생성되지만 언제나 둘입니다. 차원이 기저를 어떻게 고르든 같은 값이라는 사실이 "몇 차원을 쓰는가"라는 질문을 비로소 말이 되게 합니다.

차원을 미리 알면 확인할 것이 반으로 줄어듭니다. 차원이 nn 인 공간에서 독립인 벡터 nn 개는 생성까지 따로 확인하지 않아도 기저입니다. 만약 생성하지 못한다면 span 밖의 벡터를 하나 보태 독립인 n+1n+1 개를 만들 수 있는데, 그건 앞 절의 "n+1n+1 개는 반드시 종속"과 부딪힙니다. 그래서 평면에서는 (1,2)(1,2) 와 (2,1)(2,1) 이 독립이라는 것만 보이면 끝입니다.

e1=(1,0,…,0),…,en=(0,…,0,1)\mathbf{e}_1 = (1,0,\ldots,0), \ldots, \mathbf{e}_n = (0,\ldots,0,1) 을 표준기저라고 합니다. 배열에 적힌 숫자를 그대로 읽을 때 우리가 말없이 쓰고 있던 기저가 이것입니다. 그런데 부분공간만 다룰 때는 표준기저가 낭비입니다. R3\mathbb{R}^3 안의 평면을 (1,0,1)(1,0,1) 과 (0,1,1)(0,1,1) 이 생성한다고 합시다. 그 평면 위의 (2,3,5)(2,3,5) 는 2(1,0,1)+3(0,1,1)2(1,0,1) + 3(0,1,1) 이라 수 두 개 (2,3)(2,3) 으로 적힙니다. 표준기저로 적으면 셋이 필요한데 그중 하나는 나머지로 정해지는 군더더기입니다. 부분공간의 기저를 쓰면 좌표의 개수는 바깥 공간의 nn 이 아니라 그 부분공간의 차원입니다. 임베딩 1,000개가 768차원 안의 50차원 부분공간에 놓여 있다면 한 문장마다 수 50개면 충분하다는 뜻입니다.

기저에 붙는 좌표

좌표변환 행렬

[3, 1] 이라는 배열은 벡터 자체가 아니라 어떤 기저로 읽었을 때의 계수입니다.

정의. 기저 B={b1,…,bn}B = \{\mathbf{b}_1,\ldots,\mathbf{b}_n\} 에 대해 x=c1b1+⋯+cnbn\mathbf{x} = c_1\mathbf{b}_1 + \cdots + c_n\mathbf{b}_n 일 때 [x]B=(c1,…,cn)[\mathbf{x}]_B = (c_1,\ldots,c_n) 을 x\mathbf{x} 의 B-좌표라고 한다.

앞 절의 유일성 덕분에 이 계수는 하나로 정해집니다. 기저가 달라지면 같은 벡터의 좌표가 달라지고, 그래서 좌표는 벡터가 아니라 기저에 붙는 값입니다.

같은 점을 표준기저 격자로 읽으면 (3,1), 기저 B의 격자로 읽으면 (2,1)

기저 벡터를 열로 세운 행렬을 BB 라고 쓰면 정의가 곧바로 행렬 한 줄이 됩니다.

B [x]B=x⟹[x]B=B−1xB\,[\mathbf{x}]_B = \mathbf{x} \qquad \Longrightarrow \qquad [\mathbf{x}]_B = B^{-1}\mathbf{x}

BB 의 열이 기저이므로 독립이고, 그래서 BB 는 가역입니다. BB 는 좌표를 받아 벡터를 돌려주고, B−1B^{-1} 은 벡터를 받아 좌표를 돌려줍니다. 이 두 행렬을 좌표변환 행렬이라고 부릅니다.

그림의 수로 한 번 계산합니다. b1=(1,1)\mathbf{b}_1 = (1,1), b2=(1,−1)\mathbf{b}_2 = (1,-1) 로 x=(3,1)\mathbf{x} = (3,1) 을 읽습니다.

B=(111−1),det⁡B=−2,B−1=1−2(−1−1−11)=(0.50.50.5−0.5)B = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}, \qquad \det B = -2, \qquad B^{-1} = \frac{1}{-2}\begin{pmatrix} -1 & -1 \\ -1 & 1 \end{pmatrix} = \begin{pmatrix} 0.5 & 0.5 \\ 0.5 & -0.5 \end{pmatrix}

역행렬은 초급 44번에서 세운 2×2 공식을 그대로 쓴 것입니다. 그러면

[x]B=B−1x=(0.50.50.5−0.5)(31)=(21)[\mathbf{x}]_B = B^{-1}\mathbf{x} = \begin{pmatrix} 0.5 & 0.5 \\ 0.5 & -0.5 \end{pmatrix}\begin{pmatrix} 3 \\ 1 \end{pmatrix} = \begin{pmatrix} 2 \\ 1 \end{pmatrix}

되돌려 확인하면 2(1,1)+1(1,−1)=(3,1)2(1,1) + 1(1,-1) = (3,1) 입니다. 같은 점인데 배열이 [3, 1] 에서 [2, 1] 로 바뀌었습니다. 점이 움직인 것이 아니라 눈금이 바뀐 것입니다.

길이와 각도

좌표가 바뀌면 그 좌표로 잰 길이도 바뀝니다. x=(3,1)\mathbf{x} = (3,1) 의 길이는 9+1=10\sqrt{9+1} = \sqrt{10} 인데, 좌표 (2,1)(2,1) 을 보통 벡터처럼 놓고 재면 4+1=5\sqrt{4+1} = \sqrt{5} 입니다. 이 기저에서는 어긋남이 고르게 일어납니다. b1\mathbf{b}_1 과 b2\mathbf{b}_2 가 서로 직교하고 길이가 둘 다 2\sqrt{2} 라서 어떤 벡터든 좌표로 재면 길이가 정확히 2\sqrt{2} 배 줄고, 각도는 그대로 남습니다.

기저가 직교하지 않으면 각도까지 틀어집니다. 앞에서 쓴 (1,2)(1,2), (2,1)(2,1) 을 기저로 삼고 세 점을 읽습니다. 질의 하나 q=(4,5)\mathbf{q} = (4,5) 와 후보 둘 a=(0,3)\mathbf{a} = (0,3), b=(2,1)\mathbf{b} = (2,1) 입니다. 좌표는 각각 (2,1)(2,1), (2,−1)(2,-1), (0,1)(0,1) 입니다. (4,5)=2(1,2)+1(2,1)(4,5) = 2(1,2) + 1(2,1) 은 앞에서 구했고, (0,3)=2(1,2)−1(2,1)(0,3) = 2(1,2) - 1(2,1) 입니다.

원래 벡터로 코사인 유사도를 재면

cos⁡(q,a)=1541⋅3≈0.78,cos⁡(q,b)=1341⋅5≈0.91\cos(\mathbf{q},\mathbf{a}) = \frac{15}{\sqrt{41}\cdot 3} \approx 0.78, \qquad \cos(\mathbf{q},\mathbf{b}) = \frac{13}{\sqrt{41}\cdot\sqrt{5}} \approx 0.91

이라 b\mathbf{b} 가 더 가깝습니다. 좌표끼리 재면

(2,1)⋅(2,−1)5⋅5=35=0.60,(2,1)⋅(0,1)5⋅1≈0.45\frac{(2,1)\cdot(2,-1)}{\sqrt5\cdot\sqrt5} = \frac{3}{5} = 0.60, \qquad \frac{(2,1)\cdot(0,1)}{\sqrt5\cdot 1} \approx 0.45

로 a\mathbf{a} 가 더 가깝습니다. 같은 세 점인데 검색 순위가 뒤집혔습니다.

같은 세 점이 표준기저에서는 b가 q에 가깝고, 기저 (1,2)·(2,1)의 좌표 위에서는 a가 q에 가깝게 보인다

그림의 오른쪽 판은 좌표를 직교 격자 위에 그대로 찍은 것입니다. 원래 공간에서 (1,2)(1,2) 와 (2,1)(2,1) 사이의 각은 약 37°인데, 좌표판에서는 그 둘이 90°로 벌어진 축이 됩니다. 각이 그렇게 늘어나니 그 사이에 있던 점들의 각도 따라 틀어집니다. 내적과 코사인은 "표준기저로 읽은 배열"에 대해 정의된 셈이라, 다른 기저의 좌표에 그대로 쓰면 다른 것을 재게 됩니다.

정규직교기저

이 어긋남이 사라지는 기저가 있습니다. 서로 직교하고 길이가 모두 1인 벡터들로 된 기저를 정규직교기저라 하고, 그것을 열로 세운 행렬을 QQ 라 쓰면 지난 글에서 본 대로 Q⊤Q=IQ^\top Q = I 입니다. 좌표 c\mathbf{c}, d\mathbf{d} 를 가진 두 벡터의 내적을 재면

(Qc)⋅(Qd)=c⊤Q⊤Q d=c⋅d(Q\mathbf{c})\cdot(Q\mathbf{d}) = \mathbf{c}^\top Q^\top Q\,\mathbf{d} = \mathbf{c}\cdot\mathbf{d}

라서 원래 벡터의 내적과 좌표의 내적이 같습니다. 내적이 같으면 길이도 각도도 코사인도 같습니다. 그리고 Q−1=Q⊤Q^{-1} = Q^\top 이라 좌표는 내적 한 번으로 나옵니다.

[x]Q=Q⊤x,즉ci=x⋅qi[\mathbf{x}]_Q = Q^\top\mathbf{x}, \qquad \text{즉} \quad c_i = \mathbf{x}\cdot\mathbf{q}_i

위의 b1,b2\mathbf{b}_1, \mathbf{b}_2 는 서로 직교하지만 노름이 2\sqrt{2} 라 정규직교는 아닙니다. 2\sqrt{2} 로 나눠 q1=12(1,1)\mathbf{q}_1 = \tfrac{1}{\sqrt2}(1,1), q2=12(1,−1)\mathbf{q}_2 = \tfrac{1}{\sqrt2}(1,-1) 로 만들면

c1=x⋅q1=3+12=22,c2=x⋅q2=3−12=2c_1 = \mathbf{x}\cdot\mathbf{q}_1 = \frac{3+1}{\sqrt2} = 2\sqrt2, \qquad c_2 = \mathbf{x}\cdot\mathbf{q}_2 = \frac{3-1}{\sqrt2} = \sqrt2

이고 좌표의 길이 8+2=10\sqrt{8 + 2} = \sqrt{10} 이 원래 길이와 같아졌습니다. 앞에서 5\sqrt5 로 줄던 것이 사라진 것입니다.

import numpy as np

B = np.array([[1., 1], [1, -1]])      # 열이 기저 벡터
x = np.array([3., 1])
Q = B / np.sqrt(2)                    # 열의 노름을 1로
print(Q.T @ Q)                        # [[1 0] [0 1]]
print(Q.T @ x)                        # [2.828 1.414]  = (2√2, √2)

Q⊤Q^\top 의 값어치는 둘입니다. 역행렬 하나가 전치 한 번으로 줄고, 좌표 위에서 잰 유사도가 원래 공간의 유사도와 같다는 보장이 붙습니다. 실제 구현이 직교기저를 고집하는 자리들이 전부 이 두 가지 때문입니다.

축을 바꾸는 조작들

닮은 행렬

기저를 바꾼다는 말이 낯설어 보이지만, AI 코드에서 이미 여러 이름으로 하고 있는 일입니다.

이름 새 기저로 무엇을 잡는가 무엇이 편해지는가
주성분 축 데이터의 분산이 큰 방향부터 앞쪽 몇 축만 남겨도 정보가 대부분 남는다
화이트닝 축마다 분산이 1이 되도록 잡은 축 모든 방향이 같은 규모가 된다
회전 위치 인코딩 2차원씩 각도만큼 돌린 축 상대 위치가 각도 차이로 읽힌다
대각화 행렬이 늘이기만 하는 방향 행렬 곱이 수 몇 개의 곱이 된다

네 줄이 전부 x↦B−1x\mathbf{x} \mapsto B^{-1}\mathbf{x} 한 줄이고, 다른 것은 BB 를 무엇으로 고르느냐뿐입니다. 표의 첫 두 줄이 필요로 하는 "분산이 큰 방향"과 넷째 줄의 "늘이기만 하는 방향"은 아직 정의하지 않았습니다. 「중급 12번 · 고윳값과 고유벡터」가 그 방향을 정의하고, 「중급 14번 · 대칭 행렬」이 그것이 왜 늘 직교하는지를 답합니다. 셋째 줄은 「중급 11번 · 회전·전단·스케일」이 세우는 회전행렬을 씁니다.

행렬을 새 기저에서 다시 쓰는 규칙도 같은 자리에서 나옵니다. 원래 좌표에서 x↦Ax\mathbf{x} \mapsto A\mathbf{x} 인 조작을 B-좌표로 옮기면 "좌표를 벡터로 되돌리고, AA 를 먹이고, 다시 좌표로" 이므로

[Ax]B=B−1AB [x]B[A\mathbf{x}]_B = B^{-1}A B\,[\mathbf{x}]_B

입니다. B−1ABB^{-1}AB 라는 낯익은 꼴이 이 세 단계를 그대로 적은 것입니다. 이렇게 가역행렬 BB 를 사이에 두고 B−1ABB^{-1}AB 로 이어지는 두 행렬을 닮은 행렬이라고 부릅니다. 논문에서 이 꼴을 만나면 "같은 조작을 다른 축에서 본 것"이라고 읽으면 됩니다.

대각합과 행렬식

같은 조작을 다른 축에서 본 것이라면, 축에 따라 바뀌는 수와 안 바뀌는 수가 있어야 합니다. A=(2103)A = \begin{pmatrix} 2 & 1 \\ 0 & 3 \end{pmatrix} 를 앞의 BB 로 옮겨 봅니다. 먼저 AB=(313−3)AB = \begin{pmatrix} 3 & 1 \\ 3 & -3 \end{pmatrix} 이고, 왼쪽에 B−1B^{-1} 을 곱하면

B−1AB=(0.50.50.5−0.5)(313−3)=(3−102)B^{-1}AB = \begin{pmatrix} 0.5 & 0.5 \\ 0.5 & -0.5 \end{pmatrix}\begin{pmatrix} 3 & 1 \\ 3 & -3 \end{pmatrix} = \begin{pmatrix} 3 & -1 \\ 0 & 2 \end{pmatrix}

입니다. 성분은 거의 다 바뀌었습니다. 그런데 대각선의 수를 더한 값, 곧 대각합은 2+3=52 + 3 = 5 와 3+2=53 + 2 = 5 로 같고, 행렬식도 2⋅3−1⋅0=62\cdot3 - 1\cdot0 = 6 과 3⋅2−(−1)⋅0=63\cdot2 - (-1)\cdot0 = 6 으로 같습니다. 기저를 (1,2)(1,2), (2,1)(2,1) 로 바꿔 계산해도 성분은 분수투성이가 되지만 대각합 5와 행렬식 6은 그대로입니다.

이유는 두 줄입니다. 행렬식은 곱을 곱으로 보내므로 det⁡(B−1AB)=det⁡B−1⋅det⁡A⋅det⁡B=det⁡A\det(B^{-1}AB) = \det B^{-1}\cdot\det A\cdot\det B = \det A 입니다. 대각합은 tr⁡(XY)=tr⁡(YX)\operatorname{tr}(XY) = \operatorname{tr}(YX) 가 성립해서 tr⁡(B−1⋅AB)=tr⁡(AB⋅B−1)=tr⁡A\operatorname{tr}(B^{-1}\cdot AB) = \operatorname{tr}(AB\cdot B^{-1}) = \operatorname{tr}A 입니다. 축을 어떻게 잡아도 남는 수는 축이 아니라 조작 자체의 성질이고, 그래서 이 둘이 「중급 12번 · 고윳값과 고유벡터」에서 고윳값의 합과 곱으로 다시 나옵니다.

W_Q와 기저변환

트랜스포머의 질의 행렬 WQW_Q 도 벡터에 행렬을 곱하니, 이것도 축을 바꾸는 것이냐는 질문이 나올 수 있습니다. 아닙니다. 기저변환 행렬은 정사각이고 가역이어야 합니다. 같은 공간의 같은 점을 다른 눈금으로 읽을 뿐이라 언제든 되돌릴 수 있어야 하기 때문입니다.

한 헤드의 WQW_Q 는 768차원 벡터를 받아 64차원 벡터를 내놓는 64×768 행렬입니다. 정사각이 아니니 역행렬이 없고, 64개의 수에서 원래의 768개를 되찾을 길이 없습니다. 출력이 놓이는 곳의 차원이 많아야 64이므로 적어도 704차원어치의 방향은 영벡터로 접혀 사라집니다. 그러니 WQW_Q 가 내놓은 64개의 수는 같은 벡터의 새 좌표가 아니라, 정보의 일부를 버리고 남은 다른 벡터입니다. 이 차이가 다음 글의 출발점입니다.

랭크와 실제 차원

랭크와 허용오차

행렬의 열들이 생성하는 부분공간의 차원, 곧 열 가운데 독립인 것을 최대로 몇 개 고를 수 있는지를 그 행렬의 랭크라고 합니다. 앞의 세 벡터를 열로 세우면 셋째가 앞의 둘로 만들어지므로 랭크가 2입니다. 첫머리의 질문도 이 말로 정확히 쓸 수 있습니다. 문장 NN 개를 임베딩해 얻은 u1,…,uN∈R768\mathbf{u}_1,\ldots,\mathbf{u}_N \in \mathbb{R}^{768} 에 대해

모델이 실제로 쓰는 차원 수 =dim⁡span⁡{u1,…,uN}= \dim \operatorname{span}\{\mathbf{u}_1, \ldots, \mathbf{u}_N\}

이고, 그 벡터들을 열로 세운 행렬의 랭크가 바로 이 값입니다. 이 값이 768보다 훨씬 작으면 그것이 표현 붕괴입니다.

3차원 상자 안에서 점들이 퍼져 있는 경우와 평면 하나에 붙어 있는 경우

V = np.array([[1., 2, 4],
              [2., 1, 5]])            # 열이 벡터 셋
print(np.linalg.matrix_rank(V))       # 2 — 셋이 만드는 것은 평면
print(np.linalg.matrix_rank(V[:, :2]))# 2 — 앞의 둘만으로 이미 평면

그런데 이 정의를 컴퓨터로 그대로 확인할 수는 없습니다. 일차독립은 "계수가 정확히 0인가"를 묻는데, 부동소수점에서 정확히 0인 값은 거의 나오지 않습니다. 그래서 matrix_rank 는 행렬을 분해해 방향마다 크기 하나씩을 뽑고, 그 크기가 문턱값보다 큰 방향만 셉니다. 그 문턱이 허용오차(tol)입니다. 따로 주지 않으면 numpy는 가장 큰 크기 × 행렬의 긴 변 길이 × 기계 엡실론을 씁니다. 기계 엡실론은 1 다음으로 표현되는 수와 1의 차이로, 배정밀도에서 약 2.2×10−162.2 \times 10^{-16} 입니다. 기본값은 반올림 잡음만 자르도록 맞춰져 있고, 그 잡음이 행렬의 규모와 크기에 비례해 커지므로 문턱도 그 둘에 비례합니다.

이 기본값이 무엇을 남기는지 수로 봅니다. 열을 (1,2,0)(1,2,0), (2,1,0)(2,1,0), (4,5,10−10)(4,5,10^{-10}) 로 세우면 셋째가 평면에서 10−1010^{-10} 만큼 들떠 있습니다. 가장 작은 방향의 크기는 약 4×10−114 \times 10^{-11} 이고 기본 문턱은 약 5×10−155 \times 10^{-15} 라서 랭크는 3으로 나옵니다. tol=1e-6 을 주면 그 방향이 잘려 2가 됩니다. 어느 쪽이 맞는지는 numpy가 아니라 그 10−1010^{-10} 이 측정값인지 잡음인지를 아는 사람이 정합니다.

solve와 inv

좌표를 구하는 식은 B−1xB^{-1}\mathbf{x} 였지만, 코드에서는 역행렬을 만들지 않습니다.

coords = np.linalg.solve(B, x)        # B c = x 를 푼다
print(coords)                         # [2. 1.]
print(B @ coords)                     # [3. 1.]  되돌아온다

inv 로 B−1B^{-1} 을 먼저 만들고 곱하는 것은 Bc=eiB\mathbf{c} = \mathbf{e}_i 를 열마다, 곧 nn 번 푼 다음에 곱셈을 한 번 더 하는 셈입니다. 원하는 것은 Bc=xB\mathbf{c} = \mathbf{x} 하나의 해인데 일을 더 하고, 반올림 오차도 역행렬을 만들 때 한 번, 곱할 때 한 번 쌓입니다. solve 는 소거로 그 하나만 풀어 계산이 적고 결과도 정확합니다. 기저 벡터들이 거의 나란해서 BB 가 가역의 경계에 가까울수록 이 차이가 커집니다.

퍼짐과 이방성

실제 임베딩 행렬을 matrix_rank 에 넣으면 거의 언제나 768이 나옵니다. 어느 방향으로든 조금씩은 퍼져 있기 때문입니다. 하지만 랭크가 꽉 찼다는 것과 "고르게 퍼져 있다"는 다른 말입니다.

수로 확인해 봅니다. 평균 0인 정규분포에서 뽑은 768차원 벡터 1,000개를 모으면 랭크는 768입니다. 그중 두 개의 코사인 유사도를 평균하면 0에 가깝고, 흩어진 폭도 0.036 정도로 좁습니다. 이번에는 공통 방향 하나에 각 성분마다 표준편차 0.03짜리 잡음을 얹어 1,000개를 만듭니다. 이 행렬도 랭크는 768로 꽉 찹니다. 그런데 평균 코사인 유사도가 0.59입니다. 모든 벡터가 그 공통 방향으로 기울어 원뿔 안에 몰려 있고, 나머지 767개 방향의 퍼짐은 아주 얇습니다.

방향마다 퍼진 정도가 고르지 않은 이 상태를 이방성이라고 합니다. 이방성을 재는 지표로 가장 흔히 쓰는 것이 방금 쓴 그 값, 무작위로 뽑은 두 문장의 평균 코사인 유사도입니다. 고르게 퍼진 공간에서는 0 근처이고, 첫머리에서 말한 0.6, 0.7은 임베딩이 이 두 번째 예처럼 놓여 있다는 신호입니다.

이것이 왜 문제인지도 이제 한 줄로 말할 수 있습니다. 벡터들이 한 방향 근처에 몰려 있으면 서로 다른 문장이 가리키는 방향의 폭이 좁아지고, 코사인 유사도가 전부 비슷한 값으로 밀려 순위가 뭉개집니다. 검색이 "가까운 것"을 못 고르는 것은 거리 지표의 문제가 아니라 span이 어떻게 채워져 있는가의 문제입니다. 그래서 실제로 필요한 것은 랭크라는 예/아니오가 아니라 방향마다 얼마나 쓰이는지를 재는 자이고, 그 자를 만드는 것이 「중급 15번 · 특잇값 분해와 랭크」입니다. 이 글은 무엇을 세야 하는지까지를 맡고, 어떻게 세는지는 그 글이 이어받습니다.

정리

  • span은 선형결합 전체이고, 덧셈과 스칼라배에 닫혀 있어 부분공간이 됩니다. 부분공간은 반드시 원점을 지나고, 영벡터나 이미 만들 수 있는 벡터를 보태도 span은 커지지 않습니다.
  • 일차독립은 Ac=0A\mathbf{c} = \mathbf{0} 의 해가 자명한 것뿐이라는 조건이고, "하나도 나머지로 만들어지지 않는다"와 같은 말입니다. 영벡터가 끼면 무조건 종속이고, 쌍마다 독립이어도 셋은 종속일 수 있으며, Rn\mathbb{R}^n 에서 n+1n+1 개는 항상 종속입니다.
  • 기저는 독립이면서 생성하는 모음이라 표현이 유일합니다. 생성집합에서 빼거나 독립집합에 보태 만들고, 그 개수인 차원은 어떤 기저로도 같습니다. 부분공간의 기저를 쓰면 좌표 개수는 그 차원입니다.
  • 좌표는 기저에 붙는 값이라 [x]B=B−1x[\mathbf{x}]_B = B^{-1}\mathbf{x} 이고, 정규직교기저가 아니면 좌표로 잰 길이와 각도, 코사인 순위까지 달라집니다. 정규직교이면 Q⊤xQ^\top\mathbf{x} 로 줄고 기하가 지켜집니다.
  • 같은 조작을 새 축에서 보면 B−1ABB^{-1}AB 이고, 대각합과 행렬식은 그대로입니다. WQW_Q 는 정사각도 가역도 아니라 기저변환이 아닙니다.
  • "몇 차원을 쓰는가"는 span의 차원, 곧 랭크를 묻지만 부동소수점에서는 허용오차가 답을 정하고, 랭크가 꽉 차도 이방성이 클 수 있어 방향마다 크기를 재는 자가 따로 필요합니다.

다음 글은 여기서 "조작"이라고 뭉뚱그린 AxA\mathbf{x} 를 제대로 봅니다. 행렬은 숫자표가 아니라 함수이고, 그 열에는 기저가 어디로 갔는지가 적혀 있습니다. WQW_Q 가 768차원 벡터를 64차원으로 보낼 때 무엇이 남고 무엇이 접히는지도 그 자리에서 읽습니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN