문장 임베딩 모델을 하나 불러오면 벡터가 768차원으로 나옵니다. 그런데 임베딩 공간을 실제로 들여다본 보고들은 한결같이 같은 말을 합니다 — 그 벡터들이 공간 전체에 퍼져 있지 않고 좁은 원뿔 안에 몰려 있다는 것입니다. 서로 다른 문장 두 개를 아무렇게나 뽑아 코사인 유사도를 재면 0 근처가 아니라 0.6, 0.7 같은 값이 나옵니다.
여기서 "768개를 준다고 768개를 쓰는 것은 아니다"라는 말이 나오고, 이것을 표현 붕괴라고 부릅니다. 그런데 이 문장은 아직 정확하지 않습니다. "몇 차원을 쓴다"는 것이 무엇을 세는 말인지를 먼저 정해야 합니다.
이 글이 그 도구를 만듭니다. 지난 글에서 "부분공간"과 "기저"라는 말을 정의 없이 계속 썼는데, 그 빚도 여기서 갚습니다. 마지막 절에서 그 768차원으로 돌아오면, 무엇을 셀지 정한 뒤에도 컴퓨터로 세는 일이 따로 남는다는 것까지 보게 됩니다.
생성과 부분공간
선형결합과 생성
벡터 몇 개를 손에 쥐었을 때 "이것들로 무엇을 만들 수 있는가"를 묻습니다. 벡터마다 수를 하나씩 곱해 더한 것을 선형결합이라 하고, 곱한 수들을 계수라고 부릅니다. 쥔 벡터로 만들 수 있는 것은 정확히 이 선형결합들입니다.
정의. 벡터 의 생성(span)은 그것들의 선형결합 전체가 이루는 집합이다.
계수 는 아무 실수나 되므로 이 집합에는 원소가 무한히 많습니다. 그런데도 적는 데 드는 것은 벡터 개의 목록 하나입니다. 무한한 집합을 유한한 목록으로 붙잡는다는 점이 span이라는 말의 쓸모입니다. 768차원 공간 속의 평면 하나도 벡터 두 개만 적어 두면 빠짐없이 정해집니다. 이 글 전체가 결국 "그 목록을 얼마나 짧게 줄일 수 있는가"를 묻는 이야기입니다.
그림의 첫 칸에서 벡터 하나의 span은 원점을 지나는 직선이고, 둘째 칸에서 나란하지 않은 두 벡터의 span은 평면입니다. 셋째 칸이 중요합니다. 벡터를 하나 더 준다고 span이 반드시 커지지는 않습니다. 이면 라서 결국 의 배수만 나옵니다. 이미 만들 수 있던 것을 다시 만들 뿐입니다. span이 커지는 것은 새 방향을 보탤 때뿐이고, "새 방향인가"를 판정하는 말이 다음 절의 일차독립입니다.
부분공간
span 안의 두 원소를 더하면 어떻게 될까요. 와 를 더하고, 수 를 곱해 봅니다.
둘 다 다시 같은 벡터들의 선형결합이라 span 안에 그대로 있습니다. 계수끼리 더하거나 곱한 것이 새 계수가 될 뿐입니다. 이렇게 덧셈과 스칼라배를 해도 밖으로 나가지 않는 집합, 곧 그 두 연산에 닫힌 집합을 부분공간이라고 부릅니다. 위의 두 줄이 "span은 언제나 부분공간이다"의 증명 전부입니다. 지난 글에서 "평면 위로 사영한다"고 할 때의 그 평면이 정확히 이것이었습니다.
닫혀 있다는 조건에서 하나가 저절로 따라 나옵니다. 아무 원소에 을 곱하면 영벡터가 나오므로 부분공간은 반드시 원점을 지납니다. 원점을 비켜 가는 직선 이 부분공간이 아닌 것도 그래서입니다. 과 는 그 위에 있지만 둘을 더한 은 그 위에 없습니다.
영벡터와 빈 모음
가장자리 두 경우를 짚어 둡니다. 벡터를 하나도 주지 않으면 더할 것이 없으므로 그 합을 영벡터로 약속하고, 그래서 빈 모음의 span은 입니다. 영벡터 하나만 든 이 집합도 덧셈과 스칼라배에 닫혀 있으니, 가장 작은 부분공간입니다.
거꾸로 어떤 모음에 영벡터를 보태도 span은 커지지 않습니다. 은 계수 가 무엇이든 영벡터라서 선형결합에 아무것도 더하지 않기 때문입니다. 사소해 보이는 이 사실이 다음 절에서 "영벡터가 끼면 무조건 종속"이라는 판정으로 다시 나옵니다.
일차독립
자명한 해
" 가 나머지로 만들어지는가"를 벡터마다 따로 확인하는 것은 번거롭습니다. 한 줄로 묶은 조건이 있습니다.
정의. 의 해가 하나뿐이면 이 벡터들이 일차독립이라고 한다. 그렇지 않으면 일차종속이다.
계수를 전부 0으로 두면 합이 인 것은 언제나 참이라 이 해는 늘 있습니다. 그래서 이것을 자명한 해라고 부르고, 독립인지 묻는 질문은 "그 말고 다른 해가 있는가"가 됩니다.
이 조건이 "낭비가 없다"와 같은 말인 것은 한 줄로 보입니다. 자명하지 않은 해가 있어서 예컨대 이라면 양변을 로 나눠
즉 이 나머지의 선형결합이 됩니다. 그 벡터는 span에 아무것도 보태지 않으므로 빼도 됩니다. 거꾸로 하나라도 나머지로 만들어지면 그 식을 한쪽으로 옮겨 자명하지 않은 해를 얻습니다. 두 진술은 정확히 같습니다.
열로 세운 행렬
식 는 벡터들을 열로 세운 행렬 에 계수 벡터 를 곱한 것과 같습니다. 행렬과 벡터의 곱이 곧 "열들의 선형결합"이기 때문입니다. 그래서 독립 판정은 연립방정식 하나로 바뀝니다.
이렇게 우변이 전부 0인 연립방정식을 제차연립방정식이라고 하고, 은 그 자명한 해입니다. 절차는 소거 하나입니다. 소거를 마쳤을 때 자유변수가 남지 않으면 해가 그것 하나뿐이라 독립이고, 하나라도 남으면 그 변수에 0 아닌 값을 넣어 다른 해를 만들 수 있으니 종속입니다.
손으로 한 번 해 봅니다. 와 는 이므로 계수가 인 자명하지 않은 해가 있습니다. 종속입니다. 와 은 어떨까요.
첫 식에서 를 둘째에 넣으면 이라 , 따라서 입니다. 자명한 해뿐이므로 독립입니다.
같은 틀에서 영벡터의 경우도 바로 나옵니다. 의 열 하나가 영벡터이면 그 열의 계수만 1로 두고 나머지를 0으로 두면 이 성립합니다. 자명하지 않은 해이므로, 영벡터가 하나라도 낀 모음은 다른 벡터가 무엇이든 종속입니다. 앞 절의 "영벡터는 span을 키우지 않는다"를 독립의 말로 옮긴 것입니다.
쌍마다 독립인 셋
벡터가 둘일 때는 판정이 쉽습니다. 둘이 종속이면 한쪽이 다른 쪽의 배수이고, 그 반대도 맞습니다. 그래서 "서로 배수인가"만 보면 끝납니다. 이 습관을 셋 이상으로 늘리면 틀립니다.
, , 를 봅니다. 아무 둘을 골라도 서로 배수가 아닙니다. 2×2 행렬식으로 확인하면 와 은 , 와 는 , 과 는 으로 셋 다 0이 아닙니다. 쌍마다 독립입니다. 그런데 셋을 함께 놓고 로 두어 풀면
확인하면 입니다. 셋은 종속입니다. 셋째 벡터가 앞의 둘 어느 하나의 배수도 아니면서 둘의 합으로는 만들어진다는 것, 이것이 쌍만 봐서는 안 보이는 종속입니다.
이것은 우연이 아닙니다. 에서 벡터를 개 이상 모으면 반드시 종속입니다. 미지수 개에 식이 개인 제차연립방정식이고, 식보다 미지수가 많으면 자유변수가 남아 자명하지 않은 해가 생기기 때문입니다. 평면에 세 벡터를 놓는 순간 종속은 정해져 있었습니다.
기저와 차원
표현의 유일성
이제 두 성질을 한 대상에 겹쳐 놓습니다.
정의. 부분공간 에 대해 일차독립이면서 를 생성하는 벡터들의 모음을 의 기저라고 한다.
생성한다는 것은 "빠짐없이 만든다"이고 독립이라는 것은 "군더더기가 없다"입니다. 둘을 함께 요구하면 좋은 성질이 하나 따라옵니다. 기저로 적는 방법은 하나뿐입니다. 를 두 가지로 적었다고 해 봅시다.
빼면 이고, 기저는 독립이므로 계수가 전부 0이어야 합니다. 즉 입니다. 생성은 적는 방법이 하나 이상 있음을, 독립은 많아야 하나임을 보장하므로 둘이 만나 정확히 하나가 됩니다. 다음 절의 좌표는 이 유일성 위에 서 있습니다.
기저를 만드는 두 방향
기저는 어디서 구할까요. 길이 둘이고 서로 반대쪽에서 출발합니다.
첫째 길은 생성은 하지만 군더더기가 있는 모음에서 빼는 것입니다. 앞 절의 , , 는 평면을 생성하지만 종속입니다. 자명하지 않은 해에서 을 읽어 내면 는 span에 보태는 것이 없으니 빼도 생성이 유지됩니다. 남은 둘은 독립이므로 기저입니다. 종속이 남아 있는 동안 이 빼기를 되풀이하면 언젠가 멈추고, 멈춘 자리가 기저입니다.
둘째 길은 독립이지만 모자란 모음에 보태는 것입니다. 하나는 독립이지만 span이 직선뿐입니다. 그 직선 밖의 벡터, 예컨대 을 보태면 독립이 유지된 채 span이 평면으로 커집니다. 새 벡터가 기존 span 밖에 있으면 독립이 깨지지 않는다는 것이 앞 절의 "새 방향" 이야기 그대로입니다. 공간을 다 덮을 때까지 보태면 기저가 됩니다.
차원과 좌표 개수
두 길이 그림처럼 같은 개수에서 만나는 것은 우연이 아닙니다. 어떤 기저를 잡아도 벡터의 개수는 같다는 것이 알려져 있고, 그 개수를 의 차원이라고 부릅니다. 는 로도 로도 로도 생성되지만 언제나 둘입니다. 차원이 기저를 어떻게 고르든 같은 값이라는 사실이 "몇 차원을 쓰는가"라는 질문을 비로소 말이 되게 합니다.
차원을 미리 알면 확인할 것이 반으로 줄어듭니다. 차원이 인 공간에서 독립인 벡터 개는 생성까지 따로 확인하지 않아도 기저입니다. 만약 생성하지 못한다면 span 밖의 벡터를 하나 보태 독립인 개를 만들 수 있는데, 그건 앞 절의 " 개는 반드시 종속"과 부딪힙니다. 그래서 평면에서는 와 이 독립이라는 것만 보이면 끝입니다.
을 표준기저라고 합니다. 배열에 적힌 숫자를 그대로 읽을 때 우리가 말없이 쓰고 있던 기저가 이것입니다. 그런데 부분공간만 다룰 때는 표준기저가 낭비입니다. 안의 평면을 과 이 생성한다고 합시다. 그 평면 위의 는 이라 수 두 개 으로 적힙니다. 표준기저로 적으면 셋이 필요한데 그중 하나는 나머지로 정해지는 군더더기입니다. 부분공간의 기저를 쓰면 좌표의 개수는 바깥 공간의 이 아니라 그 부분공간의 차원입니다. 임베딩 1,000개가 768차원 안의 50차원 부분공간에 놓여 있다면 한 문장마다 수 50개면 충분하다는 뜻입니다.
기저에 붙는 좌표
좌표변환 행렬
[3, 1] 이라는 배열은 벡터 자체가 아니라 어떤 기저로 읽었을 때의 계수입니다.
정의. 기저 에 대해 일 때 을 의 B-좌표라고 한다.
앞 절의 유일성 덕분에 이 계수는 하나로 정해집니다. 기저가 달라지면 같은 벡터의 좌표가 달라지고, 그래서 좌표는 벡터가 아니라 기저에 붙는 값입니다.
기저 벡터를 열로 세운 행렬을 라고 쓰면 정의가 곧바로 행렬 한 줄이 됩니다.
의 열이 기저이므로 독립이고, 그래서 는 가역입니다. 는 좌표를 받아 벡터를 돌려주고, 은 벡터를 받아 좌표를 돌려줍니다. 이 두 행렬을 좌표변환 행렬이라고 부릅니다.
그림의 수로 한 번 계산합니다. , 로 을 읽습니다.
역행렬은 초급 44번에서 세운 2×2 공식을 그대로 쓴 것입니다. 그러면
되돌려 확인하면 입니다. 같은 점인데 배열이 [3, 1] 에서 [2, 1] 로 바뀌었습니다. 점이 움직인 것이 아니라 눈금이 바뀐 것입니다.
길이와 각도
좌표가 바뀌면 그 좌표로 잰 길이도 바뀝니다. 의 길이는 인데, 좌표 을 보통 벡터처럼 놓고 재면 입니다. 이 기저에서는 어긋남이 고르게 일어납니다. 과 가 서로 직교하고 길이가 둘 다 라서 어떤 벡터든 좌표로 재면 길이가 정확히 배 줄고, 각도는 그대로 남습니다.
기저가 직교하지 않으면 각도까지 틀어집니다. 앞에서 쓴 , 을 기저로 삼고 세 점을 읽습니다. 질의 하나 와 후보 둘 , 입니다. 좌표는 각각 , , 입니다. 은 앞에서 구했고, 입니다.
원래 벡터로 코사인 유사도를 재면
이라 가 더 가깝습니다. 좌표끼리 재면
로 가 더 가깝습니다. 같은 세 점인데 검색 순위가 뒤집혔습니다.
그림의 오른쪽 판은 좌표를 직교 격자 위에 그대로 찍은 것입니다. 원래 공간에서 와 사이의 각은 약 37°인데, 좌표판에서는 그 둘이 90°로 벌어진 축이 됩니다. 각이 그렇게 늘어나니 그 사이에 있던 점들의 각도 따라 틀어집니다. 내적과 코사인은 "표준기저로 읽은 배열"에 대해 정의된 셈이라, 다른 기저의 좌표에 그대로 쓰면 다른 것을 재게 됩니다.
정규직교기저
이 어긋남이 사라지는 기저가 있습니다. 서로 직교하고 길이가 모두 1인 벡터들로 된 기저를 정규직교기저라 하고, 그것을 열로 세운 행렬을 라 쓰면 지난 글에서 본 대로 입니다. 좌표 , 를 가진 두 벡터의 내적을 재면
라서 원래 벡터의 내적과 좌표의 내적이 같습니다. 내적이 같으면 길이도 각도도 코사인도 같습니다. 그리고 이라 좌표는 내적 한 번으로 나옵니다.
위의 는 서로 직교하지만 노름이 라 정규직교는 아닙니다. 로 나눠 , 로 만들면
이고 좌표의 길이 이 원래 길이와 같아졌습니다. 앞에서 로 줄던 것이 사라진 것입니다.
import numpy as np
B = np.array([[1., 1], [1, -1]]) # 열이 기저 벡터
x = np.array([3., 1])
Q = B / np.sqrt(2) # 열의 노름을 1로
print(Q.T @ Q) # [[1 0] [0 1]]
print(Q.T @ x) # [2.828 1.414] = (2√2, √2)
의 값어치는 둘입니다. 역행렬 하나가 전치 한 번으로 줄고, 좌표 위에서 잰 유사도가 원래 공간의 유사도와 같다는 보장이 붙습니다. 실제 구현이 직교기저를 고집하는 자리들이 전부 이 두 가지 때문입니다.
축을 바꾸는 조작들
닮은 행렬
기저를 바꾼다는 말이 낯설어 보이지만, AI 코드에서 이미 여러 이름으로 하고 있는 일입니다.
| 이름 | 새 기저로 무엇을 잡는가 | 무엇이 편해지는가 |
|---|---|---|
| 주성분 축 | 데이터의 분산이 큰 방향부터 | 앞쪽 몇 축만 남겨도 정보가 대부분 남는다 |
| 화이트닝 | 축마다 분산이 1이 되도록 잡은 축 | 모든 방향이 같은 규모가 된다 |
| 회전 위치 인코딩 | 2차원씩 각도만큼 돌린 축 | 상대 위치가 각도 차이로 읽힌다 |
| 대각화 | 행렬이 늘이기만 하는 방향 | 행렬 곱이 수 몇 개의 곱이 된다 |
네 줄이 전부 한 줄이고, 다른 것은 를 무엇으로 고르느냐뿐입니다. 표의 첫 두 줄이 필요로 하는 "분산이 큰 방향"과 넷째 줄의 "늘이기만 하는 방향"은 아직 정의하지 않았습니다. 「중급 12번 · 고윳값과 고유벡터」가 그 방향을 정의하고, 「중급 14번 · 대칭 행렬」이 그것이 왜 늘 직교하는지를 답합니다. 셋째 줄은 「중급 11번 · 회전·전단·스케일」이 세우는 회전행렬을 씁니다.
행렬을 새 기저에서 다시 쓰는 규칙도 같은 자리에서 나옵니다. 원래 좌표에서 인 조작을 B-좌표로 옮기면 "좌표를 벡터로 되돌리고, 를 먹이고, 다시 좌표로" 이므로
입니다. 라는 낯익은 꼴이 이 세 단계를 그대로 적은 것입니다. 이렇게 가역행렬 를 사이에 두고 로 이어지는 두 행렬을 닮은 행렬이라고 부릅니다. 논문에서 이 꼴을 만나면 "같은 조작을 다른 축에서 본 것"이라고 읽으면 됩니다.
대각합과 행렬식
같은 조작을 다른 축에서 본 것이라면, 축에 따라 바뀌는 수와 안 바뀌는 수가 있어야 합니다. 를 앞의 로 옮겨 봅니다. 먼저 이고, 왼쪽에 을 곱하면
입니다. 성분은 거의 다 바뀌었습니다. 그런데 대각선의 수를 더한 값, 곧 대각합은 와 로 같고, 행렬식도 과 으로 같습니다. 기저를 , 로 바꿔 계산해도 성분은 분수투성이가 되지만 대각합 5와 행렬식 6은 그대로입니다.
이유는 두 줄입니다. 행렬식은 곱을 곱으로 보내므로 입니다. 대각합은 가 성립해서 입니다. 축을 어떻게 잡아도 남는 수는 축이 아니라 조작 자체의 성질이고, 그래서 이 둘이 「중급 12번 · 고윳값과 고유벡터」에서 고윳값의 합과 곱으로 다시 나옵니다.
W_Q와 기저변환
트랜스포머의 질의 행렬 도 벡터에 행렬을 곱하니, 이것도 축을 바꾸는 것이냐는 질문이 나올 수 있습니다. 아닙니다. 기저변환 행렬은 정사각이고 가역이어야 합니다. 같은 공간의 같은 점을 다른 눈금으로 읽을 뿐이라 언제든 되돌릴 수 있어야 하기 때문입니다.
한 헤드의 는 768차원 벡터를 받아 64차원 벡터를 내놓는 64×768 행렬입니다. 정사각이 아니니 역행렬이 없고, 64개의 수에서 원래의 768개를 되찾을 길이 없습니다. 출력이 놓이는 곳의 차원이 많아야 64이므로 적어도 704차원어치의 방향은 영벡터로 접혀 사라집니다. 그러니 가 내놓은 64개의 수는 같은 벡터의 새 좌표가 아니라, 정보의 일부를 버리고 남은 다른 벡터입니다. 이 차이가 다음 글의 출발점입니다.
랭크와 실제 차원
랭크와 허용오차
행렬의 열들이 생성하는 부분공간의 차원, 곧 열 가운데 독립인 것을 최대로 몇 개 고를 수 있는지를 그 행렬의 랭크라고 합니다. 앞의 세 벡터를 열로 세우면 셋째가 앞의 둘로 만들어지므로 랭크가 2입니다. 첫머리의 질문도 이 말로 정확히 쓸 수 있습니다. 문장 개를 임베딩해 얻은 에 대해
모델이 실제로 쓰는 차원 수
이고, 그 벡터들을 열로 세운 행렬의 랭크가 바로 이 값입니다. 이 값이 768보다 훨씬 작으면 그것이 표현 붕괴입니다.
V = np.array([[1., 2, 4],
[2., 1, 5]]) # 열이 벡터 셋
print(np.linalg.matrix_rank(V)) # 2 — 셋이 만드는 것은 평면
print(np.linalg.matrix_rank(V[:, :2]))# 2 — 앞의 둘만으로 이미 평면
그런데 이 정의를 컴퓨터로 그대로 확인할 수는 없습니다. 일차독립은 "계수가 정확히 0인가"를 묻는데, 부동소수점에서 정확히 0인 값은 거의 나오지 않습니다. 그래서 matrix_rank 는 행렬을 분해해 방향마다 크기 하나씩을 뽑고, 그 크기가 문턱값보다 큰 방향만 셉니다. 그 문턱이 허용오차(tol)입니다. 따로 주지 않으면 numpy는 가장 큰 크기 × 행렬의 긴 변 길이 × 기계 엡실론을 씁니다. 기계 엡실론은 1 다음으로 표현되는 수와 1의 차이로, 배정밀도에서 약 입니다. 기본값은 반올림 잡음만 자르도록 맞춰져 있고, 그 잡음이 행렬의 규모와 크기에 비례해 커지므로 문턱도 그 둘에 비례합니다.
이 기본값이 무엇을 남기는지 수로 봅니다. 열을 , , 로 세우면 셋째가 평면에서 만큼 들떠 있습니다. 가장 작은 방향의 크기는 약 이고 기본 문턱은 약 라서 랭크는 3으로 나옵니다. tol=1e-6 을 주면 그 방향이 잘려 2가 됩니다. 어느 쪽이 맞는지는 numpy가 아니라 그 이 측정값인지 잡음인지를 아는 사람이 정합니다.
solve와 inv
좌표를 구하는 식은 였지만, 코드에서는 역행렬을 만들지 않습니다.
coords = np.linalg.solve(B, x) # B c = x 를 푼다
print(coords) # [2. 1.]
print(B @ coords) # [3. 1.] 되돌아온다
inv 로 을 먼저 만들고 곱하는 것은 를 열마다, 곧 번 푼 다음에 곱셈을 한 번 더 하는 셈입니다. 원하는 것은 하나의 해인데 일을 더 하고, 반올림 오차도 역행렬을 만들 때 한 번, 곱할 때 한 번 쌓입니다. solve 는 소거로 그 하나만 풀어 계산이 적고 결과도 정확합니다. 기저 벡터들이 거의 나란해서 가 가역의 경계에 가까울수록 이 차이가 커집니다.
퍼짐과 이방성
실제 임베딩 행렬을 matrix_rank 에 넣으면 거의 언제나 768이 나옵니다. 어느 방향으로든 조금씩은 퍼져 있기 때문입니다. 하지만 랭크가 꽉 찼다는 것과 "고르게 퍼져 있다"는 다른 말입니다.
수로 확인해 봅니다. 평균 0인 정규분포에서 뽑은 768차원 벡터 1,000개를 모으면 랭크는 768입니다. 그중 두 개의 코사인 유사도를 평균하면 0에 가깝고, 흩어진 폭도 0.036 정도로 좁습니다. 이번에는 공통 방향 하나에 각 성분마다 표준편차 0.03짜리 잡음을 얹어 1,000개를 만듭니다. 이 행렬도 랭크는 768로 꽉 찹니다. 그런데 평균 코사인 유사도가 0.59입니다. 모든 벡터가 그 공통 방향으로 기울어 원뿔 안에 몰려 있고, 나머지 767개 방향의 퍼짐은 아주 얇습니다.
방향마다 퍼진 정도가 고르지 않은 이 상태를 이방성이라고 합니다. 이방성을 재는 지표로 가장 흔히 쓰는 것이 방금 쓴 그 값, 무작위로 뽑은 두 문장의 평균 코사인 유사도입니다. 고르게 퍼진 공간에서는 0 근처이고, 첫머리에서 말한 0.6, 0.7은 임베딩이 이 두 번째 예처럼 놓여 있다는 신호입니다.
이것이 왜 문제인지도 이제 한 줄로 말할 수 있습니다. 벡터들이 한 방향 근처에 몰려 있으면 서로 다른 문장이 가리키는 방향의 폭이 좁아지고, 코사인 유사도가 전부 비슷한 값으로 밀려 순위가 뭉개집니다. 검색이 "가까운 것"을 못 고르는 것은 거리 지표의 문제가 아니라 span이 어떻게 채워져 있는가의 문제입니다. 그래서 실제로 필요한 것은 랭크라는 예/아니오가 아니라 방향마다 얼마나 쓰이는지를 재는 자이고, 그 자를 만드는 것이 「중급 15번 · 특잇값 분해와 랭크」입니다. 이 글은 무엇을 세야 하는지까지를 맡고, 어떻게 세는지는 그 글이 이어받습니다.
정리
- span은 선형결합 전체이고, 덧셈과 스칼라배에 닫혀 있어 부분공간이 됩니다. 부분공간은 반드시 원점을 지나고, 영벡터나 이미 만들 수 있는 벡터를 보태도 span은 커지지 않습니다.
- 일차독립은 의 해가 자명한 것뿐이라는 조건이고, "하나도 나머지로 만들어지지 않는다"와 같은 말입니다. 영벡터가 끼면 무조건 종속이고, 쌍마다 독립이어도 셋은 종속일 수 있으며, 에서 개는 항상 종속입니다.
- 기저는 독립이면서 생성하는 모음이라 표현이 유일합니다. 생성집합에서 빼거나 독립집합에 보태 만들고, 그 개수인 차원은 어떤 기저로도 같습니다. 부분공간의 기저를 쓰면 좌표 개수는 그 차원입니다.
- 좌표는 기저에 붙는 값이라 이고, 정규직교기저가 아니면 좌표로 잰 길이와 각도, 코사인 순위까지 달라집니다. 정규직교이면 로 줄고 기하가 지켜집니다.
- 같은 조작을 새 축에서 보면 이고, 대각합과 행렬식은 그대로입니다. 는 정사각도 가역도 아니라 기저변환이 아닙니다.
- "몇 차원을 쓰는가"는 span의 차원, 곧 랭크를 묻지만 부동소수점에서는 허용오차가 답을 정하고, 랭크가 꽉 차도 이방성이 클 수 있어 방향마다 크기를 재는 자가 따로 필요합니다.
다음 글은 여기서 "조작"이라고 뭉뚱그린 를 제대로 봅니다. 행렬은 숫자표가 아니라 함수이고, 그 열에는 기저가 어디로 갔는지가 적혀 있습니다. 가 768차원 벡터를 64차원으로 보낼 때 무엇이 남고 무엇이 접히는지도 그 자리에서 읽습니다.
읽어주셔서 감사합니다. 😊

