수학

MATH / 중급 43번

위치를 수로 적기: 사인파 주파수 사다리와 RoPE의 회전 불변성

어텐션 점수에는 토큰의 순서가 들어 있지 않습니다. 정수 위치를 주파수가 10배씩 줄어드는 사인·코사인 쌍으로 적는 이유와 파장이 만드는 해상도 사다리, 그리고 회전행렬의 직교성만으로 RoPE의 상대 위치 불변성을 증명합니다.

PALDYN Team39 MIN READ

지난 글까지 어텐션 식의 기호를 하나씩 뜯었습니다. 그런데 그 여정 내내 한 번도 쓰이지 않은 정보가 있습니다. 토큰의 순서입니다.

QKTQK^{\mathsf T} 의 (i,j)(i,j) 성분은 ii 번째 질의와 jj 번째 키의 내적입니다. 입력 토큰의 순서를 바꾸면 QQ 와 KK 의 행이 같이 바뀌므로 이 행렬은 행과 열이 함께 뒤섞인 것이 됩니다 — 값이 새로 생기지도, 사라지지도 않습니다.

토큰을 섞어도 점수 집합은 그대로다

이것을 순열 동변성(permutation equivariance)이라고 부릅니다. 입력을 섞은 만큼 출력도 똑같이 섞여 나온다는 뜻입니다. 좋은 성질처럼 들리지만 언어에서는 재앙입니다. "개가 사람을 물었다"와 "사람이 개를 물었다"가 어텐션에게는 같은 재료 뭉치입니다.

그래서 위치를 수로 적어 벡터에 실어 보냅니다. 이 글은 그 두 가지 방법의 수학만 다룹니다 — 사인파 인코딩의 주파수 사다리가 왜 기하급수적으로 줄어드는지, 그리고 RoPE가 쓰는 회전이 왜 상대 위치만 남기는지의 증명입니다. 구현과 긴 문맥 외삽 문제는 위치 인코딩이 맡으므로 여기서는 유도만 합니다.

위치 표현의 후보

정수·정규화·원핫

위치 p=0,1,2,…p = 0, 1, 2, \dots 를 그대로 벡터에 더하는 것부터 생각해 봅니다.

방법 무엇이 깨지는가
pp 를 그대로 더한다 값이 위로 열려 있다. 길이 512로 학습하면 p=4000p = 4000 은 한 번도 본 적 없는 크기의 수다
p/Lp / L 로 정규화한다 같은 5번째 토큰이 길이 10에서는 0.5, 길이 1000에서는 0.005다. 위치의 뜻이 문장 길이마다 달라진다
원핫 벡터로 준다 차원이 최대 길이에 비례해 커지고, 서로 다른 두 위치의 내적이 언제나 0이라 "가깝다"는 정보가 없다

첫째 방법의 문제는 크기입니다. 토큰 벡터의 성분은 정규화를 거쳐 대개 1 안팎의 크기로 다니는데, 그 옆에 300이나 4000을 더하면 내용은 위치에 묻혀 버립니다. 뒤쪽 토큰일수록 위치 값이 내용을 더 크게 덮으니, 같은 낱말이 문장 앞에서와 뒤에서 전혀 다른 벡터가 됩니다.

둘째 방법은 크기를 묶는 대신 뜻을 버립니다. p/Lp/L 은 "문장의 몇 % 지점인가"이지 "몇 번째인가"가 아닙니다. 바로 옆 토큰과의 간격이 길이 10에서는 0.1, 길이 1000에서는 0.001이라, 모델이 "한 칸 옆"이라는 관계를 하나의 값으로 배울 수가 없습니다.

셋째 방법은 모든 위치를 똑같이 남남으로 만듭니다. 원핫 벡터 둘의 내적은 같은 위치일 때 1, 다른 위치일 때 0이므로 3번과 4번 사이나 3번과 400번 사이나 똑같이 0입니다.

학습된 절대 위치 임베딩

넷째 방법은 아예 값을 정하지 않고 맡기는 것입니다. 학습된 절대 위치 임베딩은 위치마다 벡터 한 줄씩을 표에 두고, 그 표의 값을 다른 파라미터와 함께 학습이 정하게 하는 방식입니다. 표의 pp 번째 줄을 꺼내 pp 번째 토큰에 더하므로 원핫 벡터에 행렬을 곱한 것과 같고, 그 행렬을 학습한다는 점만 다릅니다. BERT와 GPT-2가 이 방식을 썼습니다.

장점은 분명합니다. 값이 학습으로 정해지니 크기가 내용과 맞춰지고, 어떤 위치끼리 비슷해야 하는지도 데이터가 알려 줍니다. 원핫의 "모두가 남남" 문제를 학습이 풀어 주는 셈입니다.

깨지는 곳은 표의 끝입니다. 표의 줄 수가 곧 최대 길이라, 512줄짜리 표를 가진 모델에게 513번째 토큰은 작은 값도 큰 값도 아니고 값이 아예 없습니다. 늘리려면 표를 키우고 다시 학습해야 합니다. 또 이웃한 두 줄이 비슷해진다는 보장도 식에는 없어서, 긴 문장이 드문 데이터라면 표의 뒤쪽 줄은 학습할 기회 자체가 적습니다.

세 가지 요구

다섯 후보를 나란히 놓으면 원하는 것이 세 가지로 정리됩니다. 값이 유계일 것, 같은 위치가 문장 길이와 상관없이 같은 값을 받을 것, 그리고 가까운 위치끼리는 비슷하되 구별은 될 것입니다.

방법 유계 길이 무관 가깝되 구별
pp 그대로 안 된다 된다 크기 차로만
p/Lp/L 된다 안 된다 간격이 길이마다 바뀐다
원핫 된다 안 된다 안 된다
학습된 임베딩 된다 최대 길이 안에서만 데이터에 맡긴다
사인파 된다 된다 된다

앞의 둘을 한 번에 주는 것이 각도입니다. sin⁡\sin 과 cos⁡\cos 은 인자가 아무리 커져도 [−1,1][-1, 1] 안에 있고, 위치를 각도로 읽으면 문장 길이는 계산에 아예 등장하지 않습니다. 셋째 요구는 각도를 하나가 아니라 여러 속도로 돌려서 얻습니다. 그것이 다음 절의 사다리입니다.

주파수 사다리

각속도와 파장

dd 차원 위치 벡터를 d/2d/2 개의 (sin⁡,cos⁡)(\sin, \cos) 쌍으로 채웁니다. ii 번째 쌍이 쓰는 각속도를 θi\theta_i 라고 하면 — 각속도는 위치가 한 칸 갈 때 각도가 얼마나 도는가입니다 —

PE(p)2i=sin⁡(p θi),PE(p)2i+1=cos⁡(p θi)\mathrm{PE}(p)_{2i} = \sin(p\,\theta_i), \qquad \mathrm{PE}(p)_{2i+1} = \cos(p\,\theta_i)

이고, 원래 논문이 고른 θi\theta_i 가 이것입니다.

θi=10000−2i/d,i=0,1,…,d2−1\theta_i = 10000^{-2i/d}, \qquad i = 0, 1, \dots, \tfrac{d}{2}-1

지수가 ii 에 대해 1차이므로 θi\theta_i 는 기하급수적으로 줄어듭니다. 한 칸 옆 쌍으로 갈 때마다 같은 비율로 느려진다는 뜻입니다. 각속도 대신 파장으로 읽으면 더 분명합니다. 파장은 각도가 한 바퀴 2π2\pi 를 도는 데 필요한 위치의 수입니다.

λi=2πθi=2π⋅100002i/d\lambda_i = \frac{2\pi}{\theta_i} = 2\pi \cdot 10000^{2i/d}

d=8d = 8 로 손으로 채워 봅니다. 2i/d2i/d 가 0, 0.25, 0.5, 0.750,\ 0.25,\ 0.5,\ 0.75 이므로 100002i/d10000^{2i/d} 이 정확히 1, 10, 100, 10001,\ 10,\ 100,\ 1000 입니다.

쌍 ii θi\theta_i 파장 λi\lambda_i 한 바퀴 도는 데 걸리는 토큰 수
0 1 2π2\pi 약 6.3개
1 0.1 20π20\pi 약 63개
2 0.01 200π200\pi 약 628개
3 0.001 2000π2000\pi 약 6283개

파장이 10배씩 길어지는 네 개의 사인파

자리값 구조

자동차 주행거리계와 같은 구조입니다. 맨 오른쪽 자리는 1 km마다 한 바퀴를 돌고, 그 왼쪽은 10 km마다, 그다음은 100 km마다 돕니다. 빠른 자리만 보면 12 km와 22 km를 구별하지 못하지만 자리를 다 읽으면 유일하게 정해집니다. 여기서는 10진법 대신 각도를, 자릿수 대신 (sin⁡,cos⁡)(\sin, \cos) 쌍을 씁니다.

d=8d = 8, p=0…3p = 0 \dots 3 의 실제 값을 적어 보면 사다리가 하는 일이 보입니다.

pp sin⁡p\sin p cos⁡p\cos p sin⁡0.1p\sin 0.1p cos⁡0.1p\cos 0.1p sin⁡0.01p\sin 0.01p cos⁡0.01p\cos 0.01p sin⁡0.001p\sin 0.001p cos⁡0.001p\cos 0.001p
0 0.0000 1.0000 0.0000 1.0000 0.0000 1.0000 0.0000 1.0000
1 0.8415 0.5403 0.0998 0.9950 0.0100 1.0000 0.0010 1.0000
2 0.9093 −0.4161 0.1987 0.9801 0.0200 0.9998 0.0020 1.0000
3 0.1411 −0.9900 0.2955 0.9553 0.0300 0.9996 0.0030 1.0000

빠른 쌍이 이웃을 가르고 느린 쌍이 문단을 가릅니다. i=0i = 0 은 한 칸만 가도 값이 크게 흔들려 바로 옆 토큰을 구별해 주고, i=3i = 3 은 세 칸을 가도 cos⁡\cos 이 소수 넷째 자리까지 1이라 이웃끼리는 사실상 같습니다. 대신 pp 가 수천 단위로 벌어져야 비로소 움직이므로 문서의 앞뒤를 가립니다. 어느 한 쌍도 혼자서는 위치를 못 정하고, 사다리 전체가 있어야 정해집니다.

주행거리계와 다른 점도 하나 있습니다. 주행거리계의 자리는 0에서 9로 뛰고 9에서 0으로 넘어가지만, 각도는 끊김 없이 돕니다. 그래서 위치가 한 칸 움직일 때 모든 쌍의 값이 조금씩 매끄럽게 바뀌고, 가까운 위치는 가까운 벡터를 받습니다. 원핫에는 없던 "가깝다"가 여기서 생깁니다.

기저 10000

θi\theta_i 식에 든 10000을 기저라고 부릅니다. 사다리의 첫 칸은 기저와 상관없이 늘 θ0=1\theta_0 = 1, 곧 파장 2π2\pi 이고, 기저가 정하는 것은 사다리가 어디까지 올라가며 그 사이를 몇 칸으로 나누는가입니다.

가장 느린 쌍은 i=d/2−1i = d/2 - 1 이고, 그 파장은 2π⋅10000(d−2)/d2\pi \cdot 10000^{(d-2)/d} 입니다. dd 가 커질수록 지수가 1에 다가가므로 이 값의 상한은 2π⋅104≈62,8322\pi \cdot 10^4 \approx 62{,}832 입니다. 실제 모델의 머리 하나가 흔히 쓰는 d=128d = 128 이면 약 54,410입니다. 이웃한 두 쌍의 각속도 비는 100002/d10000^{2/d} 라서 d=8d = 8 에서는 10배였지만 d=128d = 128 에서는 약 1.155배입니다. 실제 사다리는 64칸이 각각 15.5%씩 느려지는 촘촘한 계단입니다.

가장 느린 쌍의 파장이 문맥 길이보다 길어야 하는 데는 분명한 셈이 있습니다. (sin⁡α,cos⁡α)(\sin\alpha, \cos\alpha) 는 단위원 위의 점이라, 각도가 한 바퀴를 채우기 전에는 같은 점을 두 번 찍지 않습니다. 그러니 파장이 문맥보다 긴 쌍이 하나만 있어도 문맥 안의 모든 위치가 서로 다른 벡터를 받습니다. 원래 논문이 다룬 문맥이 수백 토큰이었으니 54,410은 그 백 배쯤 되는 여유입니다.

기저와 해상도

기저를 키우면 어떻게 될까요. Llama 3 계열은 기저로 500,000을 씁니다. 첫 칸은 그대로 2π2\pi 이고, d=128d = 128 에서 가장 느린 쌍의 파장은 약 2,559,196으로 늘어나며, 칸 사이 비는 약 1.228배로 벌어집니다. 사다리 전체가 위로 늘어나는 것입니다.

기저 10000과 500000에서 64쌍의 파장 사다리

그림의 붉은 점선은 문맥 길이 8,192입니다. 점선 왼쪽, 곧 문맥 안에서 한 바퀴 이상 도는 쌍이 기저 10000에서는 64쌍 중 50쌍이고 기저 500,000에서는 35쌍입니다. 파장이 100보다 짧은 쌍, 곧 몇 토큰 안의 차이에 민감한 쌍은 20쌍에서 14쌍으로 줄어듭니다.

이것이 기저가 거는 맞바꿈입니다. 쌍의 개수 d/2d/2 는 정해져 있으니, 기저를 키우면 먼 거리를 가르는 데 쓰는 쌍이 늘어나는 만큼 이웃을 가르는 쌍이 줄어듭니다. 긴 문맥을 다루는 모델이 기저를 키우는 이유와 그때 생기는 외삽 문제는 위치 인코딩이 다룹니다.

덧셈 위치의 한계

이동의 선형성

사인파 인코딩에는 손으로 확인되는 성질이 둘 있습니다. 첫째는 kk 칸 이동이 선형변환이라는 것입니다. 삼각함수의 덧셈정리를 ii 번째 쌍에 그대로 씁니다.

sin⁡θ(p+k)=sin⁡θp cos⁡θk+cos⁡θp sin⁡θkcos⁡θ(p+k)=cos⁡θp cos⁡θk−sin⁡θp sin⁡θk\begin{aligned} \sin\theta(p+k) &= \sin\theta p\,\cos\theta k + \cos\theta p\,\sin\theta k \\ \cos\theta(p+k) &= \cos\theta p\,\cos\theta k - \sin\theta p\,\sin\theta k \end{aligned}

오른쪽에 있는 것은 sin⁡θp\sin\theta p 와 cos⁡θp\cos\theta p 뿐이고 cos⁡θk,sin⁡θk\cos\theta k, \sin\theta k 는 pp 와 무관한 상수입니다. 그러니 행렬로 묶입니다.

[sin⁡θ(p+k)cos⁡θ(p+k)]=[cos⁡θksin⁡θk−sin⁡θkcos⁡θk][sin⁡θpcos⁡θp]\begin{bmatrix} \sin\theta(p+k) \\ \cos\theta(p+k) \end{bmatrix} = \begin{bmatrix} \cos\theta k & \sin\theta k \\ -\sin\theta k & \cos\theta k \end{bmatrix} \begin{bmatrix} \sin\theta p \\ \cos\theta p \end{bmatrix}

kk 칸 뒤로 가는 것이 pp 에 무관한 하나의 고정된 행렬을 곱하는 일입니다. 선형층이 표현할 수 있는 연산이라는 뜻이고, 그래서 모델이 "세 칸 뒤"라는 관계를 배울 여지가 생깁니다.

위치항 내적과 포락선

둘째는 두 위치 벡터의 내적이 상대 위치만 본다는 것입니다. PE(m)\mathrm{PE}(m) 과 PE(n)\mathrm{PE}(n) 의 내적을 쌍마다 묶습니다.

PE(m)⋅PE(n)=∑i[sin⁡mθisin⁡nθi+cos⁡mθicos⁡nθi]=∑icos⁡((n−m)θi)\mathrm{PE}(m)\cdot\mathrm{PE}(n) = \sum_i \big[\sin m\theta_i \sin n\theta_i + \cos m\theta_i \cos n\theta_i\big] = \sum_i \cos\big((n-m)\theta_i\big)

가운데 대괄호를 cos⁡\cos 의 뺄셈 공식으로 접었습니다. 결과에 mm 과 nn 이 따로 남지 않고 차이 n−mn-m 만 남습니다.

이 합을 거리 δ=n−m\delta = n - m 의 함수로 읽어 봅니다. d=8d = 8 이면 δ=0\delta = 0 에서 쌍 넷이 모두 1이라 4이고, δ=1\delta = 1 에서 3.535, δ=10\delta = 10 에서 1.696, δ=100\delta = 100 에서 1.559, δ=1000\delta = 1000 에서 1.126입니다. 멀어질수록 줄어듭니다.

줄어드는 이유는 쌍마다 보면 보입니다. cos⁡(δθi)\cos(\delta\theta_i) 는 δ\delta 가 그 쌍의 파장보다 한참 짧은 동안 1 근처에 머물다가, δ\delta 가 파장에 닿으면 −1과 1 사이를 오가기 시작합니다. δ=100\delta = 100 이면 넷째 쌍은 0.995로 아직 1 근처이고 셋째 쌍은 0.540, 앞의 둘은 이미 여러 바퀴를 돌아 0.862와 −0.839입니다. 돌기 시작한 쌍들은 서로 상쇄되어 합에 거의 보태지 않으므로, 합은 대략 "아직 돌지 않은 쌍의 수"를 따라 내려갑니다. 덧붙여 d=8d = 8 에서는 δ\delta 를 10배 할 때마다 네 값이 한 칸씩 옆 쌍으로 밀려납니다 — 칸 사이 비가 정확히 10이기 때문입니다.

거리에 따라 줄어드는 위치항 내적

그림은 d=128d = 128 에서 이 합을 64로 나눠 그린 것입니다. 곡선은 매끄럽게 내려가지 않고 잔물결을 치며 내려갑니다. 이렇게 진동하는 곡선의 꼭대기들을 이어 그린 바깥 선을 포락선이라고 부르는데, 위치항 내적의 포락선은 거리가 멀수록 낮아집니다. 꼭 단조는 아니어서 d=8d = 8, δ=10000\delta = 10000 에서는 −0.367까지 내려가기도 합니다. 기저 500,000의 곡선이 더 천천히 내려가는 것은 앞 절의 맞바꿈 그대로입니다 — 아직 돌지 않은 느린 쌍이 더 많이 남아 있기 때문입니다.

교차항

여기까지는 깔끔합니다. 문제는 실제로 쓰는 방식이 x←x+PE(p)x \leftarrow x + \mathrm{PE}(p) 라는 것입니다. 위치를 더해서 넣으면 어텐션 점수가 이렇게 벌어집니다.

(q+pm)⋅(k+pn)=q⋅k⏟내용+q⋅pn⏟n에 의존+pm⋅k⏟m에 의존+pm⋅pn⏟n−m에만 의존(q + p_m)\cdot(k + p_n) = \underbrace{q\cdot k}_{\text{내용}} + \underbrace{q\cdot p_n}_{n\text{에 의존}} + \underbrace{p_m\cdot k}_{m\text{에 의존}} + \underbrace{p_m\cdot p_n}_{n-m\text{에만 의존}}

위치를 더하면 점수가 네 항으로 갈라진다

네 항 가운데 상대 위치만 보는 것은 마지막 하나뿐입니다. 가운데 두 항은 절대 위치 mm 과 nn 을 각각 따로 봅니다.

가운데 두 항이 나쁘다는 말은 아닙니다. 다만 "mm 과 nn 의 차이가 3이면 점수가 이렇게 된다"는 보장이 식 수준에서는 없다는 뜻입니다. 앞에서 구한 포락선도 넷째 항만의 이야기라, 교차항이 끼면 "멀수록 점수가 낮다"는 경향마저 내용 벡터에 따라 흐려집니다.

노름의 변화

더하기가 건드리는 것이 하나 더 있습니다. 위치 벡터 자신의 길이는 위치와 상관없이 일정합니다. 쌍마다 sin⁡2+cos⁡2=1\sin^2 + \cos^2 = 1 이므로

∥PE(p)∥2=d2\lVert \mathrm{PE}(p) \rVert^2 = \tfrac{d}{2}

이고, d=8d = 8 이면 늘 2입니다. 그런데 더한 결과의 길이는 그렇지 않습니다.

∥x+PE(p)∥2=∥x∥2+2 x⋅PE(p)+d2\lVert x + \mathrm{PE}(p) \rVert^2 = \lVert x \rVert^2 + 2\,x\cdot\mathrm{PE}(p) + \tfrac{d}{2}

가운데 항이 pp 를 따라 움직입니다. d=8d = 8 에서 길이 1인 내용 벡터 x=(1,0,…,0)x = (1, 0, \dots, 0) 을 넣으면 가운데 항이 2sin⁡p2\sin p 이므로 길이의 제곱이 5+2sin⁡p5 + 2\sin p 입니다. p=0p = 0 에서 2.236, p=2p = 2 에서 2.611, p=5p = 5 에서 1.756, p=11p = 11 에서 1.732로, 같은 낱말이 놓인 자리마다 3과 7의 제곱근 사이를 오갑니다.

점수는 내적이고 내적은 두 길이에 비례하므로, 길이가 흔들리면 softmax에 들어가는 점수의 규모도 위치를 따라 흔들립니다. 같은 낱말 짝이 문장의 어느 자리에 있느냐에 따라 어텐션이 더 날카로워지거나 무뎌질 수 있다는 뜻입니다. 이 보장들을 식으로 못 박으려면 더하기를 그만두어야 합니다.

RoPE의 회전

회전행렬의 두 성질

2×2 회전행렬을 다시 불러옵니다.

R(α)=[cos⁡α−sin⁡αsin⁡αcos⁡α]R(\alpha) = \begin{bmatrix} \cos\alpha & -\sin\alpha \\ \sin\alpha & \cos\alpha \end{bmatrix}

필요한 성질은 둘입니다. 덧셈정리에서 곧바로 나오는 R(α)R(β)=R(α+β)R(\alpha)R(\beta) = R(\alpha+\beta) 와, 회전이 직교행렬이라는 사실 R(α)T=R(α)−1=R(−α)R(\alpha)^{\mathsf T} = R(\alpha)^{-1} = R(-\alpha) 입니다. 둘째 것은 R(α)R(\alpha) 의 두 열이 서로 수직인 단위벡터라는 것을 확인하면 끝납니다.

첫째 성질은 "α만큼 돌고 β만큼 더 돌면 α+β만큼 돈 것"이라는 당연한 말이고, 둘째 성질은 "돌린 것을 되돌리려면 반대로 돌면 된다"는 말입니다. 증명에 드는 것은 이 두 문장이 전부입니다.

상대 위치 불변성

RoPE(Rotary Position Embedding)는 위치 벡터를 더하는 대신, 질의와 키를 차원쌍마다 위치에 비례한 각도만큼 돌립니다. mm 번째 토큰의 질의와 nn 번째 토큰의 키를 ii 번째 쌍에서 이렇게 씁니다.

q~(i)=R(mθi) q(i),k~(i)=R(nθi) k(i)\tilde q^{(i)} = R(m\theta_i)\,q^{(i)}, \qquad \tilde k^{(i)} = R(n\theta_i)\,k^{(i)}

θi\theta_i 는 위에서 만든 그 주파수 사다리를 그대로 씁니다. 사인파 인코딩이 각도를 값으로 적어 더했다면, RoPE는 같은 각도를 회전의 양으로 씁니다. 이제 점수를 계산합니다.

⟨R(mθ)q,  R(nθ)k⟩=(R(mθ)q)TR(nθ)k=qTR(mθ)TR(nθ) k\big\langle R(m\theta)q,\; R(n\theta)k \big\rangle = \big(R(m\theta)q\big)^{\mathsf T} R(n\theta)k = q^{\mathsf T} R(m\theta)^{\mathsf T} R(n\theta)\, k

가운데를 정리합니다. R(mθ)T=R(−mθ)R(m\theta)^{\mathsf T} = R(-m\theta) 이고 회전끼리는 각도가 더해지므로

R(−mθ)R(nθ)=R((n−m)θ)R(-m\theta)R(n\theta) = R\big((n-m)\theta\big)

입니다. 그래서

RoPE의 상대 위치 불변성. ⟨R(mθ)q, R(nθ)k⟩=qTR((n−m)θ) k\big\langle R(m\theta)q,\ R(n\theta)k \big\rangle = q^{\mathsf T} R\big((n-m)\theta\big)\,k

오른쪽에 mm 과 nn 은 없고 차이 n−mn-m 만 있습니다.

증명이 세 줄입니다. 전치를 넘기고, 직교성으로 역행렬로 바꾸고, 각도를 더했습니다. 상대 위치 불변성은 따로 설계한 성질이 아니라 회전행렬이 직교행렬이라는 사실에서 그냥 따라 나옵니다. 더하기에서 말썽이던 교차항은 처음부터 생기지 않습니다 — 위치가 qq 와 kk 에 곱해져 들어갔지 따로 더해진 항이 없기 때문입니다.

내적과 부호 있는 넓이

오른쪽을 성분으로 펼치면 무엇이 남았는지가 보입니다. δ=n−m\delta = n - m 이라 두고 q=(q1,q2)q = (q_1, q_2), k=(k1,k2)k = (k_1, k_2) 로 적으면

qTR(δθ)k=(q1k1+q2k2)cos⁡δθ+(q2k1−q1k2)sin⁡δθq^{\mathsf T} R(\delta\theta) k = (q_1k_1 + q_2k_2)\cos\delta\theta + (q_2k_1 - q_1k_2)\sin\delta\theta

앞의 괄호는 qq 와 kk 의 내적이고, 뒤의 괄호는 2차원에서 두 벡터가 만드는 평행사변형의 부호 있는 넓이입니다. 위치는 이 둘을 섞는 비율만 정합니다 — 거리가 멀어질수록 cos⁡δθ\cos\delta\theta 가 줄고 sin⁡δθ\sin\delta\theta 쪽으로 무게가 옮겨 갑니다.

절대 위치가 달라도 사잇각이 같으면 내적이 같다

부호 있는 넓이가 끼어 있다는 것은 RoPE가 방향을 안다는 뜻이기도 합니다. sin⁡\sin 은 홀함수라 δ\delta 를 −δ-\delta 로 바꾸면 뒤의 항이 부호를 바꿉니다. 사인파 인코딩의 위치항 ∑icos⁡(δθi)\sum_i \cos(\delta\theta_i) 는 짝함수라 세 칸 앞과 세 칸 뒤가 같은 값이었지만, RoPE 점수는 둘을 가를 수 있습니다.

노름 보존과 값 벡터

회전이 직교라는 사실은 길이도 지켜 줍니다.

∥R(mθ)q∥2=qTR(mθ)TR(mθ) q=qTq=∥q∥2\lVert R(m\theta)q \rVert^2 = q^{\mathsf T} R(m\theta)^{\mathsf T} R(m\theta)\, q = q^{\mathsf T} q = \lVert q \rVert^2

위치를 실어도 벡터의 크기가 안 변하고 방향만 돕니다. 앞 절에서 더하기가 길이를 3과 7의 제곱근 사이로 흔들던 것과 갈리는 두 번째 자리입니다. 점수의 규모는 내용이 정하고 위치는 사잇각만 건드립니다.

그런데 RoPE는 질의와 키에만 걸고 값 벡터 VV 에는 걸지 않습니다. 이유는 증명의 모양에 있습니다. 상대 위치만 남은 것은 R(mθ)TR(m\theta)^{\mathsf T} 와 R(nθ)R(n\theta) 가 한 내적 안에서 마주 보며 상쇄되었기 때문입니다. 어텐션의 출력은 ∑jajvj\sum_j a_j v_j 이고, 여기서 vjv_j 를 R(jθ)R(j\theta) 로 돌리면 서로 다른 절대 각도로 돌아간 벡터들이 그냥 더해질 뿐 상쇄해 줄 짝이 없습니다. 절대 위치가 출력에 그대로 새어 나가는 것입니다. 위치가 필요한 자리는 "누가 누구를 얼마나 보나"를 정하는 점수이지 실어 나르는 내용이 아닙니다.

손계산 대조

차이가 같은 두 쌍

θ=0.1\theta = 0.1, q=(1,0)q = (1, 0), k=(0,1)k = (0, 1) 로 두고 차이가 같은 두 쌍을 계산합니다.

먼저 m=2, n=5m = 2,\ n = 5 입니다. mθ=0.2m\theta = 0.2 이므로 R(0.2)q=(cos⁡0.2, sin⁡0.2)=(0.98007, 0.19867)R(0.2)q = (\cos 0.2,\ \sin 0.2) = (0.98007,\ 0.19867) 이고, nθ=0.5n\theta = 0.5 이므로 R(0.5)k=(−sin⁡0.5, cos⁡0.5)=(−0.47943, 0.87758)R(0.5)k = (-\sin 0.5,\ \cos 0.5) = (-0.47943,\ 0.87758) 입니다. 내적은

0.98007×(−0.47943)+0.19867×0.87758=−0.46987+0.17435=−0.295520.98007 \times (-0.47943) + 0.19867 \times 0.87758 = -0.46987 + 0.17435 = -0.29552

다음은 m=5, n=8m = 5,\ n = 8 입니다. R(0.5)q=(0.87758, 0.47943)R(0.5)q = (0.87758,\ 0.47943), R(0.8)k=(−0.71736, 0.69671)R(0.8)k = (-0.71736,\ 0.69671) 이고

0.87758×(−0.71736)+0.47943×0.69671=−0.62954+0.33403=−0.295510.87758 \times (-0.71736) + 0.47943 \times 0.69671 = -0.62954 + 0.33403 = -0.29551

절대 위치가 2·5에서 5·8로 옮겨 갔는데 값이 같습니다. 공식으로도 맞춰 봅니다. δ=3\delta = 3 이므로 δθ=0.3\delta\theta = 0.3 이고, q⋅k=0q\cdot k = 0, q2k1−q1k2=0−1=−1q_2k_1 - q_1k_2 = 0 - 1 = -1 이므로

0×cos⁡0.3+(−1)×sin⁡0.3=−sin⁡0.3=−0.295520 \times \cos 0.3 + (-1) \times \sin 0.3 = -\sin 0.3 = -0.29552

세 계산이 소수 다섯째 자리까지 같습니다. 돌린 뒤의 R(0.2)qR(0.2)q 길이도 재 보면 0.980072+0.198672=1.000010.98007^2 + 0.19867^2 = 1.00001 로, 반올림을 빼면 처음의 1 그대로입니다.

사다리 전체의 감쇠

이번에는 쌍 하나가 아니라 d=8d = 8 사다리 전체에서, 질의와 키가 모두 (1,1,…,1)(1, 1, \dots, 1) 인 경우를 봅니다. 쌍마다 q(i)=k(i)=(1,1)q^{(i)} = k^{(i)} = (1, 1) 이니 앞의 전개식에서 내적 괄호가 2, 넓이 괄호가 0이고, 점수는

∑i2cos⁡(δθi)\sum_i 2\cos(\delta\theta_i)

입니다. 사인파 위치항의 정확히 두 배입니다. 값을 적으면 δ=0\delta = 0 에서 8, δ=1\delta = 1 에서 7.071, δ=10\delta = 10 에서 3.392, δ=100\delta = 100 에서 3.117, δ=1000\delta = 1000 에서 2.252입니다.

같은 qq 와 kk 인데도 멀리 떨어질수록 점수가 줄어듭니다. 앞에서 본 포락선이 RoPE에도 그대로 들어와 있다는 뜻이고, 그래서 RoPE를 쓴 모델은 아무것도 배우기 전부터 가까운 토큰을 조금 더 보는 쪽으로 기울어 있습니다. 다만 이것은 qq 와 kk 가 비슷한 방향일 때의 경향이지, 어떤 qq, kk 에서나 성립하는 부등식은 아닙니다.

ALiBi와의 대비

감쇠를 사다리의 부산물로 얻는 대신 아예 식에 적어 넣는 방법도 있습니다. ALiBi(Attention with Linear Biases)는 회전도 사다리도 없이, 점수에 거리에 비례한 벌점을 직접 더하는 방식입니다. 머리마다 기울기 ss 를 하나씩 정해 두고

scoreij=qi⋅kj−s ∣i−j∣\mathrm{score}_{ij} = q_i \cdot k_j - s\,\lvert i - j \rvert

로 씁니다. 더한 항이 i−ji - j 에만 의존하니 상대 위치만 본다는 성질은 증명할 것도 없이 성립합니다.

머리가 여덟이면 기울기를 1/2,1/4,…,1/2561/2, 1/4, \dots, 1/256 처럼 기하급수로 나눠 줍니다. 열 칸 떨어진 키에 첫 머리는 −5를 더하는데, softmax 뒤에는 가중치가 e−5≈0.0067e^{-5} \approx 0.0067 배로 줄어 사실상 이웃만 봅니다. 마지막 머리는 −0.039를 더해 가중치가 0.96배로만 줄어 먼 곳까지 봅니다. 기하급수로 나눈 기울기가 주파수 사다리와 같은 일, 곧 머리마다 다른 거리를 맡기는 일을 합니다.

두 방법의 차이는 감쇠가 어디서 오느냐입니다. RoPE의 감쇠는 qq 와 kk 의 방향에 따라 달라지고 모델이 내용으로 거스를 수 있는 경향이지만, ALiBi의 감쇠는 내용과 무관하게 언제나 같은 직선입니다. 그리고 ALiBi는 벡터에 아무것도 싣지 않습니다 — 위치는 점수 행렬에만 들어갑니다.

코드로 확인하기

상대 위치 불변성 검산

import numpy as np

def rot(a):
    return np.array([[np.cos(a), -np.sin(a)],
                     [np.sin(a),  np.cos(a)]])

theta = 0.1
q = np.array([1.0, 0.0])
k = np.array([0.0, 1.0])

# 차이가 3으로 같은 여러 쌍 — 절대 위치는 제각각이다
for m, n in [(2, 5), (5, 8), (0, 3), (97, 100)]:
    s = (rot(m * theta) @ q) @ (rot(n * theta) @ k)
    print(f"m={m:3d} n={n:3d}  score={s: .6f}")

# m=  2 n=  5  score=-0.295520
# m=  5 n=  8  score=-0.295520
# m=  0 n=  3  score=-0.295520
# m= 97 n=100  score=-0.295520

차이만 같으면 위치를 아무리 밀어도 같은 값이 나옵니다. 사다리 전체에서도 확인합니다.

d = 8
theta = 10000.0 ** (-2 * np.arange(d // 2) / d)   # [1, 0.1, 0.01, 0.001]

def rope(v, p):
    out = v.copy()
    for i, th in enumerate(theta):
        out[2*i:2*i+2] = rot(p * th) @ v[2*i:2*i+2]
    return out

rng = np.random.default_rng(0)
q, k = rng.normal(size=d), rng.normal(size=d)

for m, n in [(3, 7), (40, 44), (900, 904)]:
    print(f"({m:3d},{n:3d})  {rope(q, m) @ rope(k, n): .8f}")

# (  3,  7)  -1.83359584
# ( 40, 44)  -1.83359584
# (900,904)  -1.83359584

더하기와의 비교

더하는 방식과 나란히 놓으면 차이가 분명합니다.

def sinpe(p):
    ang = p * theta
    out = np.empty(d)
    out[0::2], out[1::2] = np.sin(ang), np.cos(ang)
    return out

for m, n in [(3, 7), (40, 44), (900, 904)]:
    add = (q + sinpe(m)) @ (k + sinpe(n))
    print(f"({m:3d},{n:3d})  더하기 {add: .8f}   위치항만 {sinpe(m) @ sinpe(n): .8f}")

# (  3,  7)  더하기  2.53816513   위치항만  2.26660948
# ( 40, 44)  더하기  0.00545368   위치항만  2.26660948
# (900,904)  더하기 -1.52544720   위치항만  2.26660948

오른쪽 열은 세 줄이 같고 왼쪽 열은 다릅니다. 위에서 유도한 그대로입니다 — pm⋅pnp_m \cdot p_n 은 n−mn-m 에만 의존하지만, 교차항 q⋅pnq\cdot p_n 과 pm⋅kp_m\cdot k 가 절대 위치를 끌고 들어옵니다.

노름과 포락선

길이를 재면 두 방식이 또 한 번 갈립니다. 길이 1인 내용 벡터에 위치를 실어 봅니다.

x = np.zeros(d); x[0] = 1.0
for p in [0, 2, 5, 11]:
    print(f"p={p:2d}  더하기 {np.linalg.norm(x + sinpe(p)):.4f}"
          f"   RoPE {np.linalg.norm(rope(x, p)):.4f}")

# p= 0  더하기 2.2361   RoPE 1.0000
# p= 2  더하기 2.6112   RoPE 1.0000
# p= 5  더하기 1.7556   RoPE 1.0000
# p=11  더하기 1.7321   RoPE 1.0000

마지막으로 d=128d = 128 에서 기저를 바꿔 가며 위치항 내적을 64로 나눈 값을 거리별로 뽑습니다.

for base in [10000.0, 500000.0]:
    th = base ** (-2 * np.arange(64) / 128)
    row = [np.cos(dl * th).sum() / 64 for dl in [1, 10, 100, 1000, 10000]]
    print(f"{base:>9.0f}  " + "  ".join(f"{v:6.3f}" for v in row))

#     10000   0.970   0.669   0.477   0.159  -0.028
#    500000   0.978   0.764   0.611   0.492   0.187

이웃 거리에서는 두 기저가 거의 같고, 거리 1000에서는 0.159와 0.492로 세 배 넘게 벌어집니다. 그림의 두 곡선이 이 숫자들입니다.

정리

  • 어텐션 점수 QKTQK^{\mathsf T} 는 순열 동변이라 토큰 순서를 못 본다. 순서는 벡터에 수로 실어 넣어야 한다.
  • 정수·정규화·원핫·학습된 임베딩은 유계, 길이 무관, 가깝되 구별이라는 세 요구 중 하나 이상을 놓친다. 학습된 임베딩은 표의 최대 길이 밖에서 값이 아예 없다.
  • 위치를 각도로 적으면 값이 [−1,1][-1,1] 로 유계이고 문장 길이가 식에서 사라진다. θi=base−2i/d\theta_i = \mathrm{base}^{-2i/d} 는 파장이 2π2\pi 에서 시작해 기하급수적으로 늘어나는 사다리를 만들고, 빠른 쌍이 이웃을, 느린 쌍이 문서 규모를 가른다.
  • 기저는 사다리의 꼭대기와 간격을 정한다. d=128d = 128 에서 문맥 8,192 안에서 한 바퀴 이상 도는 쌍은 기저 10000이면 50쌍, 500,000이면 35쌍이다. 먼 거리를 얻는 만큼 이웃 해상도를 내준다.
  • 사인파 인코딩은 kk 칸 이동이 고정된 행렬 곱이고 PE(m)⋅PE(n)=∑icos⁡((n−m)θi)\mathrm{PE}(m)\cdot\mathrm{PE}(n) = \sum_i \cos((n-m)\theta_i) 로 상대 위치만 보며, 그 값의 포락선은 거리가 멀수록 낮아진다. 하지만 더해서 쓰면 교차항 둘이 절대 위치를 다시 끌고 들어오고 벡터의 길이도 위치마다 흔들린다.
  • RoPE는 더하는 대신 차원쌍마다 R(mθi)R(m\theta_i) 로 돌린다. 그러면 ⟨R(mθ)q,R(nθ)k⟩=qTR((n−m)θ)k\langle R(m\theta)q, R(n\theta)k\rangle = q^{\mathsf T}R((n-m)\theta)k 이고, 전치·직교성·각도 덧셈 세 줄이 증명의 전부다. 같은 직교성이 길이도 지킨다.
  • 남은 점수는 내적과 부호 있는 넓이를 cos⁡δθ\cos\delta\theta 와 sin⁡δθ\sin\delta\theta 로 섞은 것이다. 위치가 정하는 것은 섞는 비율뿐이다. RoPE는 상쇄해 줄 짝이 있는 QQ 와 KK 에만 걸고, ALiBi는 같은 감쇠를 점수에 직선으로 직접 적는다.

처음의 두 문장으로 돌아가 봅니다. "개가 사람을 물었다"를 읽는 모델 안에서 "물었다"의 질의는 이제 두 칸 앞의 "개가"와 한 칸 앞의 "사람을"을 서로 다른 각도로 돌아간 키로 만납니다. 문장 전체를 백 토큰 뒤로 밀어도 그 각도 차는 그대로라, 모델은 문서의 어디에서 이 문장을 만나든 같은 관계를 읽습니다. 긴 문맥 모델이 기저를 키우는 것은 그 사다리를 문서 전체 길이만큼 늘이는 일입니다.

여기까지가 7단원의 마지막입니다. 어텐션 식 한 줄에 들어 있던 기호를 지도에 적힌 순서대로 전부 닫았습니다.

다음 단원은 그 식을 학습시키는 쪽입니다. 손실이라는 함수가 파라미터 공간 위에 만드는 지형이 어떻게 생겼는지, 그리고 그 위를 내려가는 걸음의 크기를 무엇이 정하는지를 봅니다. 다음 글에서 볼록성을 다변수로 확장하고, 신경망 손실이 왜 볼록이 아닌데도 학습이 되는지를 고차원의 확률로 설명합니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN