수학

MATH / 중급 11번

회전·전단·스케일: 2×2 행렬로 보는 선형변환의 전부

단위원 위의 좌표에서 회전행렬 R(θ)를 세우고, R(α)R(β) = R(α+β)를 행렬곱으로 직접 확인해 각도 합 공식이 사실 행렬 항등식임을 봅니다. RᵀR = I에서 회전이 내적과 노름을 보존한다는 성질을 얻고, 그 두 결과만으로 회전 위치 인코딩이 상대 위치만 남기는 이유까지 갑니다.

PALDYN Team41 MIN READ

위치 정보를 토큰에 넣는 방법은 오랫동안 "더하기"였습니다. 위치 mm 마다 벡터를 하나 만들어 임베딩에 더했습니다. 그런데 최근 모델들이 쓰는 회전 위치 인코딩(RoPE)은 더하지 않습니다 — 질의와 키 벡터를 위치에 비례한 각도만큼 돌립니다.

돌리는 것이 왜 위치를 담을 수 있는지, 그리고 왜 하필 회전인지는 회전행렬의 성질 두 개로 완전히 답이 됩니다. 이 글은 그 두 성질을 세우는 것이 전부이고, 마지막 절에서 그것만으로 RoPE의 핵심을 유도합니다. 복소수도 오일러 공식도 쓰지 않습니다.

사인과 코사인 자체는 초급 25번에서 단위원 위의 좌표로 정의해 두었습니다. 여기서는 그 정의를 받아 쓰기만 합니다.

회전행렬 세우기

기저의 상

지난 글들에서 얻은 방법이 있습니다 — 행렬을 알고 싶으면 기저가 어디로 가는지만 보면 됩니다.

e1=(1,0)\mathbf{e}_1 = (1,0) 을 원점 둘레로 θ\theta 만큼 돌립니다. 길이가 1인 채로 각도만 θ\theta 가 되었으니, 그 점은 단위원 위의 각 θ\theta 자리이고 초급 25번의 정의에 따라 좌표가 (cos⁡θ,sin⁡θ)(\cos\theta, \sin\theta) 입니다. 정의 그 자체라 계산할 것이 없습니다.

e2=(0,1)\mathbf{e}_2 = (0,1) 은 e1\mathbf{e}_1 보다 90도 앞선 자리에 있습니다. 둘을 함께 θ\theta 만큼 돌려도 사이의 90도는 유지되므로 e2\mathbf{e}_2 의 상은 각 θ+90∘\theta + 90^\circ 자리, 즉 (−sin⁡θ,cos⁡θ)(-\sin\theta, \cos\theta) 입니다.

e₁이 (cos θ, sin θ)로, e₂가 (−sin θ, cos θ)로 가는 단위원 그림

두 상을 열에 적으면 끝입니다.

R(θ)=(cos⁡θ−sin⁡θsin⁡θcos⁡θ)R(\theta) = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix}

특수각 검산

세운 식이 맞는지는 아는 값을 넣어 보면 압니다. θ=0\theta = 0 이면 cos⁡0=1\cos 0 = 1, sin⁡0=0\sin 0 = 0 이라 단위행렬이 됩니다 — 안 돌린 것이 아무것도 안 하는 것과 같아야 하니 맞습니다. θ=90∘\theta = 90^\circ 이면

R(90∘)=(0−110)R(90^\circ) = \begin{pmatrix} 0 & -1 \\ 1 & 0\end{pmatrix}

지난 글에서 (a,b)↦(−b,a)(a,b) \mapsto (-b,a) 라고 쓰며 예로 든 그 행렬이고, 이제 그것이 왜 90도 회전인지 알게 되었습니다. (1,0)(1,0) 을 넣으면 (0,1)(0,1) 이 나오니 반시계 방향입니다 — 부호 규약이 헷갈릴 때마다 이 한 점을 넣어 보면 복원됩니다.

30도 회전의 예

기호만으로는 손에 안 잡히니 수를 넣어 한 번 돌려 봅니다. x=(2,0)\mathbf{x} = (2,0) 을 30도 돌립니다. cos⁡30∘=32\cos 30^\circ = \tfrac{\sqrt3}{2}, sin⁡30∘=12\sin 30^\circ = \tfrac12 이므로

R(30∘)(20)=(32−121232)(20)=(31)≈(1.7321)R(30^\circ)\begin{pmatrix} 2 \\ 0\end{pmatrix} = \begin{pmatrix} \tfrac{\sqrt3}{2} & -\tfrac12 \\[2pt] \tfrac12 & \tfrac{\sqrt3}{2}\end{pmatrix}\begin{pmatrix} 2 \\ 0\end{pmatrix} = \begin{pmatrix} \sqrt3 \\ 1\end{pmatrix} \approx \begin{pmatrix} 1.732 \\ 1\end{pmatrix}

길이를 재면 3+1=2\sqrt{3 + 1} = 2 로 원래와 같습니다. 이 관찰을 뒤에서 일반적으로 증명합니다.

라디안

여기까지 각을 "30도"라고 적었지만, 수식과 코드가 실제로 받는 단위는 도가 아니라 라디안입니다. 라디안은 반지름이 1인 원에서 그 각이 잘라 내는 호의 길이로 각을 재는 방식입니다. 한 바퀴가 원둘레 2π2\pi 이므로 360∘=2π360^\circ = 2\pi, 따라서 180∘=π180^\circ = \pi, 30∘=π/630^\circ = \pi/6 입니다.

왜 굳이 이 단위인가 하면, 미분이 이 단위에서만 깔끔하기 때문입니다. θ\theta 가 라디안일 때만 sin⁡\sin 의 도함수가 cos⁡\cos 이 되고, 작은 각에서 sin⁡θ≈θ\sin\theta \approx \theta 가 성립합니다. 도로 재면 그때마다 π/180\pi/180 이라는 군더더기 상수가 붙습니다. 그래서 math도 numpy도 삼각함수의 인자를 라디안으로 받고, 도를 쓰고 싶으면 np.radians(30) 처럼 먼저 바꿔 넣어야 합니다.

RoPE에서 위치 mm 에 mθm\theta 만큼 돌린다고 할 때의 θ\theta 도 라디안입니다. 도로 읽으면 θi\theta_i 가 10−410^{-4} 수준까지 작아지는 설계가 이상해 보이는데, 라디안으로 보면 한 칸 옮길 때마다 아주 조금씩 돌린다는 뜻이 그대로 읽힙니다.

회전·스케일·전단

단위원의 상

회전 옆에 다른 두 종류를 나란히 놓으면 각각이 무엇을 지키고 무엇을 버리는지가 보입니다.

S=(sx00sy),H=(1k01)S = \begin{pmatrix} s_x & 0 \\ 0 & s_y\end{pmatrix}, \qquad H = \begin{pmatrix} 1 & k \\ 0 & 1\end{pmatrix}

SS 는 축마다 다른 배율로 늘이는 스케일이고, HH 는 위로 갈수록 옆으로 미는 전단입니다. 단위원을 넣어 보면 셋의 차이가 한눈에 갈립니다.

회전은 원을 원으로, 스케일은 타원으로, 전단은 기울어진 타원으로 바꾼다

길이 사잇각 넓이
회전 R(θ)R(\theta) 보존 보존 보존
스케일 SS 방향마다 다름 바뀜 sxsys_xs_y 배
전단 HH 바뀜 바뀜 보존

회전만 세 칸이 전부 '보존'입니다. 이것이 위치 인코딩에 회전을 고른 이유의 절반이고, 나머지 절반은 다음 절에 있습니다.

행렬식과 넓이

표의 마지막 열은 어림해서 적은 값이 아니라 행렬식이 정합니다. 2×22\times2 행렬의 행렬식 det⁡A=ad−bc\det A = ad - bc 는 단위정사각형이 옮겨 간 도형의 넓이입니다. 기저의 상이 열이므로, 옮겨 간 도형은 두 열을 변으로 하는 평행사변형이고 그 넓이가 곧 ∣det⁡A∣|\det A| 입니다.

단위정사각형이 회전·스케일·전단으로 어떻게 옮겨 가는지와 각각의 det

셋을 각각 계산하면 표의 값이 그대로 나옵니다.

det⁡R(θ)=cos⁡2θ+sin⁡2θ=1,det⁡S=sxsy,det⁡H=1⋅1−k⋅0=1\det R(\theta) = \cos^2\theta + \sin^2\theta = 1, \qquad \det S = s_xs_y, \qquad \det H = 1\cdot1 - k\cdot0 = 1

전단이 흥미롭습니다. 정사각형이 밀려 평행사변형이 되지만 밑변과 높이가 그대로라 넓이가 안 변합니다. 그래서 det⁡=1\det = 1 인데도 길이와 각은 다 망가집니다 — 넓이 보존은 모양 보존보다 훨씬 약한 조건입니다.

절댓값을 붙인 이유는 부호가 넓이가 아니라 방향을 알려 주기 때문입니다. det⁡\det 가 음수이면 도형이 뒤집혀 옮겨 간 것이고, 그 구별이 뒤에서 회전과 반사를 가릅니다.

전단의 분해

표에서 전단은 길이도 각도 바꾸는 것으로 적혀 있지만, 어느 방향이 얼마나 바뀌는지는 아직 말하지 않았습니다. k=1k = 1 인 전단 H=(1101)H = \begin{pmatrix} 1 & 1 \\ 0 & 1\end{pmatrix} 에 단위원을 넣으면 기울어진 타원이 나오고, 계산해 보면 그 타원의 긴 반지름은 약 1.6181.618, 짧은 반지름은 약 0.6180.618 입니다. 단위원을 넣어 나온 타원의 긴 반지름과 짧은 반지름, 곧 그 행렬이 가장 많이 늘이는 배율과 가장 많이 줄이는 배율을 그 행렬의 특잇값이라고 부릅니다. 이 두 수는 정확히는 1+52\tfrac{1+\sqrt5}{2} 와 5−12\tfrac{\sqrt5-1}{2} 로, 황금비와 그 역수입니다.

두 특잇값을 곱하면 (5+1)(5−1)4=1\tfrac{(\sqrt5+1)(\sqrt5-1)}{4} = 1 입니다. 넓이가 그대로라는 det⁡H=1\det H = 1 과 같은 말입니다 — 넓이가 π\pi 인 원이 넓이 π×1.618×0.618\pi \times 1.618 \times 0.618 인 타원이 되므로, 넓이 배율은 언제나 두 특잇값의 곱입니다. 그래서 이 전단은 "넓이는 1배인데, 한 방향은 1.6배 늘고 그에 수직인 방향은 0.6배 줄었다"로 읽힙니다. 앞 소절에서 넓이 보존이 모양 보존보다 약하다고 한 것이 이 두 수에 그대로 보입니다.

늘고 줄어드는 두 방향은 좌표축이 아니라 비스듬히 놓여 있습니다. 그 방향까지 계산에 넣으면 HH 는 세 조각의 합성으로 쪼개집니다(각은 소수 첫째 자리까지 반올림).

H=R(31.7∘)(1.618000.618)R(−58.3∘)H = R(31.7^\circ)\begin{pmatrix} 1.618 & 0 \\ 0 & 0.618\end{pmatrix}R(-58.3^\circ)

행렬의 합성은 오른쪽부터 읽습니다. 먼저 −58.3∘-58.3^\circ 돌려 늘일 방향을 xx 축에 맞추고, 축마다 배율을 곱한 뒤, 다시 31.7∘31.7^\circ 돌려 타원을 제자리에 세웁니다. 회전 둘과 스케일 하나만으로 전단이 만들어진 것입니다.

이것은 전단만의 사정이 아닙니다. 제목의 "전부"는 회전·전단·스케일이 2×22\times2 행렬의 종류 전부라는 뜻이 아니라, 모든 행렬이 회전 → 축 방향 스케일 → 회전의 합성으로 쪼개진다는 뜻입니다(행렬식이 음수인 행렬이면 회전 하나가 뒤에 나올 반사로 바뀝니다). 그 분해를 일반적으로 세우는 것이 「중급 15번 · 특잇값 분해」이고, 위의 식은 그것을 한 행렬에서 미리 손으로 본 것입니다.

회전의 합성

성분 전개

β\beta 만큼 돌린 뒤 다시 α\alpha 만큼 돌리는 것은 처음부터 α+β\alpha+\beta 만큼 돌리는 것과 같습니다 — 그림을 보면 따질 것도 없는 사실입니다. 그런데 지난 글에서 합성은 곱이라고 했으니, 이 기하적 사실은 행렬 등식 한 줄이 됩니다.

R(α)R(β)=R(α+β)R(\alpha)R(\beta) = R(\alpha+\beta)

β만큼 돌린 뒤 α만큼 더 돌리면 α+β 자리에 있고, 그 성분 비교가 덧셈정리가 된다

왼쪽을 실제로 곱해 봅니다.

R(α)R(β)=(cos⁡α−sin⁡αsin⁡αcos⁡α)(cos⁡β−sin⁡βsin⁡βcos⁡β)R(\alpha)R(\beta) = \begin{pmatrix} \cos\alpha & -\sin\alpha \\ \sin\alpha & \cos\alpha\end{pmatrix}\begin{pmatrix} \cos\beta & -\sin\beta \\ \sin\beta & \cos\beta\end{pmatrix}

1열부터 구합니다. 지난 글의 열 시선을 쓰면 결과의 1열은 오른쪽 행렬의 1열 (cos⁡β,sin⁡β)(\cos\beta, \sin\beta) 를 계수로 왼쪽 열들을 섞은 것입니다.

cos⁡β(cos⁡αsin⁡α)+sin⁡β(−sin⁡αcos⁡α)=(cos⁡αcos⁡β−sin⁡αsin⁡βsin⁡αcos⁡β+cos⁡αsin⁡β)\cos\beta\begin{pmatrix} \cos\alpha \\ \sin\alpha\end{pmatrix} + \sin\beta\begin{pmatrix} -\sin\alpha \\ \cos\alpha\end{pmatrix} = \begin{pmatrix} \cos\alpha\cos\beta - \sin\alpha\sin\beta \\ \sin\alpha\cos\beta + \cos\alpha\sin\beta\end{pmatrix}

2열도 같은 방식으로 구하면 (−(sin⁡αcos⁡β+cos⁡αsin⁡β), cos⁡αcos⁡β−sin⁡αsin⁡β)(-(\sin\alpha\cos\beta + \cos\alpha\sin\beta),\ \cos\alpha\cos\beta - \sin\alpha\sin\beta) 입니다.

덧셈정리

한편 오른쪽 R(α+β)R(\alpha+\beta) 의 1열은 정의상 (cos⁡(α+β), sin⁡(α+β))(\cos(\alpha+\beta),\ \sin(\alpha+\beta)) 입니다. 두 행렬이 같으니 성분끼리 같아야 하고, 그러면

cos⁡(α+β)=cos⁡αcos⁡β−sin⁡αsin⁡β\cos(\alpha+\beta) = \cos\alpha\cos\beta - \sin\alpha\sin\beta

sin⁡(α+β)=sin⁡αcos⁡β+cos⁡αsin⁡β\sin(\alpha+\beta) = \sin\alpha\cos\beta + \cos\alpha\sin\beta

고등학교에서 외운 삼각함수의 덧셈정리가 이렇게 떨어집니다. 외울 것이 아니라 "두 번 돌리면 각이 더해진다"를 성분으로 적은 것뿐입니다. 부호가 헷갈릴 때 R(α)R(β)R(\alpha)R(\beta) 를 직접 곱해 보면 매번 복원됩니다.

수로 확인. α=β=30∘\alpha = \beta = 30^\circ 이면 cos⁡30∘=0.866\cos30^\circ = 0.866, sin⁡30∘=0.5\sin30^\circ = 0.5 이므로

0.866×0.866−0.5×0.5=0.75−0.25=0.5=cos⁡60∘0.866 \times 0.866 - 0.5 \times 0.5 = 0.75 - 0.25 = 0.5 = \cos 60^\circ

0.5×0.866+0.866×0.5=0.866=sin⁡60∘0.5 \times 0.866 + 0.866 \times 0.5 = 0.866 = \sin 60^\circ

같은 곱에서 따름정리가 하나 더 나옵니다. β=−α\beta = -\alpha 를 넣으면 R(α)R(−α)=R(0)=IR(\alpha)R(-\alpha) = R(0) = I 이므로

R(θ)−1=R(−θ)R(\theta)^{-1} = R(-\theta)

되돌리는 회전은 반대로 돌리는 것이고, 역행렬을 계산할 일이 없습니다. 덤으로 R(α)R(β)=R(α+β)=R(β)R(α)R(\alpha)R(\beta) = R(\alpha+\beta) = R(\beta)R(\alpha) 이므로 2차원 회전끼리는 순서를 바꿔도 됩니다. 각의 덧셈에는 순서가 없으니 당연한데, 뒤의 3차원 소절에서 보듯 이 당연함은 2차원에서만 통합니다.

작은 각의 회전

각이 아주 작으면 회전행렬은 거의 단위행렬입니다. 라디안으로 잰 작은 θ\theta 에서 cos⁡θ≈1\cos\theta \approx 1, sin⁡θ≈θ\sin\theta \approx \theta 이므로

R(θ)≈(1−θθ1)=I+θJ,J=(0−110)R(\theta) \approx \begin{pmatrix} 1 & -\theta \\ \theta & 1\end{pmatrix} = I + \theta J, \qquad J = \begin{pmatrix} 0 & -1 \\ 1 & 0\end{pmatrix}

여기 나온 JJ 는 새 행렬이 아니라 앞에서 검산한 R(90∘)R(90^\circ) 그 자체입니다. 작은 회전은 "그대로 두기"인 II 에, "90도 돌린 방향으로 θ\theta 만큼 밀기"인 θJ\theta J 를 더한 것이라는 뜻입니다. 원 위의 점이 움직이는 방향은 언제나 반지름에 수직이고, JJ 가 보내는 방향이 정확히 그 수직 방향입니다.

얼마나 정확한지 수로 봅니다. 1∘1^\circ 는 π/180≈0.01745\pi/180 \approx 0.01745 라디안이고, 이때 I+θJI + \theta J 와 R(1∘)R(1^\circ) 는 대각 성분에서 1−cos⁡1∘≈0.000151 - \cos 1^\circ \approx 0.00015 만큼 차이 나는 것이 가장 큽니다. 각을 0.10.1 라디안(약 5.7도)으로 키우면 차이가 약 0.0050.005 가 됩니다. 각이 약 6배 커졌는데 오차는 30배 넘게 커졌습니다 — 이 근사의 오차가 각의 제곱에 비례하기 때문이고, 거꾸로 말하면 각이 작아질수록 근사가 빠르게 정확해집니다.

JJ 에는 눈여겨볼 성질이 하나 더 있습니다. 두 번 곱하면 J2=R(90∘)R(90∘)=R(180∘)=−IJ^2 = R(90^\circ)R(90^\circ) = R(180^\circ) = -I 입니다. 제곱해서 −1-1 이 되는 실수는 없는데, 실수만 든 2×22\times2 행렬 중에는 제곱해서 −I-I 가 되는 것이 이렇게 있습니다. 복소수의 ii 가 하던 "−1-1 의 제곱근" 노릇을 JJ 가 하는 셈이고, 회전을 복소수 곱으로 적는 교재가 많은 것도 이 대응 때문입니다. 이 글은 그 대응을 쓰지 않고 행렬로만 갑니다 — RoPE를 복소수로 적은 식도 풀어 보면 이 JJ 의 계산과 같습니다.

3차원 회전

3차원 회전은 중심만으로 정해지지 않습니다 — 무엇을 축으로 도는지가 있어야 합니다. zz 축을 축으로 도는 회전은 xyxy 평면에서 하던 것을 그대로 하고 zz 는 건드리지 않으므로

Rz(θ)=(cos⁡θ−sin⁡θ0sin⁡θcos⁡θ0001)R_z(\theta) = \begin{pmatrix} \cos\theta & -\sin\theta & 0 \\ \sin\theta & \cos\theta & 0 \\ 0 & 0 & 1\end{pmatrix}

옮겨지는 것부터 봅니다. 열이 여전히 서로 수직인 단위벡터라 R⊤R=IR^\top R = I 이고, 그래서 노름과 내적이 보존되고 역행렬이 전치입니다. det⁡=+1\det = +1 이 회전, −1-1 이 뒤집힘이라는 구별도 그대로입니다. 이 글에서 얻은 결론 중 "직교행렬이다"에 기대는 것은 전부 차원과 무관하게 살아남습니다.

옮겨지지 않는 것은 두 가지입니다. 하나는 각의 덧셈입니다. 축이 다르면 Rx(α)Ry(β)R_x(\alpha)R_y(\beta) 를 하나의 각으로 적을 수 없습니다. 다른 하나는 순서입니다 — 축이 다르면

Rx(90∘)Ry(90∘)≠Ry(90∘)Rx(90∘)R_x(90^\circ)R_y(90^\circ) \ne R_y(90^\circ)R_x(90^\circ)

수로 확인하는 것이 빠릅니다. e1=(1,0,0)\mathbf{e}_1 = (1,0,0) 을 두 순서로 보내 봅니다.

순서 (1,0,0)(1,0,0) 의 상
yy 축 90도 → xx 축 90도 (0,1,0)(0,1,0)
xx 축 90도 → yy 축 90도 (0,0,−1)(0,0,-1)

같은 두 회전을 순서만 바꿨는데 도착지가 다릅니다. 손에 든 책을 두 번 돌려 보면 바로 확인됩니다. 2차원 회전이 각 하나로 적혀 순서가 없던 것은 평면에는 축이 하나뿐이기 때문이고, 축이 여럿이 되는 순간 그 성질만 깨집니다. 그래서 3차원 자세를 다룰 때 사원수 같은 도구가 따로 필요해지는데, RoPE는 평면 여러 장으로 쪼개 각 평면 안에서만 돌리므로 이 골치를 피해 갑니다.

회전행렬의 직교성

전치와 역행렬

R(θ)R(\theta) 의 전치를 취하면 비대각 성분의 부호가 바뀝니다.

R(θ)⊤=(cos⁡θsin⁡θ−sin⁡θcos⁡θ)=R(−θ)R(\theta)^\top = \begin{pmatrix} \cos\theta & \sin\theta \\ -\sin\theta & \cos\theta \end{pmatrix} = R(-\theta)

cos⁡(−θ)=cos⁡θ\cos(-\theta) = \cos\theta 이고 sin⁡(−θ)=−sin⁡θ\sin(-\theta) = -\sin\theta 이니 이것은 정확히 −θ-\theta 회전입니다. 방금 본 결과와 합치면

R⊤R=R(−θ)R(θ)=IR^\top R = R(-\theta)R(\theta) = I

직접 곱해도 같습니다. 대각 성분은 cos⁡2θ+sin⁡2θ=1\cos^2\theta + \sin^2\theta = 1 이고 비대각 성분은 −cos⁡θsin⁡θ+sin⁡θcos⁡θ=0-\cos\theta\sin\theta + \sin\theta\cos\theta = 0 입니다.

Q⊤Q=IQ^\top Q = I 를 만족하는 행렬을 7번 글에서 직교행렬이라고 불렀습니다. 회전행렬은 직교행렬이고, 그래서 그 글에서 증명한 것이 전부 따라옵니다.

노름과 내적 보존

∥Rx∥2=(Rx)⊤(Rx)=x⊤R⊤R x=x⊤x=∥x∥2\|R\mathbf{x}\|^2 = (R\mathbf{x})^\top(R\mathbf{x}) = \mathbf{x}^\top R^\top R\,\mathbf{x} = \mathbf{x}^\top\mathbf{x} = \|\mathbf{x}\|^2

같은 계산을 두 벡터로 하면 내적도 남습니다.

(Ru)⋅(Rv)=u⊤R⊤R v=u⋅v(R\mathbf{u})\cdot(R\mathbf{v}) = \mathbf{u}^\top R^\top R\,\mathbf{v} = \mathbf{u}\cdot\mathbf{v}

두 벡터를 함께 돌려도 길이와 사잇각이 그대로다

내적이 남고 노름이 남으면 사잇각도 남습니다 — cos⁡θ=u⋅v∥u∥∥v∥\cos\theta = \dfrac{\mathbf{u}\cdot\mathbf{v}}{\|\mathbf{u}\|\|\mathbf{v}\|} 의 분자와 분모가 모두 그대로이기 때문입니다. 앞 절 표의 '보존' 세 칸이 이 두 줄에서 전부 나옵니다.

회전과 반사

거꾸로 직교행렬이라고 전부 회전인 것은 아닙니다. det⁡R(θ)=1\det R(\theta) = 1 인데, 예컨대 (100−1)\begin{pmatrix} 1 & 0 \\ 0 & -1\end{pmatrix} 도 Q⊤Q=IQ^\top Q = I 를 만족하면서 행렬식이 −1-1 입니다. 이것은 xx 축에 대한 반사이고, 길이와 각은 지키지만 왼쪽·오른쪽을 뒤집습니다. 앞 절에서 부호가 방향을 알려 준다고 한 것이 바로 이 자리입니다. 2×22\times2 직교행렬은 행렬식이 +1+1 이면 회전, −1-1 이면 반사 둘뿐입니다.

반사 하나로는 회전이 안 되지만 둘이면 됩니다. 원점을 지나고 xx 축과 φ\varphi 의 각을 이루는 직선을 거울로 삼으면, e1\mathbf{e}_1 은 거울 건너편의 각 2φ2\varphi 자리로, e2\mathbf{e}_2 는 각 2φ−90∘2\varphi - 90^\circ 자리로 갑니다. 기저의 상을 열에 적는 같은 방법으로

F(φ)=(cos⁡2φsin⁡2φsin⁡2φ−cos⁡2φ)F(\varphi) = \begin{pmatrix} \cos2\varphi & \sin2\varphi \\ \sin2\varphi & -\cos2\varphi\end{pmatrix}

을 얻습니다. φ=0\varphi = 0 을 넣으면 위의 xx 축 반사가 나옵니다. 이제 xx 축에 비춘 다음 30∘30^\circ 직선에 한 번 더 비춰 봅니다. 나중에 한 것을 왼쪽에 적으므로

F(30∘)F(0)=(cos⁡60∘sin⁡60∘sin⁡60∘−cos⁡60∘)(100−1)=(cos⁡60∘−sin⁡60∘sin⁡60∘cos⁡60∘)=R(60∘)F(30^\circ)F(0) = \begin{pmatrix} \cos60^\circ & \sin60^\circ \\ \sin60^\circ & -\cos60^\circ\end{pmatrix}\begin{pmatrix} 1 & 0 \\ 0 & -1\end{pmatrix} = \begin{pmatrix} \cos60^\circ & -\sin60^\circ \\ \sin60^\circ & \cos60^\circ\end{pmatrix} = R(60^\circ)

두 거울의 사잇각은 30∘30^\circ 인데 결과는 60∘60^\circ 회전입니다. 15도 자리의 점으로 따라가 보면 첫 거울이 그것을 −15∘-15^\circ 자리로, 둘째 거울이 다시 75∘75^\circ 자리로 보내 모두 60도를 옮겨 갑니다.

x축 반사 뒤 30도 직선 반사를 하면 15도 자리의 점이 75도 자리로 가서 60도 회전이 된다

같은 곱을 일반 각으로 하면 덧셈정리가 그대로 쓰여 F(ψ)F(φ)=R(2(ψ−φ))F(\psi)F(\varphi) = R\big(2(\psi-\varphi)\big) 가 나옵니다. 반사 둘을 이으면 사잇각의 두 배만큼 도는 회전이고, 행렬식도 (−1)×(−1)=1(-1)\times(-1) = 1 로 회전의 값과 맞습니다. 거울에 두 번 비친 상이 똑바로 보이는 것과 같은 이치로, 뒤집기를 두 번 하면 방향은 원래대로 돌아오고 돌아간 각만 남습니다.

전단이 직교가 아닌 것도 한눈에 보입니다. HH 의 2열이 (k,1)(k, 1) 이라 노름이 k2+1≠1\sqrt{k^2+1} \ne 1 입니다. 열의 길이가 1이 아니면 H⊤HH^\top H 의 대각 성분이 1이 아니고, 그러면 II 가 될 수 없습니다.

코드 확인

import numpy as np

def R(deg):
    t = np.radians(deg)          # 도를 라디안으로
    return np.array([[np.cos(t), -np.sin(t)],
                     [np.sin(t),  np.cos(t)]])

print(R(30) @ np.array([2., 0]))          # [1.732 1.   ]
print(np.allclose(R(30) @ R(30), R(60)))  # True
print(np.allclose(R(40).T @ R(40), np.eye(2)))   # True
print(np.linalg.det(R(40)))               # 1.0

보존되는지도 숫자로 봅니다.

u, v = np.array([3., 1]), np.array([1., 2])
Q = R(50)

print(np.linalg.norm(u), np.linalg.norm(Q @ u))   # 3.1623 3.1623
print(u @ v, (Q @ u) @ (Q @ v))                   # 5.0 5.0

3차원의 순서 문제도 두 줄이면 확인됩니다.

Rx = np.array([[1,0,0],[0,0,-1],[0,1,0]], float)   # x축 90도
Ry = np.array([[0,0,1],[0,1,0],[-1,0,0]], float)   # y축 90도

print(np.allclose(Rx @ Ry, Ry @ Rx))   # False

마지막으로 회전을 거듭 곱할 때의 일을 봅니다. 이론상 R(1∘)R(1^\circ) 를 360번 곱하면 정확히 II 인데, 컴퓨터는 실수를 64비트 부동소수점, 곧 유효숫자 열여섯 자리 안팎으로만 들고 있어 곱할 때마다 마지막 자리에서 반올림이 일어납니다.

M = np.eye(2)
for _ in range(360):
    M = R(1) @ M
print(np.abs(M - np.eye(2)).max())          # 1.1102230246251565e-14

M = np.eye(2)
for _ in range(100_000):
    M = R(1) @ M
print(np.abs(M.T @ M - np.eye(2)).max())    # 6.0740301677242314e-12

한 바퀴를 돌고 나면 단위행렬에서 성분 하나가 약 1.1×10−141.1 \times 10^{-14} 어긋납니다. 작지만 0은 아니고, 곱을 거듭할수록 쌓입니다. 10만 번 곱한 행렬은 M⊤MM^\top M 이 II 에서 약 6×10−126 \times 10^{-12} 벗어나 이미 엄밀한 직교행렬이 아닙니다 — 앞에서 증명한 노름 보존이 조금씩 새기 시작한 것입니다.

그래서 RoPE 구현은 위치 mm 의 회전을 R(θ)R(\theta) 를 mm 번 곱해 만들지 않습니다. 각 mθm\theta 를 먼저 수 하나로 계산하고 cos⁡(mθ)\cos(m\theta) 와 sin⁡(mθ)\sin(m\theta) 를 위치마다 새로 구합니다. 그러면 몇 번째 위치든 오차가 삼각함수를 한 번 계산한 만큼으로 묶이고, 위치가 뒤로 갈수록 쌓이는 일이 없습니다.

RoPE의 회전

상대 위치

이제 첫머리의 질문에 답합니다. 회전 위치 인코딩은 위치 mm 의 토큰의 질의 벡터를 R(mθ)R(m\theta) 로 돌리고, 위치 nn 의 키 벡터를 R(nθ)R(n\theta) 로 돌립니다. 어텐션이 하는 일은 그 둘의 내적입니다.

(R(mθ)q)⋅(R(nθ)k)=q⊤R(mθ)⊤R(nθ) k\big(R(m\theta)\mathbf{q}\big)\cdot\big(R(n\theta)\mathbf{k}\big) = \mathbf{q}^\top R(m\theta)^\top R(n\theta)\,\mathbf{k}

방금 얻은 두 결과를 차례로 씁니다. R(mθ)⊤=R(−mθ)R(m\theta)^\top = R(-m\theta) 이고, 회전의 곱은 각의 합이므로

=q⊤R((n−m)θ) k= \mathbf{q}^\top R\big((n-m)\theta\big)\,\mathbf{k}

오른쪽에 남은 것은 n−mn - m 뿐입니다. 두 토큰이 문장의 몇 번째에 있었는지는 사라지고 몇 칸 떨어져 있었는지만 남습니다. 위치를 절대값으로 넣었는데 점수에는 상대 위치만 나타나는 것이 이 방식의 핵심이고, 그것을 만드는 재료는 이 글의 두 줄 — R⊤R=IR^\top R = I 와 R(α)R(β)=R(α+β)R(\alpha)R(\beta) = R(\alpha+\beta) — 이 전부입니다.

평면 64장

실제 모델의 벡터는 2차원이 아니라 128차원쯤 됩니다. 그때는 성분을 두 개씩 짝지어 64개의 평면으로 나누고 각 평면을 서로 다른 각도로 돌립니다. 짝마다 θi\theta_i 를 다르게 주면 어떤 짝은 가까운 거리에, 어떤 짝은 먼 거리에 민감해집니다.

평면으로 쪼개는 것이 그저 편의가 아니라는 점은 앞 절의 3차원 이야기가 말해 줍니다 — 평면 안에 머무는 한 순서 문제도, 축을 고르는 문제도 생기지 않습니다. 64장이 서로 독립이라 각 장에서 R(α)R(β)=R(α+β)R(\alpha)R(\beta) = R(\alpha+\beta) 를 쓰면 그만이고, 그래서 위의 유도가 128차원에서도 글자 그대로 성립합니다. 지난 글의 표현을 빌리면 축을 2차원씩 묶어 다시 잡는 조작이고, 그 설계가 왜 그렇게 되는지는 「중급 43번 · 회전 위치 인코딩」이 이어받습니다.

각속도와 파장

짝마다 다르게 주는 θi\theta_i 에는 정해진 식이 있습니다. 벡터의 차원을 dd, 짝의 번호를 i=0,1,…,d/2−1i = 0, 1, \dots, d/2 - 1 이라 하면

θi=10000−2i/d\theta_i = 10000^{-2i/d}

입니다. θi\theta_i 는 위치가 한 칸 옮길 때 ii 번째 평면이 도는 라디안이니 그 평면의 각속도라 할 수 있습니다. 그리고 한 바퀴 2π2\pi 를 도는 데 걸리는 토큰 수 2π/θi2\pi/\theta_i 를 그 평면의 파장이라 부릅니다. 각속도와 파장은 서로 역수 관계라, 빨리 도는 평면일수록 파장이 짧습니다.

d=128d = 128 에 넣어 봅니다. 첫 평면은 θ0=1\theta_0 = 1 이라 한 칸에 1라디안(약 57도)씩 돌고, 파장이 2π≈6.32\pi \approx 6.3 토큰입니다. 마지막 평면은 θ63=10000−126/128≈0.000115\theta_{63} = 10000^{-126/128} \approx 0.000115 라 파장이 약 54,410 토큰입니다. 지수 −2i/d-2i/d 가 −1-1 에 닿지 않으므로 어느 평면의 파장도 2π×10000≈62,8322\pi \times 10000 \approx 62{,}832 토큰을 넘지 않습니다.

이 넓은 폭이 하는 일이 있습니다. 파장이 짧은 평면은 몇 토큰만 떨어져도 각이 크게 달라져 가까운 거리를 예민하게 가르지만, 몇 토큰 지나면 한 바퀴를 넘겨 감기므로 먼 거리끼리는 구별하지 못합니다. 파장이 긴 평면은 반대입니다. 문맥이 4,096 토큰이라 해도 마지막 평면은 끝에서 끝까지 4096×0.000115≈0.474096 \times 0.000115 \approx 0.47 라디안(약 27도)밖에 안 돌아, 문맥 안에서 절대 감기지 않습니다. 시계의 초침·분침·시침이 서로 다른 눈금으로 같은 시간을 읽듯, 64장의 평면이 서로 다른 눈금으로 같은 거리 n−mn - m 을 읽습니다.

더하기와 돌리기

첫머리의 "더하기"와 견주면 회전을 고른 두 이유가 함께 보입니다. 위치 벡터 p\mathbf{p} 를 더하면 노름이 바뀝니다. x=(3,4)\mathbf{x} = (3,4) 는 길이가 5인데, p=(1,0)\mathbf{p} = (1,0) 을 더한 (4,4)(4,4) 는 길이가 32≈5.657\sqrt{32} \approx 5.657 입니다. 같은 x\mathbf{x} 를 몇 도로 돌리든 길이는 5 그대로입니다.

이 차이가 중요한 것은, 모델이 층마다 벡터의 크기를 일정한 범위로 맞추는 처리, 곧 정규화를 거친 뒤에 질의와 키를 만들기 때문입니다. 더하기는 그렇게 맞춰 둔 크기를 위치마다 다르게 흔들고, 돌리기는 크기를 건드리지 않고 방향만 바꿉니다. 어텐션 점수에 대한 효과도 다릅니다. 위치 벡터를 질의와 키에 바로 더한다고 단순화하면

(q+pm)⋅(k+pn)=q⋅k+q⋅pn+pm⋅k+pm⋅pn(\mathbf{q} + \mathbf{p}_m)\cdot(\mathbf{k} + \mathbf{p}_n) = \mathbf{q}\cdot\mathbf{k} + \mathbf{q}\cdot\mathbf{p}_n + \mathbf{p}_m\cdot\mathbf{k} + \mathbf{p}_m\cdot\mathbf{p}_n

으로 항이 넷이 되고, 가운데 둘에는 절대 위치 mm 과 nn 이 따로따로 남습니다. 회전은 앞에서 본 대로 q⊤R((n−m)θ)k\mathbf{q}^\top R\big((n-m)\theta\big)\mathbf{k} 한 항이고, 거기 남는 것은 차이 n−mn - m 하나입니다. 노름을 지키는 성질과 각이 더해지는 성질이 각각 이 두 차이를 맡고 있습니다.

연습 문제

답은 문항을 눌러 펼칩니다. cos⁡45∘=sin⁡45∘=22≈0.707\cos 45^\circ = \sin 45^\circ = \tfrac{\sqrt2}{2} \approx 0.707 을 씁니다.

연습 1 — 회전 계산

  1. (1,0)(1,0) 을 90∘90^\circ 돌린 점의 좌표.
    R(90∘)R(90^\circ) 의 1열이 그대로 답입니다 — (0,1)(0,1). e1\mathbf{e}_1 을 넣으면 언제나 1열이 나옵니다.
  2. (0,2)(0,2) 를 45∘45^\circ 돌린 점의 좌표와 그 길이.
    2열의 2배입니다. 2⋅(−sin⁡45∘,cos⁡45∘)=(−2,2)≈(−1.414, 1.414)2\cdot(-\sin45^\circ, \cos45^\circ) = (-\sqrt2, \sqrt2) \approx (-1.414,\ 1.414) 이고 길이는 2+2=2\sqrt{2+2}=2 로 원래와 같습니다.
  3. (3,4)(3,4) 를 180∘180^\circ 돌린 점의 좌표.
    cos⁡180∘=−1\cos180^\circ = -1, sin⁡180∘=0\sin180^\circ = 0 이라 R(180∘)=−IR(180^\circ) = -I 이고, 상은 (−3,−4)(-3,-4) 입니다. 180도 회전은 원점 대칭과 같은 것입니다.
  4. R(α)R(β)R(\alpha)R(\beta) 의 2열을 열 시선으로 직접 계산하고 R(α+β)R(\alpha+\beta) 의 2열과 비교해, 어떤 두 등식이 나오는지 적으세요.
    오른쪽 행렬의 2열이 (−sin⁡β,cos⁡β)(-\sin\beta, \cos\beta) 이므로 −sin⁡β(cos⁡αsin⁡α)+cos⁡β(−sin⁡αcos⁡α)=(−(cos⁡αsin⁡β+sin⁡αcos⁡β)cos⁡αcos⁡β−sin⁡αsin⁡β)-\sin\beta\begin{pmatrix}\cos\alpha\\\sin\alpha\end{pmatrix} + \cos\beta\begin{pmatrix}-\sin\alpha\\\cos\alpha\end{pmatrix} = \begin{pmatrix}-(\cos\alpha\sin\beta + \sin\alpha\cos\beta)\\ \cos\alpha\cos\beta-\sin\alpha\sin\beta\end{pmatrix} 이고 R(α+β)R(\alpha+\beta) 의 2열은 (−sin⁡(α+β), cos⁡(α+β))(-\sin(\alpha+\beta),\ \cos(\alpha+\beta)) 입니다. 성분을 맞대면 1열에서 얻은 것과 같은 두 등식이 나옵니다. 2열이 새 정보를 주지 않는 것은 회전행렬의 두 열이 서로 90도 관계로 묶여 있기 때문입니다.

연습 2 — 직교성 판정

  1. Q=(0110)Q = \begin{pmatrix} 0 & 1 \\ 1 & 0\end{pmatrix} 이 Q⊤Q=IQ^\top Q = I 를 만족하는지 확인하고, 행렬식으로 갈래를 정하세요.
    Q⊤=QQ^\top = Q 이고 QQ=IQQ = I 이므로 직교행렬입니다. det⁡Q=0⋅0−1⋅1=−1\det Q = 0\cdot0 - 1\cdot1 = -1 이라 반사입니다. (1,0)↦(0,1)(1,0)\mapsto(0,1), (0,1)↦(1,0)(0,1)\mapsto(1,0) 이니 직선 y=xy=x 에 대한 반사입니다.
  2. Q=12(1−111)Q = \tfrac{1}{\sqrt2}\begin{pmatrix} 1 & -1 \\ 1 & 1\end{pmatrix} 에 대해 같은 두 가지를 하고, 회전이면 각도까지 적으세요.
    열이 12(1,1)\tfrac{1}{\sqrt2}(1,1) 과 12(−1,1)\tfrac{1}{\sqrt2}(-1,1) 로 각각 길이 1이고 내적이 0이라 직교행렬입니다. det⁡Q=12(1⋅1−(−1)⋅1)=1\det Q = \tfrac12(1\cdot1 - (-1)\cdot1) = 1 이므로 회전이고, 성분을 R(θ)R(\theta) 와 맞대면 cos⁡θ=sin⁡θ=12\cos\theta = \sin\theta = \tfrac{1}{\sqrt2} 이라 θ=45∘\theta = 45^\circ 입니다.
  3. H=(1201)H = \begin{pmatrix} 1 & 2 \\ 0 & 1\end{pmatrix} 에 대해 H⊤HH^\top H 를 계산하세요.
    H⊤H=(1021)(1201)=(1225)H^\top H = \begin{pmatrix}1&0\\2&1\end{pmatrix}\begin{pmatrix}1&2\\0&1\end{pmatrix} = \begin{pmatrix}1&2\\2&5\end{pmatrix} 로 II 가 아닙니다. 비대각의 2는 두 열이 수직이 아니라는 뜻이고, 대각의 5는 2열의 길이 제곱입니다.
  4. 같은 HH 로 e2=(0,1)\mathbf{e}_2 = (0,1) 을 보내 길이를 재고, det⁡H\det H 와 비교해 보세요.
    He2=(2,1)H\mathbf{e}_2 = (2,1) 이라 길이가 5≈2.236\sqrt5 \approx 2.236 으로 1에서 늘었습니다. 한편 det⁡H=1\det H = 1 이라 넓이는 그대로입니다 — 넓이를 지켜도 길이는 안 지켜질 수 있다는 것이 전단이 직교가 아닌 이유를 그대로 보여 줍니다.

연습 3 — 반사의 합성

  1. xx 축에 대한 반사를 먼저 하고 직선 y=xy = x 에 대한 반사를 나중에 한 합성의 행렬을 구하고, 몇 도 회전인지 적으세요.
    나중에 한 것을 왼쪽에 적습니다. (0110)(100−1)=(0−110)=R(90∘)\begin{pmatrix}0&1\\1&0\end{pmatrix}\begin{pmatrix}1&0\\0&-1\end{pmatrix} = \begin{pmatrix}0&-1\\1&0\end{pmatrix} = R(90^\circ) 입니다. 두 직선의 사잇각 45∘45^\circ 의 두 배입니다.
  2. 같은 두 반사를 순서만 바꿔 하면 결과가 어떻게 달라지나요?
    (100−1)(0110)=(01−10)=R(−90∘)\begin{pmatrix}1&0\\0&-1\end{pmatrix}\begin{pmatrix}0&1\\1&0\end{pmatrix} = \begin{pmatrix}0&1\\-1&0\end{pmatrix} = R(-90^\circ) 로, 크기는 같고 방향이 반대인 회전입니다. 회전끼리는 순서를 바꿔도 되지만 반사끼리는 안 됩니다. F(ψ)F(φ)=R(2(ψ−φ))F(\psi)F(\varphi) = R\big(2(\psi-\varphi)\big) 에서 ψ\psi 와 φ\varphi 를 맞바꾸면 각의 부호가 바뀌는 것과 같은 말입니다.
  3. yy 축에 대한 반사 다음에 xx 축에 대한 반사를 하면 어떤 변환이 되고, 그 행렬식은 얼마인가요?
    (100−1)(−1001)=−I=R(180∘)\begin{pmatrix}1&0\\0&-1\end{pmatrix}\begin{pmatrix}-1&0\\0&1\end{pmatrix} = -I = R(180^\circ) 입니다. 사잇각 90∘90^\circ 의 두 배만큼 도는 회전, 곧 원점 대칭이고 행렬식은 (−1)×(−1)=1(-1)\times(-1) = 1 입니다.

연습 4 — 고유벡터와 RoPE

  1. R(90∘)R(90^\circ) 에 대해 det⁡(R(90∘)−λI)=0\det\big(R(90^\circ) - \lambda I\big) = 0 을 λ\lambda 에 대해 풀어, 실수 해가 있는지 보세요.
    det⁡(−λ−11−λ)=λ2+1=0\det\begin{pmatrix}-\lambda & -1\\ 1 & -\lambda\end{pmatrix} = \lambda^2 + 1 = 0 이라 실수 해가 없습니다. 일반 각에서는 λ2−2cos⁡θ λ+1=0\lambda^2 - 2\cos\theta\,\lambda + 1 = 0 이고 판별식이 4cos⁡2θ−4=−4sin⁡2θ4\cos^2\theta - 4 = -4\sin^2\theta 라, θ\theta 가 0∘0^\circ 나 180∘180^\circ 일 때만 실수 해가 생깁니다. 이 식이 무엇을 묻는지, 해가 없다는 것이 "방향을 그대로 두는 벡터가 없다"는 뜻이 되는 이유는 다음 글에서 다룹니다.
  2. θ=30∘\theta = 30^\circ, q=(1,0)\mathbf{q} = (1,0), k=(1,1)\mathbf{k} = (1,1) 로 두고 위치 m=1m = 1, n=3n = 3 일 때 (R(mθ)q)⋅(R(nθ)k)\big(R(m\theta)\mathbf{q}\big)\cdot\big(R(n\theta)\mathbf{k}\big) 를 계산하세요. 그다음 m=5m = 5, n=7n = 7 로 다시 계산해 비교하세요.
    R(30∘)q≈(0.866, 0.5)R(30^\circ)\mathbf{q} \approx (0.866,\ 0.5), R(90∘)k=(−1, 1)R(90^\circ)\mathbf{k} = (-1,\ 1) 이라 내적은 −0.866+0.5≈−0.366-0.866 + 0.5 \approx -0.366 입니다. m=5m=5, n=7n=7 이면 R(150∘)q≈(−0.866, 0.5)R(150^\circ)\mathbf{q} \approx (-0.866,\ 0.5), R(210∘)k≈(−0.366, −1.366)R(210^\circ)\mathbf{k} \approx (-0.366,\ -1.366) 이고 내적은 0.317−0.683≈−0.3660.317 - 0.683 \approx -0.366 으로 같습니다. 두 경우 모두 n−m=2n - m = 2 라 q⋅R(60∘)k=1−32\mathbf{q}\cdot R(60^\circ)\mathbf{k} = \tfrac{1-\sqrt3}{2} 하나로 정해집니다.

정리

  • R(θ)R(\theta) 의 열은 기저의 상입니다. e1↦(cos⁡θ,sin⁡θ)\mathbf{e}_1 \mapsto (\cos\theta, \sin\theta), e2↦(−sin⁡θ,cos⁡θ)\mathbf{e}_2 \mapsto (-\sin\theta, \cos\theta) 이고 그것을 적으면 회전행렬이 됩니다.
  • 각의 단위는 라디안입니다. 미분이 이 단위에서만 깔끔해서이고, 코드에서 np.radians가 필요한 이유가 그것입니다.
  • 회전만 길이·각·넓이를 모두 보존합니다. 스케일은 길이를, 전단은 각을 바꿉니다. 표의 넓이 열은 det⁡\det 가 정합니다.
  • R(α)R(β)=R(α+β)R(\alpha)R(\beta) = R(\alpha+\beta) 의 성분을 비교하면 덧셈정리가 나옵니다. 외울 공식이 아니라 두 번 돌리기를 적은 것입니다.
  • 3차원으로 가면 직교성은 살아남고 순서는 깨집니다. 축이 여럿이라 RxRy≠RyRxR_xR_y \ne R_yR_x 입니다.
  • R⊤=R(−θ)R^\top = R(-\theta) 이고 R⊤R=IR^\top R = I 이므로 회전은 직교행렬이고, 노름과 내적을 그대로 남깁니다.
  • 직교행렬은 행렬식이 +1+1 이면 회전, −1-1 이면 반사입니다. 반사 둘을 이으면 사잇각의 두 배만큼 도는 회전이 됩니다.
  • 전단도 회전 → 축 방향 스케일 → 회전으로 쪼개지고, 그때의 배율이 특잇값입니다. k=1k=1 이면 1.618과 0.618이고 곱이 det⁡H=1\det H = 1 입니다.
  • 작은 각에서는 R(θ)≈I+θJR(\theta) \approx I + \theta J 이고 J2=−IJ^2 = -I 입니다.
  • 회전 위치 인코딩이 상대 위치만 남기는 것은 위 두 성질을 이어 붙인 한 줄의 결과입니다. 평면마다 파장이 6.3토큰에서 5만 토큰 넘게까지 퍼져 있고, 구현은 각을 곱으로 쌓지 않고 위치마다 새로 계산합니다.

다음 글은 이 그림에 이상한 자리 하나를 짚습니다 — 스케일 행렬에는 "늘어나기만 하는 방향"이 있는데 회전에는 없습니다. 그 방향에 이름을 붙이는 것이 고윳값과 고유벡터입니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN