단위원 위의 좌표에서 회전행렬 R(θ)를 세우고, R(α)R(β) = R(α+β)를 행렬곱으로 직접 확인해 각도 합 공식이 사실 행렬 항등식임을 봅니다. RᵀR = I에서 회전이 내적과 노름을 보존한다는 성질을 얻고, 그 두 결과만으로 회전 위치 인코딩이 상대 위치만 남기는 이유까지 갑니다.
PALDYN Team//41 MIN READ
11MATH
중급
회전행렬 · 직교행렬
위치 정보를 토큰에 넣는 방법은 오랫동안 "더하기"였습니다. 위치 m 마다 벡터를 하나 만들어 임베딩에 더했습니다. 그런데 최근 모델들이 쓰는 회전 위치 인코딩(RoPE)은 더하지 않습니다 — 질의와 키 벡터를 위치에 비례한 각도만큼 돌립니다.
돌리는 것이 왜 위치를 담을 수 있는지, 그리고 왜 하필 회전인지는 회전행렬의 성질 두 개로 완전히 답이 됩니다. 이 글은 그 두 성질을 세우는 것이 전부이고, 마지막 절에서 그것만으로 RoPE의 핵심을 유도합니다. 복소수도 오일러 공식도 쓰지 않습니다.
사인과 코사인 자체는 초급 25번에서 단위원 위의 좌표로 정의해 두었습니다. 여기서는 그 정의를 받아 쓰기만 합니다.
회전행렬 세우기
기저의 상
지난 글들에서 얻은 방법이 있습니다 — 행렬을 알고 싶으면 기저가 어디로 가는지만 보면 됩니다.
e1=(1,0) 을 원점 둘레로 θ 만큼 돌립니다. 길이가 1인 채로 각도만 θ 가 되었으니, 그 점은 단위원 위의 각 θ 자리이고 초급 25번의 정의에 따라 좌표가 (cosθ,sinθ) 입니다. 정의 그 자체라 계산할 것이 없습니다.
e2=(0,1) 은 e1 보다 90도 앞선 자리에 있습니다. 둘을 함께 θ 만큼 돌려도 사이의 90도는 유지되므로 e2 의 상은 각 θ+90∘ 자리, 즉 (−sinθ,cosθ) 입니다.
두 상을 열에 적으면 끝입니다.
R(θ)=(cosθsinθ−sinθcosθ)
특수각 검산
세운 식이 맞는지는 아는 값을 넣어 보면 압니다. θ=0 이면 cos0=1, sin0=0 이라 단위행렬이 됩니다 — 안 돌린 것이 아무것도 안 하는 것과 같아야 하니 맞습니다. θ=90∘ 이면
R(90∘)=(01−10)
지난 글에서 (a,b)↦(−b,a) 라고 쓰며 예로 든 그 행렬이고, 이제 그것이 왜 90도 회전인지 알게 되었습니다. (1,0) 을 넣으면 (0,1) 이 나오니 반시계 방향입니다 — 부호 규약이 헷갈릴 때마다 이 한 점을 넣어 보면 복원됩니다.
30도 회전의 예
기호만으로는 손에 안 잡히니 수를 넣어 한 번 돌려 봅니다. x=(2,0) 을 30도 돌립니다. cos30∘=23, sin30∘=21 이므로
여기까지 각을 "30도"라고 적었지만, 수식과 코드가 실제로 받는 단위는 도가 아니라 라디안입니다. 라디안은 반지름이 1인 원에서 그 각이 잘라 내는 호의 길이로 각을 재는 방식입니다. 한 바퀴가 원둘레 2π 이므로 360∘=2π, 따라서 180∘=π, 30∘=π/6 입니다.
왜 굳이 이 단위인가 하면, 미분이 이 단위에서만 깔끔하기 때문입니다. θ 가 라디안일 때만 sin 의 도함수가 cos 이 되고, 작은 각에서 sinθ≈θ 가 성립합니다. 도로 재면 그때마다 π/180 이라는 군더더기 상수가 붙습니다. 그래서 math도 numpy도 삼각함수의 인자를 라디안으로 받고, 도를 쓰고 싶으면 np.radians(30) 처럼 먼저 바꿔 넣어야 합니다.
RoPE에서 위치 m 에 mθ 만큼 돌린다고 할 때의 θ 도 라디안입니다. 도로 읽으면 θi 가 10−4 수준까지 작아지는 설계가 이상해 보이는데, 라디안으로 보면 한 칸 옮길 때마다 아주 조금씩 돌린다는 뜻이 그대로 읽힙니다.
회전·스케일·전단
단위원의 상
회전 옆에 다른 두 종류를 나란히 놓으면 각각이 무엇을 지키고 무엇을 버리는지가 보입니다.
S=(sx00sy),H=(10k1)
S 는 축마다 다른 배율로 늘이는 스케일이고, H 는 위로 갈수록 옆으로 미는 전단입니다. 단위원을 넣어 보면 셋의 차이가 한눈에 갈립니다.
길이
사잇각
넓이
회전 R(θ)
보존
보존
보존
스케일 S
방향마다 다름
바뀜
sxsy 배
전단 H
바뀜
바뀜
보존
회전만 세 칸이 전부 '보존'입니다. 이것이 위치 인코딩에 회전을 고른 이유의 절반이고, 나머지 절반은 다음 절에 있습니다.
행렬식과 넓이
표의 마지막 열은 어림해서 적은 값이 아니라 행렬식이 정합니다. 2×2 행렬의 행렬식 detA=ad−bc 는 단위정사각형이 옮겨 간 도형의 넓이입니다. 기저의 상이 열이므로, 옮겨 간 도형은 두 열을 변으로 하는 평행사변형이고 그 넓이가 곧 ∣detA∣ 입니다.
셋을 각각 계산하면 표의 값이 그대로 나옵니다.
detR(θ)=cos2θ+sin2θ=1,detS=sxsy,detH=1⋅1−k⋅0=1
전단이 흥미롭습니다. 정사각형이 밀려 평행사변형이 되지만 밑변과 높이가 그대로라 넓이가 안 변합니다. 그래서 det=1 인데도 길이와 각은 다 망가집니다 — 넓이 보존은 모양 보존보다 훨씬 약한 조건입니다.
절댓값을 붙인 이유는 부호가 넓이가 아니라 방향을 알려 주기 때문입니다. det 가 음수이면 도형이 뒤집혀 옮겨 간 것이고, 그 구별이 뒤에서 회전과 반사를 가릅니다.
전단의 분해
표에서 전단은 길이도 각도 바꾸는 것으로 적혀 있지만, 어느 방향이 얼마나 바뀌는지는 아직 말하지 않았습니다. k=1 인 전단 H=(1011) 에 단위원을 넣으면 기울어진 타원이 나오고, 계산해 보면 그 타원의 긴 반지름은 약 1.618, 짧은 반지름은 약 0.618 입니다. 단위원을 넣어 나온 타원의 긴 반지름과 짧은 반지름, 곧 그 행렬이 가장 많이 늘이는 배율과 가장 많이 줄이는 배율을 그 행렬의 특잇값이라고 부릅니다. 이 두 수는 정확히는 21+5 와 25−1 로, 황금비와 그 역수입니다.
두 특잇값을 곱하면 4(5+1)(5−1)=1 입니다. 넓이가 그대로라는 detH=1 과 같은 말입니다 — 넓이가 π 인 원이 넓이 π×1.618×0.618 인 타원이 되므로, 넓이 배율은 언제나 두 특잇값의 곱입니다. 그래서 이 전단은 "넓이는 1배인데, 한 방향은 1.6배 늘고 그에 수직인 방향은 0.6배 줄었다"로 읽힙니다. 앞 소절에서 넓이 보존이 모양 보존보다 약하다고 한 것이 이 두 수에 그대로 보입니다.
늘고 줄어드는 두 방향은 좌표축이 아니라 비스듬히 놓여 있습니다. 그 방향까지 계산에 넣으면 H 는 세 조각의 합성으로 쪼개집니다(각은 소수 첫째 자리까지 반올림).
H=R(31.7∘)(1.618000.618)R(−58.3∘)
행렬의 합성은 오른쪽부터 읽습니다. 먼저 −58.3∘ 돌려 늘일 방향을 x 축에 맞추고, 축마다 배율을 곱한 뒤, 다시 31.7∘ 돌려 타원을 제자리에 세웁니다. 회전 둘과 스케일 하나만으로 전단이 만들어진 것입니다.
이것은 전단만의 사정이 아닙니다. 제목의 "전부"는 회전·전단·스케일이 2×2 행렬의 종류 전부라는 뜻이 아니라, 모든 행렬이 회전 → 축 방향 스케일 → 회전의 합성으로 쪼개진다는 뜻입니다(행렬식이 음수인 행렬이면 회전 하나가 뒤에 나올 반사로 바뀝니다). 그 분해를 일반적으로 세우는 것이 「중급 15번 · 특잇값 분해」이고, 위의 식은 그것을 한 행렬에서 미리 손으로 본 것입니다.
회전의 합성
성분 전개
β 만큼 돌린 뒤 다시 α 만큼 돌리는 것은 처음부터 α+β 만큼 돌리는 것과 같습니다 — 그림을 보면 따질 것도 없는 사실입니다. 그런데 지난 글에서 합성은 곱이라고 했으니, 이 기하적 사실은 행렬 등식 한 줄이 됩니다.
2열도 같은 방식으로 구하면 (−(sinαcosβ+cosαsinβ),cosαcosβ−sinαsinβ) 입니다.
덧셈정리
한편 오른쪽 R(α+β) 의 1열은 정의상 (cos(α+β),sin(α+β)) 입니다. 두 행렬이 같으니 성분끼리 같아야 하고, 그러면
cos(α+β)=cosαcosβ−sinαsinβ
sin(α+β)=sinαcosβ+cosαsinβ
고등학교에서 외운 삼각함수의 덧셈정리가 이렇게 떨어집니다. 외울 것이 아니라 "두 번 돌리면 각이 더해진다"를 성분으로 적은 것뿐입니다. 부호가 헷갈릴 때 R(α)R(β) 를 직접 곱해 보면 매번 복원됩니다.
수로 확인.α=β=30∘ 이면 cos30∘=0.866, sin30∘=0.5 이므로
0.866×0.866−0.5×0.5=0.75−0.25=0.5=cos60∘
0.5×0.866+0.866×0.5=0.866=sin60∘
같은 곱에서 따름정리가 하나 더 나옵니다. β=−α 를 넣으면 R(α)R(−α)=R(0)=I 이므로
R(θ)−1=R(−θ)
되돌리는 회전은 반대로 돌리는 것이고, 역행렬을 계산할 일이 없습니다. 덤으로 R(α)R(β)=R(α+β)=R(β)R(α) 이므로 2차원 회전끼리는 순서를 바꿔도 됩니다. 각의 덧셈에는 순서가 없으니 당연한데, 뒤의 3차원 소절에서 보듯 이 당연함은 2차원에서만 통합니다.
작은 각의 회전
각이 아주 작으면 회전행렬은 거의 단위행렬입니다. 라디안으로 잰 작은 θ 에서 cosθ≈1, sinθ≈θ 이므로
R(θ)≈(1θ−θ1)=I+θJ,J=(01−10)
여기 나온 J 는 새 행렬이 아니라 앞에서 검산한 R(90∘) 그 자체입니다. 작은 회전은 "그대로 두기"인 I 에, "90도 돌린 방향으로 θ 만큼 밀기"인 θJ 를 더한 것이라는 뜻입니다. 원 위의 점이 움직이는 방향은 언제나 반지름에 수직이고, J 가 보내는 방향이 정확히 그 수직 방향입니다.
얼마나 정확한지 수로 봅니다. 1∘ 는 π/180≈0.01745 라디안이고, 이때 I+θJ 와 R(1∘) 는 대각 성분에서 1−cos1∘≈0.00015 만큼 차이 나는 것이 가장 큽니다. 각을 0.1 라디안(약 5.7도)으로 키우면 차이가 약 0.005 가 됩니다. 각이 약 6배 커졌는데 오차는 30배 넘게 커졌습니다 — 이 근사의 오차가 각의 제곱에 비례하기 때문이고, 거꾸로 말하면 각이 작아질수록 근사가 빠르게 정확해집니다.
J 에는 눈여겨볼 성질이 하나 더 있습니다. 두 번 곱하면 J2=R(90∘)R(90∘)=R(180∘)=−I 입니다. 제곱해서 −1 이 되는 실수는 없는데, 실수만 든 2×2 행렬 중에는 제곱해서 −I 가 되는 것이 이렇게 있습니다. 복소수의 i 가 하던 "−1 의 제곱근" 노릇을 J 가 하는 셈이고, 회전을 복소수 곱으로 적는 교재가 많은 것도 이 대응 때문입니다. 이 글은 그 대응을 쓰지 않고 행렬로만 갑니다 — RoPE를 복소수로 적은 식도 풀어 보면 이 J 의 계산과 같습니다.
3차원 회전
3차원 회전은 중심만으로 정해지지 않습니다 — 무엇을 축으로 도는지가 있어야 합니다. z 축을 축으로 도는 회전은 xy 평면에서 하던 것을 그대로 하고 z 는 건드리지 않으므로
Rz(θ)=cosθsinθ0−sinθcosθ0001
옮겨지는 것부터 봅니다. 열이 여전히 서로 수직인 단위벡터라 R⊤R=I 이고, 그래서 노름과 내적이 보존되고 역행렬이 전치입니다. det=+1 이 회전, −1 이 뒤집힘이라는 구별도 그대로입니다. 이 글에서 얻은 결론 중 "직교행렬이다"에 기대는 것은 전부 차원과 무관하게 살아남습니다.
옮겨지지 않는 것은 두 가지입니다. 하나는 각의 덧셈입니다. 축이 다르면 Rx(α)Ry(β) 를 하나의 각으로 적을 수 없습니다. 다른 하나는 순서입니다 — 축이 다르면
Rx(90∘)Ry(90∘)=Ry(90∘)Rx(90∘)
수로 확인하는 것이 빠릅니다. e1=(1,0,0) 을 두 순서로 보내 봅니다.
순서
(1,0,0) 의 상
y 축 90도 → x 축 90도
(0,1,0)
x 축 90도 → y 축 90도
(0,0,−1)
같은 두 회전을 순서만 바꿨는데 도착지가 다릅니다. 손에 든 책을 두 번 돌려 보면 바로 확인됩니다. 2차원 회전이 각 하나로 적혀 순서가 없던 것은 평면에는 축이 하나뿐이기 때문이고, 축이 여럿이 되는 순간 그 성질만 깨집니다. 그래서 3차원 자세를 다룰 때 사원수 같은 도구가 따로 필요해지는데, RoPE는 평면 여러 장으로 쪼개 각 평면 안에서만 돌리므로 이 골치를 피해 갑니다.
회전행렬의 직교성
전치와 역행렬
R(θ) 의 전치를 취하면 비대각 성분의 부호가 바뀝니다.
R(θ)⊤=(cosθ−sinθsinθcosθ)=R(−θ)
cos(−θ)=cosθ 이고 sin(−θ)=−sinθ 이니 이것은 정확히 −θ 회전입니다. 방금 본 결과와 합치면
Q⊤Q=I 를 만족하는 행렬을 7번 글에서 직교행렬이라고 불렀습니다. 회전행렬은 직교행렬이고, 그래서 그 글에서 증명한 것이 전부 따라옵니다.
노름과 내적 보존
∥Rx∥2=(Rx)⊤(Rx)=x⊤R⊤Rx=x⊤x=∥x∥2
같은 계산을 두 벡터로 하면 내적도 남습니다.
(Ru)⋅(Rv)=u⊤R⊤Rv=u⋅v
내적이 남고 노름이 남으면 사잇각도 남습니다 — cosθ=∥u∥∥v∥u⋅v 의 분자와 분모가 모두 그대로이기 때문입니다. 앞 절 표의 '보존' 세 칸이 이 두 줄에서 전부 나옵니다.
회전과 반사
거꾸로 직교행렬이라고 전부 회전인 것은 아닙니다.detR(θ)=1 인데, 예컨대 (100−1) 도 Q⊤Q=I 를 만족하면서 행렬식이 −1 입니다. 이것은 x 축에 대한 반사이고, 길이와 각은 지키지만 왼쪽·오른쪽을 뒤집습니다. 앞 절에서 부호가 방향을 알려 준다고 한 것이 바로 이 자리입니다. 2×2 직교행렬은 행렬식이 +1 이면 회전, −1 이면 반사 둘뿐입니다.
반사 하나로는 회전이 안 되지만 둘이면 됩니다. 원점을 지나고 x 축과 φ 의 각을 이루는 직선을 거울로 삼으면, e1 은 거울 건너편의 각 2φ 자리로, e2 는 각 2φ−90∘ 자리로 갑니다. 기저의 상을 열에 적는 같은 방법으로
F(φ)=(cos2φsin2φsin2φ−cos2φ)
을 얻습니다. φ=0 을 넣으면 위의 x 축 반사가 나옵니다. 이제 x 축에 비춘 다음 30∘ 직선에 한 번 더 비춰 봅니다. 나중에 한 것을 왼쪽에 적으므로
두 거울의 사잇각은 30∘ 인데 결과는 60∘ 회전입니다. 15도 자리의 점으로 따라가 보면 첫 거울이 그것을 −15∘ 자리로, 둘째 거울이 다시 75∘ 자리로 보내 모두 60도를 옮겨 갑니다.
같은 곱을 일반 각으로 하면 덧셈정리가 그대로 쓰여 F(ψ)F(φ)=R(2(ψ−φ)) 가 나옵니다. 반사 둘을 이으면 사잇각의 두 배만큼 도는 회전이고, 행렬식도 (−1)×(−1)=1 로 회전의 값과 맞습니다. 거울에 두 번 비친 상이 똑바로 보이는 것과 같은 이치로, 뒤집기를 두 번 하면 방향은 원래대로 돌아오고 돌아간 각만 남습니다.
전단이 직교가 아닌 것도 한눈에 보입니다. H 의 2열이 (k,1) 이라 노름이 k2+1=1 입니다. 열의 길이가 1이 아니면 H⊤H 의 대각 성분이 1이 아니고, 그러면 I 가 될 수 없습니다.
마지막으로 회전을 거듭 곱할 때의 일을 봅니다. 이론상 R(1∘) 를 360번 곱하면 정확히 I 인데, 컴퓨터는 실수를 64비트 부동소수점, 곧 유효숫자 열여섯 자리 안팎으로만 들고 있어 곱할 때마다 마지막 자리에서 반올림이 일어납니다.
M = np.eye(2)for _ in range(360): M = R(1) @ Mprint(np.abs(M - np.eye(2)).max()) # 1.1102230246251565e-14M = np.eye(2)for _ in range(100_000): M = R(1) @ Mprint(np.abs(M.T @ M - np.eye(2)).max()) # 6.0740301677242314e-12
한 바퀴를 돌고 나면 단위행렬에서 성분 하나가 약 1.1×10−14 어긋납니다. 작지만 0은 아니고, 곱을 거듭할수록 쌓입니다. 10만 번 곱한 행렬은 M⊤M 이 I 에서 약 6×10−12 벗어나 이미 엄밀한 직교행렬이 아닙니다 — 앞에서 증명한 노름 보존이 조금씩 새기 시작한 것입니다.
그래서 RoPE 구현은 위치 m 의 회전을 R(θ) 를 m 번 곱해 만들지 않습니다. 각 mθ 를 먼저 수 하나로 계산하고 cos(mθ) 와 sin(mθ) 를 위치마다 새로 구합니다. 그러면 몇 번째 위치든 오차가 삼각함수를 한 번 계산한 만큼으로 묶이고, 위치가 뒤로 갈수록 쌓이는 일이 없습니다.
RoPE의 회전
상대 위치
이제 첫머리의 질문에 답합니다. 회전 위치 인코딩은 위치 m 의 토큰의 질의 벡터를 R(mθ) 로 돌리고, 위치 n 의 키 벡터를 R(nθ) 로 돌립니다. 어텐션이 하는 일은 그 둘의 내적입니다.
(R(mθ)q)⋅(R(nθ)k)=q⊤R(mθ)⊤R(nθ)k
방금 얻은 두 결과를 차례로 씁니다. R(mθ)⊤=R(−mθ) 이고, 회전의 곱은 각의 합이므로
=q⊤R((n−m)θ)k
오른쪽에 남은 것은 n−m 뿐입니다. 두 토큰이 문장의 몇 번째에 있었는지는 사라지고 몇 칸 떨어져 있었는지만 남습니다. 위치를 절대값으로 넣었는데 점수에는 상대 위치만 나타나는 것이 이 방식의 핵심이고, 그것을 만드는 재료는 이 글의 두 줄 — R⊤R=I 와 R(α)R(β)=R(α+β) — 이 전부입니다.
평면 64장
실제 모델의 벡터는 2차원이 아니라 128차원쯤 됩니다. 그때는 성분을 두 개씩 짝지어 64개의 평면으로 나누고 각 평면을 서로 다른 각도로 돌립니다. 짝마다 θi 를 다르게 주면 어떤 짝은 가까운 거리에, 어떤 짝은 먼 거리에 민감해집니다.
평면으로 쪼개는 것이 그저 편의가 아니라는 점은 앞 절의 3차원 이야기가 말해 줍니다 — 평면 안에 머무는 한 순서 문제도, 축을 고르는 문제도 생기지 않습니다. 64장이 서로 독립이라 각 장에서 R(α)R(β)=R(α+β) 를 쓰면 그만이고, 그래서 위의 유도가 128차원에서도 글자 그대로 성립합니다. 지난 글의 표현을 빌리면 축을 2차원씩 묶어 다시 잡는 조작이고, 그 설계가 왜 그렇게 되는지는 「중급 43번 · 회전 위치 인코딩」이 이어받습니다.
각속도와 파장
짝마다 다르게 주는 θi 에는 정해진 식이 있습니다. 벡터의 차원을 d, 짝의 번호를 i=0,1,…,d/2−1 이라 하면
θi=10000−2i/d
입니다. θi 는 위치가 한 칸 옮길 때 i 번째 평면이 도는 라디안이니 그 평면의 각속도라 할 수 있습니다. 그리고 한 바퀴 2π 를 도는 데 걸리는 토큰 수 2π/θi 를 그 평면의 파장이라 부릅니다. 각속도와 파장은 서로 역수 관계라, 빨리 도는 평면일수록 파장이 짧습니다.
d=128 에 넣어 봅니다. 첫 평면은 θ0=1 이라 한 칸에 1라디안(약 57도)씩 돌고, 파장이 2π≈6.3 토큰입니다. 마지막 평면은 θ63=10000−126/128≈0.000115 라 파장이 약 54,410 토큰입니다. 지수 −2i/d 가 −1 에 닿지 않으므로 어느 평면의 파장도 2π×10000≈62,832 토큰을 넘지 않습니다.
이 넓은 폭이 하는 일이 있습니다. 파장이 짧은 평면은 몇 토큰만 떨어져도 각이 크게 달라져 가까운 거리를 예민하게 가르지만, 몇 토큰 지나면 한 바퀴를 넘겨 감기므로 먼 거리끼리는 구별하지 못합니다. 파장이 긴 평면은 반대입니다. 문맥이 4,096 토큰이라 해도 마지막 평면은 끝에서 끝까지 4096×0.000115≈0.47 라디안(약 27도)밖에 안 돌아, 문맥 안에서 절대 감기지 않습니다. 시계의 초침·분침·시침이 서로 다른 눈금으로 같은 시간을 읽듯, 64장의 평면이 서로 다른 눈금으로 같은 거리 n−m 을 읽습니다.
더하기와 돌리기
첫머리의 "더하기"와 견주면 회전을 고른 두 이유가 함께 보입니다. 위치 벡터 p 를 더하면 노름이 바뀝니다. x=(3,4) 는 길이가 5인데, p=(1,0) 을 더한 (4,4) 는 길이가 32≈5.657 입니다. 같은 x 를 몇 도로 돌리든 길이는 5 그대로입니다.
이 차이가 중요한 것은, 모델이 층마다 벡터의 크기를 일정한 범위로 맞추는 처리, 곧 정규화를 거친 뒤에 질의와 키를 만들기 때문입니다. 더하기는 그렇게 맞춰 둔 크기를 위치마다 다르게 흔들고, 돌리기는 크기를 건드리지 않고 방향만 바꿉니다. 어텐션 점수에 대한 효과도 다릅니다. 위치 벡터를 질의와 키에 바로 더한다고 단순화하면
(q+pm)⋅(k+pn)=q⋅k+q⋅pn+pm⋅k+pm⋅pn
으로 항이 넷이 되고, 가운데 둘에는 절대 위치 m 과 n 이 따로따로 남습니다. 회전은 앞에서 본 대로 q⊤R((n−m)θ)k 한 항이고, 거기 남는 것은 차이 n−m 하나입니다. 노름을 지키는 성질과 각이 더해지는 성질이 각각 이 두 차이를 맡고 있습니다.
연습 문제
답은 문항을 눌러 펼칩니다. cos45∘=sin45∘=22≈0.707 을 씁니다.
연습 1 — 회전 계산
(1,0) 을 90∘ 돌린 점의 좌표.
R(90∘) 의 1열이 그대로 답입니다 — (0,1). e1 을 넣으면 언제나 1열이 나옵니다.
(0,2) 를 45∘ 돌린 점의 좌표와 그 길이.
2열의 2배입니다. 2⋅(−sin45∘,cos45∘)=(−2,2)≈(−1.414,1.414) 이고 길이는 2+2=2 로 원래와 같습니다.
R(α)R(β) 의 2열을 열 시선으로 직접 계산하고 R(α+β) 의 2열과 비교해, 어떤 두 등식이 나오는지 적으세요.
오른쪽 행렬의 2열이 (−sinβ,cosβ) 이므로
−sinβ(cosαsinα)+cosβ(−sinαcosα)=(−(cosαsinβ+sinαcosβ)cosαcosβ−sinαsinβ)
이고 R(α+β) 의 2열은 (−sin(α+β),cos(α+β)) 입니다. 성분을 맞대면 1열에서 얻은 것과 같은 두 등식이 나옵니다. 2열이 새 정보를 주지 않는 것은 회전행렬의 두 열이 서로 90도 관계로 묶여 있기 때문입니다.
연습 2 — 직교성 판정
Q=(0110) 이 Q⊤Q=I 를 만족하는지 확인하고, 행렬식으로 갈래를 정하세요.
Q⊤=Q 이고 QQ=I 이므로 직교행렬입니다. detQ=0⋅0−1⋅1=−1 이라 반사입니다. (1,0)↦(0,1), (0,1)↦(1,0) 이니 직선 y=x 에 대한 반사입니다.
Q=21(11−11) 에 대해 같은 두 가지를 하고, 회전이면 각도까지 적으세요.
열이 21(1,1) 과 21(−1,1) 로 각각 길이 1이고 내적이 0이라 직교행렬입니다. detQ=21(1⋅1−(−1)⋅1)=1 이므로 회전이고, 성분을 R(θ) 와 맞대면 cosθ=sinθ=21 이라 θ=45∘ 입니다.
H=(1021) 에 대해 H⊤H 를 계산하세요.
H⊤H=(1201)(1021)=(1225) 로 I 가 아닙니다. 비대각의 2는 두 열이 수직이 아니라는 뜻이고, 대각의 5는 2열의 길이 제곱입니다.
같은 H 로 e2=(0,1) 을 보내 길이를 재고, detH 와 비교해 보세요.
He2=(2,1) 이라 길이가 5≈2.236 으로 1에서 늘었습니다. 한편 detH=1 이라 넓이는 그대로입니다 — 넓이를 지켜도 길이는 안 지켜질 수 있다는 것이 전단이 직교가 아닌 이유를 그대로 보여 줍니다.
연습 3 — 반사의 합성
x 축에 대한 반사를 먼저 하고 직선 y=x 에 대한 반사를 나중에 한 합성의 행렬을 구하고, 몇 도 회전인지 적으세요.
나중에 한 것을 왼쪽에 적습니다. (0110)(100−1)=(01−10)=R(90∘) 입니다. 두 직선의 사잇각 45∘ 의 두 배입니다.
같은 두 반사를 순서만 바꿔 하면 결과가 어떻게 달라지나요?
(100−1)(0110)=(0−110)=R(−90∘) 로, 크기는 같고 방향이 반대인 회전입니다. 회전끼리는 순서를 바꿔도 되지만 반사끼리는 안 됩니다. F(ψ)F(φ)=R(2(ψ−φ)) 에서 ψ 와 φ 를 맞바꾸면 각의 부호가 바뀌는 것과 같은 말입니다.
y 축에 대한 반사 다음에 x 축에 대한 반사를 하면 어떤 변환이 되고, 그 행렬식은 얼마인가요?
(100−1)(−1001)=−I=R(180∘) 입니다. 사잇각 90∘ 의 두 배만큼 도는 회전, 곧 원점 대칭이고 행렬식은 (−1)×(−1)=1 입니다.
연습 4 — 고유벡터와 RoPE
R(90∘) 에 대해 det(R(90∘)−λI)=0 을 λ 에 대해 풀어, 실수 해가 있는지 보세요.
det(−λ1−1−λ)=λ2+1=0 이라 실수 해가 없습니다. 일반 각에서는 λ2−2cosθλ+1=0 이고 판별식이 4cos2θ−4=−4sin2θ 라, θ 가 0∘ 나 180∘ 일 때만 실수 해가 생깁니다. 이 식이 무엇을 묻는지, 해가 없다는 것이 "방향을 그대로 두는 벡터가 없다"는 뜻이 되는 이유는 다음 글에서 다룹니다.
θ=30∘, q=(1,0), k=(1,1) 로 두고 위치 m=1, n=3 일 때 (R(mθ)q)⋅(R(nθ)k) 를 계산하세요. 그다음 m=5, n=7 로 다시 계산해 비교하세요.
R(30∘)q≈(0.866,0.5), R(90∘)k=(−1,1) 이라 내적은 −0.866+0.5≈−0.366 입니다. m=5, n=7 이면 R(150∘)q≈(−0.866,0.5), R(210∘)k≈(−0.366,−1.366) 이고 내적은 0.317−0.683≈−0.366 으로 같습니다. 두 경우 모두 n−m=2 라 q⋅R(60∘)k=21−3 하나로 정해집니다.
정리
R(θ) 의 열은 기저의 상입니다. e1↦(cosθ,sinθ), e2↦(−sinθ,cosθ) 이고 그것을 적으면 회전행렬이 됩니다.
각의 단위는 라디안입니다. 미분이 이 단위에서만 깔끔해서이고, 코드에서 np.radians가 필요한 이유가 그것입니다.
회전만 길이·각·넓이를 모두 보존합니다. 스케일은 길이를, 전단은 각을 바꿉니다. 표의 넓이 열은 det 가 정합니다.
R(α)R(β)=R(α+β) 의 성분을 비교하면 덧셈정리가 나옵니다. 외울 공식이 아니라 두 번 돌리기를 적은 것입니다.
3차원으로 가면 직교성은 살아남고 순서는 깨집니다. 축이 여럿이라 RxRy=RyRx 입니다.
R⊤=R(−θ) 이고 R⊤R=I 이므로 회전은 직교행렬이고, 노름과 내적을 그대로 남깁니다.
직교행렬은 행렬식이 +1 이면 회전, −1 이면 반사입니다. 반사 둘을 이으면 사잇각의 두 배만큼 도는 회전이 됩니다.
전단도 회전 → 축 방향 스케일 → 회전으로 쪼개지고, 그때의 배율이 특잇값입니다. k=1 이면 1.618과 0.618이고 곱이 detH=1 입니다.
작은 각에서는 R(θ)≈I+θJ 이고 J2=−I 입니다.
회전 위치 인코딩이 상대 위치만 남기는 것은 위 두 성질을 이어 붙인 한 줄의 결과입니다. 평면마다 파장이 6.3토큰에서 5만 토큰 넘게까지 퍼져 있고, 구현은 각을 곱으로 쌓지 않고 위치마다 새로 계산합니다.
다음 글은 이 그림에 이상한 자리 하나를 짚습니다 — 스케일 행렬에는 "늘어나기만 하는 방향"이 있는데 회전에는 없습니다. 그 방향에 이름을 붙이는 것이 고윳값과 고유벡터입니다.
갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.