수학

MATH / 중급 2번

논문 수식 표기 규약: 스칼라·벡터·행렬·텐서를 구별해서 읽기

굵은 글씨와 대문자, 위·아래 첨자, 슬라이스와 ⊙·⊗·‖·‖가 각각 무엇을 뜻하는지 정리하고, 논문의 기호를 코드의 텐서 축에 하나씩 맞춰 봅니다.

PALDYN Team45 MIN READ

논문에 적힌 식을 그대로 코드로 옮겼는데 이런 게 뜹니다.

RuntimeError: mat1 and mat2 shapes cannot be multiplied (512x768 and 768x512)

식에는 분명히 y=Wxy = Wx라고 적혀 있었고, 그대로 W @ x라고 썼습니다. 그런데 안 됩니다. 순서를 바꿔 x @ W로 하면 되기도 하고 여전히 안 되기도 합니다. 이쯤 되면 셰이프를 하나씩 출력해 보며 맞을 때까지 전치를 붙였다 뗐다 하게 되는데, 그건 식을 읽은 게 아니라 맞춘 것입니다. 여기서 셰이프는 배열의 축마다 길이를 적은 튜플입니다 — (512, 768)이면 축이 둘이고 첫 축의 길이가 512, 둘째 축이 768입니다.

지난 글에서 어텐션 한 줄을 다섯 자리로 쪼개면서, 첫째 자리에 걸린 질문이 "QQ가 벡터인가 행렬인가"였습니다. 이 글이 그 질문을 답합니다. 논문은 어떤 기호가 몇 개의 축을 가진 대상인지를 글자 모양으로 알립니다. 그 규약을 알면 셰이프 에러의 절반은 코드를 돌리기 전에 사라집니다. 나머지 절반은 규약끼리 부딪히는 자리에서 생기는데, 그 자리도 이 글에서 하나씩 짚습니다.

글꼴과 자료형

표기 사다리

대부분의 머신러닝 논문은 다음 네 층을 글자 모양으로 구별합니다. 축이 없는 수 하나가 스칼라, 축이 하나면 벡터, 둘이면 행렬, 셋 이상이면 텐서입니다. 이 넷은 따로 노는 네 종류가 아니라 축을 하나씩 더해 가며 올라가는 사다리이고, 글꼴이 그 사다리의 몇째 칸인지를 알려 줍니다.

스칼라·벡터·행렬·텐서의 표기 사다리

표기 대상 축 개수 코드에서의 셰이프 AI에서의 예
dd, nn, α\alpha 스칼라 0 () 학습률, 차원 수
x\mathbf{x}, q\mathbf{q} 벡터 1 (768,) 토큰 임베딩 하나
X\mathbf{X}, W\mathbf{W} 행렬 2 (512, 768) 문장 하나의 은닉 상태
X\mathcal{X}, T\mathcal{T} 텐서 3 이상 (8, 512, 768) 배치 전체의 은닉 상태

굵게 쓰지 않는 논문도 많습니다. 특히 Attention Is All You Need처럼 굵은 글씨를 안 쓰는 논문에서는 QQ가 대문자라는 것 하나로 행렬임을 알아야 합니다. 대문자는 거의 항상 행렬 이상이라고 보면 맞습니다. 소문자면 스칼라 아니면 벡터인데, 그 둘은 문맥과 첨자로 갈립니다 — qiq_i처럼 첨자가 붙어 있으면 보통 벡터들의 모임에서 하나를 꺼낸 것이라 벡터입니다.

필기체와 희랍 문자

필기체 X\mathcal{X}는 텐서 말고 집합에도 씁니다. D\mathcal{D}가 데이터셋, V\mathcal{V}가 어휘 집합, N(0,1)\mathcal{N}(0, 1)이 정규분포를 뜻하는 식입니다. 같은 글꼴이 두 가지 일을 하므로 이 글꼴만은 모양으로 단정하지 못하고, 그 기호가 처음 정의된 문장을 확인해야 합니다. V\mathcal{V} 뒤에 ∣V∣|\mathcal{V}|처럼 세로 막대가 붙어 원소 개수를 세고 있다면 집합이고, 첨자 셋으로 원소를 꺼내고 있다면 텐서입니다.

희랍 문자는 대개 학습 대상이 아닌 값입니다. α\alpha(학습률), β\beta(모멘텀 계수), ϵ\epsilon(수치 안정용 작은 수), λ\lambda(정규화 세기), τ\tau(온도)가 그렇습니다. 사람이 미리 정해 넣고 학습이 건드리지 않는 이런 값을 하이퍼파라미터라 부르는데, 희랍 문자가 그 자리를 거의 독차지합니다. 반면 θ\theta와 ϕ\phi는 예외적으로 "모델 파라미터 전부"를 한 글자로 묶은 것이고, 그래서 pθp_\theta는 "파라미터가 θ\theta인 모델이 주는 확률"로 읽습니다. 수백만 개의 숫자가 글자 하나에 들어 있으니 θ\theta는 모양만 보면 스칼라 같아도 실제로는 거대한 벡터입니다. 이것이 글꼴 규약의 가장 큰 예외입니다.

축 이름 표기

딥러닝 논문에는 글꼴로 가르지 않는 관행이 하나 더 있습니다. 기호마다 셰이프를 통째로 적어 버리는 방식입니다.

h∈RB×T×dh \in \mathbb{R}^{B \times T \times d}

이렇게 적으면 hh가 소문자여도 축이 셋인 텐서라는 것이 바로 보입니다. 게다가 축마다 이름이 붙어 있습니다 — BB는 배치 크기, TT는 시퀀스 길이, dd는 은닉 차원입니다. 이 꼴에서는 글꼴이 아니라 축 이름이 자료형을 정합니다. 코드로 옮길 때도 이쪽이 더 편한데, h.shape == (B, T, d)를 그대로 적어 넣으면 되고 어느 축이 몇째 자리인지도 식이 이미 정해 두었기 때문입니다. 반대로 글꼴 규약만 쓰는 논문은 H\mathcal{H}가 텐서라는 것까지만 알려 주고 축의 차례는 말해 주지 않으므로, 차례는 그 기호를 정의한 문장에서 따로 찾아야 합니다.

Notation 절

논문 앞쪽에 기호의 뜻을 모아 둔 절을 Notation 절이라 부릅니다. 「굵은 소문자는 열벡터, 굵은 대문자는 행렬」 같은 문장이 거기 있고, 이 글이 소개하는 규약 대부분이 그 절에서 한 번 선언됩니다. 문제는 이 절이 없는 논문이 더 많다는 것입니다. 그때는 다음 차례로 거슬러 찾습니다.

기호의 뜻을 찾는 네 단계

첫째, Notation 절이나 Preliminaries 절이 있는지 봅니다. 둘째, 없으면 그 기호가 처음 나온 문장을 찾습니다. 대개 식 바로 뒤에 "where X∈Rn×dX \in \mathbb{R}^{n \times d} is …" 꼴로 붙어 있습니다. 셋째, 그것도 없으면 연산자에서 거꾸로 셰이프를 추론합니다 — γ⊙x\gamma \odot x에서 xx가 벡터라면 γ\gamma도 같은 셰이프여야 하는 식으로, 이 방법은 뒤의 LayerNorm 절에서 실제로 씁니다. 넷째, 그래도 갈리지 않으면 공개된 코드 저장소에서 그 변수의 셰이프를 확인합니다. 마지막 단계까지 가는 일은 드물고, 대부분은 둘째 단계에서 끝납니다.

열벡터 관례

열벡터와 행 우선

앞의 에러로 돌아갑니다. y=Wxy = Wx가 코드에서 W @ x로 안 되는 이유는 논문의 xx가 열벡터이기 때문입니다.

열벡터 관례와 행 우선 코드

수학에서 아무 말 없이 x∈Rdx \in \mathbb{R}^d라고 쓰면 그것은 d×1d \times 1짜리 세로 벡터, 곧 열벡터입니다. 그래서 W∈Rd′×dW \in \mathbb{R}^{d' \times d}를 왼쪽에 곱하면 (d′×d)(d×1)=d′×1(d' \times d)(d \times 1) = d' \times 1로 모양이 맞습니다. 행렬곱이 성립하려면 왼쪽 것의 열 수와 오른쪽 것의 행 수가 같아야 하고, 결과는 바깥쪽 두 수를 남깁니다.

W⏟d′×d  x⏟d×1=y⏟d′×1\underbrace{W}_{d' \times d} \; \underbrace{x}_{d \times 1} = \underbrace{y}_{d' \times 1}

그런데 코드에서 텐서 하나는 벡터 하나가 아니라 여러 표본의 묶음입니다. 토큰 512개를 한 번에 처리하니 x.shape == (512, 768)이고, 토큰 하나하나가 행으로 누워 있습니다. 표본 하나를 행 하나에 담는 이 배치를 행 우선 관례라 부르겠습니다. 행으로 누운 벡터에 변환을 걸려면 오른쪽에서 곱해야 합니다.

X⏟n×d  W⊤⏟d×d′=Y⏟n×d′\underbrace{X}_{n \times d} \; \underbrace{W^\top}_{d \times d'} = \underbrace{Y}_{n \times d'}

열벡터 관례와 행 우선 관례

즉 논문의 WxWx는 코드에서 x @ W.T입니다. 그리고 PyTorch의 nn.Linear는 이 전치를 안에서 대신 해 줍니다 — nn.Linear(d, d')의 weight 셰이프가 (d', d)인 것이 그 증거입니다. 논문의 WW와 같은 모양으로 저장해 두고, 계산할 때 xW⊤+bxW^\top + b를 합니다.

어텐션 식이 QK⊤QK^\top인 것도 이 관례 때문입니다. QQ와 KK가 둘 다 토큰을 행에 쌓은 n×dkn \times d_k이므로, 모든 쌍의 내적을 얻으려면 오른쪽 것을 전치해야 합니다. 만약 논문이 토큰을 열에 쌓는 관례를 택했다면 같은 계산이 Q⊤KQ^\top K로 적혔을 겁니다. 식이 달라 보여도 계산은 같습니다. 논문을 읽을 때 가장 먼저 확인할 것은 "이 논문은 토큰을 행에 쌓는가 열에 쌓는가"입니다.

행벡터 관례

관례가 둘뿐이면 편하겠지만 세 번째가 있습니다. 벡터 하나를 처음부터 행벡터로 두고 행렬을 오른쪽에 곱하는 논문들입니다. Attention Is All You Need의 피드포워드 층이 바로 그 꼴입니다.

FFN(x)=max⁡(0,  xW1+b1) W2+b2\mathrm{FFN}(x) = \max(0,\; xW_1 + b_1)\,W_2 + b_2

여기서 xx는 1×dmodel1 \times d_{\text{model}} 행벡터이고 W1W_1은 dmodel×dffd_{\text{model}} \times d_{ff}입니다. 열벡터 관례로 쓰면 같은 층이 W1xW_1 x가 되고 W1W_1의 셰이프가 뒤집혀 dff×dmodeld_{ff} \times d_{\text{model}}이 됩니다. 수식만 놓고 보면 두 논문의 W1W_1은 서로의 전치입니다.

이 관례의 장점은 코드와 모양이 같다는 것입니다. 행 우선 코드에서 x @ W1을 그대로 쓰면 되고 전치가 끼지 않습니다. 대신 이 식을 nn.Linear로 옮길 때는 반대로 전치가 끼어듭니다. 논문의 W1W_1을 불러와 nn.Linear의 weight에 넣으려면 W1.T를 넣어야 합니다. 같은 층인데 어느 관례로 적었느냐에 따라 전치가 식에 붙기도 하고 코드에 붙기도 하는 것입니다. 그래서 가중치 셰이프를 볼 때는 언제나 「(입력, 출력)으로 저장했나, (출력, 입력)으로 저장했나」를 먼저 묻습니다.

배치 축과 편향

논문의 식은 거의 언제나 표본 하나짜리입니다. y=Wx+by = Wx + b에는 배치 축이 없습니다. 배치는 「같은 식을 표본마다 따로 계산한다」는 뜻일 뿐이라, 수식에는 굳이 안 적고 코드에만 나타납니다. 그래서 식의 xx가 (d,)라면 코드의 x는 (B, d)이고, 3차원 입력이면 (B, T, d)입니다. 식에 없는 축이 코드에서 하나 둘 앞에 붙어 있다고 보면 됩니다.

이 생략이 편향 bb에서 표가 납니다. 식에서 bb는 yy와 같은 d′d'차원 벡터이고 그대로 더해집니다. 코드에서 nn.Linear의 bias도 셰이프가 (d',)인데, 결과 y는 (B, T, d')입니다. 길이가 다른 둘을 더할 수 있는 것은 브로드캐스팅 덕분입니다. 브로드캐스팅은 셰이프를 오른쪽 끝부터 맞춰 보고, 모자란 앞쪽 축은 같은 값을 되풀이한 것으로 쳐서 계산하는 규칙입니다. (d',)는 오른쪽 끝 축이 d'로 맞으니 (B, T) 위치마다 같은 bb가 더해집니다. 식이 생략한 배치 축을 브로드캐스팅이 메워 주는 구조이고, 그래서 편향은 언제나 마지막 축을 따라 붙습니다.

첨자

인덱스와 라벨

첨자는 두 가지 일을 합니다. 하나는 인덱스(몇 번째인가), 다른 하나는 라벨(어느 것인가)입니다. 인덱스는 세는 수라서 바꿔 넣을 수 있고, 라벨은 이름의 일부라서 바꿀 수 없습니다. 둘을 구별하는 규칙은 대체로 이렇습니다.

표기 읽는 법 코드 대응
xix_i ii번째 원소 또는 ii번째 벡터 x[i]
XijX_{ij} ii행 jj열 원소 (스칼라) X[i, j]
h(l)h^{(l)} ll번째 층의 은닉 상태 층 인덱스 — 거듭제곱이 아니다
x(i)x^{(i)} ii번째 데이터 샘플 batch[i]
WQW_Q, WKW_K 질의용·키용 가중치 (라벨) 서로 다른 파라미터
x2x^2 제곱 x ** 2
X⊤X^\top 전치 X.T
A−1A^{-1} 역행렬 np.linalg.inv(A)

가장 자주 헷갈리는 자리가 괄호 친 위 첨자입니다. h(l)h^{(l)}의 (l)(l)은 거듭제곱이 아니라 층 번호입니다. 괄호가 있으면 인덱스, 없으면 거듭제곱 — 이것이 관례고, 그래서 논문에서 h(l+1)=f(h(l))h^{(l+1)} = f(h^{(l)}) 같은 식이 자연스럽게 읽힙니다. 반면 아래 첨자에 붙은 알파벳 라벨(WQW_Q의 QQ)은 세지 않습니다. 그건 이름의 일부입니다.

dkd_k, dvd_v, dmodeld_{\text{model}}도 같은 이치입니다. dd에 kk를 곱한 것이 아니라, "키 벡터의 차원"이라는 이름 하나입니다. 라벨인지 인덱스인지 헷갈리면 그 첨자를 다른 수로 바꿔 넣어 봅니다. h(3)h^{(3)}은 「셋째 층」으로 말이 되지만 d3d_3을 dkd_k 자리에 넣으면 말이 안 됩니다. 바꿔 넣어 말이 되면 인덱스입니다.

겹친 첨자

순환 신경망을 여러 층 쌓은 논문에서는 첨자가 위아래로 함께 붙습니다.

ht(l)=f(W(l)ht(l−1)+U(l)ht−1(l))h_t^{(l)} = f\big(W^{(l)} h_t^{(l-1)} + U^{(l)} h_{t-1}^{(l)}\big)

이 식에는 축이 둘 얽혀 있습니다. 아래 첨자 tt는 시각, 괄호 친 위 첨자 (l)(l)은 층입니다. 그래서 ht(l)h_t^{(l)}은 「ll층의 tt시각 은닉 상태」 하나이고, 오른쪽 두 항은 각각 다른 방향에서 들어옵니다. ht(l−1)h_t^{(l-1)}은 같은 시각 바로 아래 층에서, ht−1(l)h_{t-1}^{(l)}은 같은 층 바로 앞 시각에서 옵니다. 층이 셋, 시각이 넷인 격자를 그려 보면 칸 하나가 왼쪽 칸과 아래 칸을 받는 모양이 됩니다.

층과 시각이 겹친 첨자

가르는 요령은 「무엇이 바뀌는가」를 한 항씩 보는 것입니다. ht(l)h_t^{(l)}에서 ht−1(l)h_{t-1}^{(l)}로 가면 위 첨자는 그대로이고 아래 첨자만 줄었으니 시간 방향으로 한 칸 간 것입니다. 이것이 축 둘이 얽힌 식을 읽는 기본 동작이고, W(l)W^{(l)}처럼 가중치에 층 첨자만 붙고 시각 첨자가 없다는 것도 같은 방법으로 읽힙니다 — 시각이 바뀌어도 같은 가중치를 쓴다는 뜻, 곧 시간 축으로 가중치를 공유한다는 뜻입니다. 코드에서는 이 격자를 (L, T, d) 셰이프의 텐서 하나에 담기도 하고 리스트의 리스트로 두기도 하는데, 두 축의 차례는 식이 정해 주지 않으니 구현마다 확인해야 합니다.

슬라이스와 콜론

한 축 전체를 가져오는 표기는 콜론입니다. 숫자 대신 콜론을 넣어 그 축을 통째로 남기고 나머지 축에서만 고르는 이 조작을 슬라이스라 부릅니다. 논문에서도 코드에서도 같은 모양입니다.

표기 뜻 셰이프 코드
XijX_{ij} 원소 하나 스칼라 X[i, j]
Xi,:X_{i,:} ii번째 행 전체 (d,)(d,) X[i, :]
X:,jX_{:,j} jj번째 열 전체 (n,)(n,) X[:, j]
Hb,t,:\mathcal{H}_{b,t,:} 배치 bb의 tt번 토큰 (d,)(d,) h[b, t, :]

콜론을 생략하는 논문도 많습니다. XiX_i라고만 써 놓고 그것이 ii번째 행을 뜻하는 경우가 흔한데, 앞에서 본 행 우선 관례 때문입니다. 토큰을 행에 쌓았으니 "ii번째 것"은 자연히 ii번째 행입니다.

여기서 읽기의 핵심은 셰이프가 줄어드는가 유지되는가입니다. 숫자 인덱스는 그 축을 없애고, 콜론은 그 축을 남깁니다. Hb,t,:\mathcal{H}_{b,t,:}는 세 축 중 둘이 사라져 벡터 하나가 되고, Hb,:,:\mathcal{H}_{b,:,:}는 한 축만 사라져 행렬이 됩니다. 셰이프 (8, 512, 768)에서 시작하면 앞쪽은 (768,), 뒤쪽은 (512, 768)입니다. 이 감각이 있으면 식을 보고 결과의 셰이프를 미리 말할 수 있습니다.

0-기반과 1-기반

논문은 거의 언제나 1부터 셉니다. ∑i=1d\sum_{i=1}^{d}는 x1x_1부터 xdx_d까지입니다. 파이썬과 NumPy는 0부터 세서 같은 범위가 x[0]부터 x[d-1]까지, 곧 range(d)입니다. 합 전체를 옮길 때는 범위가 통째로 한 칸 밀릴 뿐이라 문제가 안 되지만, 특정 번호를 집는 자리에서는 하나씩 어긋납니다.

가장 흔한 자리가 초기 상태가 있는 점화식입니다. 순환 신경망 식 ht=f(ht−1,xt)h_t = f(h_{t-1}, x_t)에서 논문은 t=1,…,Tt = 1, \dots, T로 돌리고 h0h_0을 초기 상태로 둡니다. 코드에서는 입력 x가 길이 TT라 x[0]부터 x[T-1]까지인데, 은닉 상태 리스트 h는 초기 상태까지 담아 길이가 T+1T + 1입니다. 그러면 논문의 xtx_t는 코드의 x[t-1]이고 논문의 hth_t는 코드의 h[t]입니다. 같은 tt인데 한쪽은 1을 빼고 한쪽은 안 뺍니다. 예를 들어 T=4T = 4에서 셋째 시각을 계산하면 h[3] = f(h[2], x[2])가 되는데, 이 줄을 x[3]으로 적는 순간 한 칸 뒤 입력을 먹게 되고 마지막 시각에서는 범위 밖으로 나가 에러가 납니다. 마지막 칸에서만 터지므로 앞쪽 시각만 출력해 보면 멀쩡해 보인다는 것이 이 어긋남의 고약한 점입니다.

연산 기호

원소별 연산

논문에서 자주 나오면서 코드 연산자와 헷갈리는 기호들을 차례로 봅니다. 첫째가 ⊙\odot입니다. 같은 셰이프 두 개를 원소끼리 곱하는 아다마르 곱이고, 행렬곱이 아닙니다.

(A⊙B)ij=AijBij(A \odot B)_{ij} = A_{ij} B_{ij}

코드로는 A * B입니다. LSTM의 게이트, 드롭아웃 마스크, LayerNorm의 스케일 파라미터 γ⊙x^\gamma \odot \hat{x}가 전부 이 기호입니다. NumPy에서 *가 행렬곱이 아니라 원소별 곱인 이유가 여기 있습니다 — 행렬곱은 @로 따로 뺐습니다.

벡터나 행렬에 붙은 근호도 대개 원소별입니다. Adam의 갱신식이 그렇습니다.

θ←θ−α m^v^+ϵ\theta \leftarrow \theta - \alpha \, \frac{\hat{m}}{\sqrt{\hat{v}} + \epsilon}

여기서 v^\hat{v}는 파라미터와 같은 셰이프이고 v^\sqrt{\hat{v}}는 원소마다 제곱근을 씌운 것입니다. v^=(4, 0.25)\hat{v} = (4,\ 0.25)이면 v^=(2, 0.5)\sqrt{\hat{v}} = (2,\ 0.5)이고, 나눗셈도 원소끼리입니다. 파라미터가 행렬이어도 마찬가지입니다. 행렬 MM에 대해 S2=MS^2 = M인 SS를 찾는 행렬 제곱근이라는 연산이 따로 있지만, Adam은 그 연산을 하지 않습니다. 대각 행렬이 아닌 한 두 연산의 결과는 다르므로, 근호가 행렬에 붙어 있으면 「원소별인가」를 먼저 확인합니다. 최적화 식에서는 거의 언제나 원소별입니다.

마지막으로 ∘\circ입니다. 이 기호는 보통 함수 합성, 곧 (f∘g)(x)=f(g(x))(f \circ g)(x) = f(g(x))입니다. 그런데 일부 논문은 ∘\circ를 아다마르 곱으로 씁니다. 둘을 가르는 것은 양옆에 무엇이 오느냐입니다. 양옆이 함수면 합성이고, 셰이프가 같은 배열이면 원소별 곱입니다.

외적과 내적

⊗\otimes는 외적 또는 크로네커 곱입니다. 벡터 두 개로 행렬을 만듭니다. a∈Rma \in \mathbb{R}^m, b∈Rnb \in \mathbb{R}^n일 때 a⊗ba \otimes b는 m×nm \times n 행렬이고 (a⊗b)ij=aibj(a \otimes b)_{ij} = a_i b_j입니다. 이렇게 축을 하나 더 만드는 곱을 외적이라 부릅니다. 코드로는 np.outer(a, b) 또는 a[:, None] * b[None, :]입니다. 뒤쪽 꼴은 앞에서 본 브로드캐스팅을 일부러 일으킨 것입니다 — (m, 1)과 (1, n)이 만나 (m, n)으로 퍼집니다.

외적의 반대편에 내적이 있습니다. 같은 길이의 두 벡터를 원소끼리 곱해 모두 더한 스칼라이고, 외적이 축을 더한다면 내적은 축을 없앱니다. 표기가 셋입니다. ⟨a,b⟩\langle a, b \rangle, a⋅ba \cdot b, a⊤ba^\top b가 논문마다 섞여 나오는데 전부 같은 계산입니다. 셋째 꼴 a⊤ba^\top b는 열벡터 관례에서 나온 것으로, 1×d1 \times d와 d×1d \times 1을 곱해 1×11 \times 1을 얻는 행렬곱입니다. 같은 두 벡터를 거꾸로 ab⊤ab^\top로 곱하면 d×dd \times d 행렬, 곧 외적이 됩니다. 전치 기호의 자리 하나로 결과가 스칼라와 행렬로 갈리는 셈이고, 이것도 열벡터 관례를 알아야 읽힙니다.

노름과 기댓값

∥⋅∥\lVert \cdot \rVert는 노름, 곧 벡터의 크기입니다. 아래 첨자로 어떤 노름인지 밝힙니다. ∥x∥2\lVert x \rVert_2는 유클리드 길이, ∥x∥1\lVert x \rVert_1은 절댓값의 합입니다. 아래 첨자가 없으면 대개 ∥x∥2\lVert x \rVert_2입니다. 그래디언트 클리핑, 가중치 감쇠, 코사인 유사도의 분모가 전부 이 기호이고, 다음 글이 이것만 다룹니다.

E\mathbb{E}는 기댓값입니다. 아래 첨자에 무엇에 대한 평균인지를 적습니다. Ex∼p[f(x)]\mathbb{E}_{x \sim p}[f(x)]는 "pp에서 뽑은 xx에 대해 f(x)f(x)의 평균"입니다. 코드에서는 거의 항상 배치 평균, 즉 f(x).mean()으로 구현됩니다. 앞에서 식에는 배치 축이 없다고 했는데, 배치 축이 식에 드러나는 거의 유일한 자리가 바로 이 기호입니다. 손실 함수 식의 바깥에 E\mathbb{E}가 씌워져 있으면 그것이 「표본마다 계산해서 평균 낸다」는 뜻이고, 코드의 마지막 .mean()이 그 기호의 번역입니다. 이 기호가 4단원부터 계속 나옵니다.

연결

마지막은 더하기처럼 보이지만 더하기가 아닌 기호입니다. [a;b][a; b]는 두 벡터를 이어 붙이는 연결입니다. 세미콜론은 「아래로 쌓는다」는 뜻이라 a∈R3a \in \mathbb{R}^3, b∈R2b \in \mathbb{R}^2이면 [a;b]∈R5[a; b] \in \mathbb{R}^5입니다. 반면 a+ba + b는 길이가 달라 정의조차 안 됩니다. 연결은 길이를 더하고, 덧셈은 길이를 그대로 둡니다.

같은 일을 a⊕ba \oplus b로 적는 논문도 있고 [a,b][a, b]처럼 쉼표로 적는 논문도 있습니다. LSTM을 소개하는 많은 글이 ft=σ(Wf[ht−1,xt]+bf)f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)로 적는데, 이때 [ht−1,xt][h_{t-1}, x_t]는 은닉 상태와 입력을 이어 붙인 벡터이고 WfW_f의 열 수가 두 길이의 합이어야 합니다. 그런데 ⊕\oplus는 다른 데서 배타적 논리합이나 직합으로도 쓰이므로, 처음 나온 문장에서 「concatenation」이라는 말이 붙었는지 확인합니다. 코드로는 torch.cat([a, b], dim=-1)이고, 배치 축이 앞에 붙은 코드에서는 dim=-1이 중요합니다. 식은 표본 하나짜리라 이을 축이 하나뿐이지만 코드에는 축이 여럿이라, 축을 안 밝히면 엉뚱하게 배치 축으로 이어 붙습니다.

사상 표기

정의역과 공역

함수를 소개하는 한 줄이 논문 곳곳에 있습니다.

f:Rn→Rmf: \mathbb{R}^{n} \rightarrow \mathbb{R}^{m}

"ff는 nn차원 실수 벡터를 받아 mm차원 실수 벡터를 내놓는다"로 읽습니다. 화살표 왼쪽이 정의역(무엇을 받는가), 오른쪽이 공역(어디에 값이 놓이는가)입니다. 코드로는 함수의 입력 셰이프와 출력 셰이프를 한 줄로 선언한 것이고, 사실상 타입 힌트입니다.

화살표가 하나 더 있습니다. ↦\mapsto는 꼬리에 짧은 세로선이 달린 화살표인데, →\rightarrow와 하는 일이 다릅니다. →\rightarrow는 집합과 집합 사이에 놓여 「어디서 어디로」를 말하고, ↦\mapsto는 원소와 원소 사이에 놓여 「이것이 저것이 된다」를 말합니다. 그래서 두 줄이 짝으로 나옵니다.

f:Rd→Rd′,x↦Wx+bf: \mathbb{R}^{d} \rightarrow \mathbb{R}^{d'}, \qquad x \mapsto Wx + b

첫 줄은 셰이프 선언이고 둘째 줄은 계산 규칙입니다. 코드로 치면 앞이 함수 시그니처, 뒤가 함수 본문입니다.

공역과 상

여기서 자주 놓치는 구별이 공역과 상입니다. 공역은 "값이 놓일 수 있는 공간"이고, 상은 "실제로 나오는 값들의 모임"입니다. 둘은 다를 수 있고, 그 차이가 의미를 가지는 자리가 있습니다. softmax가 그렇습니다.

softmax:Rn→Rn\mathrm{softmax}: \mathbb{R}^{n} \rightarrow \mathbb{R}^{n}

공역은 Rn\mathbb{R}^n 전체지만, 실제로 나오는 값은 "모든 성분이 양수이고 합이 1인 벡터"뿐입니다. 성분이 음이 아니고 합이 1인 벡터 전체를 확률 단체라 부르고 Δn−1\Delta^{n-1}로 씁니다. 그래서 더 정확한 표기는 이렇습니다.

softmax:Rn→Δn−1\mathrm{softmax}: \mathbb{R}^{n} \rightarrow \Delta^{n-1}

이 구별이 실무에서 의미를 갖는 이유는 softmax의 출력이 절대 도달하지 못하는 값이 있기 때문입니다. 성분이 정확히 0이나 정확히 1인 벡터는 상에 없습니다 — eze^{z}는 어떤 실수 zz에 대해서도 0이 되지 않으니까요. 지난 글에서 본 마스킹이 −∞-\infty를 넣는 이유가 여기 있습니다. 유한한 값으로는 가중치를 정확히 0으로 만들 수 없고, 극한으로 밀어야만 0이 됩니다. 그리고 실제 구현이 −∞-\infty 대신 -1e9를 쓰는 순간 그 0은 "아주 작은 양수"가 됩니다.

합성과 셰이프 검사

층을 쌓는 일은 함수를 합성하는 일입니다. 피드포워드 층 하나를 두 사상으로 적으면 이렇습니다.

f1:R768→R3072,f2:R3072→R768f_1: \mathbb{R}^{768} \rightarrow \mathbb{R}^{3072}, \qquad f_2: \mathbb{R}^{3072} \rightarrow \mathbb{R}^{768}

합성 f2∘f1f_2 \circ f_1이 정의되려면 앞 함수의 공역과 뒤 함수의 정의역이 맞아야 합니다. 여기서는 둘 다 R3072\mathbb{R}^{3072}이니 맞고, 합성 전체는 R768→R768\mathbb{R}^{768} \rightarrow \mathbb{R}^{768}입니다. 입력과 출력이 같은 공간이라 잔차 연결로 입력을 그대로 더할 수 있다는 것도 이 한 줄에서 읽힙니다.

이 검사는 코드의 셰이프 검사와 같은 일입니다. nn.Linear(768, 3072) 다음에 nn.Linear(3072, 768)을 놓는 것이 바로 공역과 정의역을 맞추는 일이고, 둘째 층을 실수로 nn.Linear(768, 768)로 적으면 처음에 본 것과 같은 꼴의 에러가 납니다. 사상 표기를 먼저 적어 보는 습관은 그 에러를 코드를 돌리기 전에 종이 위에서 잡는 방법입니다.

LayerNorm 읽기

기호 분류

지금까지의 규약으로 실제 식 하나를 끝까지 읽어 봅니다. LayerNorm입니다.

LN(x)=γ⊙x−μσ2+ϵ+β\mathrm{LN}(x) = \gamma \odot \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} + \beta

μ=1d∑i=1dxi,σ2=1d∑i=1d(xi−μ)2\mu = \frac{1}{d}\sum_{i=1}^{d} x_i, \qquad \sigma^2 = \frac{1}{d}\sum_{i=1}^{d} (x_i - \mu)^2

기호를 하나씩 분류합니다.

기호 무엇인가 셰이프 근거
xx 벡터 (토큰 하나의 은닉) (d,) 소문자에 첨자로 원소를 꺼냄
xix_i 스칼라 () 숫자 인덱스가 축을 없앰
μ\mu, σ2\sigma^2 스칼라 () dd개를 합쳐 하나로
ϵ\epsilon 스칼라 상수 () 희랍 문자, 학습 대상 아님
γ\gamma, β\beta 벡터 (학습 파라미터) (d,) ⊙\odot의 상대이므로 xx와 같은 셰이프
⊙\odot 원소별 곱 — 행렬곱이면 셰이프가 안 맞음

γ\gamma가 벡터라는 것은 식 어디에도 안 적혀 있습니다. ⊙\odot가 원소별 곱이고 상대가 (d,)이므로 γ\gamma도 (d,)여야 한다는 것으로 알아냅니다. 앞에서 본 「연산자에서 거꾸로 추론하기」가 바로 이것이고, 이렇게 연산자가 셰이프를 강제하는 관계를 따라가는 것이 수식 읽기의 실제 작업입니다. μ\mu와 σ2\sigma^2는 희랍 문자 규칙대로 학습 대상이 아니지만 하이퍼파라미터도 아니고 입력에서 계산되는 값이라는 점도 표가 보여 줍니다 — 희랍 문자 규칙은 「학습하지 않는다」까지만 말하고, 정해 넣는 상수인지 계산값인지는 정의한 줄이 말합니다.

배치로 확장

이제 배치로 확장합니다. 코드에서 x.shape == (B, T, d)라면 어느 축으로 평균을 낼까요? 식의 ∑i=1d\sum_{i=1}^{d}가 답입니다. dd에 대해서만 더하므로 마지막 축입니다. 배치 축 BB와 시퀀스 축 TT는 식에 없는 축이므로 건드리지 않고, 토큰마다 따로 평균을 냅니다.

import numpy as np

B, T, d = 2, 4, 8
rng = np.random.default_rng(0)
x = rng.normal(size=(B, T, d))
gamma = rng.normal(size=(d,))
beta = rng.normal(size=(d,))
eps = 1e-5

mu = x.mean(axis=-1, keepdims=True)        # (B, T, 1)
var = x.var(axis=-1, keepdims=True)        # (B, T, 1)
out = gamma * (x - mu) / np.sqrt(var + eps) + beta

print(out.shape)                            # (2, 4, 8)
print(np.allclose(((x - mu) / np.sqrt(var + eps)).mean(-1), 0, atol=1e-12))
print(np.allclose(((x - mu) / np.sqrt(var + eps)).std(-1), 1, atol=1e-4))

keepdims=True가 필요한 이유도 표기에서 나옵니다. μ\mu는 스칼라지만 x−μx - \mu에서는 dd개 성분 전부에서 빼야 합니다. 수식은 이 반복을 안 적고 넘어가지만 — 스칼라를 벡터에서 빼는 것을 당연하게 봅니다 — 코드에서는 축을 남겨 두어야 브로드캐스팅이 그 반복을 대신합니다. keepdims 없이 평균을 내면 mu가 (B, T)가 되고, 오른쪽 끝부터 맞추는 규칙 때문에 T가 d 자리와 맞붙어 셰이프가 안 맞거나, 우연히 T와 d가 같으면 에러도 없이 엉뚱한 값을 뺍니다. 논문 식이 생략한 것을 코드가 명시해야 하는 대표적인 자리입니다. 반대로 γ\gamma는 (d,) 그대로 두어도 됩니다. 마지막 축을 따라 붙어야 하는 값이라 편향과 같은 방식으로 브로드캐스팅되기 때문입니다.

엡실론의 자리

식을 코드로 옮길 때 실제로 갈리는 자리가 둘 있습니다. 첫째는 ϵ\epsilon이 근호 안에 있는가 밖에 있는가입니다. 위 LayerNorm 식은 σ2+ϵ\sqrt{\sigma^2 + \epsilon}으로 안에 두고, PyTorch의 nn.LayerNorm도 그렇게 계산합니다. 반면 앞에서 본 Adam은 v^+ϵ\sqrt{\hat{v}} + \epsilon으로 밖에 둡니다. 둘 다 0으로 나누지 않으려고 넣은 작은 수인데, 자리가 다르면 값이 달라집니다.

ϵ=10−5\epsilon = 10^{-5}으로 두고 분모의 역수, 곧 정규화가 곱하는 배율을 세어 봅니다. 분산이 σ2=1\sigma^2 = 1이면 안쪽은 1/1.00001≈0.9999951/\sqrt{1.00001} \approx 0.999995, 바깥쪽은 1/1.00001≈0.999991/1.00001 \approx 0.99999로 거의 같습니다. 분산이 아주 작은 σ2=10−6\sigma^2 = 10^{-6}이면 사정이 다릅니다. 안쪽은 1/1.1×10−5≈301.51/\sqrt{1.1 \times 10^{-5}} \approx 301.5이고 바깥쪽은 1/(0.001+0.00001)≈990.11/(0.001 + 0.00001) \approx 990.1입니다. 같은 입력에 세 배 넘게 다른 배율이 곱해집니다.

엡실론의 자리에 따라 갈리는 배율

분산이 클 때는 ϵ\epsilon이 묻혀 차이가 안 보이고, 분산이 ϵ\epsilon과 비슷하거나 작아지는 자리에서만 드러납니다. 그래서 논문을 보고 직접 구현한 LayerNorm이 대부분의 입력에서는 라이브러리와 같은 값을 내다가, 거의 상수에 가까운 토큰에서만 다른 값을 냅니다. 식을 옮길 때 괄호와 근호가 어디까지 덮는지를 한 글자씩 대조해야 하는 이유입니다.

분산의 분모

둘째는 분산의 분모입니다. LayerNorm 식은 1d\frac{1}{d}로 나누고, PyTorch의 nn.LayerNorm도 dd로 나누는 분산을 씁니다. 그런데 직접 구현할 때 고르는 함수의 기본값이 라이브러리마다 다릅니다. NumPy의 x.var()는 기본이 dd로 나누는 쪽이고, PyTorch의 torch.var는 기본이 d−1d - 1로 나누는 쪽입니다. 위 코드가 NumPy라 식과 맞았지만, 같은 줄을 PyTorch 텐서에 그대로 쓰면 다른 분산이 나옵니다.

d=4d = 4인 벡터 x=(1,2,3,6)x = (1, 2, 3, 6)으로 세어 봅니다. 평균은 μ=3\mu = 3이고 편차는 −2,−1,0,3-2, -1, 0, 3, 그 제곱의 합은 4+1+0+9=144 + 1 + 0 + 9 = 14입니다. dd로 나누면 분산이 3.53.5이고 d−1d - 1로 나누면 4.674.67입니다. 정규화한 값으로 옮기면 마지막 성분이 3/3.5≈1.603/\sqrt{3.5} \approx 1.60과 3/4.67≈1.393/\sqrt{4.67} \approx 1.39로 갈립니다. 둘 다 그럴듯한 숫자라 에러도 경고도 없고, 라이브러리의 LayerNorm과 값을 맞춰 볼 때에야 드러납니다. 식에 적힌 1d\frac{1}{d}을 그대로 따른다는 것은 PyTorch에서 x.var(dim=-1, unbiased=False)처럼 분모를 명시하는 것까지 포함합니다.

정리

읽는 차례

이 글의 규약을 기호를 만났을 때 묻는 차례로 다시 묶으면 다섯 줄입니다.

  1. 글꼴과 셰이프 표기로 축이 몇 개인지 정한다 — 소문자·굵은 소문자·대문자·필기체, 또는 RB×T×d\mathbb{R}^{B \times T \times d}.
  2. 이 논문이 벡터를 열로 세우는지 행으로 눕히는지 정하고, 가중치가 (출력, 입력)인지 (입력, 출력)인지 맞춘다.
  3. 첨자마다 인덱스인지 라벨인지 가리고, 위아래로 겹쳤으면 무엇이 시각이고 무엇이 층인지 가른다. 1부터 센 번호는 코드에서 하나 뺀다.
  4. 연산 기호가 축을 없애는지(내적·합), 더하는지(외적·연결), 그대로 두는지(원소별 곱·원소별 근호) 본다.
  5. 식에 없는 배치 축은 코드에서 앞에 붙이고, 그 축이 브로드캐스팅으로 메워지는지 확인한다.

처음의 에러

처음의 에러를 다시 봅니다.

RuntimeError: mat1 and mat2 shapes cannot be multiplied (512x768 and 768x512)

이제 이 메시지는 버그가 아니라 관례 충돌로 읽힙니다. 논문의 WW는 d′×dd' \times d로 정의됐고 코드의 x는 토큰을 행에 쌓은 n×dn \times d입니다. WxWx를 그대로 옮기면 축이 안 맞고, 옳은 번역은 x @ W.T입니다. 만약 그 논문이 Transformer의 FFN처럼 xWxW로 적는 행벡터 관례였다면 번역은 전치 없는 x @ W였을 것이고, 어느 쪽인지는 식의 곱셈 순서 하나가 알려 줍니다. 셰이프를 출력해 가며 전치를 붙였다 뗐다 할 필요가 없습니다 — 식을 보고 미리 알 수 있습니다.

이 글의 규약으로 아직 못 읽는 것이 하나 남아 있습니다. ∑i=1d\sum_{i=1}^{d} 같은 합 기호에서, 어떤 첨자가 결과에 남고 어떤 첨자가 합쳐져 사라지는지입니다. LayerNorm에서는 ii가 사라지고 남는 축이 없어 스칼라가 됐지만, QK⊤QK^\top처럼 첨자가 셋 이상 얽히면 눈으로 따라가기 어렵습니다. 다음 글이 그 규칙을 정하고, 그것을 einsum 한 줄로 옮기는 방법까지 갑니다.


읽어주셔서 감사합니다. 😊

LATEST

수학의 최신 글

수학2026.11.17

다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일

차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.

고급46 MIN
수학2026.11.17

프리컨디셔닝의 이론: Adam에서 K-FAC·Shampoo·Muon까지 한 줄로

갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.

고급41 MIN
수학2026.11.17

확률적 근사와 SGD의 연속 극한: 수렴한다는 말의 정확한 뜻

로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.

고급48 MIN