논문에 적힌 식을 그대로 코드로 옮겼는데 이런 게 뜹니다.
RuntimeError: mat1 and mat2 shapes cannot be multiplied (512x768 and 768x512)
식에는 분명히 라고 적혀 있었고, 그대로 W @ x라고 썼습니다. 그런데 안 됩니다. 순서를 바꿔 x @ W로 하면 되기도 하고 여전히 안 되기도 합니다. 이쯤 되면 셰이프를 하나씩 출력해 보며 맞을 때까지 전치를 붙였다 뗐다 하게 되는데, 그건 식을 읽은 게 아니라 맞춘 것입니다. 여기서 셰이프는 배열의 축마다 길이를 적은 튜플입니다 — (512, 768)이면 축이 둘이고 첫 축의 길이가 512, 둘째 축이 768입니다.
지난 글에서 어텐션 한 줄을 다섯 자리로 쪼개면서, 첫째 자리에 걸린 질문이 "가 벡터인가 행렬인가"였습니다. 이 글이 그 질문을 답합니다. 논문은 어떤 기호가 몇 개의 축을 가진 대상인지를 글자 모양으로 알립니다. 그 규약을 알면 셰이프 에러의 절반은 코드를 돌리기 전에 사라집니다. 나머지 절반은 규약끼리 부딪히는 자리에서 생기는데, 그 자리도 이 글에서 하나씩 짚습니다.
글꼴과 자료형
표기 사다리
대부분의 머신러닝 논문은 다음 네 층을 글자 모양으로 구별합니다. 축이 없는 수 하나가 스칼라, 축이 하나면 벡터, 둘이면 행렬, 셋 이상이면 텐서입니다. 이 넷은 따로 노는 네 종류가 아니라 축을 하나씩 더해 가며 올라가는 사다리이고, 글꼴이 그 사다리의 몇째 칸인지를 알려 줍니다.
| 표기 | 대상 | 축 개수 | 코드에서의 셰이프 | AI에서의 예 |
|---|---|---|---|---|
| , , | 스칼라 | 0 | () |
학습률, 차원 수 |
| , | 벡터 | 1 | (768,) |
토큰 임베딩 하나 |
| , | 행렬 | 2 | (512, 768) |
문장 하나의 은닉 상태 |
| , | 텐서 | 3 이상 | (8, 512, 768) |
배치 전체의 은닉 상태 |
굵게 쓰지 않는 논문도 많습니다. 특히 Attention Is All You Need처럼 굵은 글씨를 안 쓰는 논문에서는 가 대문자라는 것 하나로 행렬임을 알아야 합니다. 대문자는 거의 항상 행렬 이상이라고 보면 맞습니다. 소문자면 스칼라 아니면 벡터인데, 그 둘은 문맥과 첨자로 갈립니다 — 처럼 첨자가 붙어 있으면 보통 벡터들의 모임에서 하나를 꺼낸 것이라 벡터입니다.
필기체와 희랍 문자
필기체 는 텐서 말고 집합에도 씁니다. 가 데이터셋, 가 어휘 집합, 이 정규분포를 뜻하는 식입니다. 같은 글꼴이 두 가지 일을 하므로 이 글꼴만은 모양으로 단정하지 못하고, 그 기호가 처음 정의된 문장을 확인해야 합니다. 뒤에 처럼 세로 막대가 붙어 원소 개수를 세고 있다면 집합이고, 첨자 셋으로 원소를 꺼내고 있다면 텐서입니다.
희랍 문자는 대개 학습 대상이 아닌 값입니다. (학습률), (모멘텀 계수), (수치 안정용 작은 수), (정규화 세기), (온도)가 그렇습니다. 사람이 미리 정해 넣고 학습이 건드리지 않는 이런 값을 하이퍼파라미터라 부르는데, 희랍 문자가 그 자리를 거의 독차지합니다. 반면 와 는 예외적으로 "모델 파라미터 전부"를 한 글자로 묶은 것이고, 그래서 는 "파라미터가 인 모델이 주는 확률"로 읽습니다. 수백만 개의 숫자가 글자 하나에 들어 있으니 는 모양만 보면 스칼라 같아도 실제로는 거대한 벡터입니다. 이것이 글꼴 규약의 가장 큰 예외입니다.
축 이름 표기
딥러닝 논문에는 글꼴로 가르지 않는 관행이 하나 더 있습니다. 기호마다 셰이프를 통째로 적어 버리는 방식입니다.
이렇게 적으면 가 소문자여도 축이 셋인 텐서라는 것이 바로 보입니다. 게다가 축마다 이름이 붙어 있습니다 — 는 배치 크기, 는 시퀀스 길이, 는 은닉 차원입니다. 이 꼴에서는 글꼴이 아니라 축 이름이 자료형을 정합니다. 코드로 옮길 때도 이쪽이 더 편한데, h.shape == (B, T, d)를 그대로 적어 넣으면 되고 어느 축이 몇째 자리인지도 식이 이미 정해 두었기 때문입니다. 반대로 글꼴 규약만 쓰는 논문은 가 텐서라는 것까지만 알려 주고 축의 차례는 말해 주지 않으므로, 차례는 그 기호를 정의한 문장에서 따로 찾아야 합니다.
Notation 절
논문 앞쪽에 기호의 뜻을 모아 둔 절을 Notation 절이라 부릅니다. 「굵은 소문자는 열벡터, 굵은 대문자는 행렬」 같은 문장이 거기 있고, 이 글이 소개하는 규약 대부분이 그 절에서 한 번 선언됩니다. 문제는 이 절이 없는 논문이 더 많다는 것입니다. 그때는 다음 차례로 거슬러 찾습니다.
첫째, Notation 절이나 Preliminaries 절이 있는지 봅니다. 둘째, 없으면 그 기호가 처음 나온 문장을 찾습니다. 대개 식 바로 뒤에 "where is …" 꼴로 붙어 있습니다. 셋째, 그것도 없으면 연산자에서 거꾸로 셰이프를 추론합니다 — 에서 가 벡터라면 도 같은 셰이프여야 하는 식으로, 이 방법은 뒤의 LayerNorm 절에서 실제로 씁니다. 넷째, 그래도 갈리지 않으면 공개된 코드 저장소에서 그 변수의 셰이프를 확인합니다. 마지막 단계까지 가는 일은 드물고, 대부분은 둘째 단계에서 끝납니다.
열벡터 관례
열벡터와 행 우선
앞의 에러로 돌아갑니다. 가 코드에서 W @ x로 안 되는 이유는 논문의 가 열벡터이기 때문입니다.
수학에서 아무 말 없이 라고 쓰면 그것은 짜리 세로 벡터, 곧 열벡터입니다. 그래서 를 왼쪽에 곱하면 로 모양이 맞습니다. 행렬곱이 성립하려면 왼쪽 것의 열 수와 오른쪽 것의 행 수가 같아야 하고, 결과는 바깥쪽 두 수를 남깁니다.
그런데 코드에서 텐서 하나는 벡터 하나가 아니라 여러 표본의 묶음입니다. 토큰 512개를 한 번에 처리하니 x.shape == (512, 768)이고, 토큰 하나하나가 행으로 누워 있습니다. 표본 하나를 행 하나에 담는 이 배치를 행 우선 관례라 부르겠습니다. 행으로 누운 벡터에 변환을 걸려면 오른쪽에서 곱해야 합니다.
즉 논문의 는 코드에서 x @ W.T입니다. 그리고 PyTorch의 nn.Linear는 이 전치를 안에서 대신 해 줍니다 — nn.Linear(d, d')의 weight 셰이프가 (d', d)인 것이 그 증거입니다. 논문의 와 같은 모양으로 저장해 두고, 계산할 때 를 합니다.
어텐션 식이 인 것도 이 관례 때문입니다. 와 가 둘 다 토큰을 행에 쌓은 이므로, 모든 쌍의 내적을 얻으려면 오른쪽 것을 전치해야 합니다. 만약 논문이 토큰을 열에 쌓는 관례를 택했다면 같은 계산이 로 적혔을 겁니다. 식이 달라 보여도 계산은 같습니다. 논문을 읽을 때 가장 먼저 확인할 것은 "이 논문은 토큰을 행에 쌓는가 열에 쌓는가"입니다.
행벡터 관례
관례가 둘뿐이면 편하겠지만 세 번째가 있습니다. 벡터 하나를 처음부터 행벡터로 두고 행렬을 오른쪽에 곱하는 논문들입니다. Attention Is All You Need의 피드포워드 층이 바로 그 꼴입니다.
여기서 는 행벡터이고 은 입니다. 열벡터 관례로 쓰면 같은 층이 가 되고 의 셰이프가 뒤집혀 이 됩니다. 수식만 놓고 보면 두 논문의 은 서로의 전치입니다.
이 관례의 장점은 코드와 모양이 같다는 것입니다. 행 우선 코드에서 x @ W1을 그대로 쓰면 되고 전치가 끼지 않습니다. 대신 이 식을 nn.Linear로 옮길 때는 반대로 전치가 끼어듭니다. 논문의 을 불러와 nn.Linear의 weight에 넣으려면 W1.T를 넣어야 합니다. 같은 층인데 어느 관례로 적었느냐에 따라 전치가 식에 붙기도 하고 코드에 붙기도 하는 것입니다. 그래서 가중치 셰이프를 볼 때는 언제나 「(입력, 출력)으로 저장했나, (출력, 입력)으로 저장했나」를 먼저 묻습니다.
배치 축과 편향
논문의 식은 거의 언제나 표본 하나짜리입니다. 에는 배치 축이 없습니다. 배치는 「같은 식을 표본마다 따로 계산한다」는 뜻일 뿐이라, 수식에는 굳이 안 적고 코드에만 나타납니다. 그래서 식의 가 (d,)라면 코드의 x는 (B, d)이고, 3차원 입력이면 (B, T, d)입니다. 식에 없는 축이 코드에서 하나 둘 앞에 붙어 있다고 보면 됩니다.
이 생략이 편향 에서 표가 납니다. 식에서 는 와 같은 차원 벡터이고 그대로 더해집니다. 코드에서 nn.Linear의 bias도 셰이프가 (d',)인데, 결과 y는 (B, T, d')입니다. 길이가 다른 둘을 더할 수 있는 것은 브로드캐스팅 덕분입니다. 브로드캐스팅은 셰이프를 오른쪽 끝부터 맞춰 보고, 모자란 앞쪽 축은 같은 값을 되풀이한 것으로 쳐서 계산하는 규칙입니다. (d',)는 오른쪽 끝 축이 d'로 맞으니 (B, T) 위치마다 같은 가 더해집니다. 식이 생략한 배치 축을 브로드캐스팅이 메워 주는 구조이고, 그래서 편향은 언제나 마지막 축을 따라 붙습니다.
첨자
인덱스와 라벨
첨자는 두 가지 일을 합니다. 하나는 인덱스(몇 번째인가), 다른 하나는 라벨(어느 것인가)입니다. 인덱스는 세는 수라서 바꿔 넣을 수 있고, 라벨은 이름의 일부라서 바꿀 수 없습니다. 둘을 구별하는 규칙은 대체로 이렇습니다.
| 표기 | 읽는 법 | 코드 대응 |
|---|---|---|
| 번째 원소 또는 번째 벡터 | x[i] |
|
| 행 열 원소 (스칼라) | X[i, j] |
|
| 번째 층의 은닉 상태 | 층 인덱스 — 거듭제곱이 아니다 | |
| 번째 데이터 샘플 | batch[i] |
|
| , | 질의용·키용 가중치 (라벨) | 서로 다른 파라미터 |
| 제곱 | x ** 2 |
|
| 전치 | X.T |
|
| 역행렬 | np.linalg.inv(A) |
가장 자주 헷갈리는 자리가 괄호 친 위 첨자입니다. 의 은 거듭제곱이 아니라 층 번호입니다. 괄호가 있으면 인덱스, 없으면 거듭제곱 — 이것이 관례고, 그래서 논문에서 같은 식이 자연스럽게 읽힙니다. 반면 아래 첨자에 붙은 알파벳 라벨(의 )은 세지 않습니다. 그건 이름의 일부입니다.
, , 도 같은 이치입니다. 에 를 곱한 것이 아니라, "키 벡터의 차원"이라는 이름 하나입니다. 라벨인지 인덱스인지 헷갈리면 그 첨자를 다른 수로 바꿔 넣어 봅니다. 은 「셋째 층」으로 말이 되지만 을 자리에 넣으면 말이 안 됩니다. 바꿔 넣어 말이 되면 인덱스입니다.
겹친 첨자
순환 신경망을 여러 층 쌓은 논문에서는 첨자가 위아래로 함께 붙습니다.
이 식에는 축이 둘 얽혀 있습니다. 아래 첨자 는 시각, 괄호 친 위 첨자 은 층입니다. 그래서 은 「층의 시각 은닉 상태」 하나이고, 오른쪽 두 항은 각각 다른 방향에서 들어옵니다. 은 같은 시각 바로 아래 층에서, 은 같은 층 바로 앞 시각에서 옵니다. 층이 셋, 시각이 넷인 격자를 그려 보면 칸 하나가 왼쪽 칸과 아래 칸을 받는 모양이 됩니다.
가르는 요령은 「무엇이 바뀌는가」를 한 항씩 보는 것입니다. 에서 로 가면 위 첨자는 그대로이고 아래 첨자만 줄었으니 시간 방향으로 한 칸 간 것입니다. 이것이 축 둘이 얽힌 식을 읽는 기본 동작이고, 처럼 가중치에 층 첨자만 붙고 시각 첨자가 없다는 것도 같은 방법으로 읽힙니다 — 시각이 바뀌어도 같은 가중치를 쓴다는 뜻, 곧 시간 축으로 가중치를 공유한다는 뜻입니다. 코드에서는 이 격자를 (L, T, d) 셰이프의 텐서 하나에 담기도 하고 리스트의 리스트로 두기도 하는데, 두 축의 차례는 식이 정해 주지 않으니 구현마다 확인해야 합니다.
슬라이스와 콜론
한 축 전체를 가져오는 표기는 콜론입니다. 숫자 대신 콜론을 넣어 그 축을 통째로 남기고 나머지 축에서만 고르는 이 조작을 슬라이스라 부릅니다. 논문에서도 코드에서도 같은 모양입니다.
| 표기 | 뜻 | 셰이프 | 코드 |
|---|---|---|---|
| 원소 하나 | 스칼라 | X[i, j] |
|
| 번째 행 전체 | X[i, :] |
||
| 번째 열 전체 | X[:, j] |
||
| 배치 의 번 토큰 | h[b, t, :] |
콜론을 생략하는 논문도 많습니다. 라고만 써 놓고 그것이 번째 행을 뜻하는 경우가 흔한데, 앞에서 본 행 우선 관례 때문입니다. 토큰을 행에 쌓았으니 "번째 것"은 자연히 번째 행입니다.
여기서 읽기의 핵심은 셰이프가 줄어드는가 유지되는가입니다. 숫자 인덱스는 그 축을 없애고, 콜론은 그 축을 남깁니다. 는 세 축 중 둘이 사라져 벡터 하나가 되고, 는 한 축만 사라져 행렬이 됩니다. 셰이프 (8, 512, 768)에서 시작하면 앞쪽은 (768,), 뒤쪽은 (512, 768)입니다. 이 감각이 있으면 식을 보고 결과의 셰이프를 미리 말할 수 있습니다.
0-기반과 1-기반
논문은 거의 언제나 1부터 셉니다. 는 부터 까지입니다. 파이썬과 NumPy는 0부터 세서 같은 범위가 x[0]부터 x[d-1]까지, 곧 range(d)입니다. 합 전체를 옮길 때는 범위가 통째로 한 칸 밀릴 뿐이라 문제가 안 되지만, 특정 번호를 집는 자리에서는 하나씩 어긋납니다.
가장 흔한 자리가 초기 상태가 있는 점화식입니다. 순환 신경망 식 에서 논문은 로 돌리고 을 초기 상태로 둡니다. 코드에서는 입력 x가 길이 라 x[0]부터 x[T-1]까지인데, 은닉 상태 리스트 h는 초기 상태까지 담아 길이가 입니다. 그러면 논문의 는 코드의 x[t-1]이고 논문의 는 코드의 h[t]입니다. 같은 인데 한쪽은 1을 빼고 한쪽은 안 뺍니다. 예를 들어 에서 셋째 시각을 계산하면 h[3] = f(h[2], x[2])가 되는데, 이 줄을 x[3]으로 적는 순간 한 칸 뒤 입력을 먹게 되고 마지막 시각에서는 범위 밖으로 나가 에러가 납니다. 마지막 칸에서만 터지므로 앞쪽 시각만 출력해 보면 멀쩡해 보인다는 것이 이 어긋남의 고약한 점입니다.
연산 기호
원소별 연산
논문에서 자주 나오면서 코드 연산자와 헷갈리는 기호들을 차례로 봅니다. 첫째가 입니다. 같은 셰이프 두 개를 원소끼리 곱하는 아다마르 곱이고, 행렬곱이 아닙니다.
코드로는 A * B입니다. LSTM의 게이트, 드롭아웃 마스크, LayerNorm의 스케일 파라미터 가 전부 이 기호입니다. NumPy에서 *가 행렬곱이 아니라 원소별 곱인 이유가 여기 있습니다 — 행렬곱은 @로 따로 뺐습니다.
벡터나 행렬에 붙은 근호도 대개 원소별입니다. Adam의 갱신식이 그렇습니다.
여기서 는 파라미터와 같은 셰이프이고 는 원소마다 제곱근을 씌운 것입니다. 이면 이고, 나눗셈도 원소끼리입니다. 파라미터가 행렬이어도 마찬가지입니다. 행렬 에 대해 인 를 찾는 행렬 제곱근이라는 연산이 따로 있지만, Adam은 그 연산을 하지 않습니다. 대각 행렬이 아닌 한 두 연산의 결과는 다르므로, 근호가 행렬에 붙어 있으면 「원소별인가」를 먼저 확인합니다. 최적화 식에서는 거의 언제나 원소별입니다.
마지막으로 입니다. 이 기호는 보통 함수 합성, 곧 입니다. 그런데 일부 논문은 를 아다마르 곱으로 씁니다. 둘을 가르는 것은 양옆에 무엇이 오느냐입니다. 양옆이 함수면 합성이고, 셰이프가 같은 배열이면 원소별 곱입니다.
외적과 내적
는 외적 또는 크로네커 곱입니다. 벡터 두 개로 행렬을 만듭니다. , 일 때 는 행렬이고 입니다. 이렇게 축을 하나 더 만드는 곱을 외적이라 부릅니다. 코드로는 np.outer(a, b) 또는 a[:, None] * b[None, :]입니다. 뒤쪽 꼴은 앞에서 본 브로드캐스팅을 일부러 일으킨 것입니다 — (m, 1)과 (1, n)이 만나 (m, n)으로 퍼집니다.
외적의 반대편에 내적이 있습니다. 같은 길이의 두 벡터를 원소끼리 곱해 모두 더한 스칼라이고, 외적이 축을 더한다면 내적은 축을 없앱니다. 표기가 셋입니다. , , 가 논문마다 섞여 나오는데 전부 같은 계산입니다. 셋째 꼴 는 열벡터 관례에서 나온 것으로, 와 을 곱해 을 얻는 행렬곱입니다. 같은 두 벡터를 거꾸로 로 곱하면 행렬, 곧 외적이 됩니다. 전치 기호의 자리 하나로 결과가 스칼라와 행렬로 갈리는 셈이고, 이것도 열벡터 관례를 알아야 읽힙니다.
노름과 기댓값
는 노름, 곧 벡터의 크기입니다. 아래 첨자로 어떤 노름인지 밝힙니다. 는 유클리드 길이, 은 절댓값의 합입니다. 아래 첨자가 없으면 대개 입니다. 그래디언트 클리핑, 가중치 감쇠, 코사인 유사도의 분모가 전부 이 기호이고, 다음 글이 이것만 다룹니다.
는 기댓값입니다. 아래 첨자에 무엇에 대한 평균인지를 적습니다. 는 "에서 뽑은 에 대해 의 평균"입니다. 코드에서는 거의 항상 배치 평균, 즉 f(x).mean()으로 구현됩니다. 앞에서 식에는 배치 축이 없다고 했는데, 배치 축이 식에 드러나는 거의 유일한 자리가 바로 이 기호입니다. 손실 함수 식의 바깥에 가 씌워져 있으면 그것이 「표본마다 계산해서 평균 낸다」는 뜻이고, 코드의 마지막 .mean()이 그 기호의 번역입니다. 이 기호가 4단원부터 계속 나옵니다.
연결
마지막은 더하기처럼 보이지만 더하기가 아닌 기호입니다. 는 두 벡터를 이어 붙이는 연결입니다. 세미콜론은 「아래로 쌓는다」는 뜻이라 , 이면 입니다. 반면 는 길이가 달라 정의조차 안 됩니다. 연결은 길이를 더하고, 덧셈은 길이를 그대로 둡니다.
같은 일을 로 적는 논문도 있고 처럼 쉼표로 적는 논문도 있습니다. LSTM을 소개하는 많은 글이 로 적는데, 이때 는 은닉 상태와 입력을 이어 붙인 벡터이고 의 열 수가 두 길이의 합이어야 합니다. 그런데 는 다른 데서 배타적 논리합이나 직합으로도 쓰이므로, 처음 나온 문장에서 「concatenation」이라는 말이 붙었는지 확인합니다. 코드로는 torch.cat([a, b], dim=-1)이고, 배치 축이 앞에 붙은 코드에서는 dim=-1이 중요합니다. 식은 표본 하나짜리라 이을 축이 하나뿐이지만 코드에는 축이 여럿이라, 축을 안 밝히면 엉뚱하게 배치 축으로 이어 붙습니다.
사상 표기
정의역과 공역
함수를 소개하는 한 줄이 논문 곳곳에 있습니다.
"는 차원 실수 벡터를 받아 차원 실수 벡터를 내놓는다"로 읽습니다. 화살표 왼쪽이 정의역(무엇을 받는가), 오른쪽이 공역(어디에 값이 놓이는가)입니다. 코드로는 함수의 입력 셰이프와 출력 셰이프를 한 줄로 선언한 것이고, 사실상 타입 힌트입니다.
화살표가 하나 더 있습니다. 는 꼬리에 짧은 세로선이 달린 화살표인데, 와 하는 일이 다릅니다. 는 집합과 집합 사이에 놓여 「어디서 어디로」를 말하고, 는 원소와 원소 사이에 놓여 「이것이 저것이 된다」를 말합니다. 그래서 두 줄이 짝으로 나옵니다.
첫 줄은 셰이프 선언이고 둘째 줄은 계산 규칙입니다. 코드로 치면 앞이 함수 시그니처, 뒤가 함수 본문입니다.
공역과 상
여기서 자주 놓치는 구별이 공역과 상입니다. 공역은 "값이 놓일 수 있는 공간"이고, 상은 "실제로 나오는 값들의 모임"입니다. 둘은 다를 수 있고, 그 차이가 의미를 가지는 자리가 있습니다. softmax가 그렇습니다.
공역은 전체지만, 실제로 나오는 값은 "모든 성분이 양수이고 합이 1인 벡터"뿐입니다. 성분이 음이 아니고 합이 1인 벡터 전체를 확률 단체라 부르고 로 씁니다. 그래서 더 정확한 표기는 이렇습니다.
이 구별이 실무에서 의미를 갖는 이유는 softmax의 출력이 절대 도달하지 못하는 값이 있기 때문입니다. 성분이 정확히 0이나 정확히 1인 벡터는 상에 없습니다 — 는 어떤 실수 에 대해서도 0이 되지 않으니까요. 지난 글에서 본 마스킹이 를 넣는 이유가 여기 있습니다. 유한한 값으로는 가중치를 정확히 0으로 만들 수 없고, 극한으로 밀어야만 0이 됩니다. 그리고 실제 구현이 대신 -1e9를 쓰는 순간 그 0은 "아주 작은 양수"가 됩니다.
합성과 셰이프 검사
층을 쌓는 일은 함수를 합성하는 일입니다. 피드포워드 층 하나를 두 사상으로 적으면 이렇습니다.
합성 이 정의되려면 앞 함수의 공역과 뒤 함수의 정의역이 맞아야 합니다. 여기서는 둘 다 이니 맞고, 합성 전체는 입니다. 입력과 출력이 같은 공간이라 잔차 연결로 입력을 그대로 더할 수 있다는 것도 이 한 줄에서 읽힙니다.
이 검사는 코드의 셰이프 검사와 같은 일입니다. nn.Linear(768, 3072) 다음에 nn.Linear(3072, 768)을 놓는 것이 바로 공역과 정의역을 맞추는 일이고, 둘째 층을 실수로 nn.Linear(768, 768)로 적으면 처음에 본 것과 같은 꼴의 에러가 납니다. 사상 표기를 먼저 적어 보는 습관은 그 에러를 코드를 돌리기 전에 종이 위에서 잡는 방법입니다.
LayerNorm 읽기
기호 분류
지금까지의 규약으로 실제 식 하나를 끝까지 읽어 봅니다. LayerNorm입니다.
기호를 하나씩 분류합니다.
| 기호 | 무엇인가 | 셰이프 | 근거 |
|---|---|---|---|
| 벡터 (토큰 하나의 은닉) | (d,) |
소문자에 첨자로 원소를 꺼냄 | |
| 스칼라 | () |
숫자 인덱스가 축을 없앰 | |
| , | 스칼라 | () |
개를 합쳐 하나로 |
| 스칼라 상수 | () |
희랍 문자, 학습 대상 아님 | |
| , | 벡터 (학습 파라미터) | (d,) |
의 상대이므로 와 같은 셰이프 |
| 원소별 곱 | — | 행렬곱이면 셰이프가 안 맞음 |
가 벡터라는 것은 식 어디에도 안 적혀 있습니다. 가 원소별 곱이고 상대가 (d,)이므로 도 (d,)여야 한다는 것으로 알아냅니다. 앞에서 본 「연산자에서 거꾸로 추론하기」가 바로 이것이고, 이렇게 연산자가 셰이프를 강제하는 관계를 따라가는 것이 수식 읽기의 실제 작업입니다. 와 는 희랍 문자 규칙대로 학습 대상이 아니지만 하이퍼파라미터도 아니고 입력에서 계산되는 값이라는 점도 표가 보여 줍니다 — 희랍 문자 규칙은 「학습하지 않는다」까지만 말하고, 정해 넣는 상수인지 계산값인지는 정의한 줄이 말합니다.
배치로 확장
이제 배치로 확장합니다. 코드에서 x.shape == (B, T, d)라면 어느 축으로 평균을 낼까요? 식의 가 답입니다. 에 대해서만 더하므로 마지막 축입니다. 배치 축 와 시퀀스 축 는 식에 없는 축이므로 건드리지 않고, 토큰마다 따로 평균을 냅니다.
import numpy as np
B, T, d = 2, 4, 8
rng = np.random.default_rng(0)
x = rng.normal(size=(B, T, d))
gamma = rng.normal(size=(d,))
beta = rng.normal(size=(d,))
eps = 1e-5
mu = x.mean(axis=-1, keepdims=True) # (B, T, 1)
var = x.var(axis=-1, keepdims=True) # (B, T, 1)
out = gamma * (x - mu) / np.sqrt(var + eps) + beta
print(out.shape) # (2, 4, 8)
print(np.allclose(((x - mu) / np.sqrt(var + eps)).mean(-1), 0, atol=1e-12))
print(np.allclose(((x - mu) / np.sqrt(var + eps)).std(-1), 1, atol=1e-4))
keepdims=True가 필요한 이유도 표기에서 나옵니다. 는 스칼라지만 에서는 개 성분 전부에서 빼야 합니다. 수식은 이 반복을 안 적고 넘어가지만 — 스칼라를 벡터에서 빼는 것을 당연하게 봅니다 — 코드에서는 축을 남겨 두어야 브로드캐스팅이 그 반복을 대신합니다. keepdims 없이 평균을 내면 mu가 (B, T)가 되고, 오른쪽 끝부터 맞추는 규칙 때문에 T가 d 자리와 맞붙어 셰이프가 안 맞거나, 우연히 T와 d가 같으면 에러도 없이 엉뚱한 값을 뺍니다. 논문 식이 생략한 것을 코드가 명시해야 하는 대표적인 자리입니다. 반대로 는 (d,) 그대로 두어도 됩니다. 마지막 축을 따라 붙어야 하는 값이라 편향과 같은 방식으로 브로드캐스팅되기 때문입니다.
엡실론의 자리
식을 코드로 옮길 때 실제로 갈리는 자리가 둘 있습니다. 첫째는 이 근호 안에 있는가 밖에 있는가입니다. 위 LayerNorm 식은 으로 안에 두고, PyTorch의 nn.LayerNorm도 그렇게 계산합니다. 반면 앞에서 본 Adam은 으로 밖에 둡니다. 둘 다 0으로 나누지 않으려고 넣은 작은 수인데, 자리가 다르면 값이 달라집니다.
으로 두고 분모의 역수, 곧 정규화가 곱하는 배율을 세어 봅니다. 분산이 이면 안쪽은 , 바깥쪽은 로 거의 같습니다. 분산이 아주 작은 이면 사정이 다릅니다. 안쪽은 이고 바깥쪽은 입니다. 같은 입력에 세 배 넘게 다른 배율이 곱해집니다.
분산이 클 때는 이 묻혀 차이가 안 보이고, 분산이 과 비슷하거나 작아지는 자리에서만 드러납니다. 그래서 논문을 보고 직접 구현한 LayerNorm이 대부분의 입력에서는 라이브러리와 같은 값을 내다가, 거의 상수에 가까운 토큰에서만 다른 값을 냅니다. 식을 옮길 때 괄호와 근호가 어디까지 덮는지를 한 글자씩 대조해야 하는 이유입니다.
분산의 분모
둘째는 분산의 분모입니다. LayerNorm 식은 로 나누고, PyTorch의 nn.LayerNorm도 로 나누는 분산을 씁니다. 그런데 직접 구현할 때 고르는 함수의 기본값이 라이브러리마다 다릅니다. NumPy의 x.var()는 기본이 로 나누는 쪽이고, PyTorch의 torch.var는 기본이 로 나누는 쪽입니다. 위 코드가 NumPy라 식과 맞았지만, 같은 줄을 PyTorch 텐서에 그대로 쓰면 다른 분산이 나옵니다.
인 벡터 으로 세어 봅니다. 평균은 이고 편차는 , 그 제곱의 합은 입니다. 로 나누면 분산이 이고 로 나누면 입니다. 정규화한 값으로 옮기면 마지막 성분이 과 로 갈립니다. 둘 다 그럴듯한 숫자라 에러도 경고도 없고, 라이브러리의 LayerNorm과 값을 맞춰 볼 때에야 드러납니다. 식에 적힌 을 그대로 따른다는 것은 PyTorch에서 x.var(dim=-1, unbiased=False)처럼 분모를 명시하는 것까지 포함합니다.
정리
읽는 차례
이 글의 규약을 기호를 만났을 때 묻는 차례로 다시 묶으면 다섯 줄입니다.
- 글꼴과 셰이프 표기로 축이 몇 개인지 정한다 — 소문자·굵은 소문자·대문자·필기체, 또는 .
- 이 논문이 벡터를 열로 세우는지 행으로 눕히는지 정하고, 가중치가 (출력, 입력)인지 (입력, 출력)인지 맞춘다.
- 첨자마다 인덱스인지 라벨인지 가리고, 위아래로 겹쳤으면 무엇이 시각이고 무엇이 층인지 가른다. 1부터 센 번호는 코드에서 하나 뺀다.
- 연산 기호가 축을 없애는지(내적·합), 더하는지(외적·연결), 그대로 두는지(원소별 곱·원소별 근호) 본다.
- 식에 없는 배치 축은 코드에서 앞에 붙이고, 그 축이 브로드캐스팅으로 메워지는지 확인한다.
처음의 에러
처음의 에러를 다시 봅니다.
RuntimeError: mat1 and mat2 shapes cannot be multiplied (512x768 and 768x512)
이제 이 메시지는 버그가 아니라 관례 충돌로 읽힙니다. 논문의 는 로 정의됐고 코드의 x는 토큰을 행에 쌓은 입니다. 를 그대로 옮기면 축이 안 맞고, 옳은 번역은 x @ W.T입니다. 만약 그 논문이 Transformer의 FFN처럼 로 적는 행벡터 관례였다면 번역은 전치 없는 x @ W였을 것이고, 어느 쪽인지는 식의 곱셈 순서 하나가 알려 줍니다. 셰이프를 출력해 가며 전치를 붙였다 뗐다 할 필요가 없습니다 — 식을 보고 미리 알 수 있습니다.
이 글의 규약으로 아직 못 읽는 것이 하나 남아 있습니다. 같은 합 기호에서, 어떤 첨자가 결과에 남고 어떤 첨자가 합쳐져 사라지는지입니다. LayerNorm에서는 가 사라지고 남는 축이 없어 스칼라가 됐지만, 처럼 첨자가 셋 이상 얽히면 눈으로 따라가기 어렵습니다. 다음 글이 그 규칙을 정하고, 그것을 einsum 한 줄로 옮기는 방법까지 갑니다.
읽어주셔서 감사합니다. 😊

