논문 PDF를 열어 3페이지쯤 내려가면 Scaled Dot-Product Attention 절이 나오고, 거기에 식이 딱 한 줄 있습니다.
이 식이 안 읽히는 이유는 어텐션이 무엇인지 몰라서가 아닙니다. 어텐션이 왜 필요한지, Q와 K와 V가 각각 무슨 역할인지는 Self-Attention에서 이미 답이 나와 있습니다. 그 글을 읽고 나면 "질의와 키의 관련도를 재서 값을 섞는다"는 문장은 완벽하게 이해됩니다. 그런데도 식으로 돌아오면 다시 안 읽힙니다.
이유는 이 한 줄이 서로 다른 다섯 개의 수학을 이어 붙여 만든 문장이기 때문입니다. 는 선형대수고, 로 나누는 자리는 확률의 분산이고, softmax는 지수함수와 확률분포이고, 마지막 를 곱하는 자리는 다시 선형대수입니다. 여기에 식에는 아예 안 보이는 것이 넷 따라붙습니다 — Q·K·V를 만들어 내는 행렬, 식을 여러 벌 돌리는 헤드, 미래를 가리는 마스킹, 그리고 학습 때의 미분입니다. 한 문장 안에서 언어가 다섯 번 바뀌고 보이지 않는 문장이 넷 더 붙어 있으니 사전 하나로는 안 읽히는 게 당연합니다.
그래서 이 글은 식을 계산하지 않습니다. 대신 이 식을 읽으려면 무엇이 필요한가만 답합니다. 기호를 왼쪽부터 오른쪽까지 다섯 자리로 쪼개고, 자리마다 어떤 수학이 들어 있으며 그것이 이 커리큘럼의 몇 번째 글인지 대응시킵니다. 식 자체의 계산과 유도 — √dₖ가 왜 하필 제곱근인지, softmax를 미분하면 무엇이 나오는지 — 는 40번부터 43번 글에서 끝냅니다. 여기서는 지도만 그립니다.
소리 내어 읽기
다섯 자리
수식을 읽는 첫 단계는 소리 내어 읽는 것입니다. 기호를 눈으로 훑으면 덩어리로 뭉개지지만, 말로 옮기면 어디서 막히는지가 드러납니다. 위 식을 한국어로 그대로 읽으면 이렇습니다.
"큐, 케이, 브이를 받는 어텐션은, 큐와 케이 전치의 곱을 디케이의 제곱근으로 나눈 것에 소프트맥스를 씌우고, 거기에 브이를 곱한 것이다."
읽어 보면 막히는 자리가 정확히 다섯 군데입니다.
- Q, K, V가 무엇인가 — 숫자인가 벡터인가 행렬인가
- 의 전치와 곱셈이 무엇을 만드는가 — 곱한 결과가 무슨 모양이 되는가
- 왜 로 나누는가 — 그냥 상수로 나누는 것과 무엇이 다른가
- softmax가 무엇을 하는가 — 왜 하필 지수함수인가
- 마지막 가 왜 오른쪽에 붙는가 — 왼쪽에 붙이면 안 되는가
소리 내어 읽는 일이 쓸모 있는 이유는 막힌 자리마다 질문이 하나씩 붙기 때문입니다. "어텐션을 모르겠다"는 검색할 수 없지만 "전치한 행렬을 곱하면 모양이 어떻게 되나"는 검색할 수 있고, 답이 있는 글도 정해져 있습니다. 앞의 둘은 이 절에서, 뒤의 셋은 다음 절에서 하나씩 봅니다.
Q, K, V
, , 는 대문자입니다. 이 커리큘럼과 대부분의 논문에서 대문자 정자체는 행렬을 뜻합니다. 행렬은 숫자를 행과 열로 늘어놓은 표이고, Q 하나가 벡터 하나가 아니라 벡터 여러 개를 행으로 쌓아 놓은 표라는 뜻입니다. 토큰이 개라면 는 개의 행을 가집니다.
는 "실수를 원소로 하는 행 열짜리 행렬 전체의 모임"이고, 은 "그 모임에 속한다"는 뜻입니다. 이 한 줄을 코드로 옮기면 Q.shape == (n, d_k)입니다.
수를 넣어 보면 감이 옵니다. 토큰이 10개인 문장을 넣고 라면 는 10행 64열, 숫자 640개짜리 표입니다. 첫 행은 첫 토큰의 질의 벡터이고 열째 행은 열째 토큰의 질의 벡터입니다. 도 같은 10×64이고, 는 열의 수가 인데 보통 와 같은 64로 둡니다. 이 글은 아래에서도 이 10과 64를 계속 씁니다.
여기서 필요한 수학은 둘입니다. 하나는 표기 규약 — 왜 대문자가 행렬이고 왜 열이 아니라 행에 토큰을 쌓는지. 다른 하나는 벡터와 행렬이라는 대상 자체 — 임베딩 한 줄이 그냥 float 배열이 아니라 벡터라는 것이 무엇을 보장하는지입니다. 앞의 것은 바로 다음 글인 논문 수식 표기 규약이 맡고, 뒤의 것은 2단원(벡터)과 3단원(행렬)이 맡습니다.
QKᵀ
의 는 전치, 곧 행렬의 행과 열을 맞바꾸는 조작입니다. 가 였으니 는 이 되고, 그러면 곱셈의 모양이 맞습니다.
결과가 이라는 것이 이 자리의 전부입니다. 토큰 개에 대해 모든 쌍의 점수가 나왔다는 뜻이고, 이 행렬의 번째 칸은 번 토큰의 질의 벡터와 번 토큰의 키 벡터의 내적입니다.
앞의 수로 세면 10×64 행렬에 64×10 행렬을 곱해 10×10, 점수 100개가 나옵니다. 칸 하나는 64개의 곱을 더한 값이니 곱셈이 모두 6,400번입니다. 전치 없이 를 쓰면 10×64에 10×64를 곱하려는 셈이라 안쪽 수(64와 10)가 안 맞아 곱 자체가 정의되지 않습니다. 전치는 꾸밈이 아니라 곱이 성립하게 만드는 조작입니다.
여기 두 가지 수학이 겹쳐 있습니다. 행렬곱은 앞 행렬의 행과 뒤 행렬의 열을 짝지어 내적을 늘어놓는 연산이고, 모양이 어떻게 맞아떨어지는가의 규칙이 여기 있습니다(10번 글). 내적은 두 벡터의 같은 자리 성분끼리 곱해 모두 더한 수이고, 그 숫자 하나가 왜 "관련도"로 읽히는가의 의미가 여기 있습니다(6번 글). 둘은 다른 질문입니다. 행렬곱만 알면 셰이프는 맞출 수 있지만 왜 이게 유사도인지는 모릅니다. 내적이 와 같다는 것을 알아야 "방향이 비슷하면 커진다"는 해석이 붙습니다.
그리고 위 식의 기호와 첨자 , , 를 자유롭게 다루는 능력은 그 자체로 따로 배워야 하는 기술입니다. 어떤 첨자가 결과에 남고 어떤 첨자가 합쳐져 사라지는지 — 3번 글이 그것만 다룹니다. 위 식에서는 가 64번 돌며 더해져 사라지고, 와 가 결과 행렬의 행과 열로 남습니다.
점수에서 출력까지
√dₖ 스케일링
에서 분모는 상수입니다. 행렬의 모든 칸을 같은 숫자로 나눕니다. 면 8로 나누는 것이고, 점수 100개가 전부 8분의 1이 됩니다. 여기서 막히는 지점은 계산이 아니라 왜 하필 인가입니다.
답의 출발점은 확률입니다. 와 의 각 성분이 평균 0, 분산 1이고 서로 독립이라고 두면, 둘의 내적은 개 항의 합이므로 분산이 가 됩니다. 표준편차는 그 제곱근인 이고, 그것으로 나누면 점수의 표준편차가 다시 1로 돌아옵니다. 64차원이면 나누기 전 점수가 대략 ±8 안팎, 크게는 ±16까지 흩어지고, 8로 나누면 ±1, ±2 언저리로 돌아옵니다.
이 문장을 읽으려면 분산이 무엇이고 독립인 확률변수의 합에서 분산이 어떻게 더해지는가를 알아야 합니다. 21번 글(분산과 표본오차)이 그 도구를 만들고, 40번 글이 그 도구로 이 자리를 완전히 유도합니다. 지금은 "여기는 확률의 자리다"만 표시해 두면 충분합니다. 다만 하나는 미리 적어 둡니다 — 이 는 모델 전체의 폭이 아니라 헤드 하나의 폭입니다. 아래 멀티헤드에서 이것이 왜 중요한지 다시 만납니다.
softmax
softmax는 실수 벡터를 확률분포로 바꾸는 함수입니다. 여기서 확률분포는 모든 원소가 0 이상이고 합이 1인 벡터를 말합니다. 행렬에 씌울 때는 행마다 따로 적용합니다.
결과는 모든 원소가 0보다 크고 한 행의 합이 정확히 1입니다. 즉 점수 행렬의 각 행이 "이 토큰이 다른 토큰들에 나눠 줄 주의의 배분"이 됩니다. 점수 2.0, 1.0, 0.1에 지수를 씌우면 7.39, 2.72, 1.11이고 합이 11.21이라, 나누면 0.66, 0.24, 0.10이 됩니다. 점수 차이는 1과 0.9였는데 비율로는 2.7배와 2.5배로 벌어졌습니다. 지수함수가 큰 쪽을 더 크게 벌리는 모양이 그대로 드러납니다.
"행마다"는 코드에서 softmax(scores, dim=-1)의 dim=-1입니다. 마지막 축, 곧 열 방향을 따라 더해 1을 만든다는 뜻이고, 그래서 한 행 안의 값끼리 합이 1이 됩니다. 축을 dim=-2로 잘못 잡으면 같은 10×10 행렬이 나오고 오류도 안 나지만 이번에는 열마다 합이 1이 됩니다. "질의 하나가 키들에 주의를 나눈다"가 아니라 "키 하나가 질의들에 나눠진다"를 계산한 셈이고, 모양이 같아서 아무 데서도 안 걸립니다. 식의 "행마다"를 코드의 축 번호로 옮기는 일은 3번 글의 첨자 읽기가 맡습니다.
이 자리를 읽으려면 세 가지가 필요합니다. 지수함수와 로그의 성질(18번) — 왜 인가, 왜 상수를 빼도 값이 안 변하는가. 확률분포가 무엇인가(4단원) — 합이 1인 음이 아닌 벡터가 왜 분포인가. 그리고 softmax를 어디서 끌어냈는가(24번) — 이 함수가 하늘에서 떨어진 게 아니라 몇 가지 조건에서 유일하게 나오는 형태라는 것.
오른쪽의 V
마지막으로 softmax를 지난 행렬 에 ()를 곱합니다.
결과의 번째 행은 이렇게 생겼습니다.
계수 를 붙여 벡터 들을 더한 것 — 이처럼 벡터마다 수를 곱해 더하는 것을 선형결합이라 부릅니다. 그래서 어텐션의 출력은 언제나 값 벡터들이 만드는 공간 안에 머뭅니다. 새로운 방향이 생기지 않습니다. 이 사실은 4번 글(벡터와 선형결합)에서 정의되고 9번 글(행렬은 선형사상이다)에서 일반화됩니다. 앞의 수로 세면 10×10에 10×64를 곱해 다시 10×64가 나옵니다. 들어간 토큰 수와 나온 행의 수가 같으니, 어텐션은 토큰마다 새 64차원 벡터 하나를 돌려주는 층입니다.
가 왼쪽이 아니라 오른쪽에 붙는 이유도 여기 있습니다. 토큰을 행에 쌓는 관례를 택했으므로, "각 행을 섞는" 연산은 왼쪽에서 곱하는 가 맡고 결과는 오른쪽 피연산자의 열 구조를 물려받습니다. 관례를 반대로 잡은 논문은 식도 전치된 모양으로 씁니다. 같은 계산인데 식이 달라 보이는 흔한 원인이고, 다음 글이 이 문제만 따로 다룹니다.
직사각형 점수 행렬
지금까지 와 의 행 수를 똑같이 이라 적었습니다. 같은 문장에서 질의와 키를 모두 뽑는 셀프 어텐션에서는 맞는 말이지만, 식 어디에도 둘이 같아야 한다는 조건은 없습니다. 곱이 성립하려면 열의 수 만 같으면 됩니다. 그래서 행 수를 갈라 와 로 적는 편이 정확합니다.
둘이 실제로 갈리는 자리가 둘 있습니다. 하나는 크로스 어텐션으로, 질의는 한 문장에서 오고 키와 값은 다른 문장에서 오는 어텐션입니다. 번역 모델의 디코더가 지금까지 만든 6개 토큰으로 질의를 만들고, 인코더가 읽은 원문 10개 토큰으로 키와 값을 만들면 점수 행렬은 6×10입니다. softmax는 여전히 행마다 걸리므로 행 하나에 10칸, 곧 원문 토큰 10개에 주의를 나눕니다. 출력은 (6×10)에 (10×64)를 곱한 6×64 — 질의 쪽 행 수를 따라갑니다.
다른 하나는 KV 캐시로, 생성 중에 앞 토큰들의 키와 값을 저장해 두고 새 토큰 하나의 질의만 새로 계산하는 방식입니다. 100개 토큰이 캐시에 있고 101번째 토큰을 만들 때는 가 1×64, 가 101×64라 점수는 1×101, 한 줄짜리입니다. 정사각형이던 점수 행렬이 생성 단계에서는 가느다란 띠가 되는 것이고, 이 띠의 길이가 매 단계 하나씩 늘어나는 것이 긴 생성이 점점 느려지는 이유입니다.
이 셋을 같은 식 하나로 읽을 수 있다는 것이 셰이프 산술(10번)의 쓸모입니다. 식은 그대로이고 행 수만 바뀝니다.
식에 안 보이는 넷
여기까지가 종이에 인쇄된 기호 전부입니다. 그런데 실제 구현을 열어 보면 식에 없는 것이 넷 더 있습니다. 앞의 둘(가중치 행렬과 멀티헤드)은 식이 시작하기 전과 끝난 뒤에 붙고, 뒤의 둘(마스킹과 미분)은 식의 한가운데와 학습 단계에 붙습니다. 처음의 지도 아래 칸에 적은 둘이 뒤의 둘입니다.
가중치 행렬
식은 , , 를 받는 것으로 시작하지만, 그 셋은 어디서 오는가에 대해서는 말이 없습니다. 실제로는 입력 하나에서 세 번의 행렬곱으로 만들어집니다.
는 토큰마다 한 행씩 쌓은 입력으로 모양이고, 는 모델 전체의 폭입니다. 원 논문의 수로는 입니다. 는 , 곧 512×64라서 (10×512)에 곱하면 10×64인 가 나옵니다. 이 , , 를 가중치 행렬이라 부릅니다.
여기서 세 낱말의 사이가 정해집니다. 512×64 행렬 하나에 든 숫자 32,768개가 이 층의 파라미터입니다. 학습은 그 숫자들을 정하는 절차이고, 추론은 정해진 숫자로 위 세 곱과 어텐션 식을 계산만 하는 일입니다. 어텐션 식 자체에는 학습되는 숫자가 하나도 없습니다 — softmax도 나눗셈도 고정된 함수입니다. 그러니 "어텐션이 무엇을 배우는가"라는 질문의 답은 식이 아니라 식 밖의 들에 있습니다.
크로스 어텐션도 여기서 정확히 적을 수 있습니다. 디코더 쪽 입력 에 를 곱해 질의를 만들고, 인코더 쪽 에 와 를 곱해 키와 값을 만듭니다. 두 입력의 행 수가 다르니 위에서 본 직사각형이 나옵니다. 행렬 하나가 512차원 벡터를 64차원으로 보내는 함수라는 관점은 9번 글(행렬은 선형사상이다)의 것입니다.
멀티헤드
식은 한 번 돌리는 모양으로 적혀 있지만 실제 트랜스포머는 같은 식을 여러 벌 돌립니다. 가중치 행렬 한 벌(, , )과 그것으로 계산한 어텐션 한 번을 묶어 헤드라 부르고, 헤드 개를 나란히 돌리는 구조를 멀티헤드라 부릅니다. 원 논문은 입니다.
헤드마다 폭을 로 잡습니다. 512를 8로 나누면 64 — 앞에서 계속 쓴 64가 여기서 나온 수입니다. 실제 코드는 헤드 8개의 를 따로 두지 않고 512×512 행렬 하나로 곱한 뒤 결과 10×512를 64열씩 여덟 토막으로 자릅니다. 헤드마다 10×10 점수 행렬과 10×64 출력이 나오고, 여덟 출력을 옆으로 이어 붙이면 다시 10×512가 됩니다. 마지막으로 512×512인 를 곱해 섞습니다.
여기서 의 값이 정해집니다. 나누는 수는 헤드 하나의 폭 64의 제곱근 8이지, 모델 폭 512의 제곱근(약 22.6)이 아닙니다. 내적이 64개 항의 합이기 때문입니다. 512로 잘못 넣으면 점수가 거의 세 배 덜 흩어져 softmax가 지나치게 평평해지는데, 이것도 셰이프와 무관해서 오류 없이 돌아갑니다. 파라미터도 셀 수 있습니다 — , , , 가 각각 512×512로 262,144개씩, 합쳐 1,048,576개입니다. 자르고 붙이는 일은 셰이프 산술(10번)이고, 헤드 축을 첨자 하나로 적어 einsum으로 옮기는 일은 3번 글이 맡습니다.
마스킹
언어 모델은 뒤에 올 토큰을 미리 보면 안 됩니다. 그래서 softmax를 씌우기 전에 볼 수 없는 자리의 점수를 로 바꿉니다. 이 조작을 마스킹이라 하고, 바꿀 자리를 적어 둔 행렬을 마스크라 합니다. 식으로 쓰면 점수에 마스크 을 더하는 한 항이 늘어납니다.
은 점수와 같은 모양이고, 대각선과 그 아래가 0, 위가 입니다. 앞에서부터만 보게 하는 이 마스크를 인과 마스크라 부릅니다. 10×10이면 위 삼각형 45칸이 입니다. 그러면 이라 그 자리의 가중치가 정확히 0이 되고, 나머지 자리의 합은 여전히 1입니다. 첫 행은 자기 자신 한 칸만 남아 가중치가 1이고, 열째 행은 열 칸 전부에 주의를 나눕니다. 이것은 트릭이 아니라 지수함수의 끝값이 만드는 성질입니다(18번).
마스크가 더해지는 자리가 softmax 바깥이 아니라 안쪽이라는 점도 중요합니다. softmax를 다 계산한 뒤 미래 칸을 0으로 지우면 행의 합이 1보다 작아져 분포가 깨집니다. 실제 코드에서는 대신 -1e9 같은 큰 음수를 쓰는데, 왜 그래도 되는지 그리고 언제 그것이 깨지는지는 부동소수점의 문제라 12단원(유한한 기계의 수학)이 맡습니다. 70번(부동소수점)과 71번(수치적으로 안정한 계산 패턴)이 그 자리입니다.
미분과 드롭아웃
학습할 때는 이 식을 계산만 하는 게 아니라 미분합니다. 손실이 , , 를 만들어 낸 가중치 행렬들에 대해 어떻게 변하는지 알아야 그 숫자들을 고칠 수 있으니까요. 그러려면 softmax를 미분해야 하는데, 입력이 벡터고 출력도 벡터라서 미분의 결과가 숫자가 아니라 행렬이 됩니다. 출력 각 성분을 입력 각 성분으로 미분한 값을 늘어놓은 이 행렬을 야코비안이라 부릅니다. 길이 10인 행 하나에 softmax를 씌우면 야코비안은 10×10입니다. 6단원 전체가 이 도구를 만들고, 41번 글이 어텐션의 그래디언트를 끝까지 유도합니다.
학습 때만 붙는 것이 하나 더 있습니다. 많은 구현이 softmax를 지난 에 드롭아웃을 겁니다. 정해진 확률로 칸을 무작위로 0으로 만들고 남은 칸을 그만큼 키우는 조작입니다. 칸마다 "지울까 말까"를 정하는 것이 베르누이 확률변수이고(20번), 남은 칸을 키우는 배율은 기댓값을 그대로 지키려는 것입니다. 추론 때는 꺼지므로 같은 입력에 같은 출력이 나옵니다. 식에도 추론 코드에도 안 보이고 학습 코드에만 보이는 자리입니다.
기호와 글의 대응표
다섯 자리의 대응
지금까지의 대응을 한 표로 모읍니다. 어떤 자리에서 막혔을 때 어디로 가야 하는지가 이 표에 있습니다.
| 식에서의 자리 | 막히는 질문 | 필요한 수학 | 커리큘럼 위치 |
|---|---|---|---|
| 대문자 표기 | 이게 벡터인가 행렬인가 | 스칼라·벡터·행렬·텐서 표기 규약 | 2번 |
| 이 기호가 셰이프인가 | 정의역·공역, 원소와 슬라이스 표기 | 2번 | |
| 어떤 첨자가 사라지는가 | 시그마와 첨자, einsum | 3번 | |
| 임베딩 한 행 | 왜 배열이 아니라 벡터인가 | 벡터공간, 선형결합 | 4번 |
| 가 나오는 자리 | 크기를 어떻게 재는가 | 노름과 거리 | 5번 |
| 왜 이게 관련도인가 | 내적, 코사인, 코시-슈바르츠 | 6번 | |
| 전치가 무엇을 바꾸는가 | 행렬곱과 셰이프 산술 | 10번 | |
| 출력이 어디에 갇히는가 | 행렬은 선형사상이다 | 9번 | |
| 왜 하필 제곱근인가 | 분산, 독립합의 분산 | 21번 → 40번 | |
| 왜 지수함수인가 | 지수와 로그 | 18번 | |
| softmax 결과 | 왜 이것이 분포인가 | 확률분포, softmax의 유도 | 20번 → 24번 |
표를 세로로 훑어보면 한 가지가 보입니다. 어텐션 한 줄을 완전히 읽는 데 필요한 글이 커리큘럼 전반부에 고르게 흩어져 있다는 것입니다. 선형대수만 알아도 안 되고 확률만 알아도 안 됩니다. 그래서 이 커리큘럼의 순서는 수학 교과서의 논리 전개가 아니라 이 식의 데이터 흐름을 따릅니다. 벡터 → 행렬 → 확률 → 정보 → 미분 순서로 가면 43번째 글에서 이 한 줄이 통째로 닫힙니다.
숨은 자리의 대응
식에 안 보이는 넷과 셰이프가 갈리는 자리도 같은 방식으로 대응시킵니다. 위 표와 따로 둔 것은 이 자리들이 논문의 식이 아니라 코드를 읽을 때 막히기 때문입니다.
| 숨은 자리 | 막히는 질문 | 필요한 수학 | 커리큘럼 위치 |
|---|---|---|---|
| Q는 어디서 오는가 | 행렬은 선형사상이다 | 9번 | |
| 점수 행렬이 왜 직사각형인가 | 행렬곱과 셰이프 산술 | 10번 | |
| 헤드 쪼개기·붙이기 | 512가 어떻게 8×64가 되는가 | 셰이프 산술, einsum | 10번, 3번 |
| 마스크 | 왜 0이 되는가 | 지수함수의 끝값, 수치 안정성 | 18번 → 70번 → 71번 |
| 드롭아웃 | 왜 남은 칸을 키우는가 | 베르누이 확률변수, 기댓값 | 20번 |
| 미분 결과가 왜 행렬인가 | 연쇄법칙, 야코비안 | 33번 → 34번 → 41번 |
새 자리가 여섯 늘었는데 새 글 번호는 70번과 71번 둘뿐입니다. 나머지는 전부 위 표에 이미 있던 글입니다. 식에 안 보이는 것들도 결국 같은 도구로 읽힌다는 뜻이고, 이 커리큘럼이 어텐션 하나를 기준으로 짜였다는 말이 과장이 아닌 이유입니다.
거꾸로 읽기
두 표는 자리에서 글로 가는 방향입니다. 거꾸로 글에서 자리로 읽으면 다른 것이 보입니다. 갈래가 둘입니다.
하나는 글 하나가 여러 자리를 맡는 경우입니다. 18번(지수와 로그)은 softmax의 , 마스킹의 , 손실의 를 한꺼번에 맡고, 10번(셰이프 산술)은 와 직사각형 점수 행렬과 헤드 쪼개기를 한꺼번에 맡습니다. 이런 글은 어느 식을 읽든 다시 나오므로, 골라 읽는 사람에게도 먼저 읽을 값어치가 큽니다.
다른 하나는 자리 하나가 여러 글을 부르는 경우입니다. 는 21번 다음 40번이고, 는 33번, 34번, 41번이 차례로 이어져야 닫힙니다. 화살표가 붙은 칸은 그 순서대로 읽어야 한다는 표시입니다. 40번만 펴면 분산의 가법성을 안다고 전제한 문장에서 다시 막힙니다. 막힌 자리의 칸에 화살표가 있으면 화살표의 맨 앞 글부터 폅니다.
읽는 순서
이 커리큘럼은 두 가지로 읽을 수 있습니다. 하나는 처음부터 순서대로입니다. 앞 글이 뒤 글의 도구를 먼저 정의하도록 순서를 짰기 때문에, 1번부터 차례로 가면 선행 지식 없이 계속 갈 수 있습니다. 중간에 멈춰도 손해가 적도록 단원 경계마다 완결된 묶음이 남습니다. 8번까지면 임베딩 검색에서 "가깝다"가 무엇인지 계산으로 답할 수 있고, 31번까지면 사전학습 손실 한 줄을 스스로 유도할 수 있습니다.
다른 하나는 막힌 자리만 골라서입니다. 지금 읽고 있는 논문의 어떤 기호에서 막혔다면 위 표에서 그 자리를 찾아 해당 글만 꺼내 읽으면 됩니다. 각 글은 자기 개념 하나를 AI의 구체적인 장면 하나로 열고 닫도록 썼기 때문에, 한 편만 읽어도 그 자리는 채워집니다. 칸에 화살표가 있으면 앞 절의 말대로 맨 앞 글부터입니다.
어느 쪽이든 기준은 하나입니다. 이 개념이 AI의 무엇을 설명하는가를 한 줄로 못 쓰면 그 내용은 이 커리큘럼에 없습니다. 순수 수학 교과서가 다루는 것 중 상당수가 그래서 빠져 있습니다. 가우스 소거법도, 삼각함수 항등식도, 엡실론-델타 극한도 없습니다. 대신 논문에서 실제로 마주치는 것 — 야코비안, KL 발산, 재매개변수화, 라그랑주 승수 — 이 들어 있습니다.
다른 식 쪼개기
교차 엔트로피 손실
지도를 그리는 방법 자체가 이 글의 결과물입니다. 그러니 다른 식으로 한 번 해 봅니다. 사전학습에서 쓰는 교차 엔트로피 손실입니다.
먼저 소리 내어 읽습니다. "손실은, 엔부터 시작해서, 각 토큰의 조건부 확률에 로그를 씌운 것을 전부 더하고, 엔으로 나눈 다음, 마이너스를 붙인 것이다."
이제 자리마다 질문을 답니다.
| 자리 | 막히는 질문 | 필요한 수학 |
|---|---|---|
| 무엇을 무엇에 대해 더하는가 | 시그마와 첨자 (3번) | |
| 이게 왜 평균이자 기댓값인가 | 확률변수와 기댓값 (20번) | |
| 조건부 확률의 곱이 왜 문장 확률인가 | 확률의 연쇄법칙 (19번) | |
| 왜 로그를 씌우는가 | 지수와 로그 (18번), 최대가능도 (27번) | |
| 앞의 마이너스 | 왜 부호를 뒤집는가 | 엔트로피와 교차 엔트로피 (26번, 28번) |
하나가 눈에 걸릴 수 있습니다. 아래 첨자로 붙은 는 모델의 파라미터 전부를 한 글자로 묶어 부르는 관례이고, 어텐션의 들도 그 안에 들어 있습니다. 이 기호의 관례도 2번 글이 맡습니다.
두 지도의 겹침
다섯 자리가 나왔고, 그중 셋이 어텐션 식의 지도에도 있던 자리입니다. 지수와 로그, 시그마와 첨자, 확률분포 — 이 셋은 어느 식을 쪼개도 나옵니다. 그래서 커리큘럼 앞쪽에 두었습니다.
여기서 한 가지 더 확인할 수 있습니다. 두 식의 지도를 겹쳐 보면 겹치지 않는 자리가 각각의 고유한 어려움입니다. 어텐션 쪽의 고유한 자리는 전치와 행렬곱과 이고, 손실 쪽의 고유한 자리는 조건부 확률과 최대가능도입니다. 어떤 논문에서 막혔을 때 "무엇을 모르는지"를 이 정도 해상도로 말할 수 있으면, 검색어가 정확해지고 필요한 것만 골라 읽게 됩니다.
겹치는 칸은 거꾸로 읽기의 첫 갈래와 같은 이야기입니다. 두 지도에 함께 나온 18번과 3번은 세 번째 식을 쪼개도 또 나올 공산이 큽니다. 지도를 둘 그려 겹쳐 보는 것만으로 무엇부터 읽을지가 정해집니다.
연습 문제
같은 방법을 세 식과 몇 가지 셰이프에 써 봅니다. 번호를 붙일 때는 위의 두 표와 이 글의 단원 구분을 그대로 씁니다.
연습 1 — 레이어 정규화
트랜스포머 블록마다 들어가는 레이어 정규화의 식입니다. 는 토큰 하나의 차원 벡터, 와 는 그 벡터 성분들의 평균과 분산, 와 는 학습되는 차원 벡터입니다.
이 식을 소리 내어 읽으세요.
"엑스에서 뮤를 빼고, 시그마 제곱에 엡실론을 더한 것의 제곱근으로 나눈 다음, 감마를 성분마다 곱하고 베타를 더한 것이다." 를 그냥 "곱하고"로 읽으면 행렬곱인지 성분별 곱인지가 사라지므로 "성분마다"를 붙여 읽습니다.기호를 다섯 자리로 쪼개고 자리마다 막히는 질문을 하나씩 다세요.
— 평균이 왜 기댓값인가. — 분산을 무엇에 대해 재는가(토큰 하나의 성분들이지 배치가 아니다). 제곱근으로 나누기 — 왜 표준편차로 나누면 흩어짐이 1이 되는가. — 왜 분모에 작은 수를 더하는가. 와 — 왜 정규화한 것을 다시 늘이고 옮기는가, 는 무슨 곱인가.2번의 다섯 자리에 커리큘럼 번호를 붙이세요. 어텐션 지도의 어느 칸과 같은 수학인지도 하나 짚으세요.
는 20번(기댓값), 와 제곱근 나누기는 21번(분산과 표준편차), 은 71번(수치적으로 안정한 계산 패턴 — 정규화의 ε), 와 , 의 표기는 2번입니다. 제곱근으로 나누어 흩어짐을 1로 되돌리는 것은 칸과 같은 생각이라 둘 다 21번이 뿌리입니다.
연습 2 — Adam과 KL 발산
옵티마이저 Adam의 갱신식과 KL 발산의 정의입니다. 는 번째 걸음의 그래디언트, 는 학습률입니다.
Adam 갱신식에서 막히는 자리를 세고 자리마다 커리큘럼 번호를 붙이세요.
다섯 자리입니다. 와 의 점화식 — 지수이동평균(47번). 로 나누기 — 편향 보정(48번). 로 나누기 — 2차 모멘트와 분산(21번 → 48번). — 분모의 하한(71번). — 학습률의 상한(46번). 여기에 성분마다 나누는 나눗셈의 표기(2번)를 더해도 됩니다.KL 식에서 막히는 자리를 세고 자리마다 번호를 붙이세요.
네 자리입니다. — 위의 기댓값(20번). — 지수와 로그(18번). 비율의 로그 — 로 갈라 교차 엔트로피에서 엔트로피를 뺀 꼴로 읽기(26번, 28번). 의 순서 — 두 분포를 바꾸면 값이 달라지는 비대칭성(30번).4번과 5번의 두 지도가 겹치는 칸은 무엇입니까?
20번(기댓값)입니다. Adam의 와 는 그래디언트와 그 제곱의 기댓값을 지수이동평균으로 추정한 것이고, KL의 는 위의 기댓값입니다. 겉모양은 점화식과 합으로 달라도 같은 칸을 부릅니다. (71번)은 Adam에만 있고 KL에는 없으므로 겹침이 아닙니다.
연습 3 — 셰이프
디코더가 지금까지 7개 토큰을 만들었고 인코더가 읽은 원문은 12개 토큰입니다. 헤드 하나의 폭이 32일 때 크로스 어텐션의 점수 행렬과 출력의 모양은 무엇입니까?
가 7×32, 가 12×32라 점수 행렬 는 7×12입니다. softmax는 행마다 12칸에 걸리고, 가 12×32이므로 출력은 7×32 — 질의 쪽 행 수를 따릅니다.모델 폭이 이고 헤드가 4개입니다. 헤드 하나의 와 모든 헤드를 한 행렬로 묶은 의 모양, 그리고 점수를 나누는 수는 무엇입니까?
이므로 헤드 하나의 는 1024×256이고, 넷을 옆으로 이으면 1024×1024입니다. 나누는 수는 입니다. 가 아닙니다.헤드가 12개인 모델이 KV 캐시에 39개 토큰을 들고 40번째 토큰을 만듭니다. 헤드 하나의 점수 행렬 모양, 마스크가 더해지는 자리의 모양, 그 마스크에 가 몇 칸 들어가는지 답하세요.
질의가 새 토큰 하나이고 키가 39 + 1 = 40개라 점수는 헤드마다 1×40, 헤드를 모두 쌓으면 12×1×40입니다. 마스크도 같은 1×40이고(헤드 축으로는 같은 것을 되풀이해 씁니다) 는 0칸입니다. 새 토큰보다 뒤에 있는 토큰이 아직 없으므로 가릴 칸이 없습니다.
세 연습의 공통점은 계산을 거의 안 했다는 것입니다. 막힌 자리를 세고 이름을 붙이고 번호를 다는 것만으로 무엇을 읽어야 할지가 정해집니다. 셰이프 문제도 곱셈 한 번 없이 행 수와 열 수만 따라가면 풀립니다.
다시 그 페이지로
모르는 것의 이름
처음의 논문 3페이지로 돌아갑니다.
이제 이 줄은 하나의 벽이 아니라 다섯 개의 자리이고, 그 둘레에 식에 안 적힌 넷이 붙어 있다는 것도 압니다. 각 자리에 어떤 질문이 걸려 있고 그 질문의 답이 어디에 있는지 압니다. 여전히 가 왜 제곱근인지는 모르지만, 모르는 것이 "어텐션"이 아니라 "독립인 확률변수 합의 분산"이라는 것은 압니다. 그리고 그 가 512가 아니라 64라는 것도 압니다.
모르는 것의 이름을 정확히 부를 수 있게 되는 것 — 수식을 읽는다는 말의 첫 번째 의미가 그것입니다. 같은 논문의 다음 페이지에 멀티헤드 식이 나오고, 거기서 와 Concat이 처음 보이더라도 이제는 놀랄 일이 아닙니다. 이 글의 지도에 이미 칸이 있는 자리입니다.
다음 칸
다음 글은 이 지도의 첫 칸입니다. 대문자와 소문자, 굵은 글씨와 정자체, 위 첨자와 아래 첨자가 각각 무엇을 뜻하는지 — 논문 첫 페이지의 Notation 절을 사전 없이 읽고, 거기 적힌 기호가 코드의 어떤 텐서 축에 대응하는지 맞춰 보는 것이 목표입니다.
그 글을 지나면 3번 글이 이 글에서 여러 번 미뤄 둔 첨자를 맡습니다. 가 더해져 사라지고 와 가 남는 규칙, dim=-1이 식의 어느 첨자인지, 헤드 축을 einsum 한 줄로 적는 법이 거기 있습니다. 두 편을 마치면 위 표의 첫 세 줄이 닫힙니다.
읽어주셔서 감사합니다. 😊

