사내에서 쓰는 언어 모델의 컨텍스트 창을 4,096 토큰에서 8,192 토큰으로 늘리자는 안건이 올라왔습니다. 컨텍스트 창은 모델이 한 번에 받아 읽을 수 있는 토큰의 최대 길이입니다. 회의에서 비용 예측이 둘로 갈렸습니다. 한 사람은 「어텐션은 이니 긴 프롬프트를 처리하는 비용이 네 배가 된다」고 했고, 다른 사람은 「파라미터 수가 그대로이니 토큰이 두 배면 비용도 두 배」라고 했습니다.
둘 다 반만 맞습니다. 실제로 세어 보면 이 모델에서 답은 2.29배이고, 같은 질문을 32,768에서 65,536으로 늘릴 때 물으면 3.14배가 됩니다. 두 숫자가 어디서 나오는지는 행렬의 모양만 보고 곱셈과 덧셈의 횟수를 세면 알 수 있습니다. 어떤 GPU를 쓰는지도, 모델을 실제로 돌려 볼 필요도 없습니다.
이 글은 그 세는 법을 세웁니다. 점근 표기 의 뜻과 상수를 버리는 것이 언제 정당한지는 초급 47번 자릿수와 오차가 이미 세웠으므로 필요한 만큼만 되짚습니다. 지난 글이 비트 수만으로 오차를 미리 계산했듯이, 여기서는 행렬의 크기만으로 연산량을 미리 계산합니다. 모델을 키우면 성능이 어떻게 오르는지 하는 경험 법칙은 스케일링 법칙이, 메모리를 아끼는 방법은 KV 캐시가 맡습니다.
행렬곱 세기
FLOP
컴퓨터가 하는 계산의 양을 재는 단위가 FLOP입니다. 부동소수점 수의 덧셈 한 번이나 곱셈 한 번을 1 FLOP으로 셉니다. 여러 번이면 복수형으로 FLOPs라고 적습니다. 비슷하게 생긴 FLOPS는 초당 FLOP 수, 곧 하드웨어의 속도라서 뜻이 다릅니다. 이 글에서 세는 것은 모두 앞의 것, 계산의 양입니다. 양을 알면 속도로 나누어 시간을 어림할 수 있지만, 양 자체는 하드웨어와 무관하게 행렬의 크기만으로 정해집니다.
신경망 계산의 거의 전부는 행렬곱이고, 행렬곱의 거의 전부는 곱한 것을 누적합에 더하는 일입니다. 한 번을 곱셈-누산이라고 부르고 영어 약자로 MAC이라고 씁니다. 곱셈 하나와 덧셈 하나이므로 1 MAC은 2 FLOPs입니다. 하드웨어 문서나 논문이 MAC으로 적었는지 FLOPs로 적었는지에 따라 같은 계산이 두 배 차이로 보고되므로, 숫자를 볼 때 단위부터 확인합니다.
2mkn
행렬의 shape는 행의 수와 열의 수의 짝입니다. 행렬 와 행렬 를 곱하면 행렬 가 나옵니다. 가운데 가 맞아야 곱할 수 있고, 곱하고 나면 그 는 사라집니다.
결과의 성분 하나는
이므로 곱셈이 번, 그 개를 더하는 덧셈이 번입니다. 성분이 개이니 전체는
입니다. 뒤의 은 가 수천일 때 의 수천분의 일이라 버리고, 행렬곱 하나를 FLOPs로 셉니다. 외우는 방법은 간단합니다. 세 치수를 모두 곱하고 2를 붙입니다. 사라지는 도 한 번 들어갑니다.
그림의 작은 예에서는 , , 입니다. 성분이 12개이고 하나마다 곱셈 5번과 덧셈 4번이니 108 FLOPs이고, 어림 과는 만큼 차이 납니다. 직접 세어 확인해 봅니다.
import numpy as np
def matmul_counted(A, B):
m, k = A.shape
_, n = B.shape
C = np.zeros((m, n))
mul = add = 0
for i in range(m):
for j in range(n):
s = A[i, 0] * B[0, j]; mul += 1
for t in range(1, k):
s += A[i, t] * B[t, j]; mul += 1; add += 1
C[i, j] = s
return C, mul, add
m, k, n = 3, 5, 4
A, B = np.random.randn(m, k), np.random.randn(k, n)
C, mul, add = matmul_counted(A, B)
print(np.allclose(C, A @ B), mul, add, mul + add, 2 * m * k * n)
# True 60 48 108 120
세지 않는 연산
행렬곱이 아닌 연산도 있습니다. 벡터 둘을 성분끼리 더하는 것, 활성화 함수를 성분마다 적용하는 것, 벡터의 평균과 크기를 일정하게 맞추는 정규화가 그렇습니다. 토큰 개가 각각 길이 인 벡터로 놓인 행렬이라면 이것들은 성분마다 몇 번씩, 곧 에 작은 상수를 곱한 만큼 듭니다. 같은 행렬에 행렬을 곱하는 행렬곱은 이므로 둘의 비는 상수 대 입니다. 가 4,096이면 성분별 연산이 수십 번이어도 행렬곱의 1% 안팎입니다.
그래서 이 글은 행렬곱만 셉니다. 이것이 상수를 버리는 첫 번째 자리이고, 버려도 되는 근거는 「 가 크다」 하나입니다. 그 근거가 무너지는 작은 모델에서는 성분별 연산이 무시할 수 없는 몫이 되고, 실제로 작은 모델일수록 행렬곱 밖에서 시간이 많이 샙니다.
블록의 파라미터
어텐션 투영
이제 트랜스포머 블록 하나를 shape로 펼칩니다. 기호를 먼저 정합니다. 토큰 하나는 길이 인 벡터로 표현되고, 이 를 모델 차원이라고 부릅니다. 토큰이 개 들어오면 입력은 행렬 이고, 이 시퀀스 길이입니다. 예로 쓸 모델은 , 층 32개입니다. 70억 파라미터 급 모델이 흔히 이 크기입니다.
모델 안의 행렬 들은 학습으로 값이 정해지는 숫자의 표이고, 그 표의 성분 하나하나가 파라미터입니다. 그러니 파라미터 수를 세는 것은 행렬들의 shape를 곱해 더하는 일입니다.
셀프 어텐션은 입력에 행렬 넷을 곱합니다. 에 , , 를 곱해 토큰마다 세 벡터를 만듭니다. 무엇을 찾는지를 담은 쿼리, 무엇으로 찾아지는지를 담은 키, 찾아지면 내줄 내용을 담은 값입니다. 그리고 어텐션의 결과에 를 곱해 다시 모델 차원으로 돌려놓습니다. 이렇게 벡터를 다른 공간의 벡터로 옮기는 행렬곱을 투영이라고 합니다. 넷 다 이므로 어텐션의 파라미터는
개, 약 6,700만 개입니다.
여기서 헤드 수는 파라미터 수를 바꾸지 않습니다. 어텐션을 갈래로 나누어 따로 계산하는 것이 멀티헤드이고 각 갈래를 헤드라고 하는데, 헤드 하나는 차원만 맡습니다. 예의 모델은 , 입니다. 를 헤드별 조각 32개로 잘라 볼 수 있을 뿐 조각을 다 합치면 여전히 입니다.
FFN
어텐션 다음에는 토큰마다 따로 적용하는 두 층짜리 신경망이 있습니다. 이것을 FFN이라고 부르고, 모델 차원을 넓혔다가 다시 좁힙니다. 표준 구성은 를 로 넓히는 () 과 를 로 되돌리는 () 입니다. 넓힌 폭 를 FFN의 은닉 폭이라고 합니다. 파라미터는
개로, 어텐션의 두 배입니다. 블록의 파라미터 셋 중 둘이 FFN에 있다는 것은 기억해 둘 만합니다. 「트랜스포머는 어텐션」이라는 인상과 달리 무게는 FFN 쪽에 있습니다.
요즘 모델은 행렬을 셋 쓰는 변형을 자주 씁니다. 넓히는 행렬이 둘이고 그 두 결과를 성분끼리 곱한 뒤 좁히는 행렬을 거칩니다. 행렬이 셋이 된 만큼 은닉 폭을 의 3분의 2 근처로 줄여 총량을 맞춥니다. 에서 은닉 폭을 11,008로 두면 개로 와 0.8% 차이입니다. 구성은 달라도 세는 법은 같고, 결과도 거의 같습니다.
블록 하나
둘을 더하면 블록 하나가
입니다. 이면 201,326,592개, 약 2억 개입니다.
빠뜨린 것이 있습니다. 투영과 FFN의 편향 벡터가 개, 정규화 층 둘의 배율과 이동이 개라 합쳐 개입니다. 블록의 0.026%입니다. 이것들은 에 비례하고 행렬은 에 비례하므로, 둘의 비는 이고 가 커질수록 0으로 갑니다. 블록의 파라미터를 로, 구체적으로 로 적는 것이 정당한 이유가 이 비입니다.
모델 전체
블록이 32개면 개입니다. 여기에 토큰 번호를 벡터로 바꾸는 임베딩 표가 붙습니다. 어휘가 개면 그 표는 개이고, 출력 쪽에서 벡터를 다시 어휘 점수로 바꾸는 표를 따로 두면 같은 수가 한 번 더 붙습니다. 모두 합치면 약 67억 개로, 「70억 급」이라는 이름에 맞습니다.
일반식으로 적으면
이고, 은 층의 수입니다. 임베딩은 라서 에 한 번만 비례하므로, 모델이 커질수록 비중이 줄어듭니다. 이 모델에서는 표가 한 벌이면 2%, 두 벌이면 4% 남짓입니다. 이 한 줄이 있으면 모델 카드의 층 수와 모델 차원만 보고 파라미터 수를 10% 안쪽으로 맞힐 수 있습니다.
블록의 FLOPs
선형층
파라미터를 셌으니 이제 계산을 셉니다. 먼저 투영과 FFN처럼 입력에 고정된 행렬을 곱하는 부분, 곧 선형층입니다. 입력에 행렬을 곱하면 앞의 규칙대로 FLOPs입니다. 투영이 넷이니 , FFN은 에 를 곱하고 다시 에 를 곱하므로 입니다. 합쳐서
입니다.
이 수를 파라미터와 나란히 놓으면 관계가 보입니다. 블록의 파라미터가 이고 선형층 FLOPs가 입니다. 파라미터 하나는 토큰 하나가 지나갈 때 정확히 한 번 곱해지고 한 번 더해집니다. 그래서 선형 부분의 연산량은 파라미터 수 곱하기 토큰 수 곱하기 2이고, 이 관계는 모델 구성이 어떻게 생겼든 행렬곱이면 성립합니다. 모델 전체로는 토큰 하나당 약 FLOPs입니다.
어텐션 행렬
어텐션에는 고정된 행렬이 아니라 입력끼리 곱하는 행렬곱이 둘 있습니다. 헤드 하나에서 쿼리 와 키 는 둘 다 이고, 각 토큰이 다른 모든 토큰을 얼마나 볼지 정하는 점수는 , 곧 의 곱입니다. 결과가 이고 이것을 어텐션 점수 행렬이라고 합니다. FLOPs는 입니다.
점수에 소프트맥스를 씌워 각 행을 합이 1인 가중치로 바꾼 행렬 를 값 () 에 곱하면 이라 다시 입니다. 헤드가 개이고 이므로
입니다. 여기서도 헤드 수가 사라집니다. 헤드를 늘리면 점수 행렬이 많아지지만 하나하나를 만드는 데 쓰는 차원 가 그만큼 줄어서입니다.
두 항의 차이는 무엇이 무엇과 곱해지는가입니다. 선형층은 입력과 고정된 행렬의 곱이라 토큰마다 일이 따로 있고, 토큰 수에 한 번 비례합니다. 어텐션 행렬은 입력과 입력의 곱이라 토큰 쌍마다 일이 있고, 쌍의 수가 입니다. 셈법은 같은 인데, 세 치수 가운데 이 몇 번 들어가느냐가 다릅니다.
소프트맥스와 나머지
소프트맥스는 점수 행렬의 성분마다 지수 하나, 행마다 합과 나눗셈이 들어갑니다. 성분 하나에 다섯 번 안팎으로 잡으면 헤드 하나에 , 전체로 입니다. 이것과 의 비는 이고 이면 1% 안팎입니다. 정규화·잔차 덧셈·활성화 함수는 앞에서 본 대로 의 상수배라 에 비해 배 작습니다.
다만 이 비들은 FLOPs의 비입니다. 지수 함수는 곱셈보다 비싸고, 성분별 연산은 계산보다 메모리에서 값을 읽어 오는 데 시간을 더 씁니다. FLOPs로 세는 것은 계산의 양이지 걸리는 시간 그 자체가 아니라는 것을 기억해 둡니다. 그래도 큰 모델에서 시간의 대부분이 행렬곱에 쓰인다는 사실은 그대로라서, 양을 세는 것이 시간을 어림하는 첫걸음이 됩니다.
인과 마스크
언어 모델은 앞 토큰만 봅니다. 점수 행렬에서 자기보다 뒤에 있는 칸을 가리는 이 장치를 인과 마스크라고 합니다. 가려진 칸은 위 삼각형, 곧 칸 중 거의 절반입니다. 계산을 건너뛰는 구현이라면 어텐션 항이 절반이 되어 가 되고, 일단 다 계산하고 가리는 구현이라면 그대로입니다.
어느 쪽이든 상수 2가 바뀔 뿐 이라는 모양은 그대로입니다. 이 글은 다 계산하는 쪽, 로 셉니다. 아래의 교차점 계산에서 마스크를 건너뛰는 구현을 쓰면 교차점이 두 배 뒤로 밀린다는 것만 덧붙여 둡니다.
점근 표기로 읽기
O·Θ·Ω
블록 하나의 FLOPs를 모으면
입니다. 이것을 점근 표기로 적어 봅니다. 초급 47번에서 는 「어떤 상수 가 있어 가 충분히 작을 때 오차가 를 넘지 않는다」는 뜻이었습니다. 연산량에서는 방향만 바뀌어 이 충분히 클 때를 봅니다. 는 위로 막는 것이고, 아래로 막는 쪽을 , 위아래를 같은 모양으로 막는 쪽을 라고 적습니다.
를 고정하고 만 키우면 입니다. 에서 이 성립하므로 위아래가 모두 으로 막힙니다. 「어텐션은 」이라는 말은 이것을 줄인 것입니다. 틀린 말은 아니지만 위로 막는다는 정보만 줍니다. 도 참이니까요. 길이를 늘릴 때 실제로 무엇이 일어나는지 말하려면 가 필요하고, 그보다 더 필요한 것은 버린 상수입니다.
두 변수
여기서 47번이 세운 조건, 상수와 낮은 차수를 버리는 것은 변수가 충분히 커졌을 때만 정당하다는 조건이 걸립니다. 은 이 충분히 클 때의 이야기인데, 「충분히」가 얼마인지를 는 말하지 않습니다. 그 답은 버린 상수 안에 들어 있습니다. 앞에 붙은 와 가 둘 다 를 품고 있고, 가 4,096이면 두 상수가 1,000배 넘게 벌어집니다.
그래서 트랜스포머의 연산량은 변수 하나로 적으면 정보가 빠집니다. 두 변수로 적으면
이고, 이 식이 모든 것을 말해 줍니다. 앞 항은 에 대해 제곱, 에 대해 일차입니다. 뒤 항은 그 반대입니다. 어느 항이 이기는지는 과 의 크기를 함께 봐야 정해집니다.
교차점
두 항이 같아지는 자리를 구합니다.
이면 입니다. 두 항이 같아지는 이 길이를 교차점이라고 부르겠습니다. 이보다 짧으면 선형층이, 길면 어텐션 행렬이 연산량의 대부분을 차지합니다. 비중으로 적으면 어텐션의 몫은
이라 에 대한 의 비만으로 정해집니다. 처음 장면의 4,096 토큰에서는 , 곧 14.3%입니다. 「어텐션은 」이라는 말을 듣고 짐작하는 것보다 훨씬 작습니다. 이 모델에서 4,096 토큰짜리 프롬프트를 처리하는 계산의 86%는 길이와 일차로 자라는 선형층입니다.
| 시퀀스 길이 | 어텐션 행렬의 몫 | |
|---|---|---|
| 1,024 | 0.25 | 4.0% |
| 4,096 | 1 | 14.3% |
| 8,192 | 2 | 25.0% |
| 24,576 | 6 | 50.0% |
| 65,536 | 16 | 72.7% |
| 131,072 | 32 | 84.2% |
교차점이 모델 차원에 비례한다는 것도 중요합니다. 모델이 커질수록 교차점이 뒤로 물러납니다. 인 작은 모델이라면 교차점이 6,144이고, 같은 4,096 토큰에서 어텐션의 몫이 40%입니다. 같은 길이라도 작은 모델일수록 항이 먼저 무거워집니다.
길이를 두 배로
항별 배율
이제 처음 질문을 계산할 수 있습니다. 을 으로 바꾸면 선형 항은
이라 두 배, 어텐션 항은
라 네 배입니다. 이것이 항별 배율이고, 이 부분은 모델 크기와 무관하게 늘 같습니다. 선형층·투영·FFN·정규화·임베딩처럼 토큰마다 따로 하는 일은 두 배, 점수 행렬과 그 가중합처럼 토큰 쌍마다 하는 일은 네 배입니다. 점수 행렬의 칸 수, 곧 저장해야 할 값의 개수도 네 배가 된다는 것을 같이 기억해 둡니다.
전체 배율
전체 배율은 두 배와 네 배 사이 어딘가이고, 어디인지는 두 항의 비중이 정합니다. 로 두면 어텐션 항이 선형 항의 배이므로
입니다. 이 0에 가까우면 2, 무한히 커지면 4로 갑니다. 교차점 에서는 정확히 3입니다.
처음 장면은 , 이라
입니다. 네 배를 예상한 쪽도 두 배를 예상한 쪽도 틀렸고, 실제는 두 배 쪽에 훨씬 가깝습니다. 식으로 셀 수 있는 것을 코드로 표를 뽑아 확인합니다.
def block_flops(n, d):
proj = 2 * n * d * (4 * d) # Q·K·V·O 투영
ffn = 2 * n * d * (8 * d) # d→4d, 4d→d
attn = 2 * n * n * d * 2 # QKᵀ 와 AV
return proj + ffn, attn
d = 4096
for n in [4096, 8192, 32768, 65536]:
lin, att = block_flops(n, d)
lin2, att2 = block_flops(2 * n, d)
print(f"n={n:6d} 어텐션 비중 {att/(lin+att):.3f} "
f"두 배로: 선형 ×{lin2/lin:.0f}, 어텐션 ×{att2/att:.0f}, "
f"전체 ×{(lin2+att2)/(lin+att):.2f}")
# n= 4096 어텐션 비중 0.143 두 배로: 선형 ×2, 어텐션 ×4, 전체 ×2.29
# n= 8192 어텐션 비중 0.250 두 배로: 선형 ×2, 어텐션 ×4, 전체 ×2.50
# n= 32768 어텐션 비중 0.571 두 배로: 선형 ×2, 어텐션 ×4, 전체 ×3.14
# n= 65536 어텐션 비중 0.727 두 배로: 선형 ×2, 어텐션 ×4, 전체 ×3.45
항별 배율은 줄마다 똑같이 2와 4이고, 전체 배율만 비중을 따라 움직입니다. 32,768에서 65,536으로 늘릴 때 3.14배라는 서두의 숫자가 여기서 나옵니다. 이 구간에서는 「어텐션 때문에 거의 네 배」라는 직관이 맞아 가기 시작합니다. 같은 직관이 4,096에서는 틀리고 65,536에서는 맞는 이유가 교차점입니다.
프리필과 디코딩
지금까지 센 것은 프롬프트 개를 한꺼번에 넣어 처리하는 단계입니다. 이 단계를 프리필이라고 합니다. 언어 모델이 답을 만들 때는 그다음에 토큰을 하나씩 생성하는 단계가 이어지고, 이것을 디코딩이라고 합니다. 디코딩에서는 새 토큰 하나만 블록을 지나가고, 앞 토큰들의 키와 값은 저장해 둔 것을 다시 씁니다. 그 저장소가 KV 캐시이고, 그것을 어떻게 아끼는지는 앞에서 말한 대로 다른 글의 몫입니다. 여기서는 세기만 합니다.
토큰 하나가 위치 에서 생성될 때 선형층은 입력이 라 이고, 어텐션은 쿼리 하나와 키 개의 곱, 가중치 개와 값 개의 곱이라 입니다. 비는 로 프리필과 같은 교차점이 다시 나옵니다. 4,096 위치에서 토큰 하나는 선형층 약 4억 265만 FLOPs, 어텐션 6,711만 FLOPs입니다.
문맥이 두 배가 되면 토큰 하나의 어텐션 비용이 두 배, 그 토큰을 문맥 끝까지 생성하는 전체 비용의 어텐션 항은 각 위치의 비용을 더한 것이라 로 네 배입니다. 토큰 하나로 보면 일차이고 생성 전체로 보면 이차입니다. 같은 모델의 같은 연산을 두고 「선형」과 「이차」라는 말이 둘 다 나오는 것은 무엇을 한 단위로 세느냐가 달라서입니다.
학습의 연산량
역전파
학습에서는 앞으로 한 번 계산하고, 손실을 각 파라미터로 미분한 값을 뒤에서부터 구합니다. 이 미분값이 그래디언트이고, 그것을 출력 쪽에서 입력 쪽으로 전해 가며 구하는 절차가 역전파입니다. 역전파도 행렬곱이니 셀 수 있습니다.
선형층 에서 는 , 는 이라 앞으로 가는 계산은 입니다. 뒤로 갈 때는 에 대한 그래디언트 () 를 받아 두 가지를 구해야 합니다. 앞 층으로 넘겨줄 입력의 그래디언트와, 이 층의 파라미터를 고칠 가중치의 그래디언트입니다.
앞의 것은 , 뒤의 것은 입니다. 세 치수가 앞으로 갈 때와 같은 , , 이라 둘 다 입니다. 그래서 역전파는 앞으로 가는 계산의 두 배이고, 앞뒤를 합치면 세 배입니다.
6ND
선형층의 앞 계산이 토큰 하나당 이었으므로, 학습은 토큰 하나당 입니다. 토큰 개로 학습하면
FLOPs입니다. 이 식은 실험으로 얻은 법칙이 아니라 행렬곱을 센 결과입니다. 행렬곱 하나가 , 파라미터 하나가 토큰 하나에 한 번 곱해진다, 역전파는 같은 shape의 행렬곱 두 개 — 이 세 사실을 이으면 나옵니다. 이 연산량으로 모델 크기와 데이터 양을 어떻게 나눌지는 스케일링 법칙이 다루는 경험 법칙이고, 여기서 얻는 것은 그 법칙이 가로축으로 쓰는 양 자체입니다.
예의 모델 67억 파라미터를 토큰 1조 개로 학습하면 FLOPs입니다. 하드웨어의 초당 연산 성능과 실제로 끌어내는 비율을 알면 이것을 GPU 시간으로 바꿀 수 있습니다. 반대로 공개된 학습 시간에서 FLOPs를 역산해 이 식과 대조할 수도 있는데, 그렇게 맞춰 본 기록이 Transformer 논문의 학습 비용 재계산에 있습니다.
빠진 항
는 어텐션 행렬을 빼고 센 값입니다. 앞에서 본 대로 프리필 FLOPs 전체는 에 어텐션 몫을 더한 것이라, 토큰당으로 적으면
배입니다. 학습 문맥이 4,096이면 , 곧 보다 16.7% 많습니다. 32층 전체로 4,096 토큰을 한 번 앞으로 계산하면 FLOPs이고, 블록의 파라미터 64억으로 만 센 과의 비가 정확히 입니다.
문맥을 늘려 학습할수록 이 보정이 커집니다. 문맥이 교차점 24,576에 이르면 어텐션 항이 선형 항만큼이라 의 두 배를 써야 합니다. 를 그대로 쓸 수 있는 것은 일 때이고, 이 조건이 바로 상수와 낮은 차수를 버리는 것이 정당한 범위입니다. 근사식을 쓸 때 그 근사가 서 있는 조건을 함께 들고 다니는 것, 그것이 점근 표기를 제대로 쓰는 방법입니다.
정리
처음 장면
컨텍스트 창을 4,096에서 8,192로 늘리면 비용이 네 배인지 두 배인지 갈렸던 회의로 돌아갑니다. 세어 보면 항마다 답이 다릅니다. 투영과 FFN은 토큰마다 따로 하는 일이라 두 배이고, 점수 행렬과 가중합은 토큰 쌍마다 하는 일이라 네 배입니다. 전체는 둘의 비중으로 섞인 배입니다. 「어텐션은 」이라는 말은 참이지만, 이 모델과 이 길이에서 어텐션은 계산의 14%였습니다.
그리고 같은 식이 다음 질문에도 답합니다. 문맥을 계속 늘리면 언제부터 어텐션이 주인이 되는가 — 교차점 , 곧 24,576 토큰부터입니다. 32,768에서 65,536으로 늘리는 다음 안건이 올라오면 그때는 3.14배라고 미리 말할 수 있습니다. 모델 차원과 층 수만 알면 GPU 앞에 앉기 전에 계산이 끝납니다.
핵심 정리
- 행렬곱 은 FLOPs다. 정확히는 이고, 곱셈-누산 하나가 2 FLOPs다. MAC으로 적은 숫자와 FLOPs로 적은 숫자는 두 배 차이 난다.
- 성분별 연산(정규화·활성화·잔차·소프트맥스)은 나 의 상수배라 행렬곱보다 나 배쯤 작다. 그래서 행렬곱만 센다. 다만 시간은 FLOPs와 다르다.
- 트랜스포머 블록의 파라미터는 어텐션 투영 와 FFN 를 합친 이고, 헤드 수는 이 수를 바꾸지 않는다. 모델 전체는 이며, , 32층이면 약 64억에 임베딩을 더해 67억이다.
- 블록 하나의 FLOPs는 다. 앞 항은 파라미터 × 토큰 × 2이고, 뒤 항은 토큰 쌍마다 하는 점수와 가중합이다.
- 를 고정하면 이지만, 두 변수로 로 적어야 실제 크기가 보인다. 두 항은 에서 같아지고, 어텐션의 몫은 이다.
- 길이를 두 배로 늘리면 선형 항은 두 배, 어텐션 항은 네 배, 전체는 배다(). 4,096에서는 2.29배, 교차점에서 3배, 아주 길면 4배에 다가간다.
- 디코딩은 토큰 하나당 라 문맥에 일차이고, 생성 전체로는 이차다.
- 역전파는 같은 shape의 행렬곱 둘이라 앞 계산의 두 배이고, 학습은 토큰당 , 전체 다. 이 근사는 일 때 서고, 문맥 에서는 배로 보정한다.
읽어주셔서 감사합니다. 😊

