모델의 가중치를 32비트 실수 대신 8비트 정수로 바꿔 담았습니다. 이렇게 값을 적은 비트의 격자로 옮겨 담는 일을 양자화라고 합니다. int8 양자화는 잘 됐습니다. 벤치마크 점수가 0.3%p 떨어지고 메모리는 4분의 1이 됐습니다. 같은 파이프라인에서 비트만 4로 내리자 점수가 절반 아래로 떨어졌습니다.
여기서 보통 도구를 바꿔 봅니다 — 범위를 재는 데 쓰는 표본 입력을 늘리고, GPTQ를 써 보고, 스케일을 묶는 단위를 바꿔 봅니다. 그런데 왜 8에서 4로 갈 때 그 자리에서 무너지는지는 그 어느 것도 설명하지 않습니다.
설명은 계산으로 나옵니다. 양자화 오차의 크기는 비트 수와 값의 분포만으로 결정되고, 그 오차가 층의 출력에서 얼마나 커지는지도 한 줄로 예측됩니다. 이 글은 그 계산을 세웁니다. 기법과 도구는 양자화 기초와 AWQ·GPTQ 비교가 맡고, 여기서는 오차의 수학만 봅니다.
격자 사상과 스텝 크기
스텝 크기
양자화는 실수 구간을 유한한 격자에 사상하는 일입니다. 비트면 격자가 개이고, 담을 구간이 일 때
가 격자 사이의 간격입니다. 이 값을 스텝 크기라고 부릅니다. 분모가 이 아니라 인 것은 격자가 개면 그 사이의 간격은 개이기 때문입니다.
값 하나를 격자에 올리는 것은 반올림입니다.
오차 는 를 톱니로 오갑니다. 반올림이 가장 가까운 격자로 가므로 오차가 간격의 절반을 넘을 수 없고, 한 칸 안에서는 왼쪽 끝의 에서 오른쪽 끝의 까지 선형으로 훑습니다.
반올림과 버림
가장 가까운 격자 대신 늘 아래 격자로 내리는 방법도 있습니다. 소수점 아래를 버리는 이 방식을 버림이라고 하고, 정수 변환에서 따로 지정하지 않으면 흔히 이쪽이 일어납니다. 계산은 더 싸지만 오차의 모양이 달라집니다. 가 늘 성립하므로 오차가 에만 놓이고, 평균이 0이 아니라 입니다.
평균이 비켜 서면 오차를 제곱해 평균 낸 평균제곱오차(MSE)도 커집니다. 오차가 에 고르게 퍼져 있다고 보고 를 적분하면 이 나오는데, 아래에서 구할 반올림의 값 의 네 배입니다. 늘어난 부분은 전부 치우침의 제곱 입니다. 같은 비트를 쓰고도 비트 하나를 버린 셈이 됩니다(오차 분산이 네 배면 다음 절의 식으로 6dB이고, 그것이 비트 하나입니다).
더 나쁜 것은 이 치우침이 더하기를 지나며 쌓인다는 점입니다. 값 4,096개를 로 버림해서 더하면 오차의 합이 평균 만큼 한쪽으로 밀립니다. 반올림했다면 같은 합의 오차가 표준편차 0.18 안팎에서 0 주위를 오갑니다. 어느 쪽이 내적 하나를 망가뜨릴지는 분명합니다.
확률적 반올림
반올림에도 맹점이 하나 있습니다. 격자 간격보다 작은 변화가 통째로 사라진다는 것입니다. bf16은 1.0 근처의 간격이 인데, 학습 중에 가중치 1.0에 0.001씩 더하는 갱신은 반올림하면 매번 1.0으로 돌아옵니다. 천 번을 더해도 가중치는 그대로입니다.
확률적 반올림은 값이 아래 격자에서 칸의 몇 분의 몇만큼 올라가 있는지를 그대로 위 격자로 갈 확률로 쓰는 방법입니다. 1.0에서 0.001만큼 올라간 값은 0.001/0.0078 ≈ 0.128의 확률로 다음 격자로 올라가고 나머지 확률로 1.0에 남습니다. 한 번 한 번은 오차가 더 크지만 기댓값이 정확히 원래 값이라, 천 번 더하면 평균적으로 1만큼 정직하게 쌓입니다.
이 이득에는 값이 따릅니다. 칸 안 위치가 고르게 퍼져 있으면 확률적 반올림의 오차 분산은 평균 으로, 반올림의 두 배입니다. 그래서 추론에서 가중치를 한 번 담을 때는 반올림을 쓰고, 작은 갱신이 수없이 쌓여야 하는 저정밀 학습에서만 확률적 반올림을 씁니다. 치우침이 없다는 성질이 한 번의 정확도보다 중요한 자리가 거기뿐이기 때문입니다.
정수 범위와 클램프
8비트 부호 있는 정수는 −128부터 127까지입니다. 음수 쪽이 한 칸 많아서, 0을 가운데 두는 격자를 그대로 쓰면 −128에 대응하는 짝이 양수 쪽에 없습니다. 실무에서는 −128을 버리고 −127127의 255칸만 씁니다. 스텝 크기는 이 되고( 은 담을 최대 절댓값), 칸 하나를 버린 값은 무시할 만큼 작습니다. 4비트라면 −77의 15칸이고 입니다. 뒤에 나오는 이상치 실험의 스텝 크기가 이 식으로 나옵니다.
구간 를 데이터보다 좁게 잡으면 밖의 값은 가장 가까운 끝 격자로 붙잡힙니다. 이것이 클램프이고, 그때 생기는 오차를 클램프 오차라고 부르겠습니다. 클램프 오차는 톱니가 아닙니다. 값이 를 넘은 만큼 가 그대로 오차가 되어, 한쪽으로만 끝없이 커집니다. 구간 안의 오차는 로 묶여 있고 구간 밖의 오차는 묶임이 없습니다. 이 두 종류를 저울질하는 것이 뒤의 클리핑 문제입니다.
오차의 분산
균등분포 근사
톱니 모양을 보면 다음 단계가 나옵니다. 입력이 격자 간격에 견줘 넓게 퍼져 있으면 오차는 위의 균등분포, 곧 구간 안 어디에나 같은 밀도로 놓이는 분포로 봐도 됩니다. 그러면 분산이 적분 한 줄로 나옵니다.
평균이 0이라 이고, 밀도가 로 일정하니 그냥 을 적분하면 됩니다. 가 양자화 오차의 분산이고, 이 글의 나머지가 전부 이 한 값에서 나옵니다.
정말 그런지 200만 개로 재 봤습니다.
| 비트 | 오차 분산 (실측) | 최대 오차 | |||
|---|---|---|---|---|---|
| 8 | 0.007843 | 5.125 × 10⁻⁶ | 5.126 × 10⁻⁶ | 0.00392 | 0.00392 |
| 4 | 0.133333 | 1.481 × 10⁻³ | 1.481 × 10⁻³ | 0.06667 | 0.06667 |
| 3 | 0.285714 | 6.806 × 10⁻³ | 6.803 × 10⁻³ | 0.14286 | 0.14286 |
소수 넷째 자리까지 맞습니다. 최대 오차도 정확히 입니다.
결정적 오차
여기서 짚어 둘 것이 있습니다. 오차 는 사실 무작위가 아닙니다. 같은 를 넣으면 언제나 같은 가 나오는, 의 결정적인 함수입니다. 그런데도 「양자화 잡음」이라고 부르며 분산을 따지는 것은, 입력 가 여러 칸에 걸쳐 고르게 퍼져 있을 때 칸 안의 위치가 사실상 무작위처럼 흩어지기 때문입니다. 잡음이라는 말 자체가 하나의 근사입니다.
그 근사가 서려면 입력의 밀도가 칸 하나의 폭 안에서 거의 평평해야 합니다. 정규분포처럼 매끈한 분포를 촘촘한 격자에 올리면 잘 맞고, 격자가 성기면 깨집니다. 입력이 격자 간격보다 좁게 몰려 있으면 오차가 균등하지 않고 격자 위치에 따라 편향됩니다. 극단적으로 모든 입력이 한 격자 근처의 좁은 구간에 있으면, 오차는 분산이 아니라 거의 상수 하나가 됩니다. 비트가 아주 적거나(2비트) 값이 한 격자 근처에 모여 있는 경우가 그렇고, 뒤에서 2비트가 예측과 어긋나는 것을 보게 됩니다.
같은 이유로 「오차가 입력과 독립」이라는 가정도 근사입니다. 이 가정은 뒤에서 행렬 곱의 오차를 계산할 때 쓰이는데, 격자가 촘촘하면 오차와 입력의 상관이 작아져 잘 맞고, 격자가 성길수록 오차가 입력을 따라 움직입니다.
오차의 누적
양자화한 값은 혼자 쓰이지 않고 내적 안에서 수천 개씩 더해집니다. 그러니 값 하나의 오차보다 합의 오차가 중요합니다. 평균이 0이고 서로 독립인 오차 개를 더하면 분산이 더해져 가 되고, 크기(표준편차)는 에 비례해 자랍니다. 앞의 예에서 가 그 값이고, 실제로 4,096개짜리 합 2,000개를 재면 표준편차가 0.181이었습니다.
치우친 오차는 다릅니다. 버림처럼 평균이 인 오차는 합의 평균이 로, 에 비례해 자랍니다. 이면 와 의 차이, 곧 64배입니다. 반올림을 고집하는 이유가 값 하나의 정확도보다 이 누적의 차수에 있습니다. 뒤의 오차 예산 식은 앞쪽, 곧 으로 자라는 경우를 씁니다.
신호 대 잡음비
비트당 6.02dB
오차의 절대 크기는 값의 규모에 따라 다르므로, 비교하려면 신호와의 비를 봐야 합니다. SNR(signal-to-noise ratio, 신호 대 잡음비)은 신호의 분산을 오차의 분산으로 나눈 값이고 데시벨로 적습니다.
여기에 를 대입합니다. 데이터의 최댓값이 표준편차의 배라고 두면 — — 0을 가운데 두고 를 담으면 이므로
비트 하나가 6.02dB입니다. 가 약분돼 사라진 것에 주목할 만합니다 — 값을 몇 배로 키우든 SNR은 안 변합니다. 남은 것은 비트 수 와 분포의 꼬리 길이 뿐입니다.
표준정규분포 200만 개(, )로 대조했습니다.
| 비트 | 실측 SNR | 예측 | 차이 |
|---|---|---|---|
| 8 | 38.01 dB | 38.07 dB | −0.06 |
| 6 | 25.75 dB | 26.03 dB | −0.27 |
| 4 | 12.83 dB | 13.99 dB | −1.16 |
| 3 | 5.49 dB | 7.97 dB | −2.48 |
8비트와 6비트는 0.3dB 안쪽으로 맞고, 비트가 줄수록 실측이 예측보다 나쁩니다. 앞에서 말한 균등분포 가정이 무너지는 자리입니다 — 격자가 성기면 정규분포의 봉우리가 한 칸 안에 통째로 들어가 오차가 균등하지 않게 됩니다.
꼬리 길이
를 꼬리 길이라고 부르겠습니다. 표준편차 몇 개만큼 떨어진 곳에 가장 먼 값이 있는가를 재는 수입니다. 분포마다 이 값이 다르고, SNR 식의 마지막 항이 그 차이를 그대로 데시벨로 옮깁니다.
가장 짧은 것은 균등분포입니다. 위의 균등분포는 표준편차가 이라 이고, 이 상수항과 정확히 지워져 SNR이 가 됩니다. 신호처리 교과서에 나오는 dB는 전 구간을 꽉 채우는 사인파의 값입니다. 사인파는 라 이 남습니다. 같은 식에서 만 바뀐 것입니다.
정규분포는 꼬리에 끝이 없어서 가 표본 수에 따라 자랍니다. 몇 번 뽑아 보면 4,096개에서는 4 가까이, 200만 개에서는 5 안팎(앞 표의 표본은 5.535)입니다. 학습된 가중치에 더 가까운 것은 봉우리가 뾰족하고 꼬리가 굵은 라플라스분포인데, 같은 표준편차로 맞춰 뽑으면 4,096개에서 57, 200만 개에서 1012가 나왔습니다. 가 두 배면 dB, 곧 비트 하나를 잃습니다. 꼬리가 굵은 큰 텐서에 스케일 하나를 쓰는 것이 정규분포 기준의 짐작보다 비트 하나쯤 더 비싼 이유입니다.
최적 클리핑
꼬리가 비싸다면 꼬리를 잘라 버리면 됩니다. 담을 구간을 보다 좁은 로 잡아 를 줄이는 것을 클리핑이라고 합니다. 구간 밖의 몇 안 되는 값은 클램프 오차를 크게 입고, 대신 구간 안의 나머지 전부가 더 촘촘한 격자를 얻습니다. 손해처럼 보이는 조작이 이득일 수 있는 이유입니다.
어디서 자를지는 감이 아니라 계산으로 정합니다. 전체 평균제곱오차를 두 덩어리로 나눠 적으면
입니다. 를 줄이면 앞 항이 커지고 뒤 항이 작아지므로 합은 U자를 그리고, 바닥이 최적 지점입니다. 절차는 셋입니다 — 분포(또는 실제 값 표본)에서 두 항을 의 함수로 계산하고, 둘을 더하고, 가장 낮은 를 고릅니다.
표준정규분포 200만 개를 4비트로 담으며 를 옮겨 봤습니다. 최댓값 5.05에서 자르지 않으면 MSE가 0.0377입니다. 에서 바닥이 0.0116이고, 거기서 클램프 오차가 0.0024, 반올림 오차가 0.0091입니다. 값의 1.2%만 잘라 내고 오차를 3.3배, 데시벨로 5.1dB 줄였으니 비트 하나에 가깝게 되찾은 셈입니다. 라플라스분포에서는 바닥이 이고 줄어드는 폭이 6.9배로 더 큽니다. 꼬리가 길수록 자를 것이 많고 되찾는 것도 많습니다.
비트가 많을수록 최적 지점은 바깥으로 물러납니다. 같은 정규분포를 8비트로 담으면 바닥이 이고 이득은 1.5배뿐입니다. 격자가 이미 촘촘해 반올림 오차 쪽에서 되찾을 것이 적기 때문입니다. int8에서는 최댓값으로 범위를 잡아도 잘 되다가 int4에서 클리핑이 갑자기 중요해지는 것이 이 차이입니다.
대칭과 비대칭
영점
지금까지 를 데이터의 최소·최대로 잡았습니다. 이것이 비대칭 양자화입니다. 0이 격자의 어디에 놓일지 모르므로 「0에 해당하는 정수」를 따로 저장하는데, 이것을 영점이라고 합니다. 정수 와 실수의 관계를 로 적을 때의 가 영점입니다.
영점은 반드시 정수여야 합니다. 실수 0이 격자 위에 정확히 놓여야 하기 때문입니다. 예를 들어 , 이면 이라 0에 해당하는 격자가 없고, 0은 반올림되어 0.03이 됩니다. 패딩으로 채운 0, 마스크로 지운 0, ReLU가 내보낸 0이 전부 0.03이 되어 수천 개씩 더해지면, 앞에서 본 치우친 오차처럼 합이 한쪽으로 밀립니다. 그래서 구현은 을 −0.4로 살짝 옮겨 영점을 정수 4에 맞춥니다. 범위가 조금 넓어지는 값으로 0을 정확히 지키는 것입니다.
대칭 양자화는 ()으로 잡아 0이 격자의 정확히 가운데에 오게 합니다. 영점이 항상 0이라 저장할 것이 하나 줄고, 0을 지키는 문제도 저절로 풀립니다.
치우친 분포
어느 쪽이 나은지는 분포가 얼마나 치우쳤는가 하나로 갈립니다.
| 분포 | 비트 | 비대칭 | 비대칭 MSE | 대칭 | 대칭 MSE | MSE 비 |
|---|---|---|---|---|---|---|
| 0 대칭 (가중치) | 8 | 0.03508 | 1.03 × 10⁻⁴ | 0.03602 | 1.08 × 10⁻⁴ | 1.06배 |
| 0 대칭 (가중치) | 4 | 0.59628 | 2.97 × 10⁻² | 0.65352 | 3.57 × 10⁻² | 1.20배 |
| 한쪽 치우침 (ReLU 출력) | 8 | 0.01844 | 1.75 × 10⁻⁵ | 0.03703 | 7.08 × 10⁻⁵ | 4.04배 |
| 한쪽 치우침 (ReLU 출력) | 4 | 0.31351 | 5.09 × 10⁻³ | 0.67182 | 2.33 × 10⁻² | 4.58배 |
0 근처로 퍼진 가중치에서는 차이가 1.2배뿐이라 커널이 단순한 대칭 쪽을 씁니다. 층을 지나며 계산되어 다음 층으로 넘어가는 중간 값을 활성값이라고 하는데, ReLU를 지난 활성값처럼 한쪽만 나오는 분포에서는 대칭 격자가 데이터가 없는 음수 쪽에 칸의 절반을 버려 오차가 4.6배가 됩니다. 「가중치는 대칭, 활성값은 비대칭」이라는 실무의 관행이 이 표에서 나옵니다.
MSE 비가 4배 남짓인 것도 우연이 아닙니다. 대칭이 범위를 두 배로 잡으면 가 두 배가 되고, 오차 분산은 에 비례하니 네 배가 됩니다. 비트 하나를 버린 것과 같은 값이고, 0 대칭 분포에서 비대칭이 얻는 이득(1.2배)과는 자릿수가 다릅니다.
정수 커널의 교차항
대칭이 「커널을 단순하게 한다」는 말은 식으로 보면 분명해집니다. 활성값 와 가중치 의 내적을 정수끼리의 계산으로 풀면
입니다. 첫 항이 정수 곱셈기가 실제로 할 일이고, 나머지 셋이 영점이 남기는 교차항입니다.
세 교차항의 값이 다릅니다. 와 는 가중치만 알면 미리 계산해 출력 채널마다 상수 하나로 넣어 둘 수 있습니다. 가중치는 추론 중에 안 바뀌기 때문입니다. 문제는 입니다. 입력이 바뀔 때마다 활성값의 합을 새로 구해야 해서 실행 중에 덧셈 한 벌이 더 붙습니다.
가중치를 대칭으로 담으면 이라 바로 그 항이 사라집니다. 활성값은 비대칭으로 두어도 교차항이 미리 계산되는 쪽에만 남습니다. 「가중치는 대칭, 활성값은 비대칭」이 오차 표뿐 아니라 계산 비용으로도 맞는 짝인 이유가 이 식입니다.
이상치와 스케일
이상치의 비용
가 로 정해진다는 것이 이 방식의 급소입니다. 나머지 값들보다 자릿수가 다르게 큰 값을 이상치라고 하는데, 값 4,096개 중 이상치 하나만 있어도 나머지 4,095개의 격자 간격이 그것에 끌려갑니다. 꼬리 길이 를 혼자서 키우는 값이라고 봐도 됩니다.
4비트 대칭 양자화에서, 표준편차 0.5짜리 값 4,096개 중 첫 번째만 크게 바꿔 가며 쟀습니다.
| 이상치 | 범위 | 정상값이 실제로 쓰는 비트 | 정상값 MSE | 상대오차 | |
|---|---|---|---|---|---|
| 없음 | 1.75 | 0.2494 | 3.91 | 5.12 × 10⁻³ | 0.142 |
| 2 | 2.00 | 0.2857 | 3.70 | 6.76 × 10⁻³ | 0.163 |
| 5 | 5.00 | 0.7143 | 2.32 | 4.16 × 10⁻² | 0.404 |
| 20 | 20.00 | 2.8571 | 1.58 | 2.51 × 10⁻¹ | 0.993 |
| 100 | 100.00 | 14.2857 | 0.00 | 2.55 × 10⁻¹ | 1.000 |
「실제로 쓰는 비트」는 정상값 4,095개가 실제로 차지한 격자 칸 수의 로그입니다. 4비트를 할당했는데 이상치가 20이면 1.58비트만 쓰고, 100이면 0비트 — 모든 정상값이 같은 칸(0)으로 사상됩니다. 상대오차 1.000은 값을 통째로 잃었다는 뜻입니다.
이것이 LLM 양자화에서 「이상치 채널」이 문제가 되는 이유입니다. 벡터의 한 차원, 행렬로 보면 그 차원에 해당하는 한 줄을 채널이라고 합니다. 트랜스포머의 활성값에는 몇 개 채널에서만 다른 채널보다 수십 배 큰 값이 규칙적으로 나타나는데, 텐서 전체에 스케일 하나를 쓰면 그 몇 개가 나머지 수천 개의 비트를 먹습니다.
채널별 스케일
처방은 스케일을 나누는 것입니다. 이상치가 특정 채널에 몰려 있다면 채널마다 를 따로 두면 됩니다. 이것이 채널별 스케일입니다. 이상치는 제 채널의 격자만 늘리고 다른 채널은 건드리지 못합니다.
가중치에서 17번 채널만 40배 크게 만들어 두고 두 방식을 비교했습니다.
| 비트 | 텐서 전체에 스케일 하나 | 채널마다 스케일 | 차이 |
|---|---|---|---|
| 8 | 8.77 × 10⁻³ | 4.19 × 10⁻⁵ | 209배 |
| 4 | 2.57 × 10⁻¹ | 1.24 × 10⁻² | 21배 |
채널마다 스케일 하나(fp16 두 바이트)를 더 저장하는 값으로 오차가 20배에서 200배 줄었습니다. 채널이 256개면 추가 저장량은 512바이트, fp16으로 담았던 원래 가중치의 1.6%입니다.
그룹 크기
채널별 스케일보다 더 잘게 나눌 수도 있습니다. 채널 하나를 다시 128개, 64개씩 끊어 묶음마다 스케일을 두는 것이 그룹 양자화이고, 묶음의 크기를 그룹 크기라고 합니다. 그룹이 작을수록 한 묶음 안의 꼬리 길이가 짧아지고, 대신 스케일을 더 많이 저장합니다.
비용은 계산이 쉽습니다. fp16 스케일 하나가 16비트이고 그것을 개가 나눠 쓰므로, 값 하나에 비트가 더 붙습니다. 꼬리가 굵은 라플라스분포로 뽑은 가중치를 4비트 대칭으로 담으며 상대오차를 재 봤습니다.
| 스케일 단위 | 값 하나에 드는 비트 | 상대오차 |
|---|---|---|
| 텐서 전체 하나 | 4.000 | 0.433 |
| 채널(1,024개)마다 | 4.016 | 0.217 |
| 그룹 128 | 4.125 | 0.160 |
| 그룹 64 | 4.250 | 0.140 |
| 그룹 32 | 4.500 | 0.121 |
텐서 하나에서 채널별로 가는 첫걸음이 오차를 절반으로 줄이고 비트는 0.016밖에 안 듭니다. 그다음부터는 들이는 비트에 견줘 줄어드는 폭이 작아집니다. 그룹 32는 그룹 128보다 오차를 4분의 1쯤 줄이지만 비트를 0.375 더 씁니다. 0.5비트를 더 쓸 바에는 비트 수 자체를 올리는 쪽과도 저울질해야 하는 지점입니다. 실무에서 128이 흔한 기본값인 것도 이 눈금에서 보면 자연스럽습니다 — 첫걸음의 이득은 다 챙기고 비트는 0.125만 씁니다.
활성값의 이상치
가중치와 활성값은 이상치를 다루는 방식이 다릅니다. 가중치는 학습이 끝나면 고정이라, 이상치가 어디 있는지 한 번 보고 스케일을 정하면 끝입니다. 활성값은 입력마다 값이 달라서 미리 볼 수 없습니다. 그래서 표본 입력 몇백 개를 실제로 흘려 활성값의 범위를 기록하고 거기서 스케일을 정하는데, 이 절차를 캘리브레이션이라고 합니다(절차는 양자화 캘리브레이션이 다룹니다). 표본에 없던 큰 값이 실제 입력에서 나오면 클램프 오차가 됩니다.
활성값에서는 스케일을 어느 방향으로 나누느냐에 제약이 하나 붙습니다. 행렬 곱 에서 토큰 의 활성값 한 줄에 스케일 하나를 쓰면 로 합 밖에 꺼낼 수 있습니다. 이것이 토큰별 스케일입니다. 반대로 채널 마다 스케일 를 두면 그것이 합 안에서 마다 달라 밖으로 꺼낼 수 없고, 정수 곱셈을 한 번에 끝낼 수 없습니다. 활성값을 채널별로 나누지 않고 토큰별로 나누는 것은 정확도가 아니라 이 계산 구조 때문입니다.
대가가 있습니다. 활성값에서 17번 채널만 40배 크게 하고 8비트로 담아 봤습니다. 정상 채널의 상대오차가 텐서 하나의 스케일로는 0.306, 토큰별 스케일로는 0.090이었고, 꺼낼 수 없는 채널별 스케일이라면 0.007이었습니다. 이상치 채널은 모든 토큰에 다 들어 있으므로, 토큰을 나눠도 줄마다 그 한 칸이 범위를 끌고 갑니다. 이 차이를 메우려고 활성값의 큰 채널을 상수로 나누고 같은 상수를 가중치 쪽에 곱해 옮기는 기법(SmoothQuant 계열)이 나왔습니다. 곱은 그대로이고, 이상치는 채널별 스케일을 쓸 수 있는 가중치 쪽으로 건너갑니다.
오차 예산
층 하나의 예산
서두의 질문으로 돌아갑니다. int4에서 무너질지를 돌려 보기 전에 알 수 있을까요.
선형층 에서 를 양자화하면 이고, 출력의 오차는 입니다. 의 성분이 분산 로 독립이라고 보면, 앞의 「오차의 누적」에서처럼 분산이 더해지므로 출력 오차의 크기와 출력 자체의 크기가 각각
이므로 과 가 통째로 약분됩니다. 남는 것은
한 줄이고, 이것을 오차 예산이라고 부르겠습니다. 필요한 값은 가중치의 표준편차와 최댓값 둘뿐이라 모델을 돌리지 않고 계산할 수 있습니다.
선형층에서 예산과 실측을 대조했습니다.
| 비트 | 예산 | 실제로 잰 상대오차 |
|---|---|---|
| 8 | 0.0106 | 0.0103 |
| 6 | 0.0436 | 0.0438 |
| 5 | 0.0901 | 0.0910 |
| 4 | 0.1931 | 0.1814 |
| 3 | 0.4505 | 0.4403 |
| 2 | 1.3516 | 0.9730 |
5비트까지는 소수 셋째 자리까지 맞습니다. 2비트에서만 예산이 비관적인데, 이 지점에서는 오차가 신호만큼 커져 「독립적인 잡음」이라는 전제가 무너지기 때문입니다(양자화가 값을 아예 0으로 뭉개는 쪽으로 편향됩니다).
표에서 읽히는 것이 서두의 질문에 대한 답입니다. int8은 출력을 1% 흔들고 int4는 18% 흔듭니다. 8과 4 사이가 아니라 5와 4 사이가 절벽이라는 것도 이 표가 알려 줍니다 — 9%에서 18%로 두 배가 되는 자리입니다.
잔차 연결
층 하나에서 18%면 층 서른 개를 지나며 어떻게 될까요. 답은 오차가 층을 지나며 곱해지는지 더해지는지에 달려 있습니다.
층을 그냥 이어 붙인 구조에서는 앞 층의 오차가 뒤의 모든 층을 통과합니다. 뒤 층들이 어떤 방향을 키우면 그 방향의 오차도 같이 커지고, 층마다 조금씩 키우는 배율이 층 수만큼 곱해집니다. 트랜스포머는 그렇게 생기지 않았습니다. 잔차 연결은 층의 출력을 입력에 더해 다음으로 넘기는 구조, 곧 입니다. 각 층의 양자화 오차는 의 출력에 얹혀 흐름에 더해지고, 흐름 자체는 항등 경로로 그대로 지나갑니다. 오차가 곱해지기보다 쌓이는 쪽에 가깝습니다.
층마다 오차가 독립이면 쌓이는 크기는 앞의 누적과 같은 이치로 을 따릅니다. 층 서른 개면 배입니다. 층 하나에 1%인 int8은 6% 가까이, 18%인 int4는 98%, 곧 신호만큼의 오차가 됩니다. 실제로는 가지의 출력이 흐름보다 작아 두 값 모두 이보다 작지만, 둘의 비가 18배라는 것은 그대로입니다. 한쪽은 흔들림이고 다른 쪽은 뭉개짐입니다.
층별 민감도
같은 상대오차라도 어느 층에 생기느냐에 따라 결과가 다릅니다. 가장 민감한 자리가 셋입니다.
첫째는 어텐션 점수입니다. 점수는 소프트맥스의 지수 안으로 들어가므로, 점수에 만큼의 오차가 생기면 그 자리의 가중치가 배가 됩니다. 이면 , 곧 10.5%입니다. 더하기로 들어온 오차가 곱하기로 바뀌는 자리라 작은 오차가 크게 번집니다.
둘째는 마지막 층입니다. 마지막 층의 출력은 다음 토큰을 고르는 점수인데, 가장 높은 두 점수가 가깝게 붙어 있으면 작은 오차로도 순위가 뒤집히고 다른 토큰이 나옵니다. 한 번 다른 토큰이 나오면 그 뒤의 생성이 통째로 갈립니다. 셋째는 첫 층입니다. 여기서 생긴 오차는 뒤의 모든 층이 입력으로 받습니다. 그래서 실무에서는 첫 층과 마지막 층을 높은 비트로 남겨 두는 일이 흔합니다. 예산 식이 같은 값을 주더라도 그 값이 어디에 떨어지는지가 다른 것입니다.
가중치와 활성값
지금까지는 가중치만 양자화했습니다. 활성값은 16비트로 두고 가중치만 4비트로 담는 W4A16과, 둘 다 4비트로 담는 W4A4는 예산이 다릅니다. 두 오차가 서로 독립이면 상대오차는 제곱해서 더해집니다.
정규분포 가중치와 활성값으로 층을 재 보니 W8A16이 0.011, W8A8이 0.013, W4A16이 0.196, W4A4가 0.244였습니다. 활성값까지 4비트로 내리면 분산 기준으로 예산이 하나 더 붙습니다. 두 오차가 같은 크기라면 분산이 두 배, 상대오차가 배입니다. 그리고 활성값에는 앞에서 본 이상치 채널이 있어 가 정규분포로 잰 이 값보다 쉽게 커집니다. 가중치만 4비트로 내리는 방식이 먼저 자리 잡은 것은 이 예산 계산과 맞아떨어집니다.
정리
처음 장면
int8은 0.3%p만 잃고 int4는 점수가 절반 아래로 떨어졌던 장면으로 돌아가 봅니다. 예산 식으로 보면 그 둘은 같은 방법의 정도 차이가 아니었습니다. int8은 층마다 출력을 1% 흔들고 잔차 연결을 서른 번 지나도 흔들림에 머뭅니다. int4는 층마다 18%를 흔들고, 같은 서른 층을 지나면 오차가 신호만큼 자랍니다. 절벽은 5와 4 사이에 있었습니다.
그리고 같은 식이 처방도 줍니다. 분자의 를 줄이는 모든 조작이 예산을 줄입니다. 꼬리를 잘라 를 줄이는 클리핑, 이상치를 제 묶음에 가두는 채널별 스케일과 그룹 양자화가 전부 를 낮춰 를 줄이는 일입니다. 위의 라플라스 가중치에서 텐서 하나의 스케일로 0.43이던 상대오차가 그룹 128에서 0.16이 됐습니다. 도구를 바꿔 보기 전에, 그 도구가 예산을 얼마나 줄일지를 먼저 계산할 수 있습니다.
핵심 정리
- 양자화의 스텝 크기는 이고, 반올림 오차는 를 톱니로 오간다. 버림은 평균 로 치우쳐 평균제곱오차가 네 배이고, 합에서 에 비례해 쌓인다.
- 확률적 반올림은 치우침이 없는 대신 오차 분산이 두 배다. 격자보다 작은 갱신이 쌓여야 하는 학습에서 쓴다.
- 오차를 균등분포로 보면 분산이 다. 200만 개 실측과 소수 넷째 자리까지 맞았다. 이 근사는 격자가 아주 성길 때(2~3비트) 깨진다.
- SNR로 옮기면 다(). 비트 하나가 6.02dB이고, 신호의 크기 는 약분돼 사라진다.
- 꼬리가 두 배로 길어지면 비트 하나를 버리는 것과 같다. 클리핑 지점은 클램프 오차와 반올림 오차의 합이 가장 낮은 곳이고, 4비트 정규분포에서 로 오차를 3.3배 줄였다.
- 대칭이냐 비대칭이냐는 분포가 치우쳤는지 하나로 갈린다. 영점은 0을 정확히 담도록 정수여야 하고, 가중치를 대칭으로 두면 실행 중에 계산할 교차항이 사라진다.
- 가 로 정해지므로 이상치 하나가 나머지 전부의 격자를 늘린다. 채널별 스케일이 오차를 8비트에서 209배, 4비트에서 21배 줄였고, 그룹 크기는 값 하나에 비트를 더 쓰는 눈금이다.
- 활성값은 계산 구조 때문에 토큰별 스케일을 쓰고, 이상치 채널은 그것으로 다 못 막는다.
- 오차 예산 은 층 출력의 상대오차를 모델을 돌리지 않고 예측한다. int8은 1%, int4는 18%이고, 잔차 연결을 지나며 대략 로 쌓이며, 활성값까지 양자화하면 제곱해서 더해진다.
읽어주셔서 감사합니다. 😊

