LLM·트랜스포머

LLM / 12번째 글

Mixture of Experts: 희소 활성화로 거대 모델 만들기

Mixture of Experts(MoE)가 FFN 레이어를 다수의 전문가로 교체하고 토큰마다 Top-K만 활성화해 파라미터는 늘리되 연산량은 유지하는 원리와 실전 구현을 해설한다.

PALDYN Team28 MIN READ

지난 글에서 GQA가 KV 헤드를 줄여 메모리를 절감하는 방법을 살펴봤다. 이번에는 파라미터 규모와 연산 비용을 분리하는 전혀 다른 전략인 Mixture of Experts(MoE)를 다룬다. 뿌리는 1991년 Jacobs et al.의 「여러 전문가를 두고 입력마다 맡길 쪽을 고른다」는 아이디어이고, 2017년 Shazeer et al.이 이것을 LSTM 언어 모델의 층 하나로 넣으면서 거대 신경망의 부품이 됐다. 트랜스포머에서는 GShard(2020)와 Switch Transformer(2021)를 거쳐, 지금은 Mixtral 8×7B(2023)와 DeepSeek-V3(2024) 같은 공개 모델이 이 구조로 서 있다. GPT-4도 MoE라는 보도가 여러 번 나왔지만 OpenAI가 구조를 공식으로 밝힌 적은 없으므로 이 글에서는 근거로 쓰지 않는다.

이 글은 MoE가 무엇을 바꾸는지에서 출발해, 라우터가 전문가를 고르는 수식, 고르는 일이 한쪽으로 쏠릴 때 생기는 붕괴와 그 처방, 토큰이 넘칠 때 버려지는 방식, 그리고 「연산은 줄었는데 메모리는 왜 그대로인가」를 차례로 따라간다.

희소 활성화

밀집 FFN

트랜스포머 블록 하나는 어텐션과 FFN 두 부분으로 이뤄진다. FFN(피드포워드 네트워크)은 토큰 벡터 하나를 받아 넓은 은닉층으로 펼쳤다가 다시 원래 폭으로 접는 두 겹짜리 신경망이고, 블록의 파라미터 가운데 대략 3분의 2를 차지한다. 밀집(Dense) 트랜스포머에서는 모든 토큰이 이 FFN의 모든 가중치를 지나간다. 모델을 키우려고 FFN을 두 배로 넓히면 토큰 하나를 처리하는 연산도 그대로 두 배가 된다 — 파라미터 수와 연산량이 한 몸으로 묶여 있는 셈이다.

전문가와 라우터

MoE는 그 묶음을 푼다. FFN 하나를 같은 모양의 FFN 여러 개로 바꾸고, 각 FFN을 전문가(Expert)라고 부른다. 그리고 토큰마다 어느 전문가에게 보낼지 정하는 작은 선형 층을 앞에 두는데, 이것이 라우터(Router)다. 라우터는 전문가 N개에 점수를 매기고 그중 상위 K개만 실행한다. 전문가는 계산을 하는 쪽이고 라우터는 그 계산을 누구에게 맡길지만 정하는 쪽이라, 라우터 자체의 파라미터는 전문가 하나에 견주면 무시할 만큼 작다.

Dense FFN:    토큰 → FFN(전체 파라미터) → 출력
MoE FFN:      토큰 → Router → Expert₁, Expert₃ → 가중 합산 → 출력

이렇게 토큰마다 네트워크의 일부만 켜는 방식을 희소 활성화라고 한다. K=2, N=8이면 FFN 쪽 파라미터 가운데 토큰 하나가 실제로 쓰는 것은 2/82/8, 곧 4분의 1뿐이다.

MoE 구조와 토큰 라우팅

총 파라미터와 활성 파라미터

여기서 파라미터를 세는 방법이 둘로 갈린다. 모델에 들어 있는 가중치 전부가 총 파라미터이고, 토큰 하나를 처리할 때 실제로 곱셈에 참여하는 가중치가 활성 파라미터다. 밀집 모델에서는 둘이 같고, MoE에서는 활성 쪽이 훨씬 작다.

Mixtral 8×7B로 셈을 해 보면 이름이 왜 오해를 부르는지도 보인다. 각 층에 전문가가 8개 있고 토큰마다 2개를 고른다. 이름대로라면 7B짜리가 여덟이니 56B여야 하지만, 공개된 총 파라미터는 약 47B다. 어텐션·임베딩·정규화 층은 전문가로 나뉘지 않고 모두가 함께 쓰기 때문이다. 활성 파라미터는 약 13B로, 공유 부분에 전문가 둘을 더한 크기다. 토큰 하나당 연산은 13B 밀집 모델과 비슷한데 담을 수 있는 지식의 그릇은 47B라는 것이 MoE가 파는 거래다.

라우터

게이팅 수식

라우터가 하는 일은 수식 두 줄로 적힌다. 토큰 벡터를 xx, 라우터 가중치를 WgW_g라 하면 전문가마다 점수 h=Wgxh = W_g x가 나오고, 그중 상위 K개만 남겨 소프트맥스로 비중을 만든다. 이 비중이 게이트 값이고, 출력은 선택된 전문가 출력을 게이트 값으로 섞은 것이다.

y=∑i∈TopK(h)gi Ei(x),gi=ehi∑j∈TopK(h)ehjy = \sum_{i \in \mathrm{TopK}(h)} g_i \, E_i(x), \quad g_i = \frac{e^{h_i}}{\sum_{j \in \mathrm{TopK}(h)} e^{h_j}}

전문가 넷에서 둘을 고르는 예로 숫자를 넣어 보자. 라우터 점수가 h=(2.0, 0.5, 1.2, −0.3)h = (2.0,\ 0.5,\ 1.2,\ -0.3)이면 상위 둘은 1번(2.0)과 3번(1.2)이다. 둘의 차이가 0.8이므로 e0.8≈2.23e^{0.8} \approx 2.23이고, 1번의 게이트 값은 2.23/3.23≈0.692.23 / 3.23 \approx 0.69, 3번은 0.31이다. 출력은 0.69 E1(x)+0.31 E3(x)0.69\,E_1(x) + 0.31\,E_3(x)이고 2번·4번 전문가는 이 토큰에 대해 아예 실행되지 않는다. 소프트맥스를 상위 K개를 고른 뒤에 거는 것은 Mixtral이 쓰는 순서다. 전체에 먼저 소프트맥스를 걸고 고르는 모델도 있는데, 그러면 남은 비중의 합이 1보다 작아진다.

# 라우터 게이팅
logits = W_g @ x          # (num_experts,)
gates, indices = logits.topk(K)   # Top-K 선택
gates = softmax(gates)     # 정규화 (합 = 1)

# 출력 = 선택된 전문가의 가중 합산
output = sum(gates[i] * Expert_i(x) for i in indices)

Top-K의 미분

이 수식에는 미분이 안 되는 자리가 하나 있다. 「상위 K개를 고른다」는 연산은 점수가 조금 바뀌어도 고른 결과가 그대로이다가 순위가 뒤집히는 순간 뚝 바뀌는 계단 함수라, 어느 전문가를 고를지에 대해서는 기울기가 없다. 그래도 라우터가 학습되는 것은 게이트 값이 출력에 곱해지기 때문이다. 위 예에서 손실은 g1g_1과 g3g_3을 거쳐 h1h_1과 h3h_3으로 기울기를 흘려 보내고, 라우터는 「고른 둘 사이의 비중」을 조정하면서 간접적으로 순위를 바꾼다.

대신 고르지 않은 전문가는 그 토큰에서 기울기를 하나도 못 받는다. 한 번도 뽑히지 않은 전문가는 자기가 그 토큰을 더 잘 처리할 수 있었는지 알려 줄 신호조차 없다. Shazeer et al.이 점수에 크기를 학습하는 잡음을 더해 순위를 가끔 흔든 것(noisy top-k)도 이 탐색 부족을 메우려는 장치였다. Switch Transformer는 K=1로 줄여도 같은 원리로 라우터가 학습된다는 것을 보였다. 이 「뽑혀야 배운다」는 성질이 다음 절의 붕괴로 곧장 이어진다.

레이어 구현

아래 구현은 전문가마다 해당 토큰을 모아 한 번에 처리하는 개념용 코드다. 실제 분산 학습에서는 전문가를 서로 다른 GPU에 두고 토큰을 그 GPU로 보내야 하므로, 뒤에서 볼 통신이 따로 붙는다.

MoE 레이어 구현 코드

로드 밸런싱

전문가 붕괴

학습 초기에는 라우터 가중치가 무작위라 어떤 전문가가 우연히 조금 더 많이 뽑힌다. 많이 뽑힌 전문가는 기울기를 많이 받아 빨리 좋아지고, 좋아진 전문가는 손실을 더 많이 줄이니 라우터가 그쪽 점수를 또 올린다. 반대편 전문가는 뽑히지 않으니 배우지 못하고, 배우지 못하니 계속 뽑히지 않는다. 이 되먹임이 끝까지 가면 소수의 전문가가 거의 모든 토큰을 받고 나머지는 무작위 초기값에 머문 채 자리만 차지하는데, 이것을 전문가 붕괴(expert collapse)라고 한다. 47B를 들여 놓고 실제로는 밀집 모델 하나만큼만 쓰는 상태다. 분산 학습에서는 손해가 하나 더 붙는다. 인기 전문가를 든 GPU 하나에 일이 몰려, 나머지 GPU가 그 GPU를 기다리며 논다.

보조 손실

Switch Transformer가 정리한 처방은 쏠림 자체를 손실로 세는 것이다. 배치 안에서 전문가 ii가 실제로 받은 토큰 비율을 fif_i, 라우터가 전문가 ii에 준 확률의 평균을 pip_i라 하고, 둘을 곱해 더한 값에 전문가 수 N을 곱한다. 이것이 보조 손실(auxiliary loss)이고, 언어 모델링 손실에 작은 계수 α를 곱해 더한다.

Laux=N∑i=1Nfi piL_{\mathrm{aux}} = N \sum_{i=1}^{N} f_i \, p_i

이 값은 토큰이 고르게 퍼질 때 가장 작아진다. 전문가 넷에 토큰을 하나씩 보내는 경우(K=1)로 두 상태를 견줘 보자. 고르게 퍼지면 ff와 pp가 모두 0.25라 4×4×0.0625=1.004 \times 4 \times 0.0625 = 1.00이다. 쏠린 상태에서 받은 비율이 f=(0.70, 0.20, 0.10, 0)f = (0.70,\ 0.20,\ 0.10,\ 0)이고 확률 평균이 p=(0.60, 0.25, 0.10, 0.05)p = (0.60,\ 0.25,\ 0.10,\ 0.05)이면 4×(0.42+0.05+0.01+0)=1.924 \times (0.42 + 0.05 + 0.01 + 0) = 1.92로 거의 두 배가 된다. fif_i는 고르는 결과라 미분이 안 되지만 pip_i는 소프트맥스 출력이라 미분이 되므로, 기울기는 많이 받은 전문가의 확률을 깎는 쪽으로 흐른다.

전문가 넷의 토큰 분포와 보조 손실

def load_balancing_loss(router_probs, expert_indices, num_experts):
    # 전문가별 할당 비율 f_i
    expert_mask = F.one_hot(expert_indices, num_experts).float()
    tokens_per_expert = expert_mask.mean(dim=0)   # (num_experts,)
    # 전문가별 라우터 점수 평균 p_i
    avg_probs = router_probs.mean(dim=0)          # (num_experts,)
    # 균등 분배 유도: f_i * p_i의 합을 최소화
    loss = num_experts * (tokens_per_expert * avg_probs).sum()
    return loss

# 총 손실 = 언어 모델링 손실 + α * 로드 밸런싱 손실
total_loss = lm_loss + 0.01 * load_balancing_loss(...)

α는 보통 0.001에서 0.01 사이에 둔다. 너무 작으면 붕괴를 못 막고, 너무 크면 라우터가 「잘 맞는 전문가」보다 「한가한 전문가」를 고르기 시작해 언어 모델 성능이 떨어진다. 균형과 품질이 서로 당기는 줄다리기라 계수 하나로 둘을 다 맞추기가 어렵다.

손실 없는 균형

DeepSeek-V3는 이 줄다리기를 피하는 길을 택했다. 전문가마다 편향값 bib_i를 하나씩 두고, 상위 K개를 고를 때만 점수에 더한다. 한 학습 스텝이 끝나면 배정이 많았던 전문가의 편향을 조금 내리고 적었던 전문가의 편향을 조금 올린다. 편향은 고르는 순위에만 쓰이고 게이트 값을 계산할 때는 빠지므로, 출력의 섞는 비중은 원래 점수 그대로다. 손실 항으로 라우터를 끌어당기지 않으니 언어 모델 기울기가 균형 때문에 오염되지 않는다는 것이 이 설계의 요지다. DeepSeek-V3 기술 보고서는 이 방식을 「보조 손실 없는 로드 밸런싱」이라 부르면서도, 한 시퀀스 안에서 극단적으로 쏠리는 것을 막는 아주 작은 계수의 보조 손실은 함께 남겨 두었다고 밝힌다.

토큰 배정

Token Choice

지금까지 본 방식은 토큰이 전문가를 고르므로 Token Choice라고 부른다. 문제는 고르는 쪽이 토큰이라 한 전문가에 몇 개가 몰릴지 미리 알 수 없다는 것이다. GPU에서는 행렬 크기가 미리 정해져 있어야 효율이 나오므로, 실제 구현은 전문가마다 받을 수 있는 토큰 수의 상한을 둔다. 이 상한이 전문가 용량(expert capacity)이다.

K를 몇으로 둘지도 이 자리에서 정해진다. K=1이면 토큰마다 전문가 하나만 계산하고 보내는 양도 가장 적지만, 그 하나가 넘쳐 버리면 토큰이 FFN을 통째로 놓친다. K=2면 연산과 통신이 두 배가 되는 대신 출력이 두 전문가의 섞음이라 한쪽이 빠져도 나머지 하나가 남는다. Switch Transformer가 K=1을, GShard와 Mixtral이 K=2를 쓴 것은 이 저울질에서 다른 쪽을 고른 결과다.

전문가 용량

용량은 고르게 퍼졌을 때 한 전문가가 받을 몫에 여유분을 곱해 정한다. 그 여유분이 용량 계수(capacity factor)다. 토큰 1,024개, 전문가 8개, K=2라면 배정은 모두 2,048건이고 고르게 퍼지면 전문가당 256건이다. 용량 계수를 1.25로 두면 상한은 320건이다. 어느 전문가에 400건이 몰리면 넘친 80건은 그 전문가를 건너뛰는데, 이것을 토큰 드롭이라고 한다. 드롭된 토큰은 남은 다른 전문가의 출력만 받거나, K=1이면 FFN을 통째로 거르고 잔차 연결로만 다음 층에 간다. 용량 계수를 키우면 드롭은 줄지만 빈자리까지 계산하느라 연산과 메모리가 늘어난다. 보조 손실이 중요한 이유가 여기서 한 번 더 드러난다 — 쏠림이 클수록 드롭이 늘어난다.

Expert Choice

Expert Choice(Zhou et al., 2022)는 고르는 방향을 뒤집는다. 전문가마다 배치 안의 토큰 점수를 보고 자기가 처리할 상위 토큰을 정해진 수만큼 가져간다. 전문가마다 받는 수가 처음부터 똑같으니 용량을 넘칠 일이 없고 보조 손실도 필요 없다. 대신 드롭이 반대편에서 생긴다. 어떤 토큰은 여러 전문가가 동시에 가져가고, 어떤 토큰은 아무 전문가도 안 가져가 FFN을 건너뛴다. 토큰마다 쓰는 연산이 달라진다는 뜻이고, 쉬운 토큰에는 적게, 어려운 토큰에는 많이 쓰는 효과로 볼 수도 있다. 다만 전문가가 배치 전체를 보고 골라야 하므로, 앞 토큰을 생성하는 시점에 뒤 토큰을 모르는 자기회귀 생성에는 그대로 쓰기 어렵다.

전문가 병렬과 메모리

all-to-all 통신

전문가를 여러 GPU에 나눠 두는 방식을 전문가 병렬(expert parallelism)이라고 한다. GPU 여덟 대에 전문가를 하나씩 두면, 각 GPU는 자기가 가진 토큰을 라우터 결과대로 여덟 갈래로 나눠 해당 GPU로 보내고, 전문가 계산이 끝나면 결과를 다시 원래 GPU로 돌려받는다. 모든 GPU가 모든 GPU와 동시에 주고받으므로 이 교환을 all-to-all 통신이라 부르고, MoE 층 하나마다 보내기와 돌려받기로 두 번 일어난다. 오가는 양은 토큰 수 × 은닉 폭 × K에 비례한다. 배치가 크면 전문가 계산이 통신 시간을 덮지만, 배치가 작으면 전문가가 받은 토큰이 몇 개 안 돼 계산은 금방 끝나고 통신 지연만 남는다.

숫자로 감을 잡아 보자. 은닉 폭이 4,096이고 bf16을 쓰면 토큰 벡터 하나가 8KB다. GPU 한 대가 토큰 4,096개를 들고 K=2로 보내면 한 번 보낼 때 약 64MB가 나가고, 돌려받을 때 같은 양이 들어온다. 층이 32개면 순전파 한 번에 이 교환이 64번이다. 같은 서버 안의 GPU끼리는 빠른 전용 연결로 오가지만 서버를 넘어가면 네트워크가 훨씬 느려지므로, 전문가를 어떻게 GPU에 나눌지가 MoE 학습 속도를 크게 좌우한다.

적재 파라미터

희소 활성화가 줄이는 것은 연산이지 메모리가 아니다. 어느 토큰이 어느 전문가를 고를지 미리 모르므로 전문가 전부를 GPU 메모리에 올려 둬야 한다. Mixtral 8×7B를 bf16(파라미터당 2바이트)으로 올리면 약 47B × 2 = 94GB가 필요하고, 이것은 활성 13B에 해당하는 26GB의 세 배가 넘는다. 연산은 13B 모델 수준인데 GPU는 47B 모델만큼 사야 한다. 어텐션 쪽은 MoE가 건드리지 않으므로 KV 캐시의 크기도 밀집 모델과 같은 셈법을 따른다 — 지난 글의 GQA 같은 장치가 MoE 모델에도 그대로 함께 쓰이는 까닭이다.

Mixtral 8×7B의 적재 메모리와 활성 메모리

생성 단계에서는 이 차이가 속도로도 나타난다. 토큰을 하나씩 만들 때 병목은 곱셈보다 가중치를 메모리에서 읽어 오는 일이다. 배치가 1이면 전문가 둘만 읽으니 이득이 크다. 그런데 배치에 토큰이 32개 있으면 한 전문가가 32개 토큰 모두에게서 안 뽑힐 확률은 (6/8)32≈0.0001(6/8)^{32} \approx 0.0001이라, 사실상 매 스텝 전문가 여덟을 전부 읽는다. 읽는 양으로 따지면 그 순간은 47B 밀집 모델과 다를 바가 없다.

추론 최적화

그래서 MoE 추론의 기법은 대부분 이 두 비용을 겨냥한다.

  • 토큰 묶기: 같은 전문가를 고른 토큰끼리 모아 행렬 곱 한 번에 처리한다. 전문가마다 작은 곱셈을 여러 번 하는 것보다 GPU를 훨씬 잘 쓴다.
  • 양자화: 가중치를 8비트나 4비트로 줄여 적재 메모리 자체를 낮춘다. 전문가 쪽 가중치가 대부분이라 효과가 크다.
  • 전문가 오프로딩: 자주 안 쓰이는 전문가를 CPU 메모리에 두고 필요할 때 옮겨 온다. 메모리는 아끼지만 옮기는 시간만큼 느려진다.
  • 추론 엔진: vLLM, TensorRT-LLM 같은 엔진이 MoE용 커널과 전문가 병렬을 기본으로 내장한다.

설계 흐름

공유 전문가

DeepSeek 계열이 더한 장치 하나는 모든 토큰이 반드시 지나가는 공유 전문가(shared expert)다. 문법이나 흔한 낱말처럼 어느 토큰에나 필요한 지식을 라우팅되는 전문가 여럿이 저마다 따로 배우면 같은 것을 여러 벌 저장하게 된다. 공유 전문가가 그 공통분모를 맡으면, 라우팅되는 전문가는 남는 자리를 자기만의 특화된 처리에 쓸 수 있다. DeepSeek-V3는 층마다 공유 전문가 1개와 라우팅 전문가 256개를 두고, 토큰마다 라우팅 전문가 가운데 8개를 고른다. 공유 전문가와 바로 아래의 세밀한 전문가는 둘 다 DeepSeekMoE(2024) 논문이 함께 제안한 것이고, 두 장치가 노리는 것은 같다 — 전문가끼리 겹치는 지식을 줄여 같은 파라미터로 더 많은 것을 담는 것이다.

세밀한 전문가

Mixtral은 큰 전문가 8개에서 2개를 고르고, DeepSeek-V3는 작은 전문가 256개에서 8개를 고른다. 같은 파라미터를 더 잘게 쪼개는 쪽을 세밀한 전문가(fine-grained expert)라고 부른다. 쪼개면 고를 수 있는 조합이 폭발적으로 늘어난다 — 8개에서 2개를 고르는 방법은 28가지지만, 256개에서 8개를 고르는 방법은 약 4.1×10144.1 \times 10^{14}가지다. 토큰마다 더 꼭 맞는 전문가 묶음을 짜 줄 수 있다는 뜻이다. 대신 전문가 하나가 작아져 행렬 곱이 잘아지고, K가 커진 만큼 all-to-all로 오가는 양도 늘어난다.

모델 총 파라미터 활성 파라미터 전문가 수 Top-K
Mixtral 8×7B 47B 13B 8 2
Mixtral 8×22B 141B 39B 8 2
DeepSeek-V3 671B 37B 256 + 공유 1 8

DeepSeek-V3는 총 671B 가운데 토큰마다 37B만 쓴다. 활성 비율이 Mixtral의 4분의 1 남짓에서 18분의 1 남짓으로 내려간 셈이고, 같은 연산 예산으로 훨씬 큰 그릇을 들고 있다.

약점

MoE가 늘 이득인 것은 아니다. 손해가 나는 자리는 대개 앞에서 본 두 비용, 곧 적재 메모리와 통신이 연산 절약을 앞지르는 곳이다.

  • 작은 배치의 서빙: 요청이 적어 배치가 작으면 전문가마다 토큰이 몇 개 안 돌아가 GPU가 놀고, 통신 지연이 고스란히 드러난다.
  • 온디바이스: 휴대폰이나 노트북은 연산보다 메모리가 먼저 모자란다. 활성 13B라도 47B를 다 올려야 하니, 같은 메모리라면 밀집 모델이 더 큰 활성 크기를 쓸 수 있다.
  • 파인튜닝: 데이터가 적으면 전문가마다 돌아가는 예제가 더 적어져 일부 전문가가 거의 갱신되지 않고, 라우터가 다시 쏠리기도 한다. 그래서 MoE를 파인튜닝할 때는 라우터를 얼려 두거나 공유 부분만 고치는 방법을 함께 검토한다.

반대로 요청이 많아 배치가 크고 GPU 여러 대를 이미 쓰는 대형 서비스에서는, 같은 서빙 비용으로 더 큰 모델을 돌린다는 MoE의 장점이 그대로 살아난다.

다음 글에서는 이 거대한 LLM들이 텍스트를 처음 받아들이는 방법, 토크나이저와 토큰을 다룬다.


읽어주셔서 감사합니다. 😊

LATEST

LLM·트랜스포머의 최신 글

LLM·트랜스포머2026.08.14

작은 모델을 우리 일에 맞추는 법

파인튜닝이 실제로 고치는 것은 지식이 아니라 행동입니다. 데이터 몇 건이 필요한지, LoRA가 무엇을 바꾸는지, 학습 전에 무엇을 먼저 만들어야 하는지를 정리합니다.

15 MIN
LLM·트랜스포머2026.08.13

작은 모델로 내려도 되는지 판단하는 법

비용·지연·품질은 같은 방향으로 움직이지 않습니다. 폴백을 붙였을 때의 손익분기, 격차가 벌어지는 작업 유형, 그리고 내리기 전에 통과해야 할 네 관문을 정리합니다.

28 MIN
LLM·트랜스포머2026.08.13

작은 모델이 다시 쓸 만해진 이유

10억에서 100억 파라미터 사이의 모델이 다시 실무에 들어오고 있습니다. 무엇이 달라졌는지, 메모리는 어떻게 계산하는지, 무엇을 잘하고 무엇을 못하는지 정리합니다.

32 MIN