비전·음성·추천

DOMAIN / 54번째 글

다국어 전이 — 라벨 없는 언어에서 모델이 동작하는 이유

영어 라벨만으로 학습한 분류기가 한국어 문장을 그대로 처리하는 일이 실제로 일어납니다. 여러 언어가 한 표현 공간에 겹쳐 놓이는 원리, 그 겹침이 무너지는 조건, 번역해서 학습할지 번역해서 추론할지 고르는 기준, 그리고 언어별로 나눠 재야 하는 이유를 정리합니다.

PALDYN Team29 MIN READ

분류기를 하나 만들어야 하는데 라벨이 영어로만 있다. 한국어 · 일본어 · 태국어에서도 같은 판정이 필요하지만 그쪽 라벨은 없고 만들 예산도 없다. 이럴 때 실제로 통하는 방법이 있다. 영어 라벨로만 학습시킨 뒤 한국어 문장을 그냥 넣어 보는 것이다.

말이 안 되는 것 같은데 꽤 자주 동작한다. 이것을 교차 언어 전이(cross-lingual transfer)라 부른다 — 한 언어에서 배운 능력이 학습에 쓰이지 않은 다른 언어로 옮겨 가는 현상이다. 지난 글에서 다룬 정보 추출도, 그 앞의 분류도 라벨이 한 언어에만 있는 경우가 대부분이라 이 현상에 기대어 여러 언어로 넓혀진다. 왜 되는지를 알면 언제 안 되는지도 보인다.

겹친 표현 공간

섞어 넣은 사전학습

핵심은 사전학습 단계에 있다. 다국어 모델은 처음에 백 개 안팎 언어의 라벨 없는 문장을 하나의 모델에 넣어 학습한다. mBERT는 104개 언어의 위키백과를, XLM-R은 100개 언어의 웹 문서를 이렇게 섞어 넣었다. 어느 언어인지 알려 주지도 않고, 문장끼리 짝지어 주지도 않는다. 그냥 섞어 넣고 빈칸을 맞히게 한다.

그런데도 학습이 끝나면 뜻이 비슷한 문장들이 언어와 상관없이 가까운 자리에 놓인다. 모델이 문장을 받아 내놓는 숫자 묶음(벡터)을 표현이라 하고, 그 벡터들이 놓이는 자리 전체를 표현 공간이라 부른다. 「이 영화 재미있다」와 「This movie is fun」이 그 공간에서 이웃이 된다는 말이다. 짝지은 번역문을 한 번도 안 보여 줬는데 그렇게 된다는 점이 이 현상의 놀라운 대목이다.

여러 언어가 한 표현 공간에 겹쳐 놓이고, 그 위에 올린 분류기가 언어를 건너뛴다

겹침의 세 원인

겹치는 이유는 하나가 아니라 셋이 함께 작용해서다.

  • 모델을 나눠 쓴다. 언어마다 다른 파라미터를 주지 않고 전부 같은 층을 통과시킨다. 한정된 크기의 모델에 모든 언어를 담아야 하니, 언어마다 따로 외우기보다 공통되는 구조를 공유하는 쪽으로 압력이 생긴다
  • 글자가 겹친다. 숫자, 사람 이름, 회사명, 영어 낱말은 어느 언어 문서에나 그대로 등장한다. 이런 조각이 언어 사이를 잇는 못 역할을 한다
  • 문맥의 모양이 닮았다. 「___를 먹었다」의 자리에 오는 것과 「ate ___」의 자리에 오는 것은 겹친다. 빈칸 맞히기로 학습하면 이 닮음이 표현에 새겨진다

셋 중 어느 것이 가장 큰지는 언어 쌍마다 다르다. 영어와 독일어처럼 글자도 낱말도 많이 겹치는 쌍에서는 두 번째가 크게 일하고, 영어와 한국어처럼 글자가 거의 안 겹치는 쌍에서는 첫째와 셋째가 대부분을 맡는다. 뒤에서 볼 「겹침이 무너지는 조건」이 결국 이 셋 중 어느 것이 빠지느냐의 이야기다.

자리를 보는 분류기

이렇게 겹친 공간 위에 영어 라벨로 분류기를 올리면, 분류기가 배우는 것은 「이 근처는 긍정, 저 근처는 부정」이라는 공간의 경계다. 같은 자리에 놓인 한국어 문장도 그 경계의 같은 쪽에 떨어지므로 같은 판정을 받는다. 분류기는 언어를 본 적이 없고 자리만 봤기 때문이다.

이 설명은 동시에 한계도 알려 준다. 한국어 문장이 영어 문장과 정확히 같은 자리에 놓이는 것이 아니라 가까운 자리에 놓일 뿐이다. 언어마다 무리 전체가 조금씩 한쪽으로 밀려 있는 경우가 흔하고, 경계 근처에 있던 문장은 그 밀림만으로 반대쪽에 떨어진다. 그래서 그대로 전이한 성능은 영어 성능보다 거의 언제나 낮고, 그 차이가 언어마다 다르다.

전이 선택지

네 갈래의 비용

라벨이 한 언어에만 있을 때 실제로 고를 수 있는 선택지는 넷이다.

하는 일 좋은 점 걸리는 점
그대로 전이 영어로 학습하고 한국어를 그냥 넣는다 추가 비용이 없다 언어마다 성능 차가 크다
번역해서 학습 영어 라벨을 한국어로 기계번역해 함께 학습 대개 성능이 좋다 번역 품질이 상한을 정한다
번역해서 추론 한국어 입력을 영어로 번역해 영어 모델에 넣는다 모델을 하나만 관리한다 실행할 때마다 번역 비용과 지연
소량 라벨 대상 언어 라벨 수백 건만 보탠다 투입 대비 효과가 크다 라벨을 만들어야 한다

네 갈래는 돈이 드는 시점이 다르다. 번역해서 학습하는 길은 학습 데이터를 한 번 번역하면 끝이라 비용이 처음에 몰린다. 번역해서 추론하는 길은 요청이 올 때마다 번역기를 한 번 더 부르므로 비용과 지연이 트래픽에 비례해 계속 쌓인다. 하루 몇백 건이면 무시해도 되지만 하루 수백만 건이면 번역 비용이 분류 비용을 넘는다. 소량 라벨은 사람의 시간이 드는 대신 한 번 만들면 다음 모델에도 다시 쓴다.

소량 라벨의 효과

실무에서 값이 가장 좋은 쪽은 대개 마지막이다. 라벨 0건에서 수백 건으로 가는 구간이 수백 건에서 수만 건으로 가는 구간보다 훨씬 가파르다 — 겹친 공간이 이미 대부분의 일을 해 두었고, 대상 언어 라벨 몇백 건은 위에서 말한 「무리 전체의 밀림」을 바로잡는 데 쓰이기 때문이다. 밀림의 방향은 몇백 개 점으로도 꽤 정확히 잡힌다.

그래서 순서는 이렇게 잡는 것이 현실적이다. 그대로 전이로 먼저 돌려 언어별 성능을 재고, 기준에 못 미치는 언어에만 라벨을 몇백 건 만든다. 모든 언어에 같은 양을 만들 필요가 없다. 영어와 가까운 언어는 0건으로도 충분할 수 있고, 멀리 떨어진 언어에 예산을 몰아 쓰는 편이 낫다.

번역 추론의 한계

번역해서 추론하는 방식은 겉보기에 단순해서 자주 선택되는데, 두 가지를 놓치기 쉽다. 하나는 오류의 추적이다. 번역기가 틀리면 그대로 틀리고, 나중에 틀린 판정을 파 볼 때 번역에서 틀렸는지 분류에서 틀렸는지를 가르려면 중간 번역문을 남겨 두어야 한다. 남겨 두지 않았다면 가를 수 없다.

다른 하나는 위치다. 정보 추출처럼 원문의 위치를 결과에 실어야 하는 작업에는 쓸 수 없다. 번역된 문장에서 찾은 「서울특별시 강남구」의 위치는 번역문의 위치이지 원문의 위치가 아니다. 원문에 표시를 달아 돌려줘야 하는 작업이면 번역을 거친 순간 되돌아갈 길이 끊긴다.

겹침의 붕괴 조건

사전학습 자료량

전이가 잘 되는 언어와 안 되는 언어의 차이에서 가장 큰 요인은 사전학습에 그 언어가 얼마나 들어갔는가다. 웹 문서가 많은 언어는 표현이 잘 잡혀 뜻이 비슷한 문장끼리 촘촘한 무리를 이루고, 적게 들어간 언어는 애초에 무리가 제대로 형성되지 않는다. 무리가 흐트러져 있으면 영어 무리와 겹칠 것도 없다.

모델 카드의 「100개 언어 지원」은 그 100개가 사전학습 자료에 들어 있었다는 뜻이지 100개 모두 같은 품질이라는 뜻이 아니다. 자료량이 언어마다 수천 배씩 차이 나므로, 실제로는 상위 수십 개 언어에서만 쓸 만하고 나머지는 이름만 올라 있는 경우가 흔하다. 지원 목록보다 그 언어에서 직접 잰 값을 믿는다.

문자 체계

로마자를 쓰는 언어끼리는 글자가 겹쳐서 못이 많이 박힌다. 한글 · 태국 문자 · 데바나가리처럼 문자 자체가 다르면 그 못이 숫자와 고유명사밖에 없다. 겹침의 세 원인 중 둘째가 거의 빠지는 셈이다.

다만 문자가 달라도 자료가 충분하면 전이는 일어난다. 한국어와 일본어가 그 예로, 영어와 글자가 거의 안 겹치는데도 자료량이 많아 모델 공유와 문맥의 닮음만으로 상당한 전이가 나온다. 문자가 다르면서 자료도 적은 언어가 가장 어렵다 — 두 조건이 겹치면 못도 무리도 함께 사라진다.

언어 수와 용량

모델 크기가 그대로인데 담는 언어를 늘리면 언어마다 쓸 수 있는 용량이 줄어 결국 전부 조금씩 나빠진다. XLM-R 논문은 이 현상을 다국어의 저주(curse of multilinguality)라 불렀다. 언어를 몇 개 더하면 자료가 적은 언어는 이웃 언어에게서 얻는 것이 있어 좋아지지만, 어느 선을 넘으면 모든 언어가 함께 내려간다.

지원 언어 수는 자랑거리가 아니라 절충이라는 뜻이다. 우리에게 필요한 언어가 다섯이라면 백 개짜리보다 그 다섯을 잘 담은 모델이 낫고, 같은 크기라면 담은 언어가 적은 쪽이 대개 그 언어들에서 더 강하다.

분절률

정의와 재는 절차

겹침을 조용히 깎는 마지막 조건이 토크나이저다. 모델은 문장을 글자 그대로 받지 않고 토크나이저가 잘라 준 조각, 곧 토큰의 열로 받는다. 토크나이저의 사전은 학습 자료의 언어 비율을 따라 만들어지므로, 자료가 적은 언어는 낱말이 잘게 부서진다. 한 낱말이 평균 몇 토큰으로 쪼개지는지를 재는 값을 분절률(fertility)이라 부른다. 1에 가까울수록 낱말이 통째로 들어가고, 클수록 잘게 부서진다.

재는 절차는 단순하다. 뜻이 같은 문단을 언어마다 하나씩 준비한다 — 번역문을 나란히 담은 공개 병렬 말뭉치를 쓰면 손이 덜 든다. 각 문단을 쓰려는 모델의 토크나이저에 넣어 토큰 수를 세고, 낱말 수로 나눠 언어별로 한 줄씩 표에 적는다. 한국어에서는 한 가지를 조심한다. 띄어쓰기 단위인 어절에 조사와 어미가 붙어 있어서, 어절로 나눈 분절률은 영어 낱말로 나눈 값과 바로 견줄 수 없다. 그래서 같은 내용을 담은 문단의 토큰 수 비를 함께 적는 편이 공정하다. 이 비는 낱말을 어떻게 세느냐와 무관하다.

글자 수를 토큰 수로 나눈 자/토큰도 같은 것을 반대 방향에서 본 값이다. 분절률은 낱말을 몇 조각으로 쪼개는지를 말하고, 자/토큰은 토큰 하나가 글자를 몇 개 싣는지를 말한다. 자/토큰은 클수록 좋고 분절률은 작을수록 좋다.

함께 나빠지는 셋

한국어 토큰세는 같은 내용을 담은 한국어 설명문 366자와 영어 설명문 811자를 토크나이저 아홉 개에 넣어 쟀다. 그중 cl100k_base에서 한국어 자/토큰은 1.01, 영어는 5.20이었다. 손으로 따라가 보면 한국어 문단은 약 362토큰, 영어 문단은 약 156토큰이다. 같은 뜻을 전하는 데 한국어가 2.33배의 토큰을 쓴다.

같은 내용이 2.33배의 토큰이 될 때 문맥 창·비용·표현 셋이 함께 나빠진다

이 2.33배가 세 군데로 동시에 번진다.

  • 문맥 창. 모델이 한 번에 읽는 토큰 수는 고정이다. 같은 창에 담기는 한국어 내용은 영어의 2.33분의 1, 곧 43% 남짓이다. 긴 문서를 넣는 작업에서는 그대로 잘리는 분량이 된다
  • 비용. API는 토큰 수로 값을 매긴다. 같은 일을 시켜도 한국어 청구서가 2.33배다. 응답 시간도 출력 토큰 수에 비례해 함께 늘어난다
  • 표현. 한 낱말이 여러 조각으로 흩어지면 모델은 그 조각들을 다시 모아 뜻을 세워야 한다. 조각 하나하나는 뜻이 옅고, 그 조각이 다른 언어와 공유되는 일도 드물어 겹침의 못이 되지 못한다

앞의 둘은 계산기로 바로 나오는 손해라 눈에 잘 띄지만, 셋째는 성능 숫자에만 흔적을 남긴다. 그래서 분절률이 나쁜 언어에서 성능이 안 나올 때 원인을 모델의 언어 능력에서만 찾다가 시간을 쓰는 일이 생긴다.

실측의 범위

같은 측정에서 한국어 자/토큰은 토크나이저에 따라 0.89에서 2.67까지 3배로 벌어졌다. 그리고 상식과 달리 어휘 사전의 크기는 이 차이를 설명하지 못했다 — 어휘 크기와 한국어 자/토큰의 상관이 0.078로 사실상 0이었다. 2.0자를 넘긴 것은 한국어 말뭉치로 따로 학습한 둘뿐이었다. 분절률이 나쁜 이유를 「사전이 작아서」로 설명하면 틀린다. 사전이 크냐가 아니라 그 사전이 무엇으로 만들어졌느냐가 정한다.

그래서 새 언어를 지원 목록에 올리기 전에 분절률부터 재 두면, 그 언어에서 성능이 왜 안 나오는지가 모델을 손대기 전에 상당 부분 설명된다. 토크나이저별 한국어 실측과 그 수치를 어떻게 고르는 데 쓰는지는 한국어 처리가 따로 다룬다.

언어별 평가

평균이 감추는 것

다국어 시스템의 평가에서 가장 흔한 실수는 전체 평균 하나를 보는 것이다. 언어별 성능 차이가 20~30%p까지 벌어지는 일이 드물지 않은데, 평균은 그 사실을 완전히 감춘다. 평가 자료가 트래픽 비율대로 뽑혀 있으면 더 나쁘다. 영어가 70%를 차지하면 평균은 영어 성능에 가깝게 나오고, 정작 문제가 있는 언어는 숫자에 거의 안 나타난다.

예를 들어 영어 90% · 한국어 75% · 태국어 55%인 시스템을 7:2:1 비율로 섞어 재면 평균이 83.5%다. 이 숫자만 보고 출시하면 태국어 사용자 열 명 중 넷 이상이 틀린 답을 받는다.

최악 언어와 표본 수

그래서 언어마다 따로 내고, 가장 나쁜 언어의 값을 함께 본다. 서비스 품질에 대한 불만은 평균이 아니라 최악의 언어에서 나온다. 출시 기준을 「평균 85%」가 아니라 「어느 언어도 80% 아래가 아닐 것」처럼 적으면 이 관점이 기준에 박힌다.

표본 수도 함께 적는다. 트래픽이 적은 언어는 평가 표본도 적어 숫자가 크게 흔들린다. 40건으로 잰 95%는 두 건만 더 틀려도 90%가 되지만, 3,000건으로 잰 95%는 쉽게 움직이지 않는다. 같은 95%라도 실린 정보의 양이 다르다.

언어 판별과 번역 평가셋

성능이 이상하게 낮은 언어를 파 보면, 애초에 입력의 언어 판별이 틀려 다른 경로로 갔던 경우가 자주 있다. 짧은 문장, 영어 낱말이 섞인 문장, 비슷한 문자를 쓰는 언어 쌍에서 판별기가 흔히 틀린다. 언어별 성능을 보기 전에 판별 결과부터 표로 확인한다.

평가 자료를 만드는 방식에도 함정이 있다. 영어 평가셋을 기계번역해 만든 다국어 평가셋은 실제 그 언어의 글과 다르다. 번역문은 원문의 문장 구조를 끌고 오기 때문에 문장이 부자연스럽게 규칙적이고, 그 언어에서 실제로 자주 쓰는 표현이 안 나온다. 이런 자료에서 잘 나오는 모델이 실제 사용자 문장에서 무너지는 일이 생긴다. 적은 수라도 그 언어로 원래 쓰인 문장을 평가 자료에 섞어 두는 편이 낫다.

큰 모델의 언어 격차

지시문 언어

요즘은 분류기를 따로 학습시키는 대신 큰 언어 모델에 시키는 경우가 많다. 전이가 거저 되는 것처럼 보이지만 성질은 비슷하게 남아 있다. 성능은 여전히 언어마다 다르고, 학습 자료의 언어 비율을 따라간다. 지시를 잘 따르는 정도, 형식을 지키는 정도가 언어에 따라 눈에 띄게 달라진다.

그래서 지시문의 언어와 입력의 언어를 갈라 생각한다. 지시를 영어로 쓰고 한국어 입력을 처리하게 하는 편이 더 안정적인 경우가 있다 — 지시를 따르는 능력이 영어 자료에서 가장 많이 훈련되었을 가능성이 크기 때문이다. 다만 어느 쪽이 나은지는 모델마다 다르므로 두 가지를 같은 평가 자료로 재 보고 고른다.

출력 언어 고정

지시를 영어로 쓰면 그 대가로 답이 영어로 새어 나오기 쉽다. 「반드시 한국어로 답한다」를 안 적으면 모델은 지시문과 입력 중 어느 언어를 따를지 매번 새로 정하고, 같은 질문에도 답의 언어가 바뀐다. 특히 추론 과정을 길게 쓰게 하면 그 부분이 영어로 흐르다가 최종 답까지 영어로 끝나는 경우가 있다.

출력 언어는 지시문 안에 한 번, 가능하면 출력 형식의 설명 안에 한 번 더 적는다. 그리고 결과를 받아 언어 판별을 한 번 돌려, 기대한 언어가 아니면 다시 묻는 검사를 붙여 두면 새어 나간 답이 사용자에게 가지 않는다.

정해진 답의 형태

정해진 값 중 하나를 고르게 하면 자유 서술보다 언어 간 격차가 작다. 「긍정 · 부정 · 중립 중 하나」를 고르는 일은 문장을 지어내는 일보다 그 언어의 생성 능력에 덜 기댄다. 텍스트 분류처럼 답의 후보가 정해진 작업을 다국어로 돌릴 때 유리한 성질이다.

후보 값 자체는 언어와 무관한 영문 키(positive)로 두고 화면에 보일 때만 옮기면, 출력 언어가 새는 문제도 함께 사라진다. 판정은 언어를 덜 타는 형태로 받고 표시만 그 언어로 하는 구조다.

한국어

분절률 비교

한국어로 전이를 계획할 때 첫 일은 위 절차로 잰 한국어 분절률을 다른 언어들과 같은 표에 놓는 것이다. 한국어의 값이 그 모델이 잘하는 언어들과 비슷하면 겹침이 잘 일어날 여지가 있고, 유독 나쁘면 전이의 상한이 거기서 이미 정해져 있다. 한국어만 놓고 비용을 계산하는 일은 한국어 처리가 맡으니, 여기서는 다른 언어와의 상대 위치만 본다.

문체의 축

한국어에는 영어에 없는 판정 축이 있다. 존댓말과 반말, 구어와 문어의 차이가 감성 분석이나 고객 응대 분류의 판정을 바꾼다. 「됐거든요」와 「괜찮습니다」는 영어로 옮기면 둘 다 거절이지만 한국어 사용자에게는 온도가 전혀 다르다. 영어 라벨로 학습한 모델은 이 축을 아예 모른다 — 라벨을 만든 언어에 그 구별이 없었기 때문이다.

번역해서 추론하는 길은 같은 이유로 이 축을 통째로 잃는다. 영어를 거치는 순간 문체 정보가 사라지므로, 그 축이 판정에 들어가는 작업에서는 쓰지 않는다. 이런 작업이야말로 한국어 라벨 수백 건을 만들 값어치가 가장 큰 자리다.

조사와 어미

한국어는 낱말 끝에 조사와 어미가 붙어 같은 낱말이 수십 가지 모양으로 나타난다. 그만큼 다른 언어와 글자 그대로 겹치는 조각이 적어 못이 덜 박히고, 토크나이저가 어절을 어디서 자르느냐에 따라 같은 낱말이 매번 다른 조각이 된다. 형태소 단위로 미리 나눠 주는 전처리가 전통적인 모델에서 여전히 도움이 되는 이유다.

정리하면, 다국어 전이는 여러 언어가 한 표현 공간에 겹쳐 놓이는 데서 나오고, 그 겹침은 자료량 · 문자 체계 · 언어 수 · 분절률에서 무너진다. 평가는 언어별로 나눠 최악의 언어를 함께 보고, 모자라는 언어에만 라벨을 몇백 건 보태는 것이 가장 값싼 길이다. 다음 글에서는 자리를 바꿔, 새로 데이터를 모으지 않고 이미 쌓인 기록만으로 행동을 배우는 오프라인 강화학습을 다룬다.


읽어주셔서 감사합니다. 😊

LATEST

비전·음성·추천의 최신 글

비전·음성·추천2026.09.07

음성 대 음성 — 글자를 거치지 않고 소리에서 소리로

소리를 글자로 바꿨다가 다시 소리로 만드는 경로는 억양과 감정을 가운데서 버립니다. 소리를 곧바로 소리로 옮기는 방식이 무엇을 얻고 무엇을 포기하는지, 음성 토큰의 원리와 비용, 목소리 복제의 위험, 평가가 어려운 까닭을 정리합니다.

36 MIN
비전·음성·추천2026.09.07

화자 분리 — 누가 언제 말했는가를 시간축에 적는 일

회의 녹음을 글로 옮기면 누가 한 말인지가 사라집니다. 화자 분리가 푸는 문제와 네 걸음짜리 처리 과정, 겹쳐 말한 구간이 왜 가장 어려운지, DER이라는 지표가 무엇을 세는지, 그리고 음성 인식과 붙일 때 실제로 부딪히는 자리를 정리합니다.

31 MIN
비전·음성·추천2026.09.06

깊이 추정 — 그림 한 장에서 앞뒤를 읽어 내는 일

사진 한 장에서 거리 지도를 얻는 단안 깊이 추정을 정리합니다. 왜 크기와 거리가 함께 정해지지 않는지, 순서·배율 미상·미터 단위 세 종류의 출력이 어떻게 다른지, 시차와 깊이의 역수 관계, 미터로 올리는 방법, 그리고 자주 무너지는 자리를 다룹니다.

30 MIN