비전·음성·추천

DOMAIN / 23번째 글

신경망 음성 합성(TTS): VITS·XTTS·CosyVoice 완전 해설

멜 스펙트로그램 생성·보코더 구조, FastSpeech2·VITS·XTTS·CosyVoice 아키텍처, Python TTS 실전 코드, 한국어 TTS 모델 비교까지 완전 해설합니다.

PALDYN Team37 MIN READ

지난 글에서 Whisper 기반 자동 음성 인식(ASR)을 다뤘다. 이번 글에서는 그 반대 방향인 음성 합성(TTS, Text-to-Speech)을 다룬다. 음성 인식이 소리를 받아 글자를 내놓는다면, 음성 합성은 글자를 받아 소리를 내놓는다. 2016년 WaveNet이 신경망으로 파형을 직접 만들 수 있음을 보인 뒤 십 년 가까이 지나면서, 잘 만든 합성음은 짧은 문장에서 사람 목소리와 가려내기 어려울 만큼 올라왔다. VITS, XTTS, CosyVoice로 이어지는 모델들은 텍스트에서 파형까지를 한 모델로 잇고, 몇 초짜리 참조 음성으로 처음 듣는 화자의 목소리를 흉내 낸다.

이 글은 그 모델들을 이름 순서로 훑는 대신, 합성 파이프라인을 앞에서부터 따라가며 각 칸이 무엇을 정하고 어디서 틀어지는지를 본다. 한국어를 합성할 때 가장 먼저 깨지는 자리가 모델이 아니라 맨 앞의 발음 변환이라는 점, 음질의 상당 부분이 맨 뒤의 보코더에서 정해진다는 점, 그리고 그 둘을 한 모델로 합치면 무엇을 얻고 무엇을 잃는지가 이 글의 줄기다.

파이프라인 구조

TTS 파이프라인: 텍스트 → 음성

네 단계

전통적인 TTS는 네 칸으로 나뉜다. 첫 칸은 텍스트 정규화로, 숫자·단위·약어처럼 글자 그대로 읽으면 안 되는 것을 읽을 말로 바꾼다. 둘째 칸은 G2P(Grapheme-to-Phoneme)로, 정규화된 글자를 실제로 소리 나는 음소의 줄로 바꾼다. 셋째 칸인 음향 모델(Acoustic Model)은 그 음소 줄을 받아 시간에 따라 어떤 주파수가 얼마나 세게 울리는지를 나타내는 그림, 곧 멜 스펙트로그램을 만든다. 마지막 칸인 보코더(Vocoder)가 그 그림을 귀로 들을 수 있는 파형으로 되돌린다.

네 칸은 하는 일의 성격이 다르다. 앞의 두 칸은 언어 지식의 문제라 규칙과 사전으로 상당 부분 풀리고, 뒤의 두 칸은 신호를 만드는 문제라 신경망이 맡는다. 음향 모델은 「무엇을 어떤 억양으로 말할지」를 정하고 보코더는 「그것을 어떤 음질로 들려줄지」를 정한다. 그래서 억양이 어색하면 음향 모델을, 지직거리거나 금속성 잡음이 섞이면 보코더를 먼저 의심한다.

아래 코드는 Hugging Face의 SpeechT5로 두 단계를 눈에 보이게 나눠 돌린 예다. SpeechT5 자체는 Tacotron 계열처럼 프레임을 차례로 만드는 자기회귀 인코더-디코더이고, 멜 스펙트로그램을 만든 뒤 별도의 HiFi-GAN 보코더에 넘긴다.

from transformers import SpeechT5Processor, SpeechT5ForTextToSpeech
from transformers import SpeechT5HifiGan
import torch
import soundfile as sf

# SpeechT5: 음향 모델(자기회귀) + 별도 HiFi-GAN 보코더
processor = SpeechT5Processor.from_pretrained("microsoft/speecht5_tts")
model = SpeechT5ForTextToSpeech.from_pretrained("microsoft/speecht5_tts")
vocoder = SpeechT5HifiGan.from_pretrained("microsoft/speecht5_hifigan")

# 화자 임베딩 로드 (xvector)
from datasets import load_dataset
embeddings_dataset = load_dataset(
    "Matthijs/cmu-arctic-xvectors", split="validation"
)
speaker_embeddings = torch.tensor(
    embeddings_dataset[7306]["xvector"]
).unsqueeze(0)

inputs = processor(text="Hello, nice to meet you.", return_tensors="pt")

# 음성 생성
with torch.no_grad():
    speech = model.generate_speech(
        inputs["input_ids"],
        speaker_embeddings,
        vocoder=vocoder
    )

sf.write("speecht5_output.wav", speech.numpy(), samplerate=16000)

멜 스펙트로그램

음향 모델이 파형을 바로 만들지 않고 멜 스펙트로그램이라는 중간 그림을 거치는 데는 수의 이유가 있다. 멜 스펙트로그램은 소리를 짧은 구간으로 잘라 구간마다 주파수 성분의 세기를 재고, 그 주파수 축을 사람 귀가 느끼는 간격(멜 척도)으로 다시 묶은 것이다. 널리 쓰이는 LJSpeech 설정에서는 22,050Hz 음성을 256샘플 간격으로 잘라 80개 멜 칸으로 묶는다. 그러면 1초가 파형으로는 22,050개 수인데 멜 스펙트로그램으로는 약 86프레임 × 80칸이다. 음향 모델이 예측할 길이가 256분의 1로 줄어드는 셈이다.

게다가 멜 스펙트로그램은 위상 정보를 버린다. 같은 소리라도 파형의 위상은 얼마든지 다를 수 있어 파형을 직접 맞히려 하면 정답이 너무 많은데, 세기만 남긴 그림은 정답이 거의 하나로 모인다. 텍스트에서 억양까지를 배우는 어려운 일은 짧고 매끈한 표현 위에서 하고, 위상을 채워 넣는 일은 보코더에 따로 맡기는 분업이다.

단계를 합친 대가

최근에는 음향 모델과 보코더를 한 모델로 합친 종단간(End-to-End) 구조가 많이 쓰인다. 합치면 두 모델을 따로 학습시키며 생기는 어긋남이 사라지고, 멜 스펙트로그램이라는 사람의 설계가 상한을 정하지 않게 된다. 대신 잃는 것도 분명하다. 두 칸으로 나뉘어 있을 때는 중간의 멜 스펙트로그램을 그림으로 띄워 「억양 문제인지 음질 문제인지」를 눈으로 가를 수 있었다. 합친 모델에서는 그 검사 지점이 없어지고, 이상한 소리가 나면 모델 전체를 의심해야 한다. 아래에서 VITS를 볼 때 이 대가가 다시 나온다.

한국어 G2P

표기와 발음

한국어는 적힌 대로 읽히지 않는 자리가 많다. 받침이 뒤 모음으로 넘어가는 연음(「옷이」 → [오시]), 받침 뒤 예사소리가 된소리가 되는 경음화(「먹고」 → [먹꼬]), 비음 앞에서 받침이 바뀌는 비음화(「국물」 → [궁물]), ㄴ이 ㄹ을 만나 ㄹ이 되는 유음화(「신라」 → [실라]), ㄷ·ㅌ 받침이 이 모음 앞에서 바뀌는 구개음화(「같이」 → [가치])가 대표적이다. G2P는 이 규칙들을 적용해 표기를 발음으로 옮기는 단계이고, 한국어용으로는 g2pK 같은 공개 도구가 규칙과 사전을 함께 쓴다.

한국어 G2P: 표기와 실제 발음이 갈리는 다섯 규칙

음소 단위로 학습한 모델에 G2P를 거치지 않은 글자를 그대로 넣으면 「국물」을 [국물]로 또박또박 읽는다. 사람 귀에는 외국인 억양처럼 들린다. 글자를 바로 넣는 모델도 있지만, 그 경우에는 모델이 학습 데이터에서 이 규칙들을 스스로 익혀야 하고, 데이터에 드물게 나온 낱말에서는 규칙이 새기 쉽다.

텍스트 정규화

G2P 앞에서 먼저 풀어야 하는 것이 숫자와 기호다. 「3km」는 [삼 킬로미터], 「2026년」은 [이천이십육 년]인데 「3개」는 [세 개]다. 같은 숫자 3이 뒤에 붙는 단위에 따라 한자어 수사와 고유어 수사로 갈린다. 「AI」는 [에이아이]로, 「km/h」는 [킬로미터 퍼 아워] 또는 [시속 몇 킬로미터]로 읽을지 서비스가 정해야 한다. 날짜 「10/20」은 [시월 이십 일]일 수도 있고 분수일 수도 있다.

이 규칙은 모델이 아니라 앞단의 정규화 단계가 결정하도록 두는 편이 낫다. 모델에 맡기면 같은 「3」을 문장마다 다르게 읽고, 틀렸을 때 고칠 손잡이가 없다. 정규화를 규칙으로 두면 서비스에서 자주 나오는 패턴(전화번호, 금액, 상품 코드)을 표로 관리하고 틀린 사례가 들어올 때마다 한 줄씩 더할 수 있다.

앞단 오류의 전파

G2P와 정규화는 파이프라인의 맨 앞이라 여기서 틀리면 뒤에서 고칠 길이 없다. 음향 모델은 받은 음소 줄을 충실히 소리로 옮기는 일을 배웠을 뿐, 그 줄이 틀렸는지 판단하는 일을 배우지 않았다. [국물]이라고 넣으면 아주 자연스러운 목소리로 [국물]이라고 말한다. 보코더는 더 뒤에 있으므로 말할 것도 없다. 그래서 한국어 TTS 품질을 올리는 일은 모델을 바꾸기 전에 정규화와 G2P 출력을 문장 단위로 찍어 보는 데서 시작하는 경우가 많다. 오류의 상당수가 거기서 미리 보인다.

길이와 운율

길이 조절기

음소 줄과 멜 프레임 줄은 길이가 다르다. 「안녕」은 음소가 몇 개뿐인데 소리로는 수십 프레임이다. 어느 음소가 몇 프레임을 차지하는지를 맞추는 문제를 정렬이라 부르고, 이걸 어떻게 푸느냐가 음향 모델의 구조를 가른다. Tacotron 2는 어텐션으로 매 프레임마다 지금 어느 음소를 읽고 있는지를 스스로 찾았다. 2020년 Microsoft Research가 발표한 FastSpeech 2는 대신 음소마다 지속 시간을 미리 예측하는 길을 택했다.

FastSpeech 2의 지속 시간 예측기(Duration Predictor)는 음소마다 몇 프레임인지를 정수로 내놓는다. 그다음 길이 조절기(Length Regulator)가 각 음소의 표현 벡터를 그 수만큼 복제해 멜 프레임 줄과 길이를 맞춘다. 세 음소의 예측이 3·5·2라면 첫 벡터를 세 번, 둘째를 다섯 번, 셋째를 두 번 늘어놓아 10프레임짜리 줄을 만든다. 앞의 설정이면 한 프레임이 약 11.6ms이니 둘째 음소가 약 58ms 동안 울린다.

길이 조절기: 음소 표현을 예측한 지속 시간만큼 복제해 프레임 줄을 만든다

병렬 생성

길이를 미리 알면 프레임을 하나씩 차례로 만들 이유가 사라진다. 자기회귀 모델은 앞 프레임을 만들어야 다음 프레임을 만들 수 있어 프레임 수만큼 계산을 순서대로 반복하지만, 길이 조절기를 거친 FastSpeech 2는 열 프레임이든 천 프레임이든 한 번에 모두 계산한다. 이것이 비자기회귀(Non-Autoregressive) 생성이고, 긴 문장일수록 자기회귀 대비 속도 차이가 수십 배로 벌어진다.

속도만이 아니다. 어텐션으로 정렬을 찾는 모델은 가끔 정렬이 엇나가 낱말을 건너뛰거나 같은 구간을 되풀이해 읽는다. 지속 시간을 명시적으로 예측하면 모든 음소가 최소 한 프레임은 받으므로 건너뛰기가 구조적으로 막힌다. 대신 지속 시간의 정답이 학습 데이터에 있어야 해서, 외부 정렬 도구로 음성과 음소를 미리 맞춰 둔 데이터가 필요하다.

운율 제어의 한계

FastSpeech 2는 지속 시간 옆에 피치 예측기와 에너지 예측기를 나란히 둔다. 피치는 목소리의 높낮이, 에너지는 소리의 세기다. 세 값이 수치로 드러나 있으므로 합성할 때 손으로 바꿀 수 있다. 지속 시간에 1.2를 곱하면 20% 느리게, 피치를 올리면 더 높은 목소리로, 특정 낱말의 에너지만 키우면 그 낱말에 강세를 준 효과가 난다.

다만 이 손잡이가 듣는 폭은 생각보다 좁다. 사람이 빨리 말할 때는 모든 음소가 같은 비율로 줄지 않는다. 모음은 많이 줄고 자음은 덜 줄며, 쉼은 아예 사라지기도 한다. 지속 시간 전체에 같은 수를 곱하면 테이프를 빨리 감은 듯한 소리가 난다. 피치도 학습 데이터의 화자가 실제로 낸 범위를 크게 벗어나면 보코더가 본 적 없는 입력을 받아 음질이 무너진다. 그래서 수치 제어는 「조금 느리게」·「이 낱말을 조금 세게」 같은 미세 조정에 쓰고, 감정이나 말투를 통째로 바꾸는 일은 아래의 스타일 조건 쪽에 맡긴다.

보코더

실시간 배율과 MOS

보코더의 품질은 두 수로 견준다. 실시간 배율은 1초 분량의 음성을 몇 분의 1초에 만드는지, 곧 실제 시간보다 몇 배 빠른지다. 음질은 MOS(Mean Opinion Score)로 재는데, 청취자들이 1~5점으로 매긴 자연스러움 점수의 평균이다. 아래는 HiFi-GAN 논문(2020)이 LJSpeech에서 V100 GPU로 잰 값이다. 같은 실험의 실제 녹음 MOS가 4.45였다.

보코더 방식 실시간 배율(GPU) MOS
WaveNet 자기회귀 약 0.003× 4.02
WaveGlow 정규화 흐름 약 23× 3.81
HiFi-GAN V1 GAN 약 168× 4.36
HiFi-GAN V2 GAN 약 765× 4.23

WaveNet은 파형 샘플을 하나씩 자기회귀로 만든다. 1초에 22,050개 샘플을 차례로 만들어야 하니 0.003배, 1초 음성에 5분 남짓이 걸린다. WaveGlow는 정규화 흐름으로 한 번에 만들어 실시간을 넘겼지만 음질이 내려갔다. HiFi-GAN V1은 실시간보다 백 배 넘게 빠르면서 MOS에서 둘을 앞섰고, 그 뒤로 많은 TTS 시스템의 기본 보코더가 됐다. V2는 모델을 줄여 속도를 다시 네 배 넘게 올리고 음질을 조금 내준 판이다. 이 표의 수는 한 논문, 한 데이터셋의 값이라 다른 데이터에 그대로 옮기면 안 되지만, 속도와 음질의 자리 관계는 그 뒤 연구에서도 크게 달라지지 않았다.

다중 판별기

HiFi-GAN은 GAN(Generative Adversarial Network)이다. 멜 스펙트로그램에서 파형을 만드는 생성기와, 그 파형이 진짜 녹음인지 가려내는 판별기를 서로 겨루게 학습시킨다. 판별기가 하나가 아니라 두 종류다. 다중 스케일 판별기는 파형을 원래 해상도, 절반, 4분의 1로 줄인 세 판본을 각각 보며 큰 흐름과 세부를 함께 검사한다. 다중 주기 판별기는 파형을 2·3·5·7·11 같은 주기로 접어 2차원으로 펼친 뒤 본다.

주기 판별기를 따로 두는 이유는 음성이 주기 신호이기 때문이다. 목소리의 기본 주파수가 만드는 반복이 조금만 흐트러져도 사람 귀에는 거친 소리로 들린다. 서로소인 주기 여러 개로 접어 보면 어느 반복이 어긋났는지가 각 판별기에 드러난다. 위 표에서 HiFi-GAN이 빠르면서도 자기회귀 모델보다 음질이 높게 나온 데는 이 판별기 구성이 큰 몫을 했다고 논문은 보고한다.

학습 조건 불일치

두 단계 파이프라인에서 자주 나는 문제는 보코더가 학습할 때 본 멜 스펙트로그램과 실제로 받는 멜 스펙트로그램이 다르다는 것이다. 보코더는 보통 실제 녹음에서 뽑은 멜로 학습하는데, 추론 때는 음향 모델이 예측한 멜을 받는다. 예측한 멜은 실제보다 매끈하고 세부가 뭉개져 있어서, 그 차이가 그대로 잡음이나 웅웅거림으로 나온다.

흔한 처방은 보코더를 음향 모델의 예측 멜로 한 번 더 파인튜닝하는 것이다. 또 하나는 샘플링 주파수, 홉 길이, 멜 칸 수 같은 설정을 두 모델이 정확히 맞추는 것이다. 22,050Hz로 학습한 보코더에 24,000Hz 설정으로 만든 멜을 넣으면 소리가 나기는 하지만 음높이가 틀어지거나 잡음이 낀다. 공개 모델을 섞어 쓸 때 가장 먼저 대조해야 할 것이 이 설정표다.

VITS

세 생성 모델의 결합

VITS(2021)는 음향 모델과 보코더를 한 모델로 합친 종단간 구조로, 이후 많은 공개 TTS의 뼈대가 됐다. 세 가지 생성 모델을 겹쳐 쓴다.

  • VAE(Variational Autoencoder) — 음성을 잠재 표현 zz 로 압축하고 다시 파형으로 복원하는 뼈대. 학습 때는 실제 음성에서 zz 를 뽑고, 추론 때는 텍스트에서 zz 를 만들어야 하므로 둘의 분포를 맞추도록 학습한다
  • 정규화 흐름(Normalizing Flow) — 텍스트에서 나온 단순한 분포를 음성의 복잡한 잠재 분포로 바꿔 주는 변환. 같은 글자라도 높낮이와 발음이 조금씩 다른 변이를 여기서 표현한다
  • GAN 판별기 — HiFi-GAN과 같은 다중 판별기로 복원한 파형의 음질을 끌어올린다

정렬은 지속 시간의 정답을 외부에서 받지 않고 학습 중에 단조 정렬 탐색으로 스스로 찾는다. 그래서 FastSpeech 2처럼 미리 맞춘 데이터가 필요 없다. VITS 논문은 LJSpeech에서 MOS 4.43을 보고했는데, 같은 실험의 실제 녹음이 4.46이었다.

# VITS (HuggingFace Transformers) — MMS 한국어 모델
from transformers import VitsModel, AutoTokenizer
import torch
import scipy

model = VitsModel.from_pretrained("facebook/mms-tts-kor")
tokenizer = AutoTokenizer.from_pretrained("facebook/mms-tts-kor")

text = "안녕하세요, 오늘 날씨가 참 좋네요."
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    output = model(**inputs).waveform

# 파형을 WAV 파일로 저장
scipy.io.wavfile.write(
    "vits_ko.wav",
    rate=model.config.sampling_rate,
    data=output.float().numpy().squeeze()
)

Meta의 MMS 음성 합성 모델들이 VITS 구조를 쓴다. 언어에 따라서는 토크나이저가 로마자로 바꾼 입력을 요구하므로, 결과가 이상하면 토크나이저 설정의 is_uroman 값부터 확인한다.

확률적 샘플링

VITS는 추론할 때 잠재 분포에서 값을 뽑는다. 지속 시간도 확률적 예측기에서 뽑는다. 그래서 같은 문장을 두 번 합성하면 억양과 쉼이 조금씩 다르게 나온다. 사람도 같은 문장을 매번 똑같이 읽지 않으므로 이 성질은 자연스러움에 도움이 된다. 오디오북처럼 긴 글을 읽힐 때 문장마다 같은 억양이 반복되는 기계적인 느낌이 줄어든다.

반대로 재현성이 필요한 자리에서는 걸림돌이다. 안내 방송처럼 같은 문장을 늘 같은 소리로 내야 하거나, 모델을 바꾼 뒤 이전과 견줘 듣고 싶을 때는 난수 시드를 고정하고 샘플링의 온도(노이즈 크기)를 낮춘다. 온도를 0에 가깝게 내리면 억양이 평평해지고, 높이면 생기가 돌지만 가끔 이상한 억양이 섞인다. 서비스에서는 이 값을 하나 정해 두고, 문장을 몇 번 합성해 가장 나은 것을 고르는 방식도 쓴다.

사라진 중간 표현

앞에서 말한 대가가 여기서 나온다. VITS에는 사람이 띄워 볼 멜 스펙트로그램이 없다. 잠재 표현 zz 는 모델이 스스로 정한 공간이라 그림으로 봐도 뜻을 읽기 어렵다. 합성음의 특정 낱말이 뭉개졌을 때, 두 단계 파이프라인이라면 멜을 띄워 그 구간이 이미 뭉개졌는지(음향 모델 문제) 멀쩡한데 소리만 나쁜지(보코더 문제)를 가를 수 있다. VITS에서는 그 경계가 없으니 G2P 출력, 정렬 결과, 최종 파형을 차례로 보며 범위를 좁히는 수밖에 없다. 정렬 결과를 시각화해 낱말을 건너뛰지 않았는지 보는 것이 그나마 남은 검사 지점이다.

목소리 복제

화자 임베딩

제로샷 화자 복제는 학습 때 한 번도 듣지 못한 화자의 목소리를 몇 초짜리 참조 음성만으로 흉내 내는 것이다. 흐름은 이렇다. 먼저 화자 인코더가 참조 음성을 고정 길이 벡터 하나로 요약한다. 이것이 화자 임베딩이고, 무엇을 말했는지가 아니라 누가 말했는지를 담도록 학습된다. 합성 모델은 이 벡터를 조건으로 받아, 새 텍스트를 그 목소리 결로 읽는다. 학습 때 수천 명의 목소리와 임베딩의 짝을 보며 「이 벡터면 이런 목소리」를 익혔으므로, 처음 보는 벡터에도 그 사이를 메워 목소리를 만든다.

Coqui의 XTTS-v2(2023)가 이 방식을 대중화했다. 한국어를 포함한 17개 언어를 지원하고, 6초 안팎의 참조 음성으로 복제한다. GPT-2 계열의 자기회귀 모델이 텍스트를 음성 토큰으로 바꾸고, 디코더가 그 토큰을 파형으로 만든다. Coqui는 2024년 초에 문을 닫았고 XTTS-v2 가중치는 비상업 조건의 라이선스로 공개돼 있으므로, 서비스에 쓰기 전에 라이선스를 먼저 확인한다.

XTTS-v2 한국어 음성 합성 예시

from TTS.api import TTS

# XTTS-v2 모델 로드 (다국어 지원)
tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2")
tts.to("cuda")

# 한국어 음성 합성 (화자 복제)
tts.tts_to_file(
    text="안녕하세요, 반갑습니다. 오늘 날씨가 참 좋네요.",
    speaker_wav="reference.wav",  # 수 초짜리 참조 음성
    language="ko",
    file_path="output.wav"
)

참조 음성의 조건

복제 결과는 모델보다 참조 음성에 더 크게 흔들린다. 첫째는 길이다. 너무 짧으면 화자 임베딩에 담길 정보가 모자라 목소리가 평균 쪽으로 끌려가고, 일정 길이를 넘으면 더 길게 줘도 나아지는 폭이 작다. 둘째는 잡음과 울림이다. 화자 인코더는 잡음과 목소리를 완전히 가르지 못해서, 사무실 소음이 깔린 견본을 주면 합성음에도 그 공간의 울림이 묻어난다. 셋째는 발화 내용과 말투다. 소리친 견본을 주면 차분한 문장도 들뜬 목소리로 나오고, 영어 견본으로 한국어를 합성하면 억양에 영어 결이 섞이기도 한다.

그래서 실무에서는 견본을 고르는 일 자체가 작업이다. 조용한 곳에서 녹음한 평이한 문장, 합성하려는 언어와 같은 언어, 원하는 말투에 가까운 견본을 고른다. 그리고 남의 목소리를 본인 동의 없이 복제하는 일은 기술 문제 이전에 법과 윤리의 문제다. 복제 기능을 서비스에 넣는다면 동의 확인과 합성음 표시를 함께 설계한다.

자연어 스타일 지시

Alibaba의 CosyVoice(2024)는 다른 길을 연다. 언어 모델이 텍스트를 음성의 의미 토큰으로 바꾸고, 흐름 정합(Flow Matching) 모델이 그 토큰을 멜 스펙트로그램으로, 보코더가 다시 파형으로 바꾸는 구성이다. 여기에 지시 모드가 있어 「밝고 행복한 목소리로」 같은 자연어로 감정과 말투를 정할 수 있다. 앞에서 수치 손잡이로는 말투를 통째로 바꾸기 어렵다고 했는데, 그 자리를 말로 지시하는 방식이 채운다. 공개 당시 README 기준으로 300M 모델은 중국어·영어·일본어·광둥어·한국어를 지원했다.

# CosyVoice 예시
from cosyvoice.cli.cosyvoice import CosyVoice
from cosyvoice.utils.file_utils import load_wav
import torchaudio

cosyvoice = CosyVoice('pretrained_models/CosyVoice-300M')

# 제로샷 화자 복제
prompt_speech = load_wav('reference.wav', 16000)
for result in cosyvoice.inference_zero_shot(
    tts_text='반갑습니다. 좋은 하루 보내세요.',
    prompt_text='안녕하세요.',   # 참조 음성의 텍스트
    prompt_speech_16k=prompt_speech
):
    torchaudio.save('cosyvoice_output.wav',
                    result['tts_speech'], 22050)

# 감정 제어 (Instruct 모드)
for result in cosyvoice.inference_instruct(
    tts_text='반갑습니다.',
    spk_id='중문여',
    instruct_text='행복하고 밝은 목소리로 말해주세요'
):
    torchaudio.save('cosyvoice_happy.wav',
                    result['tts_speech'], 22050)

자연어 지시는 편하지만 형식이 느슨하다. 「조금 밝게」와 「밝게」의 차이를 모델이 일관되게 지키지 않고, 같은 지시가 문장마다 다른 세기로 듣는다. 서비스에서 쓰려면 지시문을 자유롭게 열어 두지 말고, 감정 몇 가지와 그 각각의 지시문을 고정된 목록으로 정해 두는 편이 결과가 안정적이다. 또 위 예시처럼 제로샷 모드는 참조 음성의 대본(prompt_text)을 함께 받으므로, 견본과 대본이 어긋나면 정렬이 흔들려 첫 몇 음절이 이상하게 나온다.

모델 선택과 평가

후보 비교

후보를 좁히는 질문은 셋이다. 한국어 품질이 쓸 만한가, 화자 복제가 필요한가, 가중치를 직접 돌려야 하는가. 아래 표는 그 셋으로 갈라 본 것이다. 상용 서비스의 품질은 버전마다 바뀌므로 표에는 순위를 적지 않았다.

모델 공개 가중치 한국어 화자 복제 비고
XTTS-v2 ✓ 17개 언어에 포함 ✓ 비상업 라이선스
CosyVoice-300M ✓ 지원 언어에 포함 ✓ 자연어 스타일 지시
MeloTTS ✓ 포함 ✗ 가벼워 CPU에서도 돈다
MMS-TTS(kor) ✓ 단일 언어 모델 ✗ VITS 구조, 단일 화자
국내 클라우드 TTS API ✗ 한국어 특화 상품별 정규화 규칙이 이미 들어 있다
ElevenLabs ✗ 다국어 ✓ 상용 API

가중치를 직접 돌릴 수 있으면 데이터가 밖으로 나가지 않고 비용이 사용량에 덜 묶이지만, 정규화와 G2P를 직접 챙겨야 한다. 상용 API는 그 앞단이 이미 다듬어져 있는 경우가 많아 한국어 숫자·단위를 읽는 품질에서 차이가 난다. 같은 문장 묶음을 후보 모두에 넣어 들어 보는 것이 표보다 정확하다.

MOS와 대리 지표

합성음 품질의 기준은 여전히 사람이 듣는 MOS다. 청취자 여럿에게 문장마다 1~5점을 매기게 하고 평균과 신뢰구간을 낸다. 자연스러움을 재는 MOS와 별도로, 복제의 경우 「견본과 같은 사람처럼 들리는가」를 재는 유사도 점수를 따로 받는다. 문제는 비용이다. 청취자를 모으고, 듣는 환경을 맞추고, 문장마다 여러 명이 들어야 하니 모델을 하나 바꿀 때마다 돌리기는 어렵다.

그래서 MOS를 흉내 내는 예측 모델을 대리 지표로 함께 쓴다. UTMOS는 사람이 매긴 MOS 데이터로 학습해 합성음 하나에 예상 MOS를 내놓는 모델이다. 화자 유사도는 화자 검증 모델의 임베딩끼리 코사인 유사도로 잰다. 관행은 대리 지표로 후보를 매일 거르고, 큰 결정을 앞두고만 사람 MOS를 돌리는 것이다. 대리 지표는 학습한 분포를 벗어나면 엇나가므로, 새 언어나 새 화자 유형에서는 사람 점수와 한 번 대조해 본 뒤 믿는다.

재인식 WER

명료성은 합성음을 다시 음성 인식에 넣어 재는 방법이 흔하다. 지난 글의 Whisper 같은 인식기로 합성음을 받아 적게 하고, 원래 텍스트와 견줘 WER(Word Error Rate)을 낸다. 낱말을 건너뛰거나 되풀이하는 정렬 오류, 발음이 뭉개진 구간이 이 값에 바로 드러난다. 사람 손 없이 수천 문장을 돌릴 수 있어 회귀 검사로 쓰기 좋다.

다만 이 값이 못 잡는 것도 분명하다. 인식기는 억양이 어색해도 글자만 맞으면 정답으로 친다. 「국물」을 [국물]로 또박또박 읽어도 인식기는 「국물」로 받아 적으므로, 앞에서 본 G2P 오류는 WER에 거의 안 나온다. 인식기 자체가 한국어 띄어쓰기를 틀리면 낱말 단위 WER이 부풀기도 해서, 한국어에서는 글자 단위 오류율(CER)을 함께 본다. 결국 WER은 「알아들을 수 있는가」를 재고, MOS는 「자연스러운가」를 재고, 정규화·G2P 점검은 「맞게 읽었는가」를 잰다. 셋이 서로 다른 것을 보기 때문에 하나로 다른 둘을 대신하지 않는다.

다음 글에서는 같은 생성 기법이 말이 아니라 음악으로 넘어간 자리, MusicGen과 AudioCraft, Suno 같은 음악 생성 모델을 다룬다.


읽어주셔서 감사합니다. 😊

LATEST

비전·음성·추천의 최신 글

비전·음성·추천2026.09.07

오프라인 강화학습 — 쌓인 로그만으로 정책을 배우기

실제 서비스에서 탐색은 곧 사용자에게 나쁜 행동을 해 보는 일입니다. 이미 쌓인 로그만으로 정책을 배우려 할 때 왜 Q값이 혼자 부풀어 오르는지, 그 부풀음을 누르는 세 갈래 대응, 행동 복제라는 기준선의 무게, 그리고 배포 전에 성능을 재는 일이 왜 가장 어려운지를 정리합니다.

30 MIN
비전·음성·추천2026.09.07

다국어 전이 — 라벨 없는 언어에서 모델이 동작하는 이유

영어 라벨만으로 학습한 분류기가 한국어 문장을 그대로 처리하는 일이 실제로 일어납니다. 여러 언어가 한 표현 공간에 겹쳐 놓이는 원리, 그 겹침이 무너지는 조건, 번역해서 학습할지 번역해서 추론할지 고르는 기준, 그리고 언어별로 나눠 재야 하는 이유를 정리합니다.

29 MIN
비전·음성·추천2026.09.07

정보 추출 — 글 한 덩이를 표 한 줄로 바꾸는 일

계약서와 이메일을 데이터베이스에 넣으려면 글에서 값을 뽑아 칸에 채워야 합니다. 개체명·관계·사건의 세 층위, 값을 정규화하는 일이 왜 절반인지, 근거 위치를 함께 남겨야 하는 이유, 규칙·전용 모델·언어 모델의 갈림길, 그리고 필드별로 재는 평가법을 정리합니다.

31 MIN