비전·음성·추천

DOMAIN / 52번째 글

음성 대 음성 — 글자를 거치지 않고 소리에서 소리로

소리를 글자로 바꿨다가 다시 소리로 만드는 경로는 억양과 감정을 가운데서 버립니다. 소리를 곧바로 소리로 옮기는 방식이 무엇을 얻고 무엇을 포기하는지, 음성 토큰의 원리와 비용, 목소리 복제의 위험, 평가가 어려운 까닭을 정리합니다.

PALDYN Team36 MIN READ

지난 글에서는 녹음을 사람별로 갈랐다. 이번에는 방향이 다르다. 들어온 소리를 받아 다른 소리를 내는 일이다. 한국어로 말하면 영어로 나오는 통역, 말을 걸면 말로 답하는 대화, 내 말투를 유지한 채 다른 목소리로 바꾸는 변환이 모두 여기에 들어간다.

지금까지 이 일을 하는 표준적인 방법은 세 조각을 잇는 것이었다. 음성 인식으로 소리를 글자로 바꾸고, 번역이나 언어 모델로 글자를 다루고, 음성 합성으로 글자를 다시 소리로 만든다. 이렇게 조각을 이어 붙인 구성을 이 글에서는 연결형이라 부르고, 한 모델이 소리를 받아 곧바로 소리를 내는 구성을 직결형이라 부른다. 연결형은 잘 작동하고 조각마다 가장 나은 모델을 따로 고를 수 있어 다루기도 편하다. 그런데 이 경로에는 되돌릴 수 없는 손실이 하나 있고, 직결형은 그 손실을 없애는 대신 다른 것을 내준다. 이 글은 그 맞바꿈을 따라간다.

전사의 손실

운율

사람이 말할 때 실려 나가는 정보는 낱말만이 아니다. 어디서 올라가고 어디서 내려가는 억양, 얼마나 빨리 말하는지, 어디서 쉬는지, 목소리가 떨리는지, 웃으면서 말했는지가 함께 간다. 이것을 통틀어 운율(prosody)이라 부른다 — 같은 낱말을 다르게 들리게 만드는 소리의 결이다.

운율은 장식이 아니라 내용의 일부다. 「지금 가?」와 「지금 가.」는 글자 하나 차이지만 말로는 끝 억양 하나로 갈린다. 마침표와 물음표가 없는 입말에서는 그 억양이 문장의 종류를 정한다. 강세도 마찬가지다. 「제가 그 서류를 보냈어요」에서 「제가」를 세게 말하면 「다른 사람이 아니라 내가」라는 뜻이 되고, 「보냈어요」를 세게 말하면 「아직 안 보낸 게 아니라 이미」라는 뜻이 된다. 쉼의 길이는 말하는 사람이 확신하는지 망설이는지를 드러낸다.

전사가 지우는 뜻

소리를 글자로 옮겨 적은 결과를 전사라 한다. 전사는 운율 가운데 아무것도 담지 않는다. 「네, 알겠습니다」라는 전사 결과는 그 말이 흔쾌한 수락이었는지 마지못한 체념이었는지를 지운다. 상담 녹취를 글자로만 읽으면 고객이 화가 나 있었는지 알 수 없는 이유가 이것이다.

다시 소리로 만드는 단계에서 합성 모델은 그 정보가 없으니 기본 말투로 읽는다. 앞에서 지운 것을 뒤에서 지어낼 수는 없다. 요즘 합성 모델은 「밝게」「차분하게」 같은 지시를 받을 수 있지만, 그 지시를 누가 쓰느냐가 다시 문제다. 원래 화자가 어떤 결로 말했는지는 이미 글자 단계에서 사라졌다. 통역이 뜻은 맞는데 어딘가 밋밋한 이유가 이것이다.

연결형과 직결형이 지나가는 길

화자와 표기

버려지는 것이 운율만도 아니다. 누구의 목소리인지가 사라진다. 여러 명이 말하는 회의를 연결형으로 통역하면 전부 합성 모델의 같은 목소리로 나와서, 듣는 사람은 지금 누가 말하는지 따라가기 어렵다. 앞 글에서 다룬 화자 분리를 먼저 돌려 화자마다 다른 합성 목소리를 붙일 수는 있지만, 그건 원래 목소리가 아니라 번호를 매긴 대역이다.

문자로 안 적히는 말도 문제다. 세계의 언어 가운데 상당수는 표기 체계가 정착되지 않았거나 글로 쓰는 일이 드물다. 방언과 말끝을 흐린 발화, 「음」「어」 같은 머뭇거림도 전사 단계에서 이미 뭉개진다. 글자를 가운데 두는 구성은 글자로 적히는 만큼만 옮길 수 있다.

오류의 누적

마지막은 오류가 흐르는 방향이다. 앞 단계가 한 글자 틀리면 뒤 단계는 그 틀린 글자를 정답으로 받는다. 음성 인식이 「계약 해지」를 「계약 해제」로 적으면 번역 모델은 그 낱말을 충실히 옮기고, 합성 모델은 또렷한 발음으로 틀린 말을 읽는다. 조각을 이어 붙인 구조에서 오류는 앞으로만 흐르고, 뒤 단계에는 앞 단계를 의심할 근거가 없다. 예를 들어 인식이 95%, 번역이 95%의 문장을 제대로 처리한다고 하면, 오류가 서로 독립이라 가정할 때 둘 다 통과하는 문장은 대략 90%로 줄어든다.

음성 토큰

뉴럴 코덱

글자를 안 거치겠다면 모델이 소리를 직접 먹고 소리를 뱉어야 한다. 언어 모델은 글을 토큰이라는 조각의 나열로 받아 다음 조각을 예측한다. 소리를 같은 방식으로 다루려면 소리도 띄엄띄엄한 조각의 나열이 되어야 한다. 파형은 1초에 1만 6천 개에서 4만 8천 개쯤의 숫자가 이어진 연속값이라 그대로는 이 틀에 안 들어간다.

그 조각을 만드는 것이 뉴럴 코덱(neural codec)이다. 오디오를 짧은 구간, 곧 프레임마다 벡터 하나로 줄인 뒤, 미리 학습해 둔 벡터 목록에서 가장 가까운 항목을 찾아 그 번호만 남긴다. 이 목록을 코드북이라 하고, 남은 번호가 음성 토큰이다. 코드북이 1,024칸이면 토큰 하나는 0부터 1,023 사이의 정수다. 되살릴 때는 번호로 코드북의 벡터를 꺼내 디코더에 넣으면 파형이 나온다. Google의 SoundStream(2021)과 Meta의 EnCodec(2022)이 이 구조를 널리 알린 코덱이다.

이렇게 만들어 두면 소리를 다루는 일이 글자를 다루는 일과 같은 모양이 된다. 모델은 앞의 음성 토큰을 보고 다음 음성 토큰을 예측하고, 나온 토큰 열을 코덱 디코더가 소리로 바꾼다. 글에서 쓰던 학습 방법과 서빙 구조를 거의 그대로 가져올 수 있다는 것이 직결형이 빨리 퍼진 배경이다.

의미 토큰과 음향 토큰

토큰은 대개 두 갈래로 나눠 쓴다. 의미 토큰은 무슨 말을 했는가를 담는 토큰으로, 대량의 음성으로 학습한 음성 표현 모델의 중간층 출력을 몇 덩어리로 묶어 번호를 매겨 얻는다. 음향 토큰은 어떤 소리로 들리는가를 담는 토큰으로, 앞의 코덱이 파형을 되살릴 수 있게 뽑은 것이다. Google의 AudioLM(2022)이 이 둘을 갈라 쓰는 구성을 보였다.

의미 토큰 음향 토큰
담는 것 무슨 말을 했는가 어떤 소리로 들리는가
뽑는 법 음성 표현 모델의 중간층을 묶어서 코덱이 파형을 복원할 수 있게
화자가 바뀌면 거의 안 바뀐다 통째로 바뀐다
쓰는 자리 뜻을 옮기는 단계 실제 소리를 만드는 단계

화자가 바뀔 때의 반응이 둘을 가장 잘 가른다. 같은 문장을 두 사람이 읽으면 의미 토큰 열은 거의 같고 음향 토큰 열은 처음부터 끝까지 다르다. 반대로 한 사람이 다른 문장을 읽으면 의미 토큰은 달라지고 음향 토큰에는 그 사람의 음색이 공통으로 남는다.

둘을 갈라 놓은 덕에 「무슨 말」과 「누구 목소리」를 따로 정할 수 있다. 통역이라면 의미 토큰 쪽에서 언어를 갈아 끼우고, 목소리는 원래 화자의 음향 토큰 몇 초를 견본으로 붙여 정한다. 원래 화자의 목소리로 다른 언어를 말하는 통역이 이 구조에서 나온다. 목소리 변환은 거꾸로다. 의미 토큰을 그대로 두고 음향 쪽만 다른 사람의 견본으로 바꾸면 같은 말이 다른 목소리로 나온다.

다만 갈라 놓는 선이 깔끔하지는 않다. 운율은 두 갈래 사이에 걸쳐 있어서, 의미 토큰에는 억양이 일부만 남고 음향 토큰은 억양을 담지만 언어가 바뀌면 그대로 옮길 수 없다. 영어의 문장 끝 억양을 한국어 어순에 그대로 붙이면 어색해진다. 그래서 운율을 얼마나 잘 옮기느냐가 직결형 모델끼리 품질이 갈리는 지점이 된다.

잔차 양자화

음향 토큰은 한 겹이 아니다. 코드북 하나에서 가장 가까운 벡터를 골라도 원래 벡터와는 차이가 남고, 그 차이만큼 소리가 뭉개진다. 코드북을 수백만 칸으로 키우면 차이는 줄지만 학습도 검색도 감당이 안 된다. 그래서 첫 코드북으로 근사하고 남은 차이를 둘째 코드북으로 다시 근사하고, 또 남은 차이를 셋째로 근사하는 식으로 겹을 쌓는다. 이것을 잔차 벡터 양자화(RVQ)라 한다. 잔차는 근사하고 남은 차이를 말한다.

겹마다 맡는 것이 다르다. 첫 겹은 소리의 큰 윤곽을, 뒤 겹으로 갈수록 숨소리와 음색의 미세한 결을 채운다. 겹을 몇 개 쓰느냐로 음질과 비트율을 맞바꿀 수 있어서, EnCodec은 같은 모델로 겹 수만 바꿔 여러 비트율을 낸다. 그 대가로 프레임 하나가 토큰 하나가 아니라 겹 수만큼의 토큰이 된다.

잔차 벡터 양자화로 프레임 하나가 토큰 여러 개가 되는 구조

토큰 수와 비용

숫자를 넣어 한 번 따라가 보자. EnCodec의 24kHz 모델은 1초를 75프레임으로 나누고, 코드북 한 칸이 1,024개라 토큰 하나가 10비트다. 겹을 8개 쓰면 초당 토큰이 75×8=60075 \times 8 = 600 개이고 비트율은 600×10=6000600 \times 10 = 6000 비트, 곧 6kbps다. 같은 1초를 글자로 적으면 어떨까. 사람이 1초에 낱말 두세 개를 말한다고 하면 텍스트 토큰은 대략 서너 개다. 같은 말 1초가 텍스트로는 서너 토큰, 음향 토큰으로는 600토큰이니 백 배를 훌쩍 넘는다.

직결형 모델들은 이 차이를 줄이려고 프레임을 듬성듬성 잡는다. 예를 들어 초당 12.5프레임에 겹 8개인 코덱이라면 초당 100토큰이다. 그래도 텍스트보다 수십 배다. 상용 음성 API의 단가표에서 오디오 토큰이 텍스트 토큰보다 몇 배 비싸게 매겨지는 경우가 흔한 것도, 1분 대화가 텍스트 1분 분량보다 훨씬 많은 토큰을 쓰는 것도 이 구조에서 나온다. 구체 단가는 자주 바뀌므로 도입할 때 그날의 단가표로 다시 계산한다.

컨텍스트도 같은 계산으로 빨리 찬다. 컨텍스트 창이 128K 토큰이고 초당 600토큰이라 하면 128000÷600≈213128000 \div 600 \approx 213 초, 4분이 안 되는 소리로 창이 다 찬다. 사용자와 모델이 15초씩 주고받는 대화라면 한 턴에 30초, 18,000토큰이니 일곱 턴쯤에서 창이 넘친다. 초당 100토큰으로 줄여도 20분 남짓이다. 긴 통화를 다루는 제품에서 오래된 턴을 텍스트 요약으로 바꿔 넣는 구성이 흔한 까닭이다.

연결형과 직결형

축별 비교

두 구성을 나란히 놓으면 맞바꿈이 한눈에 보인다.

연결형 직결형
지연 단계마다 쌓인다 한 번에 흐른다
운율 가운데서 버려진다 입력에서 출력으로 이어진다
목소리 합성 모델의 목소리로 통일 원래 목소리를 유지할 수 있다
검수 중간 텍스트를 읽고 고칠 수 있다 끼울 자리가 없다
용어 교정 사전으로 치환하면 된다 방법이 마땅치 않다
원인 추적 단계별로 끊어 본다 안이 안 보인다
모델 선택 단계마다 자유롭게 고른다 그 벤더에 묶인다
문자 없는 언어 다룰 수 없다 다룰 수 있다
비용 세 번 청구 오디오 토큰 단가가 비싸다

위 세 줄과 그 아래 세 줄은 성격이 다르다. 지연·운율·목소리는 듣는 사람이 바로 느끼는 품질이고, 검수·용어 교정·원인 추적은 운영하는 사람이 느끼는 통제권이다. 직결형은 앞쪽에서 이기고 뒤쪽에서 진다. 지연은 단계가 셋이면 단계마다 첫 결과를 기다리는 시간이 더해지는 구조라, 하나로 줄이는 만큼이 그대로 응답 속도로 돌아온다.

원인 추적의 차이는 장애가 났을 때 드러난다. 연결형에서 통역이 틀리면 전사를 보고 인식이 틀렸는지 번역이 틀렸는지 바로 가를 수 있다. 직결형에서는 들어간 소리와 나온 소리만 있어서, 어디서 틀어졌는지 가르려면 같은 입력을 여러 번 돌려 보는 수밖에 없다.

검수와 차단

표에서 가장 무거운 줄은 검수다. 금융 상담이나 의료 안내처럼 나가는 말이 규제를 받는 자리에서는, 나가기 전에 읽고 막을 수 있는 텍스트가 있는지가 도입 여부를 가른다. 투자 권유로 읽힐 문장, 진단처럼 들리는 문장, 개인정보가 섞인 문장을 걸러 내는 필터는 대개 텍스트를 입력으로 받는다. 연결형은 합성 직전의 텍스트에 그 필터를 걸고, 걸리면 소리를 만들지 않으면 된다.

직결형은 소리가 토큰 단위로 흘러나가는 동안 텍스트가 따로 없다. 모델이 함께 내놓는 전사가 있더라도 그 전사는 소리와 같이 나오거나 뒤에 나온다. 그래서 기록은 남길 수 있어도 차단은 못 한다. 문장이 다 만들어질 때까지 소리를 붙잡아 두면 막을 수는 있지만, 그 순간 직결형이 내세우던 지연의 이점이 사라진다.

용어 교정

용어 교정도 실무에서 자주 걸린다. 제품명과 사람 이름을 정확히 발음해야 하는 자리에서 연결형은 중간 텍스트에 치환 규칙을 걸면 끝이다. 「팔딘」을 늘 「PALDYN」으로 적고 합성기의 발음 사전에 읽는 법을 하나 넣어 두면 매번 같은 소리가 나온다. 직결형에는 그 자리가 없어서 프롬프트로 부탁하는 정도밖에 안 되고, 부탁이 지켜지는지는 확률의 문제다.

전사 병행 절충

그래서 지금 실무에서 자주 보이는 모양은 순수한 둘 중 하나가 아니라 직결형을 쓰면서 전사를 함께 받아 두는 절충이다. 소리는 빠르고 자연스럽게 나가고, 텍스트는 로그와 사후 점검에 쓴다. 문제가 된 발화를 나중에 찾아 원인을 따지고, 같은 유형이 반복되면 프롬프트나 구성을 고친다.

이 절충이 무엇을 포기하는지는 분명히 적어 둘 만하다. 차단은 포기하고 기록만 챙기는 선택이다. 그리고 그 전사는 모델이 실제로 낸 소리와 어긋날 수 있다. 모델이 말한 것과 적은 것이 다르면 로그는 소리가 아니라 글자를 믿게 만들므로, 중요한 대화라면 나간 소리를 따로 인식해 다시 적는 편이 안전하다.

직결형으로 내보내면서 전사를 함께 받는 절충 구성

목소리 복제

짧은 견본의 위험

원래 화자의 목소리를 유지한 채 언어만 바꾸는 기능은 이 기술의 가장 매력적인 부분이면서 가장 조심할 부분이다. 음향 토큰 몇 초를 견본으로 붙여 목소리를 정한다는 것은, 거꾸로 말하면 누구든 몇 초짜리 녹음만 있으면 그 사람 목소리를 만들 수 있다는 뜻이다. Microsoft가 2023년에 발표한 VALL-E는 3초 녹음을 견본으로 쓰는 합성을 보였다.

몇 초짜리 녹음은 구하기 어렵지 않다. 공개된 영상, 음성 메시지, 전화 한 통이면 충분하다. 가족 목소리를 흉내 낸 전화 사기, 임원 목소리로 송금을 지시하는 사칭이 실제로 보고된다. 목소리 하나로 본인을 확인하던 절차는 이 기술 앞에서 근거가 약해진다.

네 가지 기본 장치

제품에 넣는다면 아래는 선택이 아니라 기본으로 깔아야 한다.

  • 동의 확인: 견본을 올린 사람이 그 목소리의 주인인지 확인한다. 임의의 녹음 파일을 그대로 받지 말고, 화면에 띄운 문장을 그 자리에서 읽게 하는 식으로 본인이 지금 말하고 있음을 확인한다
  • 워터마크: 사람 귀에는 안 들리면서 기계는 읽을 수 있는 표식을 합성음에 심는다. 나중에 「이게 우리 시스템에서 나온 소리인가」를 판정할 수 있어야 한다
  • 합성음 고지: 통화나 콘텐츠 시작에 합성음임을 밝힌다. 여러 나라에서 이미 의무 쪽으로 가고 있다
  • 견본 보관 기간: 견본을 언제까지 두고 언제 지우는지 처음부터 정한다

순서가 중요하다. 이 넷의 답이 없는 상태에서 기능부터 켜면, 기술이 아니라 운영에서 사고가 난다. 워터마크는 뒤늦게 넣으면 그전에 나간 소리에는 표식이 없고, 동의 절차를 뒤늦게 만들면 이미 받은 견본의 주인을 확인할 길이 없다.

견본 보관

목소리 견본은 생체정보에 준해 다뤄야 한다. 얼굴이나 지문처럼 목소리도 그 사람을 가리키는 신체적 특징이고, 비밀번호와 달리 유출되었다고 바꿀 수 없다. 견본 자체와 견본에서 뽑은 목소리 특징 벡터를 둘 다 보관 대상으로 보고, 저장 위치를 다른 데이터와 떼어 둔다.

삭제 경로도 미리 만든다. 사용자가 탈퇴하거나 동의를 거두면 견본과 특징 벡터, 그것으로 만든 캐시까지 지워져야 한다. 견본이 학습 데이터로 흘러 들어가면 지우는 것이 사실상 불가능해지므로, 학습에 쓸지 말지를 동의 단계에서 따로 묻는다.

평가

재인식 채점

연결형은 단계마다 익숙한 지표가 있다. 인식은 글자 오류율, 번역은 번역 품질 점수, 합성은 사람 평가다. 직결형은 중간이 없어서 이 방식이 안 통한다. 지금 쓰는 방법은 대체로 우회로다.

가장 널리 쓰는 우회로는 다시 글자로 만들어 재는 것이다. 나온 소리를 음성 인식에 넣어 텍스트를 얻고, 그 텍스트를 정답 번역과 비교한다. 번역 점수로 정답 번역과 낱말이 얼마나 겹치는지 세는 BLEU를 쓰면 이것을 ASR-BLEU라 부른다. 문제는 채점에 쓰는 인식 모델의 오류가 점수에 섞인다는 것이다. 통역 모델이 맞게 말했는데 채점용 인식기가 잘못 알아들으면 통역 모델의 점수가 깎인다. 또렷하고 표준적인 발음일수록 인식이 잘 되므로, 억양을 살린 자연스러운 목소리보다 밋밋하고 또박또박한 목소리가 유리해지는 편향도 생긴다. 직결형이 얻으려던 운율을 이 지표는 오히려 벌한다.

화자 유사도와 운율

뜻 말고 소리를 재는 지표는 따로 둔다. 목소리가 유지됐는지는 화자 임베딩으로 잰다. 화자 임베딩은 말한 내용과 상관없이 목소리의 특징만 담도록 학습한 벡터로, 입력과 출력의 임베딩이 얼마나 가까운지를 코사인 유사도로 본다. 목소리 유지가 목표일 때만 의미가 있고, 일부러 다른 목소리로 바꾸는 제품이라면 이 점수는 낮아야 맞다.

운율이 옮겨졌는지는 쉼의 위치, 말 속도, 억양 곡선을 입력과 출력에서 맞대어 본다. 억양 곡선은 시간에 따라 목소리 높낮이가 어떻게 움직이는지 그린 선이다. 다만 언어가 바뀌면 어순과 길이가 달라져 같은 자리끼리 맞대기 어렵고, 표준 지표가 아직 없어 팀마다 자체 정의로 쓰는 경우가 많다. 그래서 숫자를 다른 팀의 숫자와 견주지 말고 같은 정의 안에서 모델끼리만 견준다.

뜻과 소리의 분리

여기서 실수하기 쉬운 자리가 하나 있다. 뜻이 맞는지와 잘 들리는지는 따로 재야 한다. 하나로 합친 점수를 보면, 발음이 또렷해지느라 내용이 조금 틀어진 모델이 더 좋아 보이는 일이 생긴다.

숫자로 따라가 보자. 뜻 점수와 소리 점수를 반씩 섞는다고 하자. 모델 A는 뜻 90, 소리 70이라 합계 80이다. 모델 B는 뜻 82, 소리 82라 합계 82다. 합친 점수로는 B가 낫지만, 통역에서 뜻 8점의 차이는 문장 몇 개가 틀린 말로 나간다는 뜻이다. 통역에서는 뜻이 먼저이고 소리는 그다음이다. 그래서 뜻 점수에 문턱을 두고, 그 문턱을 넘은 모델끼리만 소리 점수로 견주는 식으로 두 축을 순서대로 쓴다.

사람 평가

결국 가장 믿을 만한 것은 사람이 듣고 매기는 것이다. 자연스러움을 1~5점으로 매겨 평균을 내는 MOS(평균 의견 점수)가 대표적이고, 뜻 전달은 원문을 아는 평가자가 따로 매긴다. 가장 믿을 만하지만 가장 비싸고 느려서, 자동 지표로 후보를 좁힌 뒤 마지막 두셋만 사람에게 들려주는 식으로 섞어 쓴다. 평가자에게 두 모델의 출력을 나란히 들려주고 어느 쪽이 나은지 고르게 하면, 점수를 매기게 할 때보다 평가자마다의 편차가 줄어든다.

선택 기준

연결형이 맞는 자리

나가는 말이 규제 대상이거나 검수를 통과해야 한다면 연결형이다. 중간 텍스트가 있다는 것 하나로 결정된다. 용어와 고유명사를 정확히 발음해야 하는 자리도 연결형이 낫다. 콜센터 안내, 약 복용법 설명, 사내 규정 안내처럼 내용이 정해져 있고 틀리면 책임이 따르는 말이 여기에 든다. 단계마다 가장 나은 모델을 갈아 끼울 수 있다는 점도, 한 벤더에 묶이기 싫은 팀에는 무시 못 할 이점이다.

직결형이 맞는 자리

대화의 응답 속도가 제품의 질을 결정한다면 직결형이다. 단계가 줄어드는 만큼이 그대로 지연으로 돌아온다. 이 계산은 실시간 음성 API에서 자세히 다뤘다. 감정과 말투가 내용의 일부인 자리, 곧 상담 품질 평가나 콘텐츠 더빙도 직결형 쪽이다. 여러 사람이 말하는 자리를 통역할 때도 직결형이 맞다. 화자마다 다른 목소리로 나가야 누가 한 말인지 따라갈 수 있다.

저자원 언어

학습 자료가 적은 언어, 문자 표기가 없는 언어를 다룬다면 직결형 말고는 길이 없다. 연결형은 인식기와 합성기를 그 언어의 글자로 학습해야 하는데, 글자가 없으면 시작조차 못 한다. Google이 2019년에 발표한 Translatotron이 중간 텍스트 없이 소리를 소리로 옮기는 번역을 보인 뒤, 이 방향은 표기가 없는 언어를 다루는 거의 유일한 길로 연구되고 있다. 다만 자료가 적은 언어일수록 직결형 모델의 품질도 낮으므로, 기대치를 낮게 잡고 사람 평가를 더 두껍게 둔다.

도입 순서

어느 쪽이 맞는지 처음부터 확신하기는 어렵다. 그래서 전사 병행 절충으로 시작하는 순서를 권한다. 직결형으로 소리를 내보내면서 전사를 받아 두고, 몇 주 동안 로그를 보며 어느 축이 걸리는지 확인한다. 막아야 했던 발화가 나왔다면 검수가 걸린 것이니 연결형으로 옮긴다. 고유명사 발음이 자꾸 틀리면 용어 교정이 걸린 것이다. 둘 다 아니고 사용자가 응답 속도와 자연스러움에 만족한다면 그대로 둔다. 비용은 대화 길이와 토큰 수로 미리 계산해 두고, 실제 청구서와 맞춰 본다.

정리

  • 소리를 글자로 바꿨다 되돌리는 연결형은 운율 · 감정 · 목소리를 가운데서 버린다. 앞 단계의 오류는 뒤 단계가 정답으로 받는다
  • 직결형은 뉴럴 코덱으로 소리를 토큰으로 바꿔 언어 모델처럼 다룬다. 의미 토큰과 음향 토큰을 갈라 놓아 「무슨 말」과 「누구 목소리」를 따로 정한다
  • 음향 토큰은 잔차 벡터 양자화로 여러 겹이 쌓여 초당 토큰 수가 텍스트의 수십~수백 배다. 오디오 단가가 비싸고 컨텍스트가 몇 턴 만에 차는 이유가 여기 있다
  • 직결형이 포기하는 것은 중간 텍스트를 읽고 막을 자리다. 규제받는 말이 나가는 시스템에서는 이것 하나로 선택이 갈린다
  • 실무에서 흔한 절충은 직결형으로 내보내면서 전사를 함께 받아 두는 것이다. 차단은 포기하고 기록만 챙긴다
  • 목소리를 옮길 수 있다는 것은 사칭도 가능하다는 뜻이다. 동의 확인 · 워터마크 · 합성음 고지 · 견본 보관 기간을 기능보다 먼저 정한다
  • 평가는 아직 우회로뿐이다. 다시 인식해 재는 방식은 채점용 인식 모델의 오류를 함께 재게 되므로, 뜻과 소리를 갈라 매기고 사람 평가를 일부 섞는다

읽어주셔서 감사합니다. 😊

LATEST

비전·음성·추천의 최신 글

비전·음성·추천2026.09.07

오프라인 강화학습 — 쌓인 로그만으로 정책을 배우기

실제 서비스에서 탐색은 곧 사용자에게 나쁜 행동을 해 보는 일입니다. 이미 쌓인 로그만으로 정책을 배우려 할 때 왜 Q값이 혼자 부풀어 오르는지, 그 부풀음을 누르는 세 갈래 대응, 행동 복제라는 기준선의 무게, 그리고 배포 전에 성능을 재는 일이 왜 가장 어려운지를 정리합니다.

30 MIN
비전·음성·추천2026.09.07

다국어 전이 — 라벨 없는 언어에서 모델이 동작하는 이유

영어 라벨만으로 학습한 분류기가 한국어 문장을 그대로 처리하는 일이 실제로 일어납니다. 여러 언어가 한 표현 공간에 겹쳐 놓이는 원리, 그 겹침이 무너지는 조건, 번역해서 학습할지 번역해서 추론할지 고르는 기준, 그리고 언어별로 나눠 재야 하는 이유를 정리합니다.

29 MIN
비전·음성·추천2026.09.06

깊이 추정 — 그림 한 장에서 앞뒤를 읽어 내는 일

사진 한 장에서 거리 지도를 얻는 단안 깊이 추정을 정리합니다. 왜 크기와 거리가 함께 정해지지 않는지, 순서·배율 미상·미터 단위 세 종류의 출력이 어떻게 다른지, 시차와 깊이의 역수 관계, 미터로 올리는 방법, 그리고 자주 무너지는 자리를 다룹니다.

30 MIN