회의를 녹음해 음성 인식에 넣으면 글자는 잘 나온다. 그런데 그 결과를 열어 보면 문장이 줄줄이 이어진 한 덩어리다. "그건 다음 주까지 해 주세요"라는 문장이 누구 입에서 나왔는지가 없다. 회의록으로 쓰려면 그 한 가지가 없어서 결국 사람이 다시 듣게 된다.
화자 분리(speaker diarization)는 녹음의 시간축 위에 "여기서 여기까지는 같은 사람"이라고 표시하는 일이다. 이름을 알아내는 것이 아니다. 그 파일 안에서 몇 명이 말했고 각자 어느 구간을 차지했는지만 낸다. 이 글은 그 일이 어떤 단계로 나뉘는지, 어디서 틀어지는지, 틀린 정도를 어떻게 재는지, 그리고 음성 인식 결과와 어떻게 합치는지를 차례로 본다.
분리와 인식
두 물음
먼저 헷갈리기 쉬운 둘을 갈라 두자.
- 화자 인식(speaker identification)은 "이 목소리가 등록된 김민수인가"를 묻는다. 미리 등록된 목소리 견본이 있어야 한다
- 화자 분리는 "이 두 구간이 같은 사람인가"만 묻는다. 등록된 것이 아무것도 없어도 된다
두 물음은 비슷해 보이지만 풀이의 모양이 다르다. 인식은 견본과 하나씩 견주는 분류 문제라 후보가 정해져 있다. 분리는 후보가 없는 상태에서 구간끼리 서로 견주어 무리를 짓는 문제다. 정답의 개수부터 모르는 채로 시작한다는 점이 뒤에 나올 어려움 대부분의 뿌리다.
번호 라벨
그래서 화자 분리가 내놓는 라벨은 화자 1, 화자 2 같은 번호다. 이 번호는 그 파일 안에서만 통한다. 같은 회의를 두 번 녹음하면 같은 사람이 한 번은 1번, 한 번은 3번이 될 수 있다. 번호는 대개 처음 말한 순서대로 붙으므로, 회의를 누가 여느냐에 따라 바뀐다.
이 성질은 채점에도 그대로 걸린다. 정답에는 "김민수"라고 적혀 있고 시스템은 "화자 2"라고 냈다면, 둘을 짝지어 놓고 나서야 맞았는지 틀렸는지를 셀 수 있다. 평가 도구는 겹치는 시간이 가장 길어지도록 정답 이름과 시스템 번호를 일대일로 맞춘 뒤 채점한다. 실제 이름을 붙이려면 화자 인식을 한 겹 더 얹거나, 사람이 한 번 보고 매핑을 정해 줘야 한다.
생체정보
이 구분이 중요한 또 하나의 이유는 개인정보 성격이 다르기 때문이다. 화자 분리 결과 그 자체는 신원 정보가 아니다. 파일이 끝나면 번호는 아무것도 가리키지 않는다. 등록된 목소리 견본을 두는 순간부터는 사정이 바뀐다. 목소리 특징은 사람을 다시 알아볼 수 있는 값이라 생체정보를 보관하는 시스템이 되고, 동의를 받는 절차와 보관 기간, 지우는 절차를 함께 설계해야 한다.
회의록 제품에서 대개 분리까지만 하고 이름 매핑은 사용자에게 맡기는 데는 이 이유가 있다. 사용자가 "화자 2는 김민수"라고 한 번 고르면 그 회의 안에서만 이름이 바뀌고, 다음 회의에는 아무것도 넘어가지 않는다. 편리함을 조금 내주는 대신 견본 저장소라는 무거운 짐을 안 진다.
처리 과정
네 걸음
전통적인 방식은 아래 네 단계를 순서대로 밟는다. 요즘 나오는 통합 모델도 안에서 하는 일은 크게 다르지 않다.
- 말 찾기. 소리가 있는 구간과 침묵을 가른다. 음성 활동 감지(VAD, voice activity detection)가 그 일을 한다 — 오디오를 짧은 프레임으로 잘라 프레임마다 사람 말소리가 있는지 판정하는 작은 모델이다
- 잘게 자르기. 말이 있는 구간을 1~2초짜리 조각으로 나눈다. 보통 조금씩 겹쳐 가며 자른다
- 목소리 벡터. 조각마다 "누구 목소리인지"를 담은 벡터를 뽑는다
- 묶기. 비슷한 벡터끼리 모아 무리를 만든다. 무리 하나가 화자 하나다
이 차례에서 가장 먼저 기억할 것은 첫 걸음의 결과가 뒤로 되돌아오지 않는다는 점이다. VAD가 침묵으로 판정한 구간은 2단계에서 잘리지도 않고 3단계에서 벡터도 안 생기므로, 묶기가 아무리 정확해도 그 말은 결과에 없다. 반대로 VAD가 기침이나 의자 끄는 소리를 말로 잡으면 그 조각도 어딘가의 무리에 끼어 들어간다. 그래서 오류를 찾을 때는 언제나 앞 단계부터 본다.
조각 길이
2단계의 조각 길이는 두 힘의 줄다리기다. 조각이 짧으면 그 안의 소리가 적어 목소리 특징이 흔들린다. 0.5초짜리 "네" 하나로는 성별 정도만 겨우 드러난다. 조각이 길면 특징은 안정되지만 그 안에서 화자가 바뀌는 순간을 삼킨다. 3초짜리 조각 한가운데서 사람이 바뀌면 그 조각은 두 사람의 평균이 되어 어느 쪽에도 잘 안 맞는다.
흔한 절충이 1.5초 창을 0.75초씩 밀어 가며 자르는 것이다. 숫자로 따라가 보면, 말이 있는 시간이 한 시간인 녹음은 3,600초를 0.75초로 나눠 조각이 4,800개쯤 나온다. 겹쳐 잘랐으므로 시각 하나에 조각이 둘씩 걸치고, 경계에서는 두 조각의 판정을 견주어 바뀐 지점을 0.75초보다 잘게 잡을 수 있다. 이 4,800개가 다음 걸음에서 각각 벡터 하나가 된다.
화자 임베딩
3단계의 벡터를 화자 임베딩이라 부른다. 조각을 넣으면 수백 차원의 벡터를 내는 신경망이 만들고, 같은 사람의 조각끼리는 가깝고 다른 사람의 조각끼리는 먼 공간에 놓이도록 학습되어 있다. 이 신경망은 수천 명의 목소리를 화자 인식 문제로 학습한 뒤 마지막 분류층을 떼어 내고 그 앞의 표현을 꺼내 쓰는 경우가 많다. 인식으로 배운 것을 분리에 빌려 쓰는 셈이다.
계보로는 x-vector가 오래 기본값이었고, 그 뒤로 채널 어텐션을 더한 ECAPA-TDNN 계열이 널리 쓰인다. 어느 쪽이든 두 벡터 사이는 코사인 유사도로 견준다. 4,800개 조각이면 짝은 대략 1,150만 쌍이고, 다음 걸음은 이 유사도들만 보고 무리를 짓는다.
녹음 조건
화자 임베딩이 실제로 무엇을 담는지는 녹음 조건이 정한다. 모델을 바꾸는 것보다 입력을 바꾸는 쪽이 효과가 큰 경우가 많다.
- 마이크와의 거리. 멀리 놓인 마이크 하나로 받은 회의는 방 울림이 목소리 특징을 흐려 임베딩이 뭉개진다. 잔향은 목소리보다 방의 성질을 더 많이 실어서, 같은 방에 앉은 다른 두 사람이 오히려 가깝게 놓이기도 한다
- 표본 주파수. 전화 녹음은 8kHz로 잘려 있어 목소리를 가르는 고역 정보가 없다. 넓은 대역으로 학습된 모델에 그대로 넣으면 모두가 비슷해 보이므로 전화용으로 학습된 모델을 쓰는 편이 낫다
- 짧은 발화. 1초 미만 발화는 임베딩이 불안정하다. "네", "그쵸" 같은 맞장구가 많은 대화에서 오류가 몰리는 자리가 여기다
- 배경 음악과 잡음. VAD가 음악을 말로 착각하면 오검출이 쌓인다. 음악이 섞이는 자료라면 VAD부터 그에 맞는 것으로 바꾼다
화자 수 추정
응집형 군집화
군집화를 하려면 보통 무리 개수를 알려 줘야 한다. 그런데 회의 녹음을 받을 때 우리는 참석자 수를 모른다. 3명일 수도 있고 8명일 수도 있다.
그래서 이 계열은 개수를 미리 안 받는 군집화를 쓴다. 자주 쓰이는 것이 응집형 계층 군집화(agglomerative clustering)다 — 조각 하나하나를 무리로 시작해서 가장 비슷한 둘을 계속 합쳐 나가다가, 남은 무리들이 충분히 멀어지면 멈춘다. 멈추는 지점을 정하는 값이 임계값이고, 이 값 하나가 결과를 좌우한다. 무리의 개수는 직접 정하는 값이 아니라 임계값을 정한 결과로 따라 나온다.
임계값
임계값을 낮게 잡으면 잘 안 합쳐서 한 사람이 여러 화자로 쪼개진다. 높게 잡으면 목소리가 비슷한 두 사람이 한 명으로 붙는다. 그리고 좋은 임계값은 녹음마다 다르다. 마이크가 다르고, 방 울림이 다르고, 참석자 조합이 다르다.
작은 예로 따라가 보자. 네 사람 회의에서 같은 사람 조각끼리의 코사인 유사도가 대개 0.7 위에, 다른 사람 사이가 0.4 아래에 모여 있으면 0.55 근처 어디서 멈춰도 네 무리가 나온다. 그런데 같은 회의를 천장 마이크 하나로 녹음하면 잔향이 모든 조각을 서로 끌어당겨 같은 사람이 0.60.8, 다른 사람이 0.450.65로 겹친다. 이때 0.55로 멈추면 목소리가 비슷한 두 남성이 한 무리로 붙어 셋이 되고, 0.7로 올리면 한 사람의 조용한 발화와 큰 발화가 갈려 다섯이 된다. 앞의 녹음에서 잘 맞던 값이 뒤의 녹음에서는 어느 쪽으로 옮겨도 틀린다.
고윳값 간극
임계값 하나에 기대지 않는 다른 길이 스펙트럴 군집화다. 조각 사이 유사도를 행렬로 놓고 그 행렬의 고윳값을 큰 것부터 늘어놓는다. 무리가 뚜렷하게 k개 있으면 큰 고윳값이 k개 나오고 그다음에서 값이 뚝 떨어지는데, 이 떨어지는 폭을 고윳값 간극이라 부르고 가장 큰 간극이 난 자리를 화자 수로 삼는다.
이 방식은 녹음마다 손으로 맞추는 값이 적다는 장점이 있지만 만능은 아니다. 한 사람이 한두 마디만 한 회의에서는 그 사람의 무리가 너무 작아 고윳값이 앞의 큰 무리들에 묻히고, 간극이 흐릿하면 결국 판단을 하나 더 넣어야 한다. 결국 두 방식 모두 "몇 명인가"라는 물음을 데이터의 모양에서 짐작하는 일이다.
참석자 수
실무에서 가장 값싼 해법은 임계값을 잘 맞추는 것이 아니라 개수를 아는 것이다. 화상회의 도구를 쓴다면 참석자 수를 시스템이 이미 알고 있다. 응집형이면 무리가 그 수가 될 때까지 합치면 되고, 스펙트럴이면 간극을 찾지 않고 그 수를 그대로 쓰면 된다. 위의 천장 마이크 예처럼 어느 임계값도 맞지 않던 녹음이 "네 명"이라는 한마디로 풀린다.
정확히 몇 명인지 모르더라도 범위만 알아도 도움이 된다. 초대 명단이 여섯 명이면 화자 수의 상한을 여섯으로 묶어 일곱 번째 무리가 생기는 것을 막을 수 있다. 알 수 있는데 안 알려 주고 추정하게 두는 것이 흔한 낭비다.
겹침 구간
바닥 오류
두 사람이 동시에 말하는 구간은 실제 회의에서 전체의 5~20%를 차지한다. 맞장구가 많은 한국어 대화에서는 더 높다.
문제는 위의 네 걸음이 한 조각에 화자 하나를 배정한다는 것이다. 겹친 구간의 벡터는 두 목소리가 섞인 값이라 둘 중 어느 무리에도 잘 안 맞고, 결국 하나가 배정되면서 나머지 한 사람의 발화는 통째로 사라진다.
숫자로 따라가 보면 이렇다. 한 시간 회의에서 말이 있는 시간이 50분이고 그중 5분이 두 사람이 동시에 말한 구간이라 하자. 채점은 화자마다 말한 시간을 더하므로 기준이 되는 발화 시간은 50분이 아니라 55분이다. 겹친 5분마다 한 사람씩 놓치면 누락이 5분이고, 5를 55로 나눈 9.1%의 오류가 다른 모든 단계가 완벽해도 깔린다. 이 값이 군집형 구조의 바닥이다.
세 가지 대응
이 자리를 다루는 방법이 셋 있다.
- 겹침 감지 모델을 따로 둔다. "여기는 두 명 이상"이라고 표시된 구간에만 두 번째 화자를 채워 넣는다. 두 번째 화자는 대개 그 시각 앞뒤에서 가장 가까이 말한 다른 사람으로 고른다. 기존 파이프라인에 얹기 쉬운 대신 감지가 틀리면 그대로 틀린다
- 소리를 먼저 분리한다. 섞인 소리를 사람별 트랙으로 갈라낸 뒤 각각 처리한다. 잘 되면 가장 깨끗하지만 분리 자체가 어렵고 무겁다
- 처음부터 여러 명을 낼 수 있게 만든다. 아래 종단형이 이쪽이다
가장 확실한 답은 사실 기술 바깥에 있다. 채널을 나눠 녹음할 수 있으면 그게 답이다. 화상회의 도구는 참가자별 오디오 트랙을 따로 갖고 있고, 그 트랙을 그대로 받으면 화자 분리 문제가 아예 없어진다. 한 방에 모여 마이크 하나로 녹음한 파일에서만 이 문제가 생긴다. 기술로 풀기 전에 그 트랙을 받을 길이 있는지부터 묻는 것이 가장 값싼 첫걸음이다.
종단형
세 번째 대응이 종단형(end-to-end) 화자 분리이고, 대표가 EEND 계열이다. 하나의 신경망이 오디오를 받아 화자마다 "지금 말하고 있는가"를 프레임별로 따로 낸다. 화자마다 출력이 독립이라 두 출력이 동시에 켜지면 그게 곧 겹침이다. 군집형이 구조상 못 하던 일을 출력 모양 하나로 푼다.
| 군집형 | 종단형(EEND 계열) | |
|---|---|---|
| 구성 | VAD · 임베딩 · 군집을 따로 이어 붙인다 | 하나의 신경망이 오디오에서 바로 화자별 활성 구간을 낸다 |
| 겹침 | 기본적으로 못 다룬다. 별도 모듈이 필요 | 화자마다 독립 출력이라 자연스럽게 다룬다 |
| 화자 수 | 임계값으로 추정. 알려 주면 훨씬 정확 | 모델이 다룰 수 있는 최대 인원에 묶인다 |
| 학습 자료 | 임베딩 모델만 있으면 된다 | 화자 구간이 표시된 대화 녹음이 필요 |
| 긴 녹음 | 두세 시간도 문제없다 | 길이가 길어지면 나눠서 처리하고 이어 붙여야 한다 |
| 고치기 | 단계별로 끊어 보며 원인을 찾는다 | 안이 안 보인다 |
여섯 줄 가운데 실제로 선택을 정하는 것은 둘이다 — 겹침을 다루는가, 그리고 긴 녹음에서 안정적인가. 나머지는 대개 이 둘을 따라온다. 종단형은 출력 칸이 정해져 있어 그보다 많은 사람이 나오면 담지 못하고, 긴 녹음은 몇 분 단위로 잘라 처리한 뒤 조각마다 따로 붙은 번호를 다시 이어 맞춰야 한다. 그 이어 붙이는 일 자체가 작은 군집화 문제다.
섞어 쓰기
그래서 실무 제품은 대개 섞어 쓴다. 군집형으로 전체 뼈대를 잡고, 겹침이 의심되는 짧은 구간에만 종단형이나 겹침 전용 모델을 태우는 식이다. 두세 시간짜리 녹음에서 군집형의 안정성을 버리기 어렵고, 겹침은 전체의 일부에만 있으므로 무거운 모델을 그 부분에만 쓰는 편이 계산도 덜 든다. 앞의 예에서 겹친 5분만 따로 태우면 바닥에 깔리던 9.1% 가운데 상당 부분을 되찾는다.
DER
세 조각
이 분야의 표준 지표는 DER(diarization error rate)이다. 틀린 시간을 기준 발화 시간으로 나눈 값이고, 안에 세 가지가 들어 있다.
누락은 누군가 말했는데 시스템이 아무도 없다고 한 시간, 오검출은 아무도 안 말했는데 누가 말했다고 한 시간, 화자 혼동은 말한 것은 맞게 잡았는데 사람을 잘못 붙인 시간이다. 앞의 55분짜리 회의에서 누락이 3분, 오검출이 1분, 혼동이 4분이면 8을 55로 나눠 DER은 14.5%다.
셋을 합쳐 하나로 내기 때문에 같은 DER 20%라도 원인이 전혀 다를 수 있다. 누락과 오검출이 대부분이면 VAD가 말을 놓치거나 소음을 말로 잡고 있는 것이고, 화자 혼동이 대부분이면 임계값이나 임베딩이 문제다. 고칠 자리가 정반대이므로 숫자를 받으면 반드시 세 조각으로 나눠 봐야 한다.
채점 조건
DER 수치를 비교할 때 확인해야 할 조건이 둘 있다.
- 겹침 구간을 세었는가. 겹침을 평가에서 빼면 DER이 크게 떨어진다. 겹침을 못 다루는 시스템에 유리한 조건이라, 이 조건을 안 밝힌 비교는 의미가 없다
- 경계에 여유를 뒀는가. 화자가 바뀌는 지점 앞뒤 0.25초를 채점에서 빼는 관행이 있다. 사람이 붙인 정답도 그 정도는 흔들리기 때문인데, 여유를 두면 숫자가 더 좋아진다
두 번째 조건이 얼마나 크게 움직이는지 어림해 보자. 맞장구가 잦은 회의에서 화자가 한 시간에 600번 바뀐다면, 바뀌는 지점마다 앞뒤 0.25초씩 0.5초가 채점에서 빠지므로 300초, 곧 5분이 통째로 빠진다. 경계 근처는 시스템이 가장 자주 틀리는 자리라 빠지는 5분 대부분이 오류였던 시간이다. 여기에 겹침 5분까지 빼면 같은 시스템의 DER이 두 배 넘게 벌어지는 일이 드물지 않다.
비교 순서
그래서 논문 표의 숫자와 우리 시스템의 숫자를 비교하기 전에 순서를 정해 둔다. 먼저 두 조건을 같게 맞추고, 같은 종류의 녹음(회의실인지, 전화인지, 방송인지)에서 잰 숫자인지 확인하고, 그다음에야 숫자를 견준다. 조건을 모르는 숫자는 비교에서 빼는 편이 낫다.
우리 자료로 잴 때는 겹침을 세고 경계 여유를 둔 값과 안 둔 값을 둘 다 남긴다. 앞의 것은 실제 회의록 품질에 가깝고, 뒤의 것은 남의 숫자와 견줄 때 쓴다. 어느 쪽이든 세 조각을 나눈 표를 함께 남겨야 다음에 무엇을 고칠지가 보인다.
회의록 합치기
단어 정렬
실제로 원하는 결과는 화자 구간이 아니라 화자가 붙은 회의록이다. 여기서 한 번 더 일이 생긴다.
음성 인식은 단어마다 시각을 함께 내줄 수 있다. 화자 분리는 구간마다 번호를 낸다. 둘을 시각으로 맞춰 단어마다 화자를 붙이면 된다. 단어의 시작과 끝 사이에 가장 오래 걸친 화자 구간을 그 단어의 화자로 고르는 식이다. 원리는 간단한데, 두 시스템이 내는 시각이 서로 조금씩 어긋나 있다는 점을 잊으면 안 된다. 인식기의 단어 시각도 수십~수백 밀리초 흔들리고, 화자 구간의 경계도 앞서 본 조각 이동 간격만큼 거칠다.
경계 어긋남
문장의 경계와 화자의 경계는 원래 안 맞는다. 인식 결과가 "네 그러면 다음 안건으로 넘어갈게요"라는 한 문장인데, 앞의 "네"만 다른 사람의 맞장구인 경우가 흔하다. 단어 단위로 화자를 붙이면 한 문장 안에서 화자가 바뀌어 읽기가 나빠지고, 문장 단위로 붙이면 맞장구가 통째로 다른 사람 몫이 된다.
반대 경우도 있다. 한 사람이 말을 끊지 않고 이어 가는데 화자 분리가 중간에 0.3초짜리 다른 화자 구간을 끼워 넣으면, 그 안의 한 단어만 다른 사람 이름으로 붙는다. 이건 실제 맞장구가 아니라 임베딩이 흔들린 자국이고, 회의록을 읽는 사람에게는 둘이 구별되지 않는다.
후처리 세 규칙
쓸 만한 절충은 이렇다. 순서대로 적용한다.
- 문장 단위로 붙이되 다수결로 정한다. 그 문장의 단어들이 가장 많이 걸쳐 있는 화자를 그 문장의 화자로 삼는다
- 아주 짧은 조각은 흡수시킨다. 0.5초 미만이면서 앞뒤가 같은 화자면 그 화자로 합친다. 맞장구를 별도 발화로 남길지 말지는 제품이 정할 문제다
- 경계의 첫 단어 한둘은 의심한다. 화자가 바뀌는 지점 바로 앞뒤 단어는 틀릴 확률이 눈에 띄게 높아서, 다수결이 애매하면 그 단어를 빼고 다시 센다
순서가 중요하다. 흡수를 먼저 하면 실제 맞장구까지 지워진 상태에서 다수결을 하게 되고, 다수결을 먼저 하면 문장 안의 작은 흔들림이 다수결에 묻혀 저절로 사라진다. 이렇게 다듬은 결과가 사람이 읽는 회의록이 되고, 이름 매핑은 그 위에서 사용자가 한 번만 고르면 된다.
정리
- 화자 분리는 "누가 언제 말했는가"를 시간축에 적는 일이다. 이름을 알아내는 화자 인식과는 다른 문제이고, 나오는 번호는 그 파일 안에서만 통한다
- 처리는 말 찾기 · 자르기 · 목소리 벡터 · 묶기의 네 걸음이다. 1단계에서 놓친 말은 뒤에서 복구되지 않고, 임베딩이 담는 것은 녹음 조건이 정한다
- 화자 수를 모르는 것이 첫 번째 어려움이다. 알 수 있으면 반드시 알려 준다 — 임계값을 손보는 것보다 훨씬 값이 좋다
- 겹쳐 말한 구간은 한 조각에 화자 하나만 배정하는 구조 탓에 통째로 오류가 된다. 겹침 5분이면 9%쯤이 바닥에 깔린다
- 채널을 나눠 녹음할 수 있으면 이 문제 전체가 사라진다. 기술로 풀기 전에 이 길이 있는지 먼저 본다
- DER은 누락 · 오검출 · 화자 혼동을 합친 값이다. 받으면 반드시 셋으로 나눠 봐야 고칠 자리가 보인다
- DER을 비교할 때는 겹침을 세었는지와 경계 여유를 뒀는지를 먼저 맞춘다. 조건이 다르면 두 배 넘게 벌어진다
- 회의록으로 합칠 때는 문장 단위 다수결, 짧은 조각 흡수, 경계 단어 의심을 이 순서로 적용한다
읽어주셔서 감사합니다. 😊

