텍스트로 도는 에이전트를 하나 만들어 두고 앞에 음성 인식을, 뒤에 음성 합성을 붙이면 음성 에이전트가 된다 — 라고 생각하면 첫 시연에서 무너진다. 동작은 한다. 그런데 대화처럼 느껴지지 않는다. 말을 끝냈는데 한참 조용하고, 끼어들면 무시당하고, 끊었는데 로봇이 하던 말을 계속한다.
여기서 에이전트는 사용자의 말을 듣고 도구(조회 API, 예약 시스템 같은 바깥 기능)를 불러 일을 처리한 뒤 결과를 말해 주는 프로그램이고, 음성 에이전트는 그 주고받기가 전부 소리로 이루어지는 경우다. 텍스트 에이전트와 하는 일은 같은데 원인 모를 어색함이 생기는 까닭은 모델의 성능이 아니라 시간이다. 음성 에이전트를 만든다는 것은 대체로 시간 예산을 짜고 지키는 일이고, 나머지는 그 예산을 맞추기 위한 선택이다.
시간 예산
침묵의 의미
텍스트 채팅에서 3초는 「생각하는 중」이다. 화면에 점 세 개가 깜빡이고, 사용자는 그 사이에 다른 탭을 본다. 통화에서 3초 침묵은 「끊겼나?」다. 상대가 보이지 않으니 소리가 없는 것을 연결이 없는 것으로 읽는다. 사람끼리 대화할 때 차례가 넘어가는 간격은 대체로 수백 밀리초이고, 그보다 길어지면 상대가 멈칫했거나 못 알아들은 것처럼 들린다.
같은 지연이 매체에 따라 이렇게 다르게 읽히므로, 음성 에이전트의 품질 기준은 정확도보다 먼저 시간에서 시작한다. 정답을 3초 뒤에 말하는 에이전트보다, 0.7초 안에 「네, 확인해 볼게요」라고 말하고 2초 뒤에 정답을 말하는 에이전트가 더 똑똑하게 들린다.
단계별 예산
그래서 설계의 첫 줄은 응답 예산, 곧 사용자가 말을 멈춘 순간부터 첫 소리가 나오기까지 허락하는 시간을 정하는 것이다. 이 글에서는 800 ms를 예로 잡는다. 그다음 그 시간을 단계마다 나눠 적는다. 아래 그림의 이어 붙인 구성은 발화 끝 감지 500, 음성 인식 300, LLM 첫 토큰 400, 합성 200으로 1,400 ms가 된다. 예산을 600 ms나 넘긴다.
이 표를 실제로 적어 보면 어디서 시간을 버는지가 보인다. 1,400 ms 중 500 ms가 발화 끝 감지에 들어간다. 모델을 작은 것으로 바꿔 첫 토큰을 400에서 250으로 줄여도 150 ms를 버는 데 그치지만, 발화 끝 판단을 영리하게 바꾸면 그 이상을 번다. 측정하지 않고 「모델이 느려서」라고 짐작하면 가장 비싼 자리를 고치게 된다.
표에 안 보이는 항목도 하나 적어 둔다. 사용자의 마이크에서 서버까지, 서버에서 다시 스피커까지 오가는 네트워크 시간이다. 같은 나라 안의 서버라도 모바일 망에서는 왕복 100 ms를 넘기기 쉽고, 해외 리전에 모델을 두면 그것만으로 예산의 3분의 1이 사라진다. 단계별 예산은 서버 로그만으로 채우면 안 되고, 실제 단말에서 「말을 멈춘 시각」과 「첫 소리가 스피커에서 나온 시각」을 함께 재어 맞춰 봐야 한다.
포기 순서
예산이 안 맞을 때 무엇을 먼저 내려놓을지도 미리 정한다. 후보는 대개 셋이다. 모델 크기를 줄이면 답의 질이 조금 떨어진다. 검색 단계를 빼거나 캐시로 돌리면 최신성이 떨어진다. 확인 질문을 줄이면 오조회 위험이 오른다. 서비스마다 버릴 수 있는 것이 다르다. 예약 확인 전화라면 모델 크기를 줄여도 되지만, 금융 상담에서 확인 질문을 빼는 것은 안 된다. 이 순서를 문서로 남겨 두지 않으면 지연 문제가 터질 때마다 그날 담당자의 감으로 고르게 된다.
구성 방식
이어 붙인 구성
지금 음성 에이전트를 만드는 길은 크게 둘이다. 이어 붙인 구성은 음성 인식으로 말을 글로 옮기고, LLM이 답을 만들고, 음성 합성으로 다시 소리를 만든다. 세 부품이 분리되어 있어 각각을 따로 고르고 따로 고칠 수 있다.
약점은 단계 시간이 그대로 더해진다는 것이고, 더 나쁜 것은 앞 단계가 끝나야 뒤 단계가 시작하는 구간이다. 음성 인식의 최종 결과가 나와야 LLM에 보낼 문장이 확정되고, LLM이 문장 하나를 마쳐야 합성을 시작할 수 있다. 줄 서서 기다리는 시간이 단계 수만큼 쌓인다.
겹쳐 돌리기
겹칠 수 있는 부분을 최대한 겹치면 예산은 꽤 줄어든다. 인식기는 말이 진행되는 동안 지금까지 들은 것을 잠정 문장으로 계속 내보내는데, 이것이 부분 인식 결과다. 최종 결과는 그 마지막 판이다.
- 부분 인식 결과로 미리 모델 호출을 준비한다. 고객 번호 조회처럼 문장이 확정되기 전에 시작할 수 있는 일은 먼저 시작한다
- LLM 출력은 문장 단위로 잘라 합성에 넘긴다. 전체 답이 끝날 때까지 기다리지 않는다
- 합성은 조각으로 스트리밍한다. 첫 조각이 나오는 대로 재생을 시작한다
이렇게 하면 이어 붙인 구성도 800 ms 안쪽으로 들어갈 수 있다. 체감을 정하는 것이 전체 답의 길이가 아니라 첫 소리라는 점이 이 기법들의 공통 근거다.
음성 대 음성
음성 대 음성 모델은 소리를 직접 받아 소리를 직접 내놓는다. 중간에 글자가 없다. 멀티모달 LLM이 이미지를 받아들이는 것과 같은 방식으로 오디오를 토큰으로 다룬다. 줄 서는 구간이 없으니 구조적으로 빠르고, 글자로 옮기며 사라지던 억양과 웃음이 살아남는다. 대신 잃는 것도 분명하다.
| 이어 붙인 구성 | 음성 대 음성 | |
|---|---|---|
| 응답 시간 | 단계가 더해진다. 최적화 여지가 많다 | 짧다 |
| 억양·감정·웃음 | 글자로 옮기며 사라진다 | 그대로 전달된다 |
| 부품 교체 | 인식·모델·합성을 따로 바꾼다 | 통째로 바꿔야 한다 |
| 무엇이 오갔는지 확인 | 글자로 남아 그대로 읽을 수 있다 | 따로 받아쓰기를 붙여야 한다 |
| 출력 통제 | 텍스트를 검사한 뒤 소리로 바꿀 수 있다 | 소리가 나온 뒤에는 늦다 |
| 목소리 선택 | 합성 엔진이 지원하는 만큼 | 모델이 주는 만큼 |
표에서 결정을 실제로 가르는 줄은 대개 출력 통제다. 금융 상담처럼 말한 내용을 기록으로 남기고 금지어를 걸러야 하는 곳에서는 소리가 나가기 전에 텍스트를 한 번 볼 수 있다는 점이 크다. 사람처럼 들리는 것이 목적이면 음성 대 음성이 낫다. 섞어 쓰는 구성도 흔하다 — 음성 대 음성 모델을 쓰되 받아쓰기를 나란히 돌려 기록만 남기는 방식이다. 이때 기록은 사후 증거일 뿐 사전 검사가 아니라는 것을 운영 문서에 적어 둔다.
비용의 모양도 다르다. 이어 붙인 구성은 인식·모델·합성 세 곳에서 따로 청구되고, 음성 대 음성은 오디오를 토큰으로 세어 한 곳에서 청구된다. 단가표를 나란히 놓으면 견주기 어려우므로 「통화 1분」으로 환산해 비교한다. 사용자가 말하는 시간과 에이전트가 말하는 시간의 비율, 평균 통화 길이를 실제 로그에서 가져와 넣어야 숫자가 의미를 가진다.
차례 주고받기
침묵 임계값
이어 붙인 구성의 예산에서 가장 큰 항목이 대체로 발화 끝 판단이고, 가장 자주 대충 넘어가는 자리이기도 하다. 기본 도구는 음성 활동 감지(VAD)다. 짧은 프레임마다 그 소리가 사람의 말인지 아닌지만 판단하는 작은 모델이고, 에이전트는 VAD가 「말 없음」을 일정 시간 이어서 내면 발화가 끝났다고 본다. VAD가 주는 것은 말소리 유무뿐이므로 「얼마나 기다릴 것인가」는 여전히 우리가 정하는 값이다.
- 짧게 잡으면(200 ms) 숨을 고르거나 생각하느라 멈춘 자리를 끝으로 착각한다. 문장을 반만 듣고 답한다
- 길게 잡으면(1,000 ms) 대화가 굼떠진다. 사용자는 말을 끝냈는데 시스템이 계속 기다린다
두 실패는 정확히 반대로 움직인다. 임계값을 내리면 굼뜸이 줄고 말허리 자름이 늘며, 올리면 그 반대다. 고정값 하나로 둘을 다 잡을 수 없다는 뜻이다.
문장 완결성
그래서 문장이 끝난 것처럼 들리는지까지 함께 본다. 부분 인식 결과가 「삼십이만 오천 원을」처럼 목적어에서 멈췄으면 아직 이어질 문장이니 더 기다리고, 「네 그렇게 해 주세요」처럼 끝난 문장이면 짧게 기다린다. 억양이 올라갔는지 내려갔는지를 함께 보기도 한다. 입력 종류마다 임계값을 다르게 두는 것도 같은 생각이다 — 전화번호를 불러 달라고 물은 차례에서는 숫자 사이 멈춤이 길어지므로 넉넉하게, 예·아니오를 물은 차례에서는 짧게 잡는다. 에이전트가 방금 무엇을 물었는지 아는 것은 에이전트 자신이므로, 이 판단은 인식기 설정이 아니라 대화 흐름 쪽에 두는 편이 맞다.
끼어들기 되감기
반대 방향의 차례 넘김이 끼어들기, 곧 에이전트가 말하는 도중에 사용자가 말을 시작하는 일이다. 사람 사이에서는 자연스러운 일이라 받아 줘야 하는데, 구현에서 자주 빠뜨리는 부분이 있다. 끼어들기를 처리한다는 것은 재생을 멈추는 것이 아니라 이미 만들어 둔 것을 되감는 일이다.
되감을 것은 셋이다. 아직 재생되지 않고 버퍼에 남은 오디오, 대화 기록, 그리고 진행 중인 도구 호출이다. 첫째는 재생기를 비우면 끝나고, 셋째는 다음 절에서 다룬다. 발화 끝을 잘못 잘라 사용자가 말을 이어 가는 중에 답을 시작한 경우도 이 경로로 처리하도록 정해 둔다. 두 상황 모두 「사용자가 말하는데 에이전트도 말하고 있다」로 같기 때문이다.
기록 자르기
셋 중 둘째가 가장 눈에 안 띄고 가장 오래 아프다. 모델은 「결제 내역을 확인해 보니 8월분 12만 원이 미납이고 9월분은 정상 처리되었습니다」라는 문장 전체를 만들었지만, 사용자는 「결제 내역을 확인해 보니 8월분」까지만 듣고 끼어들었다고 하자. 대화 기록에 문장 전체를 남기면 모델은 자기가 다 말했다고 믿는다. 사용자가 나중에 「9월은 어떻게 됐냐」고 물으면 「아까 말씀드렸듯이」로 시작하는 답이 나온다.
그래서 재생기가 실제로 어디까지 소리를 냈는지를 밀리초 단위로 알려 줄 수 있어야 하고, 대화 기록은 그 지점에서 자른다. 잘린 자리에 「(도중에 끊김)」 같은 표시를 남겨 두면 모델이 상황을 더 잘 이해한다. 이 단계는 빠져도 당장은 아무 일이 없다는 것이 문제다. 시연은 멀쩡히 넘어가고, 며칠 뒤 상담 기록을 읽다가 엉뚱한 「아까 말씀드렸듯이」를 발견하게 된다.
도구 호출과 침묵
먼저 말하기
음성 에이전트가 텍스트 에이전트보다 훨씬 어려워지는 지점이 여기다. 텍스트 채팅에서는 도구를 부르는 동안 「조회 중...」을 띄우면 되지만, 통화에서는 그 자리가 그냥 무음이다. 2초 넘게 조용하면 사용자는 끊겼다고 생각한다.
가장 자연스럽고 흔한 해법은 「네, 확인해 볼게요」를 먼저 내보내고 그 소리가 나가는 동안 API를 부르는 것이다. 1초 남짓한 그 문장이 조회 시간을 덮는다. 아래 그림처럼 같은 1.8초 조회라도, 말과 조회를 순서대로 하면 그만큼이 통째로 침묵이 되고 겹쳐 돌리면 침묵이 수백 밀리초로 줄어든다.
채움말
조회가 길어지면 한 번 더 말을 넣어야 한다. 이렇게 침묵을 메우려고 넣는 짧은 문장을 채움말이라 부른다. 같은 문장이 되풀이되면 금방 기계처럼 들리므로 몇 개를 정해 돌려 쓰고, 2초를 넘길 때 한 번, 그 뒤로는 간격을 늘려 넣는다. 긴 작업은 아예 다른 차례로 넘기는 편이 낫다 — 「확인해서 문자로 보내 드릴게요」처럼 통화 안에서 끝내지 않는다.
채움말에는 내용을 조금 담는 편이 좋다. 「잠시만요」보다 「8월 결제 내역을 찾고 있어요」가 낫다. 사용자는 에이전트가 자기 말을 제대로 알아들었는지 그 자리에서 확인할 수 있고, 잘못 알아들었으면 조회가 끝나기 전에 바로잡을 기회가 생긴다. 다만 채움말은 실제 결과를 앞질러 약속하지 않아야 한다 — 「곧 처리해 드릴게요」라고 했는데 조회가 실패하면 그 말이 거짓이 된다.
시간 상한과 취소
도구 하나하나에 시간 상한을 둔다. 텍스트 에이전트에서는 10초 걸리는 조회도 참을 만하지만 통화에서는 아니다. 상한을 넘기면 실패로 처리하고 사람 상담원에게 넘기거나 다른 경로를 안내한다.
그리고 호출 중에도 듣기를 멈추지 않는다. 호출을 동기로 짜서 결과가 올 때까지 VAD를 꺼 두면 「아니 잠깐만요, 다른 계좌요」를 받을 수 없고, 진행 중인 호출을 버릴 길도 없다. 사용자가 끊었는데 이미 시작된 결제 API 호출이 그대로 진행되면 곤란하므로, 되돌릴 수 없는 동작은 실행 전에 한 번 확인을 받는 편이 안전하다. 조회처럼 무해한 호출은 결과를 버리면 되지만 송금은 버릴 수 없다.
취약 지점
고유명사와 숫자
음성 에이전트에서 품질 문제가 나는 자리는 대체로 정해져 있다. 첫째가 사람 이름, 주소, 계좌번호, 상품 코드처럼 문맥으로 추측할 수 없는 값이다. 인식기가 한 글자만 틀려도 조회가 실패한다. 대응은 둘이다. 그 서비스에서 나올 법한 어휘 목록을 인식기에 힌트로 넘기고, 중요한 값은 다시 읽어 확인한다. 「010-1234-5678 맞으실까요」가 번거로워 보여도 잘못된 조회보다 낫다. 다만 모든 값을 되읽으면 통화가 늘어지므로, 틀렸을 때 되돌리기 어려운 값(송금 계좌, 예약 날짜)만 되읽고 조회용 값은 조회 결과로 확인하는 식으로 나눈다. 「김민수 고객님 맞으세요?」처럼 조회 결과를 말해 주면 사용자가 틀린 것을 바로 잡아 준다.
한국어 문장 안에 영문 제품명이나 약어가 섞이는 구간도 같은 부류다. 「갤럭시 S 시리즈 말고 아이패드 프로요」 같은 문장은 실제 대화에서 아주 흔한데, 인식기가 한 언어로 고정되어 있으면 영문 부분이 엉뚱한 한글 낱말로 바뀐다. 합성 쪽에서도 같은 일이 생긴다 — 「SKU」를 「스쿠」로 읽거나 「3/4」를 날짜로 읽는다. 말로 나갈 문장은 합성에 넘기기 전에 숫자와 약어를 읽는 방식대로 풀어 쓰는 단계를 하나 두는 것이 좋다.
입력 음질
전화망을 지나온 소리는 8 kHz로 대역이 잘려 있고, 스피커폰에는 반향이 있고, 매장에서는 옆 사람 목소리가 함께 들어온다. 개발자 헤드셋으로만 시험한 시스템은 현장에서 다르게 동작한다. 실제 경로로 녹음한 소리를 평가 데이터에 반드시 넣는다.
음질이 떨어지면 인식만 틀리는 것이 아니라 VAD도 흔들린다. 매장 배경 소음이 말소리로 판정되면 발화가 끝나지 않은 것으로 보여 에이전트가 영영 기다리고, 반대로 작은 목소리가 소음에 묻히면 말하는 중에 끝으로 잘린다. 그래서 VAD 임계값도 조용한 녹음이 아니라 현장 녹음으로 맞춘다. 전화 채널과 앱 채널이 함께 있는 서비스라면 둘을 따로 맞추는 편이 낫다.
자기 소리
스피커로 나간 합성음이 마이크로 다시 들어오면 VAD가 그것을 사람의 말로 판단하고, 에이전트는 끼어들기로 오해해 스스로 말을 끊는다. 이것을 막는 것이 반향 제거, 곧 내보낸 소리를 알고 있다가 들어온 소리에서 그 몫을 빼는 처리다. 켜져 있는지, 켜져 있어도 스피커폰에서 실제로 동작하는지를 확인한다. 증상이 「가끔 혼자 말을 멈춘다」로 나타나 원인을 찾기 어려운 자리다.
평가
응답 시간의 꼬리
과제 성공률만 재면 음성 에이전트의 실제 품질을 못 본다. 응답 시간은 평균이 아니라 꼬리를 본다. 백분위는 값을 작은 것부터 늘어놓았을 때 그 비율 지점의 값이라, 95백분위가 2초라면 스무 번에 한 번은 2초보다 오래 걸린다는 뜻이다. 평균 600 ms인데 스무 번에 한 번 3초가 걸리면 그 한 번이 통화를 망친다. 한 통화에 차례가 열 번 넘게 오가므로, 차례 단위의 드문 지연이 통화 단위로는 흔한 일이 된다.
끼어들기 성공률
사용자가 말을 시작한 시점부터 소리가 실제로 멈추기까지의 시간을 재고, 대화 기록이 들린 데까지만 남았는지를 함께 확인한다. 앞의 것은 사용자가 느끼는 반응성이고 뒤의 것은 다음 차례의 정확성이다. 둘 다 오디오와 이벤트 시각을 같은 시계로 남겨야 잴 수 있으므로, 로그 설계가 곧 평가 설계다.
핵심 값 정확도
전체 받아쓰기 정확도가 아니라 이름·숫자·코드만 따로 잰다. 이 값들이 과제 성공을 좌우하는데 전체 지표에는 거의 안 잡힌다 — 문장 스무 글자 중 계좌번호 한 자리가 틀리면 전체 오류율은 5%지만 그 차례는 실패다. 그리고 평가 데이터는 실제 통화 녹음으로 만든다. 조용한 방에서 또박또박 읽은 문장으로는 위의 어떤 문제도 드러나지 않는다.
녹음을 모으면 실패한 통화를 하나씩 들어 보는 시간을 정기적으로 잡는다. 지표는 어디가 나빠졌는지를 알려 주지만 왜 나빠졌는지는 소리를 들어야 안다 — 같은 「과제 실패」라도 인식이 틀린 것인지, 말허리를 자른 것인지, 채움말이 너무 길어 사용자가 끊은 것인지는 기록 텍스트만으로 가려지지 않는다. 그렇게 찾은 사례를 평가셋에 더해 두면 다음에 모델이나 임계값을 바꿀 때 같은 실패가 되살아나는지 바로 보인다.
정리
- 음성 에이전트에서 어려운 것은 모델이 아니라 시간 예산이다. 예산을 단계별로 적어 두면 가장 비싼 자리가 모델이 아니라 발화 끝 판단인 경우가 많다
- 이어 붙인 구성은 단계 시간이 더해지지만 부분 인식·문장 단위 합성·스트리밍 재생으로 상당히 줄일 수 있다
- 음성 대 음성 모델은 빠르고 억양이 살지만, 나가기 전에 내용을 검사하기 어렵다. 기록과 통제가 필요하면 이어 붙인 구성이 안전하다
- 발화 끝 판단은 고정된 침묵 시간 하나로 안 된다. 문장이 끝난 것처럼 들리는지, 방금 무엇을 물었는지까지 함께 본다
- 끼어들기는 재생 중지가 아니라 되돌리기다. 안 나간 오디오를 버리고, 들린 데까지만 기록하고, 진행 중인 호출을 취소한다
- 도구를 부르는 동안 침묵을 두지 않는다. 먼저 짧게 말하고 그 소리가 나가는 사이에 조회한다. 도구마다 시간 상한을 두고, 호출 중에도 듣기를 멈추지 않는다
- 깨지는 자리는 정해져 있다 — 고유명사·숫자, 언어가 섞인 구간, 전화망 음질, 자기 소리의 되돌아옴
- 평가는 응답 시간의 꼬리, 끼어들기 성공률, 핵심 값만 따로 잰 정확도 셋을 실제 통화 녹음으로 본다
다음 글에서는 소리 대신 그림과 표가 섞인 문서로 옮겨, 멀티모달 RAG가 그런 문서에서 답을 찾는 방법을 다룬다.
읽어주셔서 감사합니다. 😊

