비전·음성·추천

DOMAIN / 45번째 글

실시간 음성 API — 말이 끝나고 첫 소리까지의 예산

음성 대화를 붙일 때 실제로 다루게 되는 것은 지연 예산과 상태 관리입니다. ASR·LLM·TTS 3단 구성과 통합 음성 모델의 차이, 말이 끝났다고 판정하는 문제, 끼어들기가 왜 단순한 멈춤이 아닌지, 그리고 스트리밍 중 도구 호출을 다루는 법을 정리합니다.

PALDYN Team33 MIN READ

지난 글까지 이미지 쪽을 다뤘으니 이번에는 소리다. 음성 대화를 붙이는 일은 텍스트 챗봇을 붙이는 일과 겉보기에 비슷해 보인다. 입력을 받고, 모델을 부르고, 결과를 돌려준다. 그런데 실제로 만들어 보면 완전히 다른 종류의 문제를 다루게 된다.

차이는 하나다. 텍스트 대화에서 사용자는 답이 늦으면 기다린다. 음성 대화에서 사용자는 답이 늦으면 다시 말한다. 사람끼리의 대화에서 말 사이 침묵이 1초를 넘으면 어색하고 2초를 넘으면 상대가 못 들었다고 생각한다. 그 감각이 그대로 적용되기 때문에, 음성 시스템의 설계는 처음부터 끝까지 시간을 어디에 쓸 것인가의 문제가 된다. 이 글은 그 문제를 API와 프로토콜 쪽에서 본다 — 밀리초를 어떻게 나눠 배정하고, 어떤 이벤트가 오가며, 누가 어떤 상태를 들고 있어야 하는가다.

지연 예산

첫 소리까지의 간격

목표를 먼저 정하자. 사용자가 말을 멈춘 순간부터 시스템의 첫 소리가 나오기까지의 시간을 이 글에서는 지연 예산이라고 부른다. 정해진 시간 안에 여러 단계가 나눠 써야 하는 몫이라 예산이다. 사람끼리 대화할 때 이 간격은 보통 200ms 안팎이고, 800ms를 넘으면 느리다고 느끼기 시작한다. 실용적인 목표는 500~800ms 정도다.

이 예산을 지금 어디에 쓰고 있는지 그려 보면 설계가 보인다.

3단 파이프라인과 통합 음성 모델의 지연이 쌓이는 자리

눈여겨볼 것은 가장 큰 조각이 모델이 아니라는 사실이다. 침묵을 기다리는 시간이 절반 가까이를 먹는다. LLM을 더 빠른 것으로 바꿔 첫 토큰까지 400ms를 250ms로 줄여도 전체는 1,200ms에서 1,050ms가 될 뿐이다. 모델 교체는 비용과 품질을 함께 움직이는 큰 결정인데, 그 결정으로 얻는 것이 12% 남짓이다. 앞쪽을 안 건드리면 뒤를 아무리 줄여도 체감이 안 바뀐다.

조각별 배정

그래서 목표를 정할 때는 합계 하나만 적지 말고 조각마다 밀리초를 배정해 적어 둔다. 800ms를 목표로 잡은 한 예다.

조각 배정 무엇이 정하나
침묵 대기 300ms 발화 종료 임계값
인식 확정 80ms 마지막 오디오 조각 처리와 최종 인식 결과
첫 토큰 250ms 모델 크기, 프롬프트 길이, 캐시
첫 소리 100ms 음성 합성이 첫 조각을 내는 시간
네트워크 70ms 왕복 횟수와 지역

표로 적어 두면 두 가지가 좋아진다. 하나는 어느 조각이 넘쳤는지를 로그에서 바로 가릴 수 있다는 것이다. 합계만 보면 「오늘 느리다」에서 멈추지만, 조각별로 보면 「첫 토큰이 250ms 배정에 420ms가 나왔다」가 된다. 다른 하나는 조각끼리 서로 빌려 쓰는 결정을 의식적으로 하게 된다는 것이다. 검색 단계를 하나 더 넣고 싶으면 그 시간은 어느 조각에서 가져올지 먼저 적어야 한다.

네트워크 70ms는 작아 보이지만 왕복 횟수에 곱해진다. 클라이언트가 인식 결과를 받아 다시 모델 서버로 보내고, 모델 출력을 다시 합성 서버로 보내는 식으로 단계마다 클라이언트를 거치면 같은 70ms가 세 번 붙는다. 단계를 서버 쪽에서 이어 붙이고 클라이언트와는 연결 하나만 두는 것이 이 표의 마지막 줄을 지키는 방법이다.

문장 단위 합성

체감을 정하는 것은 응답 전체의 길이가 아니라 첫 소리다. 다섯 문장짜리 답을 다 만든 다음 합성하면 첫 소리는 다섯 문장이 다 생성된 뒤에야 나온다. 반대로 모델이 첫 문장을 마치는 순간 그 문장만 합성기에 넘기면, 사용자가 첫 문장을 듣는 동안 둘째 문장이 만들어진다. 이렇게 생성과 재생을 겹치는 방식을 문장 단위 합성이라 부르자. 뒤 문장의 생성 시간이 앞 문장의 재생 시간 뒤에 숨는다.

자르는 단위는 문장이 무난하다. 더 잘게 끊으면 첫 소리는 빨라지지만 합성기가 문장의 끝을 모르는 채로 억양을 정해야 해서 말투가 뚝뚝 끊긴다. 쉼표에서 끊는 것이 그 중간쯤이고, 첫 문장이 유난히 길 때만 쉼표 단위로 내려가는 규칙을 두는 곳이 많다.

발화 종료 판정

음성 활동 감지

사람은 상대가 말을 끝냈는지를 침묵만으로 판단하지 않는다. 억양이 내려갔는지, 문장이 완결됐는지, 시선을 줬는지를 함께 본다. 기계는 대개 침묵의 길이만 본다.

음성 활동 감지(VAD)는 오디오 프레임마다 여기에 사람 말소리가 있는가를 판단하는 모듈이다. Silero VAD 같은 작은 신경망이 널리 쓰이고, 브라우저나 클라이언트에서 돌 만큼 가볍다. 다만 VAD가 내는 것은 프레임마다 말소리가 있다·없다뿐이다. 말소리 없는 프레임이 몇 개 이어지면 말이 끝난 것으로 볼지, 곧 얼마나 기다릴지는 여전히 우리가 정해야 하고, 그 값이 앞 표의 첫 줄인 침묵 대기다.

침묵 임계값

여기서 딜레마가 생긴다. 말이 끝났다고 보기까지 기다리는 침묵의 길이를 침묵 임계값이라 하면, 이 값을 짧게 잡을 때(300ms) 반응은 빠른데 사용자가 생각하느라 잠깐 멈춘 것을 말 끝으로 착각해 말허리를 자른다. 길게 잡으면(1초) 자르지는 않는데 매 턴이 1초씩 느려진다.

이 둘은 정확히 반대로 움직인다. 임계값을 100ms 줄일 때마다 턴당 지연은 100ms 줄고, 말허리를 자르는 비율은 늘어난다. 늘어나는 폭은 사용자와 상황에 따라 다르므로 일반론으로 정할 수 없고, 우리 통화로 재어야 한다. 그래서 이 값은 한 번 정하고 끝나는 설정이 아니라 뒤의 「지표와 로그」 절에서 다시 만나는 튜닝 대상이다.

임계값 완화

실무에서 쓰는 완화책이 셋 있다.

  • 입력 종류마다 임계값을 바꾼다. 전화번호나 주소를 받는 중이면 사람이 숫자 묶음 사이에서 멈추므로 길게 잡고, 예·아니오를 받는 중이면 짧게 잡는다. 시스템이 방금 무엇을 물었는지 알고 있으니 이 정보는 공짜다.
  • 문장이 끝났는지를 함께 본다. 부분 인식 결과가 「그러니까 제 계좌번호가」에서 멈췄으면 아직 안 끝난 것이다. 텍스트가 완결된 문장인지 값싼 모델로 판단해 임계값을 늘이거나 줄인다.
  • 기다리는 동안 채운다. 임계값이 지나면 곧바로 「네,」 같은 짧은 접수 응답을 먼저 내보내 체감 지연을 덮는다. 매 턴 쓰면 기계적으로 들리니 본 응답이 늦어질 것 같은 턴에만 쓴다.

여기서 부분 인식 결과는 사용자가 말하는 도중에 음성 인식기가 계속 고쳐 가며 내놓는 잠정 전사다. 말이 끝난 뒤 확정되는 최종 결과와 달리 뒤가 바뀔 수 있다. 문장 완결 판단도, 뒤에서 볼 미리 시작하는 조회도 이 잠정 전사 위에 선다.

통합 모델의 턴 감지

최근의 통합 음성 모델들은 이 판정을 모델 안에서 한다. 억양과 문맥을 함께 보므로 침묵만 보는 것보다 낫고, 무엇보다 판정과 응답 생성이 한 모델 안에서 이어지므로 그 사이의 왕복이 사라진다. VAD가 말이 끝났다고 알리고, 그 신호를 받은 쪽이 인식 결과를 모아 모델을 부르는 한 걸음이 통째로 없어지는 것이다. 위 그림에서 통합 모델 쪽의 턴 감지가 220ms로 짧은 이유가 이것이다.

3단 구성과 통합 모델

일곱 줄 비교

지금 선택지는 크게 둘이다. 음성 인식(ASR), 언어 모델, 음성 합성(TTS)을 차례로 잇는 3단 구성과, 오디오를 받아 오디오를 바로 내는 통합 음성 모델이다.

ASR → LLM → TTS 통합 음성 모델
지연 단계마다 쌓인다 짧다
억양·감정 텍스트를 지나며 사라진다 입력 억양이 답에 반영된다
중간 텍스트 남는다 (로그·검수·필터링) 따로 요청해야 한다
모델 선택 단계마다 자유롭게 고른다 그 벤더의 모델에 묶인다
도구 호출 LLM 단계에서 평범하게 지원 범위가 모델마다 다르다
비용 세 번 청구 오디오 토큰 단가가 붙는다
디버깅 단계별로 끊어 본다 안이 안 보인다

일곱 줄이지만 결정을 실제로 가르는 것은 둘이다. 중간 텍스트가 남는가, 그리고 억양이 살아남는가. 나머지 다섯은 대개 이 둘 중 하나를 고르면 따라온다.

검사의 자리

중간 텍스트가 남는지가 생각보다 중요하다. 콜센터라면 통화 기록을 남겨야 하고, 금융이라면 답변을 내보내기 전에 가드레일을 통과시켜야 한다. 3단 구성은 LLM 출력이 텍스트로 나오니 합성기에 넘기기 전에 검사를 끼울 수 있다. 문장 단위 합성과도 잘 맞는다 — 문장 하나가 끝날 때마다 검사하고 통과한 문장만 소리로 바꾸면 된다.

통합 모델은 오디오가 바로 나오므로 끼울 자리가 없다. 텍스트 전사를 함께 받는 옵션이 있긴 한데, 그건 기록용이지 차단용은 아니다 — 전사가 도착했을 때는 이미 소리가 나간 뒤다. 내보내면 안 되는 말이 있는 업무라면 이 한 줄이 나머지 여섯 줄을 이긴다.

반대로 억양과 감정은 통합 모델만 다룰 수 있다. 사용자가 짜증 난 목소리로 말했다는 사실은 텍스트를 지나는 순간 사라진다. 상담 품질이 중요한 자리에서는 이게 결정적일 수 있다.

통화 1분의 비용

비용은 단가표를 나란히 놓으면 비교가 안 된다. 3단 구성은 인식은 오디오 분당, 모델은 텍스트 토큰당, 합성은 글자 수당으로 청구되고, 통합 모델은 입력·출력 오디오를 토큰으로 바꿔 청구한다. 단위가 다르니 같은 단위로 환산해야 하는데, 가장 쓸모 있는 단위는 통화 1분이다.

C1분=cASR⋅t사용자+cLLM⋅n토큰+cTTS⋅n글자C_{\text{1분}} = c_{\text{ASR}} \cdot t_{\text{사용자}} + c_{\text{LLM}} \cdot n_{\text{토큰}} + c_{\text{TTS}} \cdot n_{\text{글자}}

여기서 놓치기 쉬운 것이 대화가 길어질수록 매 턴 앞의 기록을 다시 넣는다는 점이다. 턴이 쌓이면 모델 입력이 커지고, 통합 모델에서는 그 기록이 오디오 토큰으로 쌓이므로 텍스트보다 빨리 불어난다. 그래서 1분짜리 통화 하나가 아니라 우리 통화 길이 분포의 중앙값과 긴 쪽 끝으로 두 번 계산해 본다. 짧은 통화에서는 비슷하던 두 구성이 긴 통화에서 크게 갈리는 일이 흔하다.

양방향 스트리밍

다섯 이벤트

실시간 음성 API는 요청과 응답이 한 번씩 오가는 구조가 아니라 양방향으로 계속 흐르는 연결이다. 그 위로 오가는 것을 이벤트라 부르면, 어느 벤더든 이름은 달라도 다음 다섯 가지로 묶인다.

클라이언트 → 서버   오디오 조각 (20~100ms 단위로 계속)
서버 → 클라이언트   부분 인식 결과 (사용자가 말하는 중에도)
서버 → 클라이언트   응답 오디오 조각 (생성되는 대로)
서버 → 클라이언트   응답 텍스트 (전사·로그용)
클라이언트 → 서버   취소 (사용자가 끼어들었다)

중요한 것은 이 다섯이 시간 위에서 겹친다는 점이다. 사용자가 말하는 동안에도 부분 인식 결과가 흘러오고, 응답 오디오가 흐르는 도중에 취소가 거꾸로 올라간다.

양방향 연결 위에서 다섯 이벤트가 시간 순으로 겹치는 모습

이벤트마다 상태를 누가 들고 있는지 정해 두어야 한다. 대화 기록과 응답 생성은 서버가 든다. 실제로 어디까지 재생됐는지는 클라이언트만 안다 — 스피커가 클라이언트 쪽에 있기 때문이다. 이 비대칭이 뒤의 끼어들기 절 전체의 출발점이다.

WebRTC와 WebSocket

연결을 실어 나르는 길은 둘이다. WebRTC는 브라우저끼리 음성·영상을 주고받으려고 만든 표준이고, WebSocket은 한 번 연 연결 위로 아무 바이트나 양방향으로 흘리는 단순한 통로다.

브라우저 마이크와 스피커를 다룬다면 WebRTC 쪽이 낫다. 도착 시간이 들쭉날쭉한 패킷을 잠깐 모아 고르게 재생하는 지터 버퍼, 스피커 소리가 마이크로 되돌아오는 것을 지우는 에코 제거, 잃어버린 패킷 자리를 그럴듯하게 메우는 손실 은닉이 그 위에 이미 얹혀 있다. 직접 만들면 몇 주가 드는 것들이다.

서버끼리 붙이거나 전화망과 연결할 때는 WebSocket으로 원시 오디오를 흘리는 편이 단순하다. 이때 전화망 쪽 오디오는 대개 8kHz로 대역이 좁아 고음이 잘려 있으므로, 인식 정확도를 16kHz 녹음으로 잰 값에서 그대로 옮겨 오면 안 된다. 인식기도 8kHz에서 따로 재어 본다.

앞질러 보내기

여기서 중요한 설계 원칙이 하나 있다. 서버는 오디오를 재생 속도보다 앞질러 보낸다. 응답 5초 분량이 생성됐다면 5초치를 다 보내 두는 편이 네트워크가 잠깐 흔들려도 소리가 끊기지 않는다. 클라이언트 쪽에 넉넉한 버퍼가 쌓이는 것이다.

그런데 이 앞질러 보내기가 서버가 보낸 양과 사용자가 들은 양을 갈라놓는다. 평소에는 아무 문제가 없다가 사용자가 중간에 끼어드는 순간 그 차이가 드러난다.

연결 끊김

턴 도중에 연결이 끊기면 무엇을 다시 보내고 무엇을 버릴지도 미리 정해 둔다. 사용자 쪽 오디오는 아직 처리되지 않은 조각만 다시 보내면 된다 — 이미 인식된 부분을 다시 보내면 같은 말이 두 번 들어간다. 서버 쪽 응답 오디오는 대개 버린다. 재접속까지 몇 초가 지났다면 그 문장을 이어서 트는 것보다 「다시 연결됐어요」로 시작하는 편이 자연스럽다. 그리고 버린 응답은 끼어들기와 똑같이 대화 기록에서 잘라 낸다. 들리지 않은 말이라는 점에서 두 경우는 같은 사건이다.

끼어들기와 도구 호출

보낸 것과 들은 것

사용자가 시스템의 말을 자르고 들어오는 것을 끼어들기(barge-in)라고 한다. 이게 자연스럽게 동작하지 않으면 대화가 아니라 안내방송이 된다. 단순하게 생각하면 재생을 멈추고 새 입력을 받으면 되는 일인데, 앞질러 보내기 때문에 그렇지 않다.

끼어들었을 때 서버가 보낸 것과 사용자가 들은 것이 어긋나는 모습

서버는 스무 조각을 보냈고 대화 기록에 이만큼 말했다고 적어 뒀다. 사용자는 세 조각만 들었다. 이 어긋남을 안 고치면 다음 턴부터 서로 다른 대화를 한다 — 사용자는 못 들은 내용을 시스템은 이미 말한 것으로 치고, 「아까 말씀드렸듯이」라고 이어 간다.

되감기 세 걸음

그래서 끼어들기 처리는 멈춤이 아니라 되감기, 곧 들리지 않은 부분을 없던 일로 돌리는 작업이다. 세 걸음을 한꺼번에 해야 한다.

  1. 클라이언트가 남은 버퍼를 버린다. 즉시 소리가 멎어야 한다.
  2. 클라이언트가 얼마나 재생됐는지를 서버에 알린다. 밀리초 단위 위치를 취소 이벤트에 함께 싣는다.
  3. 서버가 대화 기록을 그 지점에서 자른다. 실제로 들린 데까지만 남긴다.

세 번째가 자주 빠진다. 그리고 빠져도 당장은 멀쩡해 보인다. 소리는 멎었고 사용자의 새 말도 잘 받는다. 어긋남은 대화 기록 안에만 있다가 몇 턴 뒤 시스템이 못 들은 말을 전제로 답할 때 겉으로 나온다. 그래서 대개 며칠 뒤 「왜 못 들은 걸 들었다고 하지」라는 민원에서 발견된다. 주요 실시간 API들이 취소에 재생 위치를 함께 받도록 설계된 이유가 이것이다.

에코

여기에 딸린 문제가 에코다. 스피커에서 나오는 시스템 목소리가 마이크로 다시 들어가면 VAD가 그걸 사용자 발화로 착각해 스스로 끼어든다. 증상은 시스템이 첫 문장 중간에 혼자 멈추고 자기 말의 일부를 사용자 입력으로 받아 답하는 모습이다. 헤드셋이 아니라 스피커폰 환경이면 반드시 에코 제거를 켜야 한다. WebRTC를 쓰면 브라우저가 해 주고, 아니면 직접 붙여야 한다.

도구 호출 중의 침묵

음성 에이전트가 조회를 해야 할 때 또 다른 공백이 생긴다. 텍스트 화면이라면 진행 표시가 돌고 사용자는 기다린다. 음성에는 그런 표시가 없어서 2초의 무음이 연결이 끊겼다는 신호로 읽힌다.

대응은 단순하지만 명시적으로 해야 한다.

  • 도구를 부르기 전에 말한다. 「조회해 볼게요」 한마디를 먼저 내보내고 그 소리가 나가는 사이에 호출을 시작한다.
  • 오래 걸리면 중간에 다시 말한다. 2초를 넘기면 「거의 다 됐어요」를 한 번 더 한다.
  • 가능하면 미리 부른다. 사용자가 계좌번호를 다 부르기 전에 앞자리로 후보를 좁혀 두는 식으로, 부분 인식 결과에서 미리 시작할 수 있는 조회가 있다.

그리고 도구 호출 중에도 연결과 VAD는 계속 살아 있어야 한다. 조회하는 동안 사용자가 「아 아니에요, 다른 계좌요」라고 말하면 그걸 받아 진행 중인 호출을 버려야 한다. 이 부분을 동기 호출로 짜 두면 그 시간 동안 입력이 통째로 막히고, 진행 중인 호출을 취소할 경로도 없다. 도구 호출도 이벤트 하나로 보고, 끝나면 결과 이벤트가 돌아오는 비동기 구조로 짜야 하는 이유다.

음성 에이전트에서 다룬 설계 원칙들이 여기에 그대로 얹힌다. 다른 점은 여기서는 프로토콜 수준의 이야기 — 어떤 이벤트를 언제 보내고 어떤 상태를 누가 들고 있는가 — 라는 것이다.

지표와 로그

네 지표

음성 시스템의 품질은 텍스트 지표로 안 잡힌다. 최소한 넷은 따로 재야 한다.

  • 첫 소리 지연은 사용자 발화 종료부터 첫 오디오 바이트가 스피커에 닿기까지다. 평균이 아니라 95번째 백분위로 본다 — 열 번에 한 번 2초씩 걸리면 사용자는 그 시스템을 느리다고 기억한다.
  • 말허리 자름 비율은 사용자가 아직 말하는 중에 시스템이 응답을 시작한 턴의 비율이다. 사용자 발화가 시스템 응답 시작 뒤 짧은 시간 안에 다시 이어지면 자른 것으로 센다.
  • 끼어들기 성공률은 사용자가 끼어들었을 때 정해 둔 시간(예컨대 300ms) 안에 소리가 멎었고, 대화 기록이 들린 데까지로 잘렸는지를 함께 본다. 둘 중 하나만 되면 실패다.
  • 턴 완결률은 사용자가 하려던 일을 몇 번의 턴 안에 마쳤는가다. 결국 이게 제품 지표다. 앞의 셋이 다 좋은데 이게 나쁘면 문제는 음성이 아니라 대화 설계에 있다.

임계값 튜닝

앞의 두 지표는 침묵 임계값 한 축 위에서 서로 반대로 움직인다. 그래서 따로 보지 말고 한 그래프에 함께 놓는다. 가로축에 임계값을 300ms부터 100ms 간격으로 늘어놓고, 각 값에서 지난 통화를 다시 돌려 첫 소리 지연의 95번째 백분위와 말허리 자름 비율을 찍는다. 녹음된 오디오에 VAD만 다시 돌리면 되므로 실제 통화를 다시 걸 필요는 없다.

그 그래프에서 고르는 기준은 대개 말허리 자름 비율의 상한이다. 예컨대 「자름은 3% 아래」를 먼저 정하고, 그 조건을 지키는 가장 짧은 임계값을 고른다. 입력 종류마다 임계값을 다르게 둔다면 이 그래프도 입력 종류마다 따로 그린다 — 전화번호 턴과 예·아니오 턴을 섞어 그리면 둘 다에 맞지 않는 중간값이 나온다.

같은 시계의 로그

이 값들은 실제 통화 로그에서만 제대로 나온다. 오디오와 이벤트 타임스탬프를 함께 저장해 두는 것이 사실상 필수다. 그리고 그 타임스탬프는 같은 시계로 찍혀야 한다. 클라이언트 시계로 찍은 재생 위치와 서버 시계로 찍은 생성 시각을 섞으면 두 시계의 차이만큼 조각이 어긋나 보인다. 한쪽 시계를 기준으로 삼고, 연결을 열 때 두 시계의 차이를 한 번 재어 함께 남긴다.

그렇게 남겨 두면 통화 하나를 골라 「이 턴에서 왜 3초가 걸렸나」를 앞의 배정표 다섯 줄로 쪼개 되짚을 수 있다. 침묵 대기가 길었는지, 첫 토큰이 늦었는지, 도구 호출이 끼었는지가 줄마다 드러난다. 예산을 조각으로 배정한 표와 조각별로 남긴 로그가 짝을 이룰 때 비로소 「느리다」가 고칠 수 있는 문장이 된다.

정리

  • 음성 대화의 설계는 지연 예산을 어디에 쓸 것인가의 문제다. 목표는 500~800ms이고, 합계가 아니라 조각마다 밀리초를 배정해 적는다
  • 가장 큰 조각은 모델이 아니라 말이 끝났는지 판정하는 데 드는 시간이다. 여기를 안 건드리면 뒤를 줄여도 소용없다
  • 침묵 임계값은 짧으면 말허리를 자르고 길면 느리다. 입력 종류별 임계값과 문장 완결 판단으로 완화한다
  • 3단 구성은 중간 텍스트가 남아 검수·필터링이 되고, 통합 모델은 짧고 억양을 살린다. 검사를 끼울 자리가 필요한지로 고르고, 비용은 통화 길이 분포로 환산해 견준다
  • 서버는 오디오를 앞질러 보낸다. 그래서 끼어들기는 멈춤이 아니라 되감기다 — 들린 지점까지 대화 기록을 잘라야 한다
  • 도구 호출 중의 침묵은 반드시 말로 채운다. 그리고 그동안에도 입력은 열려 있어야 한다
  • 지표는 첫 소리 지연(95백분위), 말허리 자름 비율, 끼어들기 성공률, 턴 완결률 넷을 함께 보고, 로그는 같은 시계로 남긴다

다음 글에서는 소리와 그림을 따로 다루던 경계를 아예 지운 any-to-any 모델을 본다.


읽어주셔서 감사합니다. 😊

LATEST

비전·음성·추천의 최신 글

비전·음성·추천2026.09.07

오프라인 강화학습 — 쌓인 로그만으로 정책을 배우기

실제 서비스에서 탐색은 곧 사용자에게 나쁜 행동을 해 보는 일입니다. 이미 쌓인 로그만으로 정책을 배우려 할 때 왜 Q값이 혼자 부풀어 오르는지, 그 부풀음을 누르는 세 갈래 대응, 행동 복제라는 기준선의 무게, 그리고 배포 전에 성능을 재는 일이 왜 가장 어려운지를 정리합니다.

30 MIN
비전·음성·추천2026.09.07

다국어 전이 — 라벨 없는 언어에서 모델이 동작하는 이유

영어 라벨만으로 학습한 분류기가 한국어 문장을 그대로 처리하는 일이 실제로 일어납니다. 여러 언어가 한 표현 공간에 겹쳐 놓이는 원리, 그 겹침이 무너지는 조건, 번역해서 학습할지 번역해서 추론할지 고르는 기준, 그리고 언어별로 나눠 재야 하는 이유를 정리합니다.

29 MIN
비전·음성·추천2026.09.07

정보 추출 — 글 한 덩이를 표 한 줄로 바꾸는 일

계약서와 이메일을 데이터베이스에 넣으려면 글에서 값을 뽑아 칸에 채워야 합니다. 개체명·관계·사건의 세 층위, 값을 정규화하는 일이 왜 절반인지, 근거 위치를 함께 남겨야 하는 이유, 규칙·전용 모델·언어 모델의 갈림길, 그리고 필드별로 재는 평가법을 정리합니다.

31 MIN