비전·음성·추천

DOMAIN / 46번째 글

any-to-any 모델 — 소리도 그림도 같은 줄에 놓는다

입력만 여러 모달리티를 받던 모델이 출력까지 열리면 무엇이 달라지는지 정리합니다. 모든 모달리티를 토큰으로 바꾸는 방법, 출력이 입력보다 훨씬 어려운 이유, 조립형 대비 무엇을 얻고 무엇을 잃는지, 그리고 언제 이 구조를 고르는지를 다룹니다.

PALDYN Team34 MIN READ

지난 글에서 음성 대화를 붙일 때 ASR·LLM·TTS 셋을 이어 붙이는 구성과 그 조립을 없앤 통합 음성 모델을 나란히 놓고 봤다. 통합 쪽의 이점으로 적었던 것이 지연과 억양이었다. 이 글은 그 방향을 소리 너머로 밀어붙인 구조, 즉 any-to-any 모델을 다룬다.

이름이 가리키는 것은 단순하다. 텍스트든 이미지든 오디오든 아무거나 넣을 수 있고, 텍스트든 이미지든 오디오든 아무거나 받을 수 있는 모델이다. 텍스트·이미지·오디오처럼 정보가 담기는 형식 하나하나를 모달리티라고 부르니, any-to-any는 모달리티의 제한이 입구에도 출구에도 없는 모델이라는 뜻이다. 그런데 실제로 만들어 보면 앞쪽 절반과 뒤쪽 절반의 난이도가 전혀 다르다. 그 비대칭이 이 구조를 이해하는 열쇠이고, 이 글의 나머지는 대부분 그 비대칭을 풀어 쓰는 일이다.

출력의 개방

네 가지 구조

모델을 입력과 출력의 모달리티로 가르면 네 칸이 나온다.

구조 입력 출력 흔한 예
text-to-text 텍스트 텍스트 일반 언어 모델
any-to-text 텍스트·이미지·오디오 텍스트 대부분의 「멀티모달 모델」
text-to-image 텍스트 이미지 그림 생성 모델
any-to-any 텍스트·이미지·오디오 텍스트·이미지·오디오 옴니 계열

표를 위에서 아래로 읽으면 칸이 하나씩 열리는 순서처럼 보이지만, 실제 역사는 두 갈래였다. 언어 모델은 입구를 넓히는 쪽으로 자랐고, 그림 생성 모델은 텍스트를 받아 그림을 내는 전용 도구로 따로 자랐다. any-to-any는 이 두 갈래를 한 모델 안에서 만나게 하려는 시도다.

any-to-text

이미지를 넣고 설명을 받는 모델, 음성을 넣고 요약을 받는 모델은 이미 흔하다. 그런데 이것들은 정확히 말하면 any-to-text, 곧 입구는 여럿이고 출구는 텍스트 하나뿐인 모델이다. 흔히 「멀티모달 모델」이라 부르는 것의 대부분이 여기에 든다. 사진 속 표를 읽어 정리하고, 회의 녹음을 받아 할 일을 뽑는 일은 전부 이 칸에서 끝난다. 결과가 글이면 되는 일이 생각보다 많아서 이 칸만으로도 쓸모가 크다.

이 칸이 빨리 퍼진 데는 이유가 있다. 뒤에서 보겠지만 입력을 여는 일은 이미 잘 되는 언어 모델에 작은 부품 하나를 끼우는 것으로 끝난다. 언어 모델의 본체를 거의 건드리지 않고 눈과 귀를 달 수 있으니, 이미 가진 언어 능력을 그대로 살리면서 쓸 곳을 넓히는 셈이다.

출구가 하나일 때

진짜 변화는 표의 마지막 줄, 즉 출력 쪽이 열리는 지점이다. 출구가 텍스트뿐이면 그림을 만들고 싶을 때 결국 그림 생성 모델을 따로 붙여야 한다. 언어 모델이 「이런 그림을 그려라」라는 지시문을 쓰고, 그 지시문을 그림 생성 모델에 넘기는 식이다. 그 순간 다시 모델 여럿을 이어 붙인 구성이 된다. 이렇게 단계마다 다른 모델을 맡기고 그 사이를 텍스트로 이어 주는 방식을 이 글에서는 조립형이라 부르고, 한 모델이 처음부터 끝까지 맡는 방식을 통합형이라 부른다. 지난 글의 3단 음성 구성이 바로 조립형이었다.

지시문을 거치면 생기는 일이 하나 있다. 언어 모델이 머릿속에 그린 장면이 있더라도, 그림 생성 모델에 건너가는 것은 그 장면을 글로 옮긴 몇 문장뿐이다. 「왼쪽 아래에 작은 고양이」라고 적으면 고양이가 얼마나 작은지, 왼쪽 아래 어디쯤인지는 받는 쪽이 다시 정한다. 그래서 같은 대화에서 그림을 조금씩 고쳐 달라고 하면 매번 처음부터 다시 그린 듯한 결과가 나오기 쉽다. 이 어긋남이 다음 절의 주제다.

조립형의 손실

조립형은 나쁜 설계가 아니다. 단계마다 최고 성능의 전용 모델을 골라 쓸 수 있고, 중간 산출물이 남아 검수하기도 쉽고, 한 부품이 낡으면 그것만 갈아 끼우면 된다. 다만 세 가지를 구조적으로 포기한다.

조립형과 통합형의 정보 흐름 비교

비언어 정보

첫째는 경계에서 정보가 떨어지는 것이다. 소리가 글자로 바뀌는 순간 억양·웃음·머뭇거림·말 겹침·배경 소리가 전부 사라진다. 말의 뜻은 남지만 말하는 방식은 남지 않는다. 이렇게 글자에 안 담기는 쪽을 묶어 비언어 정보라고 부른다. "괜찮아요"라는 다섯 글자는 남지만 그것이 체념인지 안도인지는 남지 않는다. 상담 대화라면 이 차이가 다음 답을 통째로 바꾼다 — 체념에는 다시 물어야 하고, 안도에는 넘어가야 한다.

출력 쪽에서도 같은 일이 거꾸로 일어난다. TTS가 받는 것은 문장뿐이라, 언어 모델이 위로하려고 쓴 말인지 경고하려고 쓴 말인지는 문장부호와 낱말로 짐작해야 한다. 같은 「잠깐만요」를 다급하게 읽을지 부드럽게 읽을지 모르는 채로 읽는 것이다.

누적 지연

둘째는 지연이 더해지는 것이다. 단계는 겹치지 않는다. ASR이 끝나야 LLM이 시작하고, LLM이 끝나야 TTS가 시작한다. 예를 들어 ASR이 말이 끝났다고 판정하고 글자를 내는 데 300ms, LLM이 첫 문장을 마치는 데 400ms, TTS가 첫 소리를 내는 데 200ms가 든다고 하면, 사용자는 말을 멈춘 뒤 900ms를 기다린다. 각 단계를 아무리 다듬어도 합은 세 값의 합이다.

스트리밍으로 겹쳐 볼 수는 있다. LLM이 첫 문장을 내자마자 TTS가 그 문장을 읽기 시작하면 된다. 그러나 TTS가 자연스러운 억양으로 읽으려면 문장이 어디서 끝나는지 알아야 하므로, 겹칠 수 있는 단위가 문장 경계로 묶인다. 첫 문장이 길면 그만큼 기다린다. 통합형은 소리 조각 하나하나가 같은 줄에서 바로 나오므로 이 경계 자체가 없다.

상호참조

셋째는 상호참조가 끊기는 것이다. 사진을 캡션으로 떨어뜨리고 나면 "왼쪽 사람이 든 것"을 되물을 수가 없다 — 왼쪽이 어디였는지가 캡션에 없기 때문이다. 그림 안의 한 지점을 가리키며 말하고, 그 말에 대한 답으로 다시 그림을 고쳐 내는 대화는 조립형으로는 매번 좌표와 영역을 손으로 실어 날라야 한다.

통합형에서는 그림 조각과 말이 같은 줄에 나란히 있으므로, 「이것」이 가리키는 조각을 모델이 직접 볼 수 있다. any-to-any는 이 셋을 한 번에 없애는 대신 다른 값을 치른다. 무엇을 치르는지는 뒤에서 보고, 먼저 어떻게 한 모델에 다 집어넣는지부터 본다.

토큰화

다음 토큰 예측

오늘날 언어 모델은 대부분 자기회귀 모델이다. 지금까지 나온 줄을 보고 다음 하나를 고르고, 고른 것을 줄 끝에 붙여 다시 다음 하나를 고르는 식으로 한 칸씩 늘려 가는 모델이다. 이때 한 칸에 들어가는 단위가 토큰이고, 모델 쪽에서 보면 토큰은 미리 정해 둔 목록 안의 번호 하나다. 그러니 자기회귀 모델이 아는 일은 사실상 하나뿐이다 — 번호의 줄을 보고 다음 번호를 고르는 것.

여기서 any-to-any의 출발점이 나온다. 모든 모달리티를 번호의 줄로 바꾸기만 하면 모델 구조는 손댈 필요가 없다. 그림도 소리도 「다음 번호 고르기」의 대상이 되는 순간, 언어 모델을 학습시키던 방법이 그대로 통한다.

모달리티별 토큰화와 합쳐진 토큰 줄

텍스트는 원래 이산값, 곧 띄엄띄엄 떨어진 값이라 할 일이 없다. 부분 낱말 단위로 쪼개는 기존 토크나이저를 그대로 쓴다. 문제는 그림과 소리다. 픽셀의 밝기나 파형의 높이는 연속값이라, 그대로는 번호 목록에서 고를 수가 없다.

벡터 양자화

이미지는 격자 조각으로 자른 뒤 각 조각을 벡터로 만들고, 그 벡터를 벡터 양자화(vector quantization)로 번호로 바꾼다. 벡터 양자화는 미리 학습해 둔 대표 벡터의 목록에서 가장 가까운 항목을 찾아 그 항목의 번호만 남기는 일이고, 그 목록을 코드북이라 부른다. 연속값이 이산값이 되는 지점이 여기다. 되돌릴 때는 번호로 코드북을 찾아 대표 벡터를 꺼내고, 디코더가 그 벡터들로 픽셀을 다시 그린다.

숫자를 넣어 한 번 따라가 보자. 256×256 이미지를 16×16픽셀 조각으로 자르면 가로세로 16칸씩, 256개의 조각이 나온다. 코드북이 8,192개라면 번호 하나는 13비트(213=81922^{13}=8192)이므로 그림 한 장이 256 × 13 = 3,328비트, 416바이트가 된다. 원래 픽셀은 256 × 256 × 3 = 196,608바이트였으니 470배 넘게 줄어든 셈이다. 이만큼 줄여도 사람이 알아볼 그림이 되살아나는 것은 코드북이 「자주 나오는 조각의 모양」을 학습해 두었기 때문이다. 반대로 코드북에 없는 모양, 이를테면 작은 글자나 가는 선은 가장 가까운 대표 조각으로 뭉개진다. 이것이 뒤에서 말할 품질 천장의 출처다.

실제 모델에서도 이 방식이 쓰였다. Meta가 2024년에 낸 Chameleon은 이미지를 이렇게 이산 토큰으로 바꿔 텍스트 토큰과 처음부터 한 줄에 섞어 학습했다. 512×512 이미지 한 장이 코드북 8,192개짜리 토큰 1,024개가 된다.

잔차 벡터 양자화

오디오는 신경 코덱을 거친다. 신경 코덱은 파형을 짧은 프레임으로 자르고 프레임마다 벡터를 만든 뒤 그 벡터를 번호로 바꾸는, 학습된 압축기다. 그런데 소리는 그림보다 결이 촘촘해서 한 번의 양자화로는 되살릴 만큼 정확하지 않다. 그래서 잔차 벡터 양자화(residual vector quantization)를 쓴다. 한 번 양자화하고 남은 오차, 곧 잔차를 다시 양자화하기를 여러 겹 반복하는 방식이다.

잔차 벡터 양자화가 겹마다 오차를 줄이는 과정

벡터 대신 숫자 하나로 줄여 보면 원리가 보인다. 0.737을 담고 싶은데 첫 겹의 코드북에는 0.1 간격의 값만 있다고 하자. 가장 가까운 0.7을 고르면 0.037이 남는다. 둘째 겹은 0.01 간격 코드북에서 그 잔차에 가장 가까운 0.04를 고르고, 이제 남은 것은 −0.003이다. 셋째 겹이 −0.003을 고르면 세 값을 더해 0.737이 정확히 되살아난다. 첫 겹이 큰 줄기를 잡고 뒷 겹으로 갈수록 결을 메운다.

겹을 몇 개까지 쓰느냐로 음질과 토큰 수를 맞바꾼다. Meta의 EnCodec을 24kHz 설정으로 쓰면 초당 75프레임이 나오고 겹마다 코드북이 1,024개(10비트)라, 여덟 겹을 쓰면 75 × 8 × 10 = 6,000비트, 곧 6kbps다. 겹을 둘만 쓰면 1.5kbps로 줄지만 소리가 거칠어진다. 이렇게 바꾸고 나면 모델 입장에서 소리와 그림의 구별은 사라진다. 남는 것은 어떤 번호 다음에 어떤 번호가 오느냐뿐이다.

출력의 비대칭

프로젝터

입력만 받을 때는 사실 양자화까지 갈 필요도 없다. 이미지 인코더가 낸 연속 벡터를 작은 층 하나로 언어 모델의 임베딩 차원에 맞춰 끼워 넣으면 그만이다. 임베딩은 언어 모델이 토큰 번호를 받아 안에서 실제로 계산하는 벡터이고, 이 작은 층이 이미지 벡터를 그 벡터와 같은 모양으로 바꿔 준다. 이 층을 흔히 프로젝터라고 부른다.

학습도 가볍다. 이미지 인코더와 언어 모델은 이미 따로 학습돼 있으니, 둘 다 얼려 두고 프로젝터만 학습시키는 것으로 시작할 수 있다. 첫 절에서 any-to-text가 빨리 퍼졌다고 한 까닭이 이것이다. 모델은 이미지 조각이 번호에서 왔는지 프로젝터에서 왔는지 구별하지 않는다. 입력 쪽에서는 그저 임베딩 몇 개가 줄에 더 들어왔을 뿐이다.

후보 목록

출력에서는 이 방법이 통하지 않는다. 모델이 다음에 나올 것을 골라야 하는데, 연속 공간에는 고를 후보 목록이 없기 때문이다. 텍스트를 낼 때 모델의 마지막 층은 어휘 목록의 번호마다 확률을 하나씩 매기고, 그 분포에서 하나를 뽑는다. 이 분포가 있어야 학습 때 「정답 번호의 확률을 올린다」는 손실을 쓸 수 있고, 생성할 때 온도를 바꿔 다양하게 뽑을 수도 있다.

연속 벡터를 곧장 내게 하면 이 구조가 무너진다. 그림 조각의 정답 벡터와 거리를 줄이도록 학습하면 모델은 그럴듯한 후보 여럿의 평균을 내기 쉽고, 평균 낸 그림은 흐릿하다. 고양이일 수도 있고 개일 수도 있는 자리에서 둘의 중간을 그리는 것이다. 출력 쪽 설계는 그래서 이 후보 목록을 어디서 구하느냐로 갈린다.

이산 토큰과 전용 디코더

갈래는 둘이다. 하나는 그림·소리도 코드북 번호로 내게 하는 이산 토큰 자기회귀이고, 다른 하나는 언어 모델 본체, 곧 백본이 조건 벡터만 내고 실제 픽셀·파형은 따로 붙인 생성 모델이 만드는 방식이다. 뒤쪽의 생성 모델로는 잡음에서 출발해 조금씩 그림을 다듬는 확산 모델이 흔히 쓰인다.

출력 쪽의 두 갈래와 섞어 쓰는 구성

이산 토큰 자기회귀 백본 + 전용 디코더
방식 그림·소리도 코드북 번호로 내고, 코덱 디코더가 그 번호를 되살린다 백본은 조건 벡터만 내고 확산 모델 등이 실제 픽셀·파형을 만든다
학습 언어 모델과 같은 손실 하나 손실이 둘 이상, 균형을 맞춰야 한다
텍스트와 섞기 자연스럽다 — 같은 줄에 이어 쓰면 된다 경계에서 다시 붙이는 장치가 필요하다
품질 코드북 해상도가 천장이 된다 전용 생성 모델 수준까지 올라간다
지연 토큰 수만큼 순차 생성 디코더 단계가 통째로 더해진다

표의 마지막 두 줄이 서로 엇갈린다는 점이 고르기를 어렵게 한다. 이산 토큰은 텍스트와 한 줄에 섞이는 대가로 코드북이 정한 해상도를 넘지 못하고, 그림 한 장에 토큰이 1,024개면 1,024번을 차례로 골라야 한다. 전용 디코더는 품질이 좋지만 백본과 디코더 사이에 다시 경계가 생겨, 조립형의 문제가 작은 규모로 돌아온다. 다만 그 경계에 오가는 것이 텍스트가 아니라 벡터라 정보가 훨씬 덜 떨어진다.

경계 토큰과 혼합 구성

한 줄 안에서 모달리티가 바뀔 때는 어디서 바뀌는지를 알려 주는 표시가 필요하다. 그래서 「여기서부터 이미지」, 「여기까지 이미지」를 뜻하는 특수 번호를 어휘에 더한다. 이것을 경계 토큰이라 부른다. 모델이 생성 중에 이미지 시작 토큰을 고르면 그 뒤로는 이미지 코드북의 번호만 고르게 하고, 끝 토큰이 나오면 다시 텍스트로 돌아온다. 입력에서도 같은 표시가 그림의 시작과 끝을 알려 준다. 위 토큰 그림의 <img>·<aud>가 그것이다.

실제 모델들은 모달리티마다 다른 갈래를 고르기도 한다. 소리는 프레임이 짧고 지연이 중요하니 이산 토큰으로 바로 내고, 그림은 품질이 중요하니 전용 디코더로 보내는 식이다. 경계 토큰은 이때 길잡이 역할도 한다. 이미지 시작 토큰이 나오면 그 뒤의 출력을 디코더 쪽으로 넘기는 신호가 되기 때문이다.

어느 쪽이든 텍스트 출력 경로는 손대지 않는다는 점은 같다. 언어 능력이 이 모델들의 기반이라 거기를 흔들면 전부 무너진다. 그림을 잘 그리게 하려고 텍스트 생성까지 새로 학습시키다가 대화 능력이 눈에 띄게 떨어지는 일이 생기므로, 새 모달리티를 붙일 때는 텍스트 쪽 성능을 함께 재면서 학습 데이터의 비율을 맞춘다.

통합형의 비용

통합형이 조립형을 항상 이기는 것은 아니다. 크게 셋을 치르고, 넷째인 평가는 고르는 기준과 함께 다음 절에서 본다.

품질 천장

그림만 만드는 모델, 소리만 만드는 모델은 그 일에 전체 용량을 쓴다. 한 모델이 셋을 다 하면 파라미터와 학습 데이터, 학습에 쓸 계산량이 셋으로 나뉜다. 여기에 이산 토큰을 쓰면 코드북 해상도가 한 번 더 천장을 만든다. 앞에서 본 것처럼 코드북에 없는 가는 선과 작은 글자는 뭉개진다.

그래서 세밀한 그림 품질이나 특정 목소리의 재현이 결과물의 핵심이면 조립형이 낫다. 일러스트를 파는 서비스에서 통합형 모델이 「대화는 자연스럽지만 그림이 한 단 아래」라면 그 자연스러움은 살 이유가 되지 못한다.

검수 지점

3단 구성에서는 ASR 결과에 금칙어 필터를 걸고, LLM 출력을 검사한 뒤 TTS에 넘길 수 있었다. 중간 산출물이 텍스트라 규칙 검사기와 사람이 둘 다 읽을 수 있었기 때문이다. 통합형에서는 그 중간 텍스트가 아예 생기지 않는다.

검사를 걸려면 길이 둘이다. 출력 토큰을 소리나 그림으로 되살린 뒤 다시 인식해서 검사하거나, 모델에게 텍스트도 함께 내도록 시키는 것이다. 앞쪽은 인식 단계가 하나 더 붙어 조립형의 지연이 돌아오고, 뒤쪽은 모델이 텍스트와 소리를 둘 다 내느라 생성할 토큰이 늘어 역시 지연이 는다. 게다가 함께 낸 텍스트와 실제 소리가 어긋나지 않는다는 보장도 따로 확인해야 한다.

토큰 예산

모델이 한 번에 볼 수 있는 토큰 수의 상한을 컨텍스트 창이라 부르는데, 모달리티를 섞으면 이 창이 금방 찬다. 텍스트 한 문단이 200토큰 안팎이라면 앞의 Chameleon 방식으로 그림 한 장은 1,024토큰이다. 오디오는 더 무겁다. EnCodec 여덟 겹을 그대로 줄에 펼치면 초당 75 × 8 = 600토큰, 1분이면 36,000토큰이다. 창이 128,000토큰이라고 하면 소리만으로 3분 30초 남짓에서 찬다.

그래서 실제 모델들은 한 프레임의 여러 겹을 한 칸에서 함께 내는 방식을 쓰기도 한다. 그러면 줄의 길이는 초당 75칸, 1분에 4,500칸으로 줄어든다. 그래도 한 항목이 먹는 몫이 텍스트보다 몇 배에서 열 배 넘게 크다는 사실은 그대로라 대화 기록을 관리해야 한다. 그림을 매 턴 다시 넣지 말고 첫 턴 뒤에는 그 그림을 설명한 짧은 요약만 남기는 식이다. 요약으로 바꾸는 순간 앞에서 말한 상호참조의 이점도 그 그림에 대해서는 사라지므로, 아직 가리킬 일이 남은 그림만 원본으로 두는 판단이 들어간다.

선택 기준

판단 순서

아래 질문을 위에서부터 물어 처음 「그렇다」가 나온 곳을 따르면 대체로 맞다.

질문 그렇다면
결과물의 품질 자체가 상품인가 (음원·일러스트·더빙) 조립형. 각 자리에 전용 최고 모델
중간 단계에 반드시 사람이나 규칙 검사가 들어가야 하는가 조립형. 검사할 텍스트가 필요하다
말투·억양·현장 소리 같은 비언어 정보가 답을 바꾸는가 통합형
그림 속 위치를 가리키며 여러 턴 대화해야 하는가 통합형
응답이 1초 안에 시작해야 하는가 통합형
나머지 조립형으로 먼저 만들고, 막히는 지점이 위 셋 중 하나로 좁혀지면 옮긴다

차례에 이유가 있다. 품질과 검수는 어기면 서비스를 낼 수 없는 조건이라 먼저 묻고, 비언어 정보·상호참조·지연은 통합형이 나아지게 하는 성질이라 그다음에 묻는다. 순서를 뒤집으면 지연 때문에 통합형을 골랐다가 검수를 못 거는 구조라는 것을 출시 직전에 알게 된다.

이행 순서

마지막 줄이 실무에서 가장 자주 맞는 답이다. 조립형은 부분마다 갈아 끼울 수 있어 초기 반복이 빠르고, 어디가 병목인지도 눈에 보인다. 단계별 지연을 재면 어느 단계가 얼마를 먹는지 나오고, 사용자 불만을 모으면 그것이 ASR의 오인식인지 TTS의 어색한 억양인지 갈린다.

통합형으로 옮기는 것은 그 병목이 경계 자체라는 것이 확인된 다음이다. 각 단계를 다 줄였는데도 합이 너무 크다거나, 억양을 놓쳐서 생긴 오답이 불만의 큰 몫이라거나 하는 식이다. 반대로 병목이 한 단계의 성능이면 그 단계의 모델만 바꾸는 쪽이 훨씬 싸다.

출력 평가

통합형을 고르면 평가도 새로 짜야 한다. 텍스트만 나올 때는 정답과 맞춰 보면 됐다. 출력이 그림과 소리로 갈리면 무엇을 맞다고 할지부터 정해야 한다. 그림이면 요청한 물체가 요청한 자리에 있는지, 소리면 낱말이 맞는지와 함께 억양이 상황에 맞는지까지 본다. 앞쪽은 사람이 아니어도 셀 수 있지만 뒤쪽은 대개 사람의 판단이나 다른 모델의 채점에 기대게 된다.

모달리티를 넘나드는 능력, 이를테면 그림 속 지시를 소리로 답하는 것은 기존 벤치마크에 마땅한 칸이 없다. 그래서 자기 서비스의 실제 대화에서 그런 장면을 골라 작은 평가 세트를 직접 만드는 경우가 많다. 조립형에서 옮겨 왔다면 같은 세트를 두 구성에 함께 돌려, 옮긴 이유였던 병목이 실제로 줄었는지 확인한다.

정리

  • any-to-any의 새로운 부분은 입력이 아니라 출력이 열리는 지점이다. 입력만 여럿인 모델은 이미 흔하고, 프로젝터 하나로 만들 수 있다
  • 한 모델에 다 넣는 방법은 전부 번호의 줄로 바꾸는 것이다. 이미지는 벡터 양자화로 코드북 번호가 되고, 오디오는 잔차 벡터 양자화로 겹겹이 번호가 된다
  • 출력은 고를 후보 목록이 있어야 해서, 이산 토큰으로 내거나 백본 뒤에 전용 디코더를 붙인다. 경계 토큰이 한 줄 안의 모달리티 전환을 표시한다
  • 조립형이 포기하는 것은 셋이다. 경계에서의 비언어 정보 손실, 더해지는 지연, 끊기는 상호참조
  • 통합형이 치르는 값은 품질 천장, 검수 지점의 소멸, 토큰 예산이고, 평가도 새로 짜야 한다
  • 먼저 조립형으로 만들고 병목이 경계 자체로 좁혀졌을 때 옮기는 것이 대체로 안전하다

다음 글에서는 상호참조를 한 걸음 더 밀어, 모델이 그림 속 「그것」이 어디인지 좌표로 답하게 만드는 방법을 본다.


읽어주셔서 감사합니다. 😊

LATEST

비전·음성·추천의 최신 글

비전·음성·추천2026.09.07

오프라인 강화학습 — 쌓인 로그만으로 정책을 배우기

실제 서비스에서 탐색은 곧 사용자에게 나쁜 행동을 해 보는 일입니다. 이미 쌓인 로그만으로 정책을 배우려 할 때 왜 Q값이 혼자 부풀어 오르는지, 그 부풀음을 누르는 세 갈래 대응, 행동 복제라는 기준선의 무게, 그리고 배포 전에 성능을 재는 일이 왜 가장 어려운지를 정리합니다.

30 MIN
비전·음성·추천2026.09.07

다국어 전이 — 라벨 없는 언어에서 모델이 동작하는 이유

영어 라벨만으로 학습한 분류기가 한국어 문장을 그대로 처리하는 일이 실제로 일어납니다. 여러 언어가 한 표현 공간에 겹쳐 놓이는 원리, 그 겹침이 무너지는 조건, 번역해서 학습할지 번역해서 추론할지 고르는 기준, 그리고 언어별로 나눠 재야 하는 이유를 정리합니다.

29 MIN
비전·음성·추천2026.09.07

정보 추출 — 글 한 덩이를 표 한 줄로 바꾸는 일

계약서와 이메일을 데이터베이스에 넣으려면 글에서 값을 뽑아 칸에 채워야 합니다. 개체명·관계·사건의 세 층위, 값을 정규화하는 일이 왜 절반인지, 근거 위치를 함께 남겨야 하는 이유, 규칙·전용 모델·언어 모델의 갈림길, 그리고 필드별로 재는 평가법을 정리합니다.

31 MIN