지난 글에서 MusicGen·AudioCraft·Suno AI 같은 AI 음악 생성 기술을 다뤘다. 이번 글부터는 방향을 크게 틀어, 텍스트뿐 아니라 이미지·오디오·비디오를 한 모델이 함께 받아 이해하는 멀티모달 AI로 넘어간다. 사진 속 수식을 풀어 주고 화면 캡처를 보고 코드를 고쳐 주는 모델이 이제 흔한데, 그 안에서 그림은 어떤 모양으로 바뀌어 모델에 들어가고, 그 대가는 어디에 청구되는가가 이 글의 질문이다.
멀티모달 LLM은 서로 다른 종류의 입력, 곧 모달리티(텍스트·이미지·소리처럼 신호의 종류)를 하나의 언어 모델이 같은 줄에 놓고 처리하는 모델이다. 텍스트만 받던 LLM을 단일 모달 모델이라 부르는 것과 짝이 되는 말이다. 이 글은 구조를 길게 해부하기보다 쓰는 사람이 결정해야 하는 자리를 차례로 짚는다 — 한 장이 몇 토큰이 되는가, 해상도를 얼마로 둘 것인가, 어느 모델을 고를 것인가, 어디까지 믿을 것인가.
이미지의 토큰화 경로
모달리티별 인코더
텍스트 전용 LLM의 입력 파이프라인은 단순하다. 토크나이저 하나가 문장을 토큰 id의 줄로 바꾸고, 모델은 그 줄을 읽는다. 멀티모달 LLM에서는 이 입구가 모달리티마다 갈린다. 글은 여전히 토크나이저를 지나지만, 그림은 비전 인코더를 지난다. 비전 인코더는 이미지를 벡터 여러 개로 바꾸는 별도의 신경망이고, 대개 CLIP이나 SigLIP처럼 이미지와 글을 함께 학습한 ViT(Vision Transformer)다. 소리도 같은 식으로 음성 인코더를 지난다.
인코더가 내놓은 벡터는 LLM이 쓰는 벡터와 차원이 다르다. 그래서 그 사이에 프로젝션, 곧 인코더의 벡터를 LLM의 임베딩 차원으로 옮기는 작은 변환 층을 둔다. 이 층을 어떤 모양으로 만드는가(선형 층 하나, 작은 MLP, Q-Former, 크로스 어텐션)는 모델마다 다르고, 그 비교는 다음 글이 통째로 맡는다. 여기서는 결과만 기억하면 된다 — 프로젝션을 지난 이미지는 LLM 입장에서 단어와 같은 모양의 벡터 여러 개가 된다.
패치 수 세기
비전 인코더는 이미지를 통째로 보지 않고 바둑판처럼 잘라 본다. 잘린 한 칸이 패치이고, ViT는 패치 하나를 토큰 하나처럼 다룬다. 그러니 한 장이 몇 토큰이 되는가는 패치가 몇 칸인가와 거의 같다.
직접 세어 보자. 14×14 픽셀 패치를 쓰는 인코더에 336×336 이미지를 넣으면 가로 24칸, 세로 24칸이라 576개 패치가 나온다. LLaVA-1.5가 한 장을 576토큰으로 넣는 이유가 이 곱셈이다. 같은 인코더에 224×224를 넣으면 16×16, 256토큰이다. 변이 1.5배 커지면 토큰은 2.25배가 된다 — 토큰 수는 변의 길이가 아니라 넓이를 따라간다.
상용 API도 같은 셈을 문서에 적어 둔다. Anthropic 문서는 28×28 픽셀 한 칸을 시각 토큰 하나로 치고, 한 장의 비용을 으로 적는다. 1000×1000 이미지는 36×36, 곧 1,296토큰이다. 사진 한 장이 짧은 글 한 편에 맞먹는 입력 토큰을 쓰는 셈이고, 그렇게 생각해 두면 감이 맞는다.
한 줄에 섞인 토큰
프로젝션을 지난 이미지 토큰은 텍스트 토큰과 한 시퀀스에 이어 붙는다. 「[이미지 토큰 1,296개] 이 영수증의 총액은?」 같은 줄이 디코더에 들어가고, 디코더는 텍스트만 있을 때와 똑같이 셀프 어텐션으로 모든 토큰이 서로를 참조하게 한 뒤 다음 토큰을 하나씩 낸다. 이미지를 위한 별도의 출력 장치가 있는 것이 아니라, 그림에서 온 토큰을 문맥 삼아 글을 이어 쓰는 것이다.
이 구조에서 바로 나오는 결론이 하나 있다. 컨텍스트 창은 하나뿐이고 그림과 글이 그 예산을 나눠 쓴다. 이미지 열 장을 넣으면 그만큼 문서·대화 기록·지시를 넣을 자리가 준다. 그리고 그 토큰은 입력 토큰으로 청구된다. 이미지를 「첨부물」로 생각하면 비용과 길이 계산이 매번 틀리고, 「아주 긴 문단」으로 생각하면 맞는다.
해상도와 토큰 비용
벤더 문서로 세는 법
넓이에 비례한다는 원칙만으로는 청구서가 안 맞는다. 모델마다 받아들이는 최대 크기가 있고, 그보다 크면 줄여서 처리하기 때문이다. 그래서 비용을 셀 때는 원본 크기가 아니라 모델이 실제로 본 크기로 센다.
Anthropic 문서가 이 규칙을 표로 적어 두었다. 2026년 10월 기준으로 Claude 4.7 이후 모델은 고해상도 등급이라 긴 변 2,576픽셀·시각 토큰 4,784개까지 받고, 그 밖의 모델은 표준 등급이라 긴 변 1,568픽셀·1,568토큰까지 받는다. 1920×1080 화면 캡처를 넣으면 표준 등급에서는 1456×819로 줄어 1,560토큰이 되고, 고해상도 등급에서는 줄지 않고 2,691토큰이 된다. 같은 그림이 모델에 따라 1.7배 차이가 난다. 4K 캡처라면 표준 등급은 다시 1,560토큰에서 멈추고 고해상도 등급은 4,784토큰을 쓴다 — 문서도 고해상도가 같은 그림에 최대 세 배쯤 토큰을 쓴다고 적는다.
다른 벤더도 방식만 다를 뿐 같은 질문에 답하는 절을 문서에 둔다. 타일을 몇 장으로 쪼개는가, 타일 하나가 몇 토큰인가, 전체를 줄인 이미지를 한 장 더 넣는가가 그 내용이다. 고해상도 이미지를 타일로 나눠 넣는 이유와 구조는 다음 글에서 다루고, 여기서 할 일은 하나다. 쓰는 모델의 문서에서 그 절을 찾아 우리 이미지 크기 서너 개로 직접 계산해 보는 것이다. 기억이나 다른 모델의 값으로 어림하면 몇 배씩 틀린다.
크기 조절 자리
비용을 정하는 손잡이는 두 군데 있다. 하나는 API의 해상도 옵션이다. OpenAI API는 이미지마다 detail 값을 주어 저해상도로 싸게 볼지 고해상도로 자세히 볼지를 고르게 하고, 다른 벤더도 비슷한 설정을 둔다. 다른 하나는 우리 쪽 전처리다. 보내기 전에 줄이고, 필요한 영역만 잘라 내고, 회색조로 바꾸는 일이다.
전처리 쪽이 더 믿을 만하다. 모델이 알아서 줄여 주는 경우에도 어떻게 줄였는지가 우리 손에 없고, 좌표를 돌려받는 작업에서는 줄인 비율을 알아야 원본 위치로 되돌릴 수 있다. Anthropic 문서도 지연을 줄이고 좌표 작업을 단순하게 하려면 올리기 전에 직접 크기를 맞추라고 권한다. 잘라 내기는 특히 효과가 크다. 영수증 한 장의 총액만 필요하다면 아래 3분의 1만 보내도 되고, 그러면 토큰이 3분의 1로 준다.
해상도를 낮춰도 되는 질문
모든 그림을 같은 해상도로 보낼 이유가 없다. 기준은 질문이 그림의 어느 크기의 특징에 기대는가다. 막대그래프에서 「어느 분기가 가장 높은가」를 묻는다면 막대의 상대 높이만 보이면 되므로 크게 줄여도 답이 같다. 사진에 무엇이 찍혀 있는지, 화면이 어떤 앱인지를 묻는 것도 마찬가지다.
반대쪽에는 낮추면 그냥 못 읽는 자료가 있다. 작은 글자가 빽빽한 계약서, 스캔한 서류, 눈금이 촘촘한 도면, 표 안의 숫자다. 이런 자료는 한 글자가 몇 픽셀로 남는가가 성패를 정하고, 줄이는 순간 모델이 틀린 글자를 그럴듯하게 지어낸다. 그래서 실무에서는 자료의 종류마다 해상도 규칙을 정해 둔다 — 사진과 추세 도표는 작게, 문서와 표는 크게, 그리고 문서도 한 장을 통째로 크게 보내기보다 필요한 영역을 잘라 크게 보낸다.
모델을 고르는 축
지금의 비교표
예전에는 「이미지를 받는가, 오디오를 받는가」가 모델을 가르는 첫 질문이었다. 지금은 세 회사의 주력 모델이 모두 이미지를 받고 컨텍스트 창도 100만 토큰 안팎으로 모였다. 그래서 표의 칸보다 칸이 제품 결정으로 이어지는 방식을 봐야 한다.
| 계열 | 주력 모델(예) | 컨텍스트 창 | 이미지 입력 | 확인할 것 |
|---|---|---|---|---|
| Claude | Claude Opus 5.5 · Sonnet 5.5 · Haiku 5.5 | 1M(Opus) | 받음 | 해상도 등급, 요청당 이미지 수 |
| GPT | GPT-6.1 Sol · Terra | 1.05M | 받음 | detail 설정별 토큰, 오디오는 어느 모델이 받는가 |
| Gemini | Gemini 4 Argon · 3.8 Flash | 1M(Argon은 입력·출력 합산) | 받음 | 비디오·오디오 입력의 토큰 환산 |
컨텍스트 창 값은 2026년 10월 28일에 각 회사 모델 문서에서 확인한 것이고, 모델 이름과 값은 몇 달이면 바뀐다. 이 표는 그날의 사진으로 읽고, 고르는 날에는 같은 칸을 다시 채운다.
칸이 결정으로 이어지는 자리는 이렇다. 컨텍스트 창은 「한 요청에 문서 몇 쪽을 이미지로 넣을 수 있는가」로 바뀐다 — 쪽마다 1,500토큰이면 100만 토큰 창에 수백 쪽이 들어가지만, 그 전에 요청 크기 제한이나 이미지 개수 제한에 먼저 닿는다. Anthropic 문서는 API 요청 하나에 이미지를 최대 600장까지 받지만 표준 요청 크기 32MB에 먼저 걸릴 수 있다고 적는다. 비디오와 오디오를 그대로 넣어야 하는 제품이라면 입력 모달리티 칸이 곧 후보 목록을 정한다 — Gemini 계열은 같은 API에서 비디오·오디오 파일을 받는 쪽으로 오래 다듬어져 왔고, 나머지는 문서의 입력 칸을 모델별로 확인해야 한다.
네이티브 학습과 결합 모델
같은 「이미지를 받는다」에도 두 갈래가 있다. 하나는 비전 인코더를 이미 학습된 LLM에 나중에 붙인 결합 모델이고, 다른 하나는 처음부터 여러 모달리티를 섞은 데이터로 함께 학습한 네이티브 멀티모달 모델이다. 회사들이 내부 구조를 다 밝히지 않으므로 어느 쪽인지 단정할 수 없는 경우가 많지만, 차이가 드러나는 자리는 분명하다.
그 자리는 소리다. 결합 방식으로 음성 대화를 만들면 음성 인식 → 텍스트 LLM → 음성 합성의 세 단계를 거치고, 중간에 텍스트로 한 번 눌리면서 억양·감정·말 끊기 같은 정보가 사라지고 단계마다 지연이 더해진다. 오디오를 직접 받아 직접 내는 모델은 이 손실과 지연이 작다. 실시간 음성 비서를 만든다면 이 차이가 제품의 성패를 가르고, 문서 요약만 한다면 거의 상관없다. 이미지 쪽에서는 이 차이가 훨씬 작게 드러나므로, 구조 이름보다 우리 자료로 잰 결과를 믿는 편이 낫다.
작은 비교 집합
벤치마크 점수는 후보를 셋쯤으로 줄이는 데까지만 쓴다. 그다음은 우리 자료로 만든 30~50건짜리 비교 집합이 정한다. 실제로 받을 이미지(영수증, 화면 캡처, 현장 사진)를 고르고, 건마다 정답을 사람이 적어 둔다. 쉬운 것만 고르지 말고 흐린 사진, 기울어진 스캔, 작은 글자처럼 가장 자주 틀릴 것을 절반쯤 섞는다.
후보마다 같은 프롬프트로 돌려 네 가지를 잰다. 정답률, 건당 입력 토큰(이미지 토큰 포함), 응답 지연, 그리고 틀린 답의 모양이다. 마지막이 중요하다. 「모르겠다」고 하는 모델과 그럴듯한 다른 값을 내놓는 모델은 정답률이 같아도 운영 위험이 전혀 다르다. 50건이면 반나절이면 만들고, 모델이 바뀔 때마다 같은 집합을 다시 돌려 비교할 수 있다.
할 수 있는 일과 그 경계
맥락까지 읽는 OCR
이미지 캡셔닝은 그림을 문장으로 설명하는 일이고, VQA(시각 질의응답)는 그림과 질문을 함께 받아 답하는 일이며, OCR은 그림 속 글자를 읽어 내는 일이다. 예전에는 셋이 서로 다른 모델이었는데, 멀티모달 LLM에서는 한 모델이 셋을 다 하고, 그래서 셋의 경계가 흐려진다.
그 결과가 「맥락까지 읽는다」는 말의 실제 뜻이다. 전통적인 OCR은 영수증의 글자를 모두 뽑아 줄 뿐 어느 숫자가 총액인지 모른다. 멀티모달 LLM은 「합계」라는 낱말, 가장 아래에 있는 위치, 굵은 글씨를 함께 보고 총액만 골라낸다. 표지판 사진에서도 글자를 읽는 것을 넘어 글꼴과 표기 방식으로 어느 나라 표지판인지, 어떤 언어인지를 판단한다. 이 능력 덕분에 「글자 추출 → 규칙으로 필드 찾기」라는 두 단계를 한 번의 질문으로 줄일 수 있다.
차트 값의 근사
차트도 읽는다. 막대그래프·꺾은선·원그래프에서 추세를 설명하고, 어느 항목이 가장 큰지 말하고, 값을 뽑아 표로 만들어 준다. 여기서 선을 하나 그어야 한다. 모델이 차트에서 읽은 값은 눈대중이다. 막대 끝에 숫자가 적혀 있지 않으면 모델은 축 눈금과 막대 높이를 보고 어림하고, 그 어림은 몇 퍼센트씩 틀린다.
그래서 쓰임을 갈라 둔다. 「3월에 꺾였다」, 「B가 A의 두 배쯤이다」 같은 판단에는 차트 해석을 그대로 쓴다. 「3월 매출이 정확히 얼마인가」에는 차트가 아니라 그 차트를 만든 표나 원본 데이터로 돌아간다. 원본이 없다면 답에 「그래프에서 읽은 근삿값」이라는 단서를 반드시 붙이게 한다. 이 구분을 시스템 프롬프트에 한 줄 적어 두는 것만으로 숫자 사고가 크게 준다.
이미지로 넣는 문서
PDF를 다루는 길도 둘이다. 텍스트를 뽑아 글로 넣거나, 페이지를 이미지로 렌더해 그림으로 넣는 것이다. 텍스트 추출은 싸고 정확하지만 표의 행과 열, 두 단 편집, 그림 안의 글자를 잃는다. 이미지로 넣으면 레이아웃이 통째로 살아 있어 「오른쪽 표의 두 번째 행」 같은 질문에 답할 수 있다.
이미지 쪽이 나은 조건은 자료가 시각 구조에 기댈 때다 — 표가 본문인 재무 보고서, 도해가 본문인 매뉴얼, 스캔본. 대가는 토큰과 정확도다. 쪽마다 1,500토큰 안팎이 붙어 같은 문서를 텍스트로 넣을 때보다 몇 배 비싸고, 작은 글자는 앞 절에서 본 해상도 한계에 걸린다. 그래서 흔한 구성은 둘을 함께 쓰는 것이다. 본문은 텍스트로 넣고, 표·도해가 있는 쪽만 이미지로 덧붙인다. 이 구성을 검색까지 넓힌 것이 멀티모달 RAG다.
API로 넣는 법
base64와 URL
이미지를 API에 싣는 길은 대개 셋이다. 바이트를 base64 문자열로 인코딩해 요청 본문에 넣는 것, 공개 URL을 넘겨 모델 쪽이 받아 가게 하는 것, 그리고 파일을 미리 올려 두고 id로 가리키는 것이다.
import anthropic, base64
client = anthropic.Anthropic()
with open("receipt.jpg", "rb") as f:
data = base64.standard_b64encode(f.read()).decode()
msg = client.messages.create(
model="claude-opus-5-5",
max_tokens=1024,
messages=[{"role": "user", "content": [
{"type": "image", "source": {
"type": "base64", "media_type": "image/jpeg", "data": data}},
{"type": "text", "text": "이 영수증의 총액만 숫자로 답하세요."},
]}],
)
print(msg.content[0].text)
고르는 기준은 셋이다. 첫째, 자료가 외부에서 접근 가능한가. 사내 문서나 개인 사진은 공개 URL을 만들 수 없거나 만들면 안 되므로 base64나 파일 업로드로 간다. 둘째, 크기다. base64는 원본보다 3분의 1쯤 커지고 요청 크기 제한에 그대로 걸린다. 셋째, 재사용이다. 대화가 이어지면 매 요청이 이전 기록 전체를 다시 보내는데, base64로 넣은 이미지는 그때마다 바이트째 다시 실린다. Anthropic 문서는 그래서 여러 차례 주고받는 대화와 에이전트 작업에서는 Files API로 올리고 file_id로 가리키라고 권한다. 같은 이미지를 열 번 묻는 작업이라면 이 차이가 요청 크기와 지연으로 바로 드러난다.
여러 장의 이름표
이미지를 여러 장 넣으면 모델이 「두 번째 사진」을 어느 것으로 이해했는지 알 수 없을 때가 많다. 그래서 이미지마다 바로 앞에 글로 이름표를 붙인다. 「사진 1: 수리 전」, 이미지, 「사진 2: 수리 후」, 이미지, 그리고 질문 순서다. 질문에서도 그 이름으로 부르고, 답에서도 「사진 2에서는」처럼 이름을 밝히게 지시한다.
이 습관이 값을 하는 자리는 검증이다. 답에 이름표가 있으면 사람이 그 사진을 열어 바로 맞는지 확인할 수 있고, 엉뚱한 사진을 근거로 든 답을 자동으로 걸러 낼 수도 있다. 이름표 없이 열 장을 넣고 받은 답은 맞아도 왜 맞았는지 모른다.
자주 밟는 실패
첫째는 형식이다. 지원하는 형식은 대개 JPEG·PNG·GIF·WebP 정도이고, Anthropic 문서는 GIF 애니메이션의 첫 프레임만 쓴다고 적는다. HEIC로 찍힌 휴대폰 사진이나 TIFF 스캔본은 변환 단계가 빠지면 오류가 난다. 둘째는 크기다. 이미지 한 장의 바이트 상한, 가로세로 상한, 요청 전체 크기 상한이 따로 있고, 장수가 많아지면 장당 크기 제한이 더 엄격해지기도 한다.
셋째가 가장 고약하다. 이미지가 실제로 안 실렸는데 그럴듯한 답이 오는 경우다. 코드에서 이미지 블록을 빠뜨렸거나 URL을 모델이 못 받아 갔는데, 모델은 질문의 글만 보고 일반적인 답을 지어낸다. 「이 영수증의 총액」에 실제로 있을 법한 숫자가 돌아오면 아무도 의심하지 않는다. 방어는 단순하다. 개발 중에는 응답의 입력 토큰 수를 찍어 이미지 토큰이 들어갔는지 보고, 운영에서는 「이미지에서 읽은 가게 이름도 함께 적어라」처럼 이미지 없이는 답할 수 없는 확인 항목을 하나 넣는다.
환각과 공간 추론
예·아니오 탐침
멀티모달 LLM의 환각은 텍스트 LLM의 환각과 뿌리가 같다 — 그럴듯한 다음 토큰을 내는 것이 사실을 확인하는 것보다 쉽다. 그림에서는 그것이 「없는 물체를 있다고 말하는」 모양으로 나타난다. 식탁 사진을 설명하라면 실제로 없는 포크를 넣는 식이다. 식탁에는 포크가 흔히 있으니까.
이 오류를 재는 대표적인 방법이 POPE다. 그림마다 「사진에 ○○가 있나요?」라는 예·아니오 질문을 만들어 묻는데, 없는 물체를 고르는 방식을 셋으로 나눈다. 아무 물체나 고르는 무작위, 자주 나오는 물체를 고르는 인기, 그 그림에 함께 나올 법한 물체를 고르는 적대적 방식이다. 결과를 읽을 때 볼 것은 정확도 하나가 아니라 「예」라고 답한 비율이다. 그 비율이 50%를 크게 넘으면 모델이 일단 「있다」고 답하는 쪽으로 기울어 있다는 뜻이고, 적대적 방식에서 정확도가 가장 크게 떨어지면 그림보다 「함께 나올 법함」에 기대고 있다는 뜻이다. 같은 방식을 우리 자료에 적용하면 반나절짜리 점검이 된다.
무너지는 질문들
벤더 문서도 한계를 숨기지 않는다. Anthropic 문서는 개수 세기가 근사이고 작은 물체가 많을수록 부정확하며, 좌표와 위치 출력도 근사라고 적는다. 실무에서 무너지는 질문은 대개 세 갈래다. 개수(「선반에 병이 몇 개인가」 — 열 개를 넘으면 흔들린다), 관계(「왼쪽 사람의 오른손에 든 것은」 — 좌우가 사람 기준인지 화면 기준인지부터 헷갈린다), 세밀 분류(「이 새의 종은」, 「이 부품의 정확한 모델명은」 — 비슷한 것끼리의 미세한 차이)다.
공통점은 그림 전체의 인상이 아니라 작은 영역의 정확한 사실을 요구한다는 것이다. 비전 인코더가 그림을 패치 수백 개로 요약하는 순간 작은 물체 하나는 패치 한두 개에 뭉개지고, 위치 관계는 토큰의 줄로 펼쳐지면서 흐려진다. 구조에서 오는 약점이라 프롬프트를 아무리 다듬어도 크게 안 낫는다.
완화 셋
그래서 완화는 프롬프트가 아니라 입력과 경로를 바꾼다. 첫째, 영역을 잘라 되묻기다. 한 번 묻고 받은 답이 가리키는 영역을 잘라 크게 다시 넣고 같은 것을 묻는다. 작은 물체가 패치 수십 개를 차지하게 되므로 개수와 글자가 훨씬 정확해진다.
둘째, 근거 좌표를 함께 요구하기다. 「병을 셀 때 하나마다 위치를 적어라」라고 하면 모델이 대충 어림해 숫자 하나만 내놓는 길이 막히고, 우리는 그 좌표를 그림 위에 그려 사람이 바로 검토할 수 있다. 셋째, 세밀 분류는 전용 모델로 넘기기다. 부품 번호나 종 분류처럼 정답 목록이 정해진 문제는 그 데이터로 학습한 분류 모델이 범용 모델보다 훨씬 정확하고 싸다. 멀티모달 LLM은 「무엇을 분류할지 고르는」 앞단에 두고 분류 자체는 전용 모델에 맡긴다.
사전학습과 인스트럭션 튜닝
쌍 데이터와 인터리빙
멀티모달 능력은 학습의 어느 단계에서 붙는가를 알면 파인튜닝을 할지 말지 판단하기 쉬워진다. 첫 단계는 이미지-텍스트 쌍 데이터로 하는 사전학습이다. CLIP은 인터넷에서 모은 4억 쌍으로 그림과 그 설명이 같은 벡터 공간에서 가까워지게 학습했다. 이 단계가 만드는 것은 정렬, 곧 「고양이 사진」과 「고양이」라는 낱말이 같은 자리를 가리키게 하는 능력이다.
쌍 데이터는 그림 하나에 문장 하나라, 여러 그림과 글이 섞인 대화를 다루는 법은 가르치지 못한다. 그 자리를 채운 것이 인터리빙 데이터, 곧 웹 페이지처럼 글과 그림이 번갈아 나오는 문서다. DeepMind의 Flamingo가 이런 데이터로 학습해, 예시 그림 몇 장과 답을 보여 주면 새 그림에도 같은 식으로 답하는 few-shot 능력을 보였다. 지금 모델이 여러 장의 이미지를 한 대화에서 오가며 다루는 능력의 뿌리가 여기다.
비주얼 인스트럭션 튜닝
정렬만 된 모델은 그림을 설명할 수는 있어도 질문에 맞춰 대답하는 비서처럼 굴지는 않는다. 그 대화 능력을 얹는 단계가 비주얼 인스트럭션 튜닝이다. 텍스트 LLM에 인스트럭션 튜닝으로 지시 따르기를 가르치는 것과 같은 일을 그림이 섞인 대화로 하는 것이다.
여기서 나온 발상이 LLaVA의 합성 대화다. 그림을 볼 수 없는 GPT-4에게 그림의 캡션과 물체 위치 정보만 글로 주고, 그 그림을 두고 사람이 할 법한 질문과 답을 지어내게 했다. 사람이 일일이 라벨을 달지 않고 대화 데이터를 만든 것이다. 데이터 규모, 무엇을 얼리고 무엇을 여는가, 이 방식의 한계는 다음 글이 이어서 다룬다.
파인튜닝 조건
이 구조를 알면 「우리 데이터로 파인튜닝해야 하는가」에 답하는 순서가 보인다. 먼저 프롬프트로 지울 수 있는 것을 지운다 — 원하는 출력 형식, 판단 기준, 단서 문구는 대개 지시와 예시 두셋으로 해결된다. 다음은 입력이다. 해상도를 올리고 영역을 잘라 넣는 것으로 풀리는 문제가 놀랄 만큼 많다. 그다음은 도구다. 정확한 수가 필요하면 표를 읽는 도구를, 세밀 분류가 필요하면 전용 모델을 부르게 한다.
그러고도 남는 것이 파인튜닝 후보다. 일반 사진에는 거의 없는 도메인 그림(현미경 사진, 특정 장비의 계기판, 업계 고유 양식)을 일관되게 못 읽거나, 매번 같은 형식으로 아주 많은 양을 처리해 프롬프트 길이 자체가 비용이 되는 경우다. 이때도 위에서 만든 30~50건 비교 집합이 먼저 있어야 한다. 파인튜닝 전후를 같은 집합으로 재지 않으면 나아졌는지 알 길이 없다.
읽어주셔서 감사합니다. 😊

