비전·음성·추천

DOMAIN / 47번째 글

공간 그라운딩 — 「그것」이 어디인지 좌표로 답하게 하기

이미지 속 한 지점을 말로 가리키고 좌표로 답받는 일을 정리합니다. 지시 표현·구절 그라운딩·영역 설명 세 갈래, 모델이 좌표를 내는 세 가지 방식, 리사이즈와 여백 때문에 좌표가 어긋나는 자리, 그리고 자주 밟는 실패 유형을 다룹니다.

PALDYN Team28 MIN READ

지난 글에서 통합형 멀티모달 모델의 이점 중 하나로 「그림 속 한 지점을 가리키며 대화하는 것」을 적었다. 그 가리키기가 실제로 어떻게 이뤄지는지는 넘어갔는데, 이 글이 그 자리다.

말로 자리를 가리키는 일을 그라운딩(grounding)이라고 부른다. 정확히는 언어 표현을 이미지 속 영역에 대응시키는 것이고, 좌표를 다루므로 공간 그라운딩이라고 구분해 부르기도 한다. 「빨간 우산」이라는 넉 자를 받아 사진 위의 네모 하나를 내놓는 일이다. 그 네모를 바운딩 박스라 하고, 보통 숫자 넷으로 적는다.

이게 왜 따로 다룰 만한 주제인가 하면, 답이 문장이 아니라 숫자 넷이기 때문이다. 문장은 조금 어색해도 읽는 사람이 알아서 이해하지만, 숫자 넷은 20픽셀만 어긋나도 엉뚱한 것을 잘라 온다. 그리고 실무에서 어긋나는 이유의 태반은 모델이 못 봐서가 아니라 좌표계를 안 맞춰서다. 이 글은 작업의 갈래, 모델이 좌표를 내는 방식, 그 좌표를 우리 그림으로 되돌리는 계산, 그리고 남는 실패를 차례로 다룬다. 여기서 이미지와 텍스트를 함께 받는 언어 모델을 VLM(vision-language model)이라 부른다.

세 갈래 작업

그라운딩이라는 말 아래에 성격이 다른 작업 셋이 들어 있다. 무엇을 넣고 무엇을 받는지가 다르고, 채점하는 방법도 다르다.

그라운딩의 세 갈래 작업과 응답 모양

지시 표현 이해

지시 표현 이해(referring expression comprehension)는 「왼쪽에서 두 번째 빨간 우산」처럼 대상을 하나로 좁히는 문구를 받아 상자 하나를 낸다. 표현이 잘 쓰였다면 정답이 하나뿐이라 채점이 깔끔하다. 예측 상자와 정답 상자가 겹친 넓이를 둘을 합친 넓이로 나눈 값, 곧 IoU가 0.5를 넘으면 맞힌 것으로 치는 것이 관례다.

어려운 것은 표현이 하나로 안 좁혀질 때다. 사진에 빨간 우산이 셋인데 「빨간 우산」이라고만 물으면 셋 중 무엇을 내도 표현에는 맞는다. 이런 질문을 평가 데이터에 섞어 두면 모델 탓이 아닌 오답이 쌓이므로, 실무 평가셋을 만들 때는 표현이 대상을 하나로 좁히는지부터 사람이 확인한다.

실무에서 가장 많이 쓰는 것이 이 첫 번째다. 「이 서류에서 계약 금액이 적힌 칸」, 「이 화면에서 저장 버튼」처럼 하나를 짚어 잘라 오는 용도가 압도적으로 많다.

구절 그라운딩

구절 그라운딩(phrase grounding)은 문장 하나를 통째로 받아 그 안의 명사구마다 상자를 낸다. 「우산을 든 사람이 개와 함께 걷는다」면 우산·사람·개 셋이다. 여기서는 새 문제가 둘 생긴다. 하나는 빠뜨림이다 — 명사구 셋 중 둘에만 상자를 내는 것이다. 다른 하나는 중복이다 — 「사람」에 상자를 둘 내거나, 「우산」과 「사람」에 거의 같은 상자를 내는 것이다. 그래서 구절 그라운딩의 채점은 구절마다 맞았는지에 더해 몇 구절을 덮었는지를 함께 본다.

영역 설명

영역 설명은 방향이 반대다. 상자를 주고 그 자리에 무엇이 있는지 묻는다. 검색보다는 확인에 쓴다 — 앞의 두 작업이 낸 상자가 진짜 그것인지 되짚을 때다. 「계약 금액 칸」이라며 받은 상자를 잘라 다시 넣고 「이 칸에 적힌 것은 무엇인가」를 물으면, 금액이 아니라 날짜가 나왔을 때 첫 답이 틀렸음을 사람 없이 잡을 수 있다. 같은 모델에게 두 번 묻는 값싼 자기 검증이다.

좌표 출력 방식

모델이 좌표를 내는 방식은 셋이고, 어느 것을 쓰느냐가 정확도와 다루기 쉬움을 함께 바꾼다.

방식 어떻게 장점 약점
좌표 전용 토큰 0~999 같은 구간마다 토큰을 따로 만들어 어휘에 넣는다 한 좌표가 한 토큰이라 짧고, 형식이 어긋날 일이 없다 어휘가 늘고, 구간 수가 곧 해상도 상한
숫자를 그냥 텍스트로 412 208 566 430을 평범한 숫자 토큰으로 쓴다 모델 구조를 안 건드린다 자릿수마다 토큰을 쓰고, 형식이 깨질 수 있다
별도 검출 헤드 언어 모델은 질의 벡터만 내고 검출기가 상자를 그린다 작은 대상에 강하고 좌표가 정밀하다 구조가 늘고 학습이 복잡하다

좌표 전용 토큰

첫째 방식은 그림의 가로와 세로를 같은 개수의 구간으로 나누고, 구간마다 전용 토큰을 하나씩 어휘에 넣는다. 구간이 1,000개면 좌표 하나가 토큰 하나라 상자 하나가 토큰 넷으로 끝나고, 모델이 「4백십2」 같은 이상한 숫자를 낼 여지가 없다.

대가는 해상도다. 구간 수가 곧 표현할 수 있는 가장 작은 눈금이다. 가로 4,000픽셀 사진을 1,000구간으로 나누면 한 구간이 4픽셀이므로, 모델이 아무리 정확해도 4픽셀보다 촘촘하게 짚을 수 없다. 일반 사진에서는 충분하지만, 고해상도 도면에서 선 하나를 짚는 일에는 모자랄 수 있다.

텍스트 숫자

둘째 방식은 좌표를 평범한 숫자로 쓴다. 모델 구조를 하나도 안 건드리므로 범용 모델에 그라운딩을 붙이기 가장 쉽다. 대신 숫자 하나가 토크나이저에 따라 토큰 여러 개로 쪼개지고, 상자 하나가 괄호와 쉼표까지 열몇 토큰이 된다. 한 그림에 대상 쉰 개를 찾으라고 하면 출력이 길어지고 그만큼 느려진다.

형식이 깨질 여지도 있다. 괄호를 빼먹거나, 숫자 넷 중 셋만 내거나, 「약 400」처럼 말을 섞는다. 이건 지시와 스키마로 상당 부분 막히는데, 바로 다음 절이 그 이야기다.

형식이 맞아도 값이 말이 안 되는 경우는 받는 쪽 코드가 거른다. x1이 x2보다 크거나, 값이 정해 둔 범위를 넘거나, 상자의 넓이가 0이면 그 응답은 버리고 한 번 더 묻는다. 두 꼭짓점이 뒤바뀐 것은 고쳐 쓸 수 있을 것 같지만, 그 자체가 모델이 형식을 헷갈렸다는 신호라 다른 값도 믿기 어렵다. 이 검사는 몇 줄이면 되고, 잘못된 상자가 뒤 단계로 흘러가 엉뚱한 그림을 잘라 오는 일을 미리 막는다.

검출 헤드

셋째 방식은 좌표를 언어로 다루기를 포기한다. 언어 모델은 「무엇을 찾는가」를 담은 질의 벡터만 내고, 그 벡터를 받은 별도의 검출기가 상자를 그린다. 검출기는 픽셀 격자 위에서 직접 좌표를 회귀하므로 작은 대상에 강하고 정밀하다. 대신 두 부분을 함께 학습시켜야 하고 서빙할 구성도 늘어난다. 쓰는 쪽에서 보면 장점이 하나 더 있다 — 좌표가 텍스트를 거치지 않으므로 형식이 깨질 일이 없고, 검출기가 상자마다 확신도를 함께 내 주어 문턱으로 거를 수 있다. 텍스트로 좌표를 내는 모델에서는 이 확신도를 얻기 어렵다.

앞의 둘은 결국 좌표를 언어로 취급하는 접근이고, 셋째는 검출 문제로 되돌리는 접근이다. 범용 VLM은 대개 앞의 둘이고, 화면 조작이나 문서 처리처럼 정밀도가 필요한 특화 모델은 셋째를 붙이는 경우가 있다.

좌표 형식 지정

어느 방식이든 우리가 지시에 못 박아야 하는 것은 같다. 숫자 넷이 무엇을 뜻하는지와 무엇을 기준으로 한 값인지다.

상자 표기

숫자 넷을 적는 관례가 둘이다. 좌상단 꼭짓점과 우하단 꼭짓점을 적는 x1, y1, x2, y2, 그리고 좌상단과 폭·높이를 적는 x, y, w, h다. 둘을 섞으면 이상한 일이 생긴다. 앞 꼴의 100, 50, 300, 200을 뒤 꼴로 읽으면 폭 300·높이 200짜리 상자가 되어, 원래보다 오른쪽 아래로 크게 늘어난다. 작은 대상에서는 눈에 띄지만 큰 대상에서는 그럴듯하게 겹쳐서 한동안 모르고 지나간다. 게다가 순서를 y, x로 쓰는 모델도 있다.

기준 범위

그다음이 단위다. 픽셀인지, 01 비율인지, 01000 정수인지. 이걸 안 적으면 모델은 학습 때 가장 자주 봤던 형식을 낸다 — 그리고 그게 무엇인지는 모델마다 다르다. 픽셀이라면 어느 크기 그림의 픽셀인지도 문제다. 우리가 보낸 원본의 픽셀인가, 모델이 내부에서 줄인 그림의 픽셀인가. 다음 절의 사고 대부분이 이 질문에서 나온다.

그래서 지시에는 이렇게 적는다. 「좌표는 [x1, y1, x2, y2] 순서, 그림 전체를 0~1000으로 정규화한 정수, 원점은 좌상단」. 모델 문서가 권하는 형식이 있으면 그것을 그대로 쓰는 것이 가장 정확하다 — 모델이 가장 많이 본 형식이기 때문이다.

스키마와 부재 응답

자유 텍스트로 받으면 파싱이 언젠가 실패한다. 응답을 JSON 스키마로 강제할 수 있는 모델이면 {"found": bool, "box": [int, int, int, int] | null} 같은 꼴로 받는다. 이 스키마에서 중요한 것은 found 칸이다. 대상이 없을 때 돌려줄 형식을 정해 두지 않으면, 모델은 형식을 지키려고 없는 대상의 상자라도 하나 지어낸다. 「없음」을 정상 응답의 한 꼴로 열어 두는 것이 뒤에 볼 실패를 줄이는 첫걸음이다.

레터박스와 역변환

여기가 이 글에서 가장 실무적인 부분이다. 모델이 대상을 정확히 찾았는데도 잘라 온 그림이 어긋나는 경우가 흔한데, 원인은 거의 늘 하나다. 모델이 본 그림과 우리가 가진 그림이 다르다.

레터박스

비전 모델은 대개 정해진 크기의 정사각형 입력을 받는다. 가로가 긴 사진을 넣으면 비율을 유지한 채 줄인 다음 위아래에 여백을 채운다 — 이 방식을 레터박스라고 부른다. 모델은 여백까지 포함한 정사각형을 보고, 좌표도 그 정사각형 기준으로 낸다.

레터박스로 인한 좌표 어긋남과 역변환

숫자로 따라가 보자. 1600×900 사진을 896 정사각형에 넣으면 배율은 896 ÷ 1600 = 0.56이고, 줄인 그림은 896×504가 된다. 남는 세로 392픽셀을 위아래로 나눠 196픽셀씩 여백이 붙는다. 모델이 0~1000 정규화로 y = 300을 냈다면, 정사각형에서는 268.8픽셀이고, 여백 196을 빼면 72.8, 배율로 나누면 원본의 130픽셀이다. 여백을 모르고 그냥 원본 높이에 곱하면 300 ÷ 1000 × 900 = 270픽셀이 나온다. 같은 응답이 140픽셀 다른 자리를 가리키는 것이다.

역변환 계산

되돌리는 계산 자체는 짧다.

def to_source(box, src_w, src_h, in_size=896, grid=1000):
    """모델이 낸 0~grid 정규화 좌표를 원본 픽셀로 되돌린다."""
    scale = min(in_size / src_w, in_size / src_h)
    pad_x = (in_size - src_w * scale) / 2
    pad_y = (in_size - src_h * scale) / 2

    out = []
    for i, v in enumerate(box):                 # x1, y1, x2, y2
        px = v / grid * in_size                 # 정사각 픽셀로
        px -= pad_x if i % 2 == 0 else pad_y    # 여백 제거
        out.append(round(px / scale))           # 배율 되돌리기
    return out

순서가 중요하다. 정규화를 풀어 정사각형 픽셀로 옮기고, 여백을 빼고, 마지막에 배율로 나눈다. 배율을 먼저 나누면 여백도 함께 커져서 틀린다. 그리고 이 함수의 in_size와 여백 방식은 모델마다 다르다 — 어떤 모델은 여백을 가운데가 아니라 아래쪽에만 붙이고, 어떤 모델은 비율을 무시하고 늘여 정사각형을 만든다. 모델 문서나 전처리 코드에서 확인해야 하는 값이다.

좌표 관리 규칙

문제는 계산이 아니라 이 계산을 해야 한다는 사실을 모르는 것이다. 세로가 긴 사진에서는 좌우에 여백이 붙으므로 어긋나는 축이 바뀌고, 정사각형에 가까운 사진에서는 여백이 거의 없어 그냥 배율만 나눠도 얼추 맞는다. 그래서 정사각형 샘플로 테스트하면 멀쩡하다가 실제 데이터에서 어긋난다. 테스트 세트에 가로로 긴 것, 세로로 긴 것, 정사각형을 고루 넣어 두는 것만으로도 이 사고는 출시 전에 잡힌다.

몇 가지를 미리 정해 두면 이 부류의 사고가 거의 사라진다.

  • 원본 크기를 응답과 함께 들고 다닌다. 좌표만 저장하고 그 좌표가 어느 크기 기준이었는지를 안 남기면 나중에 되돌릴 수가 없다
  • 전처리를 한 곳에만 둔다. 리사이즈를 API 클라이언트와 서버가 각각 하면 배율이 두 번 걸린다
  • 되돌린 좌표로 실제 그림을 잘라 눈으로 한 번 본다. 이 확인 한 번이 IoU 지표 열 개보다 빠르다

실패 유형

좌표계를 맞추고 나면 남는 것은 모델의 한계다. 유형이 대체로 정해져 있다.

없는 대상

「빨간 우산」이 사진에 없어도 모델은 대개 무언가를 하나 골라 답한다. 빨간 가방이나 주황 우산이 그 자리를 차지한다. 지시에 「해당하는 대상이 없으면 없다고 답하라」를 넣고, 앞에서 본 대로 부재 응답의 형식까지 정해 줘야 한다. 이건 프롬프트로 상당 부분 잡히는 문제라 값이 싸다. 평가 세트에도 정답이 「없음」인 질문을 1~2할 섞어 두어야 이 실패가 점수에 드러난다 — 전부 있는 대상만 물으면 지어내는 모델이 오히려 점수를 잘 받는다.

서수와 좌우

「왼쪽에서 두 번째」, 「셋 중 가운데」 같은 서수 표현은 정확도가 눈에 띄게 떨어진다. 대상이 많고 비슷하게 생겼을수록 심하다. 모델이 세기를 잘 못하기 때문이다. 서수를 쓰지 않고 구별되는 속성으로 표현을 바꾸면 좋아진다 — 「왼쪽에서 두 번째 우산」 대신 「줄무늬가 있는 우산」이다. 서수밖에 쓸 수 없다면, 해당하는 대상을 전부 상자로 받은 뒤 x 좌표로 정렬해 두 번째를 코드가 고르게 한다. 세는 일을 모델에서 빼는 것이다.

「왼쪽」의 기준도 흔들린다. 보는 사람 기준인지 사진 속 인물 기준인지 모델이 늘 같은 쪽을 고르지 않는다. 「그 사람의 왼손」은 사진에서 오른쪽에 있다. 지시에 「보는 사람 기준」을 명시하는 것으로 대부분 해결된다.

작은 대상

작은 대상을 놓치는 것은 입력이 정사각형으로 줄어들면서 픽셀이 사라지기 때문이다. 4,000픽셀 폭 사진에서 40픽셀짜리 나사는 896으로 줄이면 9픽셀이 된다. 그 9픽셀 안에 나사의 모양이 남아 있지 않으면 모델이 아무리 좋아도 찾을 수 없다.

타일로 나눠 묻는 방식과 두 번의 좌표 되돌리기

대응은 원본을 겹치게 타일로 나눠 각각 물어보는 것이다. 1,000픽셀 타일 하나를 896으로 줄이면 같은 나사가 36픽셀로 남는다. 다만 여기서는 좌표 되돌리기를 두 번 해야 한다 — 모델 입력에서 타일로, 타일에서 원본으로. 타일의 원본 내 위치를 더하는 둘째 단계를 잊으면 모든 상자가 왼쪽 위 구석에 몰린다. 그리고 타일 경계에 걸친 대상은 양쪽 타일에서 한 번씩 잡혀 상자가 둘 나온다. 원본 좌표로 옮긴 뒤 IoU가 높은 상자끼리는 하나만 남기는 정리가 필요하다. 타일 수만큼 호출이 늘어나므로, 전체 그림으로 먼저 대략의 위치를 묻고 그 근처만 타일로 다시 묻는 두 단계 방식이 비용을 줄인다.

VLM과 전용 검출기

나열 가능성

찾을 대상의 종류가 미리 정해져 있고 양이 많다면 전용 검출기가 여전히 낫다. 사람·자동차·신호등처럼 클래스 목록으로 적을 수 있는 대상이다. 훨씬 빠르고, 좌표가 정밀하고, 같은 입력에 같은 답을 낸다. 공장 라인에서 하루 수십만 장을 보는 일에 VLM을 쓰면 비용도 지연도 맞지 않는다.

VLM 그라운딩이 이기는 자리는 대상을 미리 나열할 수 없을 때다. 「금액이 적힌 칸」, 「경고를 뜻하는 아이콘」, 「다른 것들과 색이 다른 상자」처럼 클래스 목록으로는 못 적고 말로만 설명되는 대상이 그렇다. 이런 요청에 라벨을 붙여 검출기를 학습시키는 비용을 생각하면, 문장 한 줄로 되는 쪽의 값이 훨씬 싸다. 요청이 매번 달라지는 경우 — 사용자가 화면을 보며 「이거」를 묻는 도구 — 는 애초에 검출기를 학습시킬 수가 없다.

결합 구성

둘을 겹쳐 쓰는 것도 흔하다. 검출기로 후보 상자를 잔뜩 뽑고, 상자마다 번호를 그림 위에 그려 넣은 뒤, 그중 어느 것이 「금액이 적힌 칸」인지만 VLM에게 고르게 하는 식이다. 이때 VLM은 좌표를 만들지 않고 번호만 고르므로 위에서 본 좌표 사고 — 형식, 단위, 레터박스 — 가 통째로 사라진다. 좌표의 정밀도는 검출기가 책임지고, 뜻의 판단은 VLM이 책임지는 분업이다. 정밀도가 중요한 곳에서 자주 쓰는 조합이다.

이 구성의 약점은 검출기가 후보를 못 낸 대상은 VLM도 못 고른다는 점이다. 그래서 검출기는 넉넉히, 놓치는 것 없이 뽑도록 문턱을 낮춰 두고, 고르는 일의 정밀함은 VLM에 맡긴다.

도입 전 점검

어느 구성을 고르든 자기 데이터로 먼저 재 본다. 실제 업무에서 나올 그림을 100~200장 모으고, 사람이 정답 상자를 그린다. 공개 벤치마크의 점수는 일상 사진 위주라 서류·화면·도면 같은 자기 데이터에서의 성적을 거의 알려 주지 않는다.

재는 것은 셋이다. 첫째는 IoU 0.5를 넘긴 비율로 본 정답률이다. 둘째는 정답이 「없음」인 질문에서 「없음」이라고 답한 비율이다 — 이 둘을 따로 적어야 지어내는 모델과 신중한 모델이 갈린다. 셋째는 그림의 모양별 정답률이다. 가로 긴 것, 세로 긴 것, 정사각형으로 나눠 보면 앞에서 본 레터박스 사고가 남아 있는지가 한눈에 드러난다. 한쪽 모양에서만 점수가 무너지면 모델이 아니라 좌표 되돌리기를 고칠 차례다.

이 표본은 한 번 만들어 두면 계속 쓴다. 모델을 바꾸거나 지시문을 고칠 때마다 같은 표본으로 다시 재면, 무엇이 나아졌고 무엇이 나빠졌는지가 숫자로 남는다.

정리

  • 그라운딩은 말을 이미지 속 영역에 대응시키는 일이고, 실무에서는 「하나 짚어 잘라 오기」가 대부분이다
  • 좌표를 내는 방식은 전용 토큰·평범한 숫자·별도 검출 헤드 셋이다. 앞의 둘은 좌표를 언어로 다루고 셋째는 검출 문제로 되돌린다
  • 숫자 넷의 순서·단위·기준은 반드시 지시에 못 박고, 「없음」도 정상 응답의 한 꼴로 열어 둔다
  • 어긋남의 가장 흔한 원인은 모델이 못 봐서가 아니라 레터박스 여백을 안 빼서다. 원본 크기를 좌표와 함께 들고 다닌다
  • 부재·서수·좌우 기준은 프롬프트와 코드로 상당 부분 잡힌다. 작은 대상은 타일로 나눠 묻고 좌표를 두 번 되돌린다
  • 대상을 미리 나열할 수 있으면 전용 검출기가, 말로만 설명되면 VLM이 유리하다. 검출기가 후보를 내고 VLM이 고르는 조합이 안전하다

읽어주셔서 감사합니다. 😊

LATEST

비전·음성·추천의 최신 글

비전·음성·추천2026.09.07

오프라인 강화학습 — 쌓인 로그만으로 정책을 배우기

실제 서비스에서 탐색은 곧 사용자에게 나쁜 행동을 해 보는 일입니다. 이미 쌓인 로그만으로 정책을 배우려 할 때 왜 Q값이 혼자 부풀어 오르는지, 그 부풀음을 누르는 세 갈래 대응, 행동 복제라는 기준선의 무게, 그리고 배포 전에 성능을 재는 일이 왜 가장 어려운지를 정리합니다.

30 MIN
비전·음성·추천2026.09.07

다국어 전이 — 라벨 없는 언어에서 모델이 동작하는 이유

영어 라벨만으로 학습한 분류기가 한국어 문장을 그대로 처리하는 일이 실제로 일어납니다. 여러 언어가 한 표현 공간에 겹쳐 놓이는 원리, 그 겹침이 무너지는 조건, 번역해서 학습할지 번역해서 추론할지 고르는 기준, 그리고 언어별로 나눠 재야 하는 이유를 정리합니다.

29 MIN
비전·음성·추천2026.09.07

정보 추출 — 글 한 덩이를 표 한 줄로 바꾸는 일

계약서와 이메일을 데이터베이스에 넣으려면 글에서 값을 뽑아 칸에 채워야 합니다. 개체명·관계·사건의 세 층위, 값을 정규화하는 일이 왜 절반인지, 근거 위치를 함께 남겨야 하는 이유, 규칙·전용 모델·언어 모델의 갈림길, 그리고 필드별로 재는 평가법을 정리합니다.

31 MIN