지난 글에서 말로 가리킨 대상을 상자로 받아 냈다. 상자는 다루기 쉽지만 대상의 실제 모양은 아니다. 우산을 상자로 자르면 우산과 함께 하늘과 어깨가 딸려 온다. 배경을 지우거나, 넓이를 재거나, 그 부분만 색을 바꾸려면 경계가 필요하다.
픽셀 하나하나가 대상에 속하는지 아닌지를 가르는 일을 분할(segmentation)이라 부르고, 그 결과인 픽셀 단위의 참·거짓 지도를 마스크라고 한다. 오래된 주제지만 최근 몇 해 사이에 쓰는 방식이 크게 바뀌었다. 이 글은 그 바뀐 쪽, 즉 프롬프트로 지시하는 분할을 다룬다.
클래스 목록 없는 분할
세 가지 전통 분할
전통적인 분할은 클래스 목록에서 출발했다. 사람·자동차·도로·하늘… 이렇게 미리 정한 목록을 두고 픽셀마다 어느 클래스인지 매기는 것이 의미 분할이다. 의미 분할은 같은 클래스의 개체를 구별하지 않는다 — 사람이 셋 서 있으면 「사람」 영역 하나가 나온다. 같은 클래스라도 개체를 따로 세는 것이 인스턴스 분할이고, 셋이면 마스크가 셋 나온다. 둘을 합쳐 하늘·도로 같은 배경은 영역으로, 사람·자동차 같은 개체는 하나씩 세어 장면 전체를 빈틈없이 덮는 것이 파놉틱 분할이다.
셋은 결과의 모양이 다르지만 같은 전제 위에 있다. 찾을 것을 미리 나열해 두었다는 전제다. 모델의 마지막 층이 클래스 수만큼의 칸을 갖고, 픽셀마다 그 칸 가운데 하나를 고른다. 도로 장면용으로 학습한 모델에 「킥보드」 칸이 없으면, 화면에 킥보드가 있어도 그 픽셀은 사람이나 자동차나 배경 중 하나로 매겨진다. 새 대상을 넣으려면 그 클래스로 라벨을 붙인 그림을 수천 장 모아 다시 학습해야 한다.
라벨링 비용
프롬프트로 지시하는 분할은 그 전제를 버린다. 클래스 이름 대신 「여기」라는 지시를 받는다. 점을 하나 찍든, 상자를 대충 그리든, 문구로 말하든, 모델은 그 지시가 가리키는 대상의 경계를 낸다. 그것이 무엇인지는 모델도 이름 붙이지 않는다. 경계만 준다.
이름을 붙이지 않기로 하는 순간 데이터를 모으는 비용이 달라진다. 클래스 체계가 있는 분할 데이터는 라벨러가 수십~수백 개의 클래스 정의를 익히고, 픽셀마다 어느 클래스인지 판단해야 한다. 「이건 트럭인가 승합차인가」 같은 경계 사례에서 라벨러끼리 의견이 갈리고 그걸 맞추는 검수가 또 든다. 프롬프트 분할의 데이터에는 그 판단이 없다. 「여기 있는 덩어리의 경계」만 그으면 된다.
이 계열의 대표인 Meta의 SAM은 2023년에 이렇게 모은 마스크 11억 개(그림 1,100만 장)를 함께 공개했다. 처음에는 사람이 모델의 제안을 고치는 방식으로 모으다가, 모델이 좋아지자 사람 손이 덜 가는 방식으로, 마지막에는 그림 전체에 점을 격자로 찍어 모델이 스스로 마스크를 내는 방식으로 옮겨 갔다. 모델이 데이터를 만들고 그 데이터가 다시 모델을 키우는 순환이고, 이 대량의 마스크가 처음 보는 대상에도 경계를 내는 일반화를 떠받친다.
목록으로 못 적는 요청
실제로 들어오는 요청은 목록의 모양을 하고 있지 않은 경우가 많다. 「저 사람이 든 것」, 「가운데 있는 얼룩」, 「이 부품의 나사 구멍」. 이들은 클래스 이름이 아니라 그 자리에서 정해지는 지시다. 사진 편집에서 「이 부분만 밝게」, 의료 영상에서 「이 병변의 넓이」, 공장 검사에서 「이번에 새로 생긴 흠」이 그렇다. 같은 물체가 어떤 날은 대상이고 어떤 날은 배경이다.
클래스 목록 방식으로 이런 요청을 받으려면 요청마다 클래스를 새로 정의하고 다시 학습해야 한다. 프롬프트 분할은 그 요청을 실행 시점에 받는다. 목록은 학습 때 고정되지만 지시는 쓸 때마다 바뀔 수 있다는 것, 이 차이가 이 계열이 넓게 퍼진 이유다. 대신 「이것이 무엇인가」는 답하지 않으므로, 이름이 필요하면 다른 모델을 붙여야 한다. 그 구성은 뒤의 텍스트 지시 절에서 본다.
인코더와 디코더
세 조각
이 계열의 설계에서 가장 눈여겨볼 것은 정확도가 아니라 비용을 나눈 방식이다.
모델이 세 조각으로 나뉜다.
- 이미지 인코더 — 큰 비전 트랜스포머다. 그림 한 장을 임베딩으로 바꾸는 데 무거운 계산이 들어간다
- 프롬프트 인코더 — 점·상자·마스크·텍스트를 작은 벡터 몇 개로 바꾼다. 거의 공짜다
- 마스크 디코더 — 이미지 임베딩과 프롬프트 벡터를 받아 마스크를 낸다. 아주 얇게 설계되어 있다
여기서 임베딩은 그림을 모델이 다루기 좋은 숫자 격자로 바꾼 것이다. SAM의 경우 1024×1024로 맞춘 그림이 64×64 격자의 칸마다 256개 숫자를 가진 덩어리가 된다. 원래 그림의 16×16 픽셀 조각 하나가 숫자 256개로 요약되는 셈이고, 그 숫자들에는 주변 맥락까지 섞여 들어가 있다. 디코더는 이 격자를 보고 프롬프트가 가리키는 칸들의 경계를 그린다.
임베딩 재사용
핵심은 이미지 인코더가 프롬프트와 무관하다는 것이다. 그림이 그대로면 임베딩도 그대로다. 그래서 한 번 인코딩해 두고 프롬프트만 바꿔 가며 수십 번 물을 수 있고, 그 수십 번은 손끝을 따라올 만큼 빠르다. SAM 논문은 프롬프트 인코더와 마스크 디코더를 합친 처리가 웹 브라우저의 CPU에서도 50밀리초 안팎이라고 보고했다. 무거운 인코더는 GPU에서 그림 한 장에 한 번 돌고, 가벼운 디코더는 사용자의 브라우저에서 클릭마다 돈다.
편집 도구에서 마우스를 옮길 때마다 경계가 실시간으로 따라붙는 화면이 이 구조 덕분에 가능하다. 사용자가 한 그림에 점을 열 번 고쳐 찍어도 인코딩은 한 번이다. 이 비용 배분은 반대로도 읽힌다. 그림이 계속 바뀌는 일, 예를 들어 그림마다 점 하나만 찍고 넘어가는 대량 처리에서는 인코더 비용이 그대로 그림 수만큼 나간다. 이 구조의 이득은 한 그림에 여러 번 물을 때 커진다.
임베딩 캐시
뒤집으면 이렇다. 매 요청마다 인코딩을 다시 하면 이 구조의 이점이 통째로 사라진다. 서비스로 감쌀 때 가장 자주 놓치는 지점이 여기다. 「그림과 점을 받아 마스크를 돌려주는」 API 하나로 만들면 요청마다 인코더가 돈다. 그림 등록과 프롬프트 요청을 두 API로 갈라, 등록할 때 임베딩을 만들어 저장하고 프롬프트 요청은 그 저장분을 참조해야 한다.
캐시의 키는 그림의 내용으로 잡는 것이 안전하다. 파일 이름이나 세션 번호로 잡으면 같은 그림이 두 번 인코딩되거나, 사용자가 그림을 잘라 다시 올렸는데 옛 임베딩이 쓰이는 사고가 난다. 그림 바이트의 해시에 전처리 설정(크기·정규화)과 모델 버전을 함께 묶어 키로 쓴다. 모델을 갈아 끼우면 옛 임베딩은 전부 무효다.
메모리 예산도 함께 잡아야 한다. 위 크기의 임베딩은 32비트 실수로 약 4메가바이트다. 동시에 편집 중인 그림이 1,000장이면 4기가바이트이고, 이걸 GPU 메모리에 둘지 일반 메모리에 둘지, 편집이 끝난 세션의 임베딩을 몇 분 뒤에 버릴지를 정해야 한다. 16비트로 줄여 저장해도 마스크 품질은 거의 안 떨어지므로 저장 크기를 반으로 줄이는 흔한 선택이다.
점 하나의 모호함
후보 셋과 품질 점수
셔츠 주머니 위를 눌렀다고 하자. 사용자가 원한 것은 주머니인가, 셔츠인가, 사람인가. 그림만으로는 알 수 없다. 셋 다 그 점을 포함하는 정당한 대상이다.
그래서 이 모델들은 점 하나에 마스크를 하나만 내지 않는다. 대개 서로 다른 크기 대역의 후보 셋 — 부분·전체의 일부·전체에 해당하는 셋 — 을 함께 내고, 각각에 예상 품질 점수를 붙인다. 이 점수는 「이 마스크가 정답과 얼마나 겹칠 것 같은가」를 모델이 스스로 어림한 값이다. 학습 때 모델은 셋 가운데 정답에 가장 가까운 것 하나만 손실을 받으므로, 세 출력이 각자 다른 크기를 맡도록 갈라진다.
고르는 것은 부르는 쪽 몫이다. 사용자가 화면을 보고 있는 편집 도구라면 셋을 다 보여 주고 고르게 하면 된다. 문제는 사람이 개입하지 않는 자동 처리다. 거기서는 하나를 기계적으로 골라야 하고, 고르는 규칙이 결과를 정한다.
넓이 대역 거르기
실무자가 자주 하는 실수가 점수 최고를 무조건 고르는 것이다. 점수는 이 마스크가 얼마나 깨끗한가에 대한 모델의 어림이지 사용자가 원한 것인가가 아니다. 작은 부분 마스크는 경계가 단순해 점수가 높게 나오는 경향이 있다. 배경을 지우려고 사람 위에 점을 찍었는데 점수 최고가 셔츠 주머니인 일이 그렇게 생긴다.
쓰임을 알고 있다면 그 쓰임으로 먼저 거른다. 배경 제거처럼 대상 전체가 필요한 일이라면 그림 넓이의 일정 비율보다 작은 후보를 먼저 빼고, 남은 것 중 점수가 높은 것을 고른다. 결함 검출처럼 작은 대상을 찾는 일이라면 반대로 큰 후보를 뺀다. 예를 들어 사람 사진에서 「그림의 5% 이상」으로 거르면 주머니(1% 남짓)가 빠지고 셔츠와 사람이 남는다. 이 두 줄의 규칙이 점수 하나에 맡기는 것보다 훨씬 안정적이다.
프롬프트 겹치기
모호함을 줄이는 더 확실한 방법은 지시를 늘리는 것이다. 프롬프트는 종류별로 맡는 자리가 다르다.
| 프롬프트 | 성격 | 언제 |
|---|---|---|
| 양수 점 | 여기는 포함하라 | 사용자가 직접 클릭하는 화면 |
| 음수 점 | 여기는 빼라 | 마스크가 옆 대상까지 먹었을 때 |
| 상자 | 이 안에서 가장 두드러진 것 | 검출기가 낸 상자를 그대로 넘길 때 |
| 거친 마스크 | 이걸 다듬어라 | 앞선 결과를 되먹여 고칠 때 |
| 텍스트 | 이 이름에 해당하는 것 | 사람이 개입하지 않는 자동 처리 |
점 두세 개면 대부분의 모호함이 사라진다. 지시가 여러 개면 모델이 후보를 하나만 내도록 설정하는 것이 보통이다 — 모호함이 이미 줄었기 때문이다. 특히 음수 점의 값이 크다. 사람 마스크가 옆에 기댄 자전거까지 먹었다면 자전거 위에 음수 점 하나를 찍는 것으로 대개 고쳐진다. 상자를 다시 그리거나 경계를 손으로 지우는 것과 비교하면 이보다 싼 수단이 없다.
자동 파이프라인에서는 다른 문제가 있다. 같은 점에 늘 같은 답이 나오지는 않는다. 점을 1픽셀만 옮겨도 다른 크기 대역이 선택되는 일이 있다. 경계 근처에 찍힌 점일수록 그렇다. 그래서 검출기가 준 상자나 대략의 영역이 있다면, 점을 하나만 쓰지 말고 대상 안쪽 깊숙한 곳에 서너 개를 흩뿌려 함께 넣는 편이 안정적이다.
텍스트 지시
개방 어휘 분할
목록에 없는 것을 이름으로 부르는 것을 개방 어휘 분할이라고 한다. 「강아지」라고 쓰면 강아지의 경계가 나오는 것이다. 학습 때 정한 클래스 목록이 아니라 쓰는 시점에 아무 낱말이나 받는다는 뜻에서 「개방」이다. 이것이 되면 사람의 클릭 없이도 분할을 자동으로 돌릴 수 있다. 「모든 사진에서 하늘을 바꿔라」 같은 일괄 처리가 그렇다.
텍스트는 점이나 상자와 성질이 다르다. 점은 「어디」를 정확히 가리키지만 「무엇」은 모호하고, 텍스트는 「무엇」은 분명하지만 「어디」를 모른다. 사진에 강아지가 셋이면 「강아지」는 셋을 다 가리킨다. 그리고 낱말과 그림을 잇는 일, 즉 「이 픽셀 덩어리가 강아지인가」는 경계를 그리는 일과 다른 능력이다. 경계는 그림의 모양만 봐도 그릴 수 있지만, 이름을 맞추려면 언어와 그림을 함께 배운 모델이 필요하다.
검출기와 분할기 잇기
이 두 능력을 한 모델이 통째로 하는 길도 있다. 2025년 말에 공개된 SAM 3는 짧은 명사구를 직접 받아 해당하는 모든 개체의 마스크를 낸다. 다만 실무에서는 여전히 두 모델을 잇는 구성이 흔하다.
- 개방 어휘 검출기 또는 지난 글의 그라운딩 모델에게 문구를 주고 상자를 받는다
- 그 상자를 분할 모델에 프롬프트로 넣어 마스크를 받는다
이렇게 나누는 이유는 두 모델이 서로 다른 속도로 좋아지기 때문이다. 이름을 맞추는 쪽은 언어 모델의 발전을 따라 빠르게 바뀌고, 경계를 그리는 쪽은 비교적 안정적이다. 나눠 두면 각각을 따로 갈아 끼울 수 있다. 앞 단계를 새 그라운딩 모델로 바꿔도 뒤 단계의 마스크 품질은 그대로다. 그리고 상자는 분할기에 가장 확실한 프롬프트 가운데 하나라, 점 하나의 모호함 문제도 상당 부분 비켜 간다.
단계별 원인 가르기
나눠 두면 중간에 상자가 남는다. 이 상자가 디버깅의 단서가 된다. 결과 마스크가 틀렸을 때 원인은 둘 중 하나다. 앞 단계가 엉뚱한 것을 잡았거나(강아지를 찾으랬는데 고양이에 상자를 쳤다), 잡긴 잘 잡았는데 경계가 지저분하거나(강아지 상자는 맞는데 꼬리가 빠졌다). 상자를 그림 위에 그려 보면 둘이 바로 갈린다.
이 구분이 시간을 크게 줄인다. 앞쪽 실패라면 문구를 바꾸거나 검출 임계값을 고치거나 검출기를 바꾸고, 뒤쪽 실패라면 상자에 점을 더하거나 후처리를 손본다. 한 모델로 통째로 하는 구성에서는 이 둘이 한 출력 안에 섞여 나와서, 「잘못 잡았나 경계가 나쁜가」를 가리려면 따로 실험을 해야 한다. 평가할 때도 두 단계의 정확도를 따로 재 두면 개선할 곳이 어디인지가 숫자로 보인다.
영상 분할
메모리
영상을 한 프레임씩 따로 분할하면 마스크가 프레임마다 떨린다. 프레임마다 점을 다시 찍어야 하는 것도 문제다. 그래서 영상용 모델은 메모리를 둔다. 앞 프레임들의 임베딩과 마스크를 일정 개수 보관하고, 새 프레임을 처리할 때 그 기억을 참조한다. 사용자는 첫 프레임에만 지시하고 나머지는 모델이 따라가게 하는 식이다. 2024년에 나온 SAM 2가 이 구조로 그림과 영상을 한 모델에서 함께 다룬다.
메모리를 참조한다는 것은 「아까 이 대상이 이렇게 생겼고 여기 있었다」를 지금 프레임에 겹쳐 본다는 뜻이다. 대상이 조금 움직이거나 돌아서도 기억 속 모양과 비교해 같은 대상을 찾아낸다. 지시를 받은 프레임의 기억은 특히 중요해서 따로 오래 보관한다. 사람이 「이것」이라고 직접 말해 준 유일한 근거이기 때문이다.
가려짐과 표류
영상에서 새로 생기는 문제가 둘 있다. 하나는 가려짐이다. 대상이 잠깐 다른 물체 뒤로 숨었다 나온다. 숨어 있는 동안 모델은 「지금은 안 보인다」고 판단해 빈 마스크를 내야 하고, 다시 나왔을 때 그것이 아까 그것인지 판단해야 한다. 닮은 다른 물체가 그 자리에 나타나면 그쪽으로 옮겨 붙기 쉽다. 같은 옷을 입은 두 사람이 엇갈려 지나가는 장면이 전형적이다.
다른 하나는 표류다. 조금씩 어긋난 마스크가 다음 프레임의 기억이 되므로 오차가 쌓인다. 첫 프레임에서 손끝 몇 픽셀이 빠졌다면 다음 프레임은 그 빠진 마스크를 기준으로 삼아 조금 더 빠지고, 몇 백 프레임 뒤에는 팔 전체가 빠져 있다. 완전히 자동으로 막기는 어렵다. 중간중간 사람이 점을 하나 찍어 바로잡는 경로를 열어 두는 것이 현실적이고, 바로잡은 프레임은 새 지시 프레임으로 기억에 들어가 이후를 다시 붙잡는다.
메모리 예산
기억을 길게 들수록 가려짐과 표류에 강해지지만 비용이 길이에 비례해 는다. 프레임마다 그 기억 전체를 참조해야 하기 때문이다. 기억 30프레임이면 10프레임보다 참조 계산이 세 배이고, 기억을 저장할 메모리도 세 배다. 긴 영상을 실시간으로 처리하려면 어디선가 끊어야 한다.
흔한 절충은 기억을 두 종류로 나누는 것이다. 최근 몇 프레임은 밀어내기 방식으로 계속 바꿔 들고, 사람이 지시한 프레임은 끝까지 붙들어 둔다. 최근 기억은 대상의 지금 모양을 따라가게 하고, 지시 프레임은 원래 무엇을 찾으라고 했는지를 잊지 않게 한다. 둘 중 하나만 들면 앞쪽은 표류에, 뒤쪽은 모양 변화에 약해진다.
마스크 후처리와 평가
해상도와 가장자리
마스크는 저해상도에서 나온다. 디코더가 내는 것은 원본보다 훨씬 작은 격자 — SAM의 경우 256×256 — 이고 그걸 원본 크기로 키워 쓴다. 4,000픽셀 폭 사진이라면 마스크의 한 칸이 원본의 15픽셀 남짓을 덮는다. 그래서 머리카락·나뭇가지·자전거 바퀴살처럼 가는 구조의 가장자리가 뭉개진다. 넓은 대상의 윤곽은 충분히 매끄럽지만, 한두 픽셀 폭의 구조는 격자 사이로 사라진다.
가장자리 품질이 결과물의 값이라면, 예를 들어 인물 사진 합성처럼 머리카락이 화면에 그대로 남는 일이라면 별도의 정제 단계가 필요하다. 원본 해상도의 그림을 함께 보며 가장자리 근처만 다시 계산하는 모델이나, 경계 부근을 0과 1 사이의 투명도로 다루는 매팅 기법을 뒤에 붙인다. 분할 모델이 낸 마스크를 「대략의 영역」으로 쓰고 정밀한 경계는 다른 단계에 맡기는 구성이다.
구멍과 조각
마스크 안에 작은 구멍이 뚫리거나, 본체에서 떨어진 작은 조각이 붙어 나오는 일이 흔하다. 셔츠의 무늬 일부가 구멍으로 빠지거나, 배경의 비슷한 색 얼룩이 떨어진 조각으로 따라온다. 화면에 띄우면 잘 안 보이지만, 넓이를 재거나 윤곽선을 따거나 3D 모델로 넘기면 그대로 문제가 된다.
대부분은 간단한 후처리로 정리된다. 마스크에서 서로 이어진 픽셀 덩어리, 곧 연결 성분을 찾아 가장 큰 덩어리만 남기고, 일정 넓이 이하의 조각을 지운다. 구멍은 반대로 마스크를 뒤집어 같은 처리를 하면 메워진다. 기준 넓이는 그림 크기에 비례해 잡는다. 다만 대상이 원래 여러 덩어리인 경우 — 울타리 너머로 보이는 개, 가운데가 뚫린 도넛 — 에는 이 규칙이 정답을 지우므로, 쓰임에 따라 켜고 끈다.
IoU와 경계 지표
분할의 평가는 보통 IoU로 한다. 예측 마스크와 정답 마스크의 겹친 넓이를 둘을 합친 넓이로 나눈 값이다. 완전히 같으면 1, 전혀 안 겹치면 0이다. 계산이 간단하고 직관적이라 거의 모든 벤치마크가 쓴다.
다만 가장자리 품질은 IoU에 거의 안 잡힌다. 넓은 대상에서 가장자리 몇 픽셀은 전체 넓이에 비하면 무시할 수준이라서다. 500×500 픽셀 대상의 둘레를 따라 2픽셀씩 틀려도 IoU는 0.98을 넘는다. 머리카락이 다 뭉개진 마스크와 깨끗한 마스크가 같은 점수를 받는다. 반대로 작은 대상은 몇 픽셀만 틀려도 IoU가 크게 떨어진다. 가장자리가 중요하면 경계 근처의 띠만 잘라 그 안에서 IoU를 재는 경계 IoU 같은 지표를 함께 봐야 한다. 평가 세트를 대상 크기별로 나눠 따로 재는 것도 같은 이유로 권한다.
정리
- 프롬프트 분할은 클래스 목록을 버리고 「여기」라는 지시를 받는다. 대상 이름을 미리 나열할 수 없을 때 값이 크다
- 구조의 핵심은 정확도가 아니라 비용 배분이다. 무거운 이미지 인코더는 한 번, 얇은 마스크 디코더는 프롬프트마다
- 서비스로 감쌀 때는 임베딩 캐시가 전부다. 매 요청마다 인코딩하면 이 구조를 쓸 이유가 없어진다
- 점 하나는 모호하므로 모델이 크기 대역이 다른 후보 여럿을 낸다. 점수 최고가 아니라 쓰임에 맞는 대역으로 고른다
- 옆 대상까지 먹은 마스크는 음수 점 하나로 대개 고쳐진다
- 텍스트 지시는 검출기와 분할기를 잇는 구성이 실무에서 다루기 쉽다 — 중간에 상자가 남아 원인을 가릴 수 있다
- 영상은 메모리를 두어 떨림을 잡되 가려짐·표류·메모리 예산 셋을 함께 설계한다
- 가장자리 품질은 IoU에 거의 안 잡힌다. 그게 중요하면 경계 지표를 따로 본다
읽어주셔서 감사합니다. 😊

