프롬프트를 열 번 고쳐 써도 원하는 그림이 안 나오는 상황은 이미지 생성을 붙여 본 사람이면 다 겪는다. 이때 대부분 프롬프트를 계속 고친다. 형용사를 더하고, 콤마를 옮기고, "highly detailed"를 붙인다. 그런데 프롬프트는 손잡이 하나일 뿐이고, 종종 가장 무딘 손잡이다.
이 글은 프롬프트 말고 무엇이 있는지, 그리고 원하는 것이 안 나올 때 어떤 순서로 만져야 하는지를 정리한다. 확산 모델과 Stable Diffusion은 앞의 글이 다뤘으니, 여기서는 다이얼을 돌리는 쪽에 집중한다.
손잡이의 네 층
파이프라인의 자리
생성 한 번이 일어나는 과정을 아주 줄이면 이렇다. 시드에서 잠재 노이즈를 만들고, 그 노이즈를 정해진 횟수만큼 깎아 나가고, 마지막에 이미지로 디코드한다. 여기서 「깎는다」는 것은 모델이 매 단계 「이 노이즈 안에 섞인 잡음이 어떤 모양인가」를 예측하고, 그 예측을 조금씩 빼 나간다는 뜻이다. 손잡이는 이 흐름의 서로 다른 자리에 끼어든다.
맨 앞에는 시드가 있다. 출발점인 노이즈 자체를 정한다. 그다음은 샘플링 층이다. 노이즈를 몇 번에 걸쳐 어떤 방식으로 깎을지, 그리고 매 단계에서 프롬프트 쪽으로 얼마나 세게 밀지를 정한다. 세 번째는 밖에서 주는 조건이다. 포즈 뼈대·마스크·참조 이미지처럼 텍스트가 아닌 신호를 깎는 과정에 함께 넣는다. 마지막이 모델 가중치 자체다. 예측을 만드는 그 네트워크의 숫자를 옮겨, 같은 입력에서도 다른 예측이 나오게 만든다.
이 넷은 섞이지 않는다. 시드는 예측을 바꾸지 않고 출발점만 바꾸며, 가중치는 출발점을 건드리지 않고 예측만 바꾼다. 그래서 무엇이 문제인지에 따라 만져야 할 층이 정해져 있고, 다른 층을 아무리 돌려도 그 문제는 안 풀린다. 구도가 매번 틀어지는 것은 시드 운이나 조건의 부재 탓이지 CFG 탓이 아니고, 모델이 우리 제품을 본 적이 없다는 것은 프롬프트나 CFG로 메울 수 없는 가중치의 문제다.
비용과 정밀도
층마다 성격이 다르다. 왼쪽은 거칠고 싸다. 시드를 바꾸는 데는 아무 비용이 들지 않고, CFG를 세 값으로 훑는 데는 생성 몇 번이면 된다. 오른쪽으로 갈수록 정밀해지는 대신 비싸진다. ControlNet을 붙이려면 포즈를 뽑거나 스케치를 그리는 준비가 들고, LoRA는 데이터를 모으고 학습을 돌려야 한다.
원하는 것이 안 나올 때 오른쪽부터 손대는 것이 가장 흔한 시간 낭비다. LoRA를 학습시키기 전에 네거티브 프롬프트 한 줄로 끝나는 경우가 많고, 학습에 들인 하루가 사실은 CFG를 낮추면 사라지는 문제를 덮고 있었다는 것을 나중에 아는 일도 흔하다. 무거운 도구는 가벼운 도구가 정말 안 된다는 것을 확인한 다음에 꺼낸다. 그리고 그 「확인」이 성립하려면 먼저 비교를 할 수 있는 상태여야 한다 — 그것이 다음 절의 시드다.
시드와 재현성
출발 노이즈
가장 먼저 할 일은 실험을 가능하게 만드는 것이다. 시드는 잠재 노이즈를 정하는 난수 씨앗이고, 시드가 다르면 다른 모든 값이 같아도 그림이 통째로 달라진다. 구도가 바뀌고, 인물이 서 있는 자리가 바뀌고, 색의 덩어리가 바뀐다. 확산 모델의 큰 구조는 처음 몇 단계에서 정해지는데, 그 단계에서 모델이 보는 것이 거의 노이즈뿐이라 출발점이 결과를 크게 끌고 간다.
그래서 시드를 안 고정한 채로 CFG를 7에서 9로 바꾸고 "좋아졌다"고 판단하는 것은 아무 근거가 없다. 그림이 달라진 이유가 CFG인지 시드인지 구별할 방법이 없기 때문이다. 손잡이 하나의 효과는 시드가 주는 변화보다 작은 경우가 많아서, 시드를 풀어 둔 채로 하는 비교는 대개 잡음끼리의 비교가 된다.
import torch
gen = torch.Generator(device="cuda").manual_seed(20260905)
image = pipe(
prompt=prompt,
generator=gen, # 같은 시드 → 같은 출발 노이즈
guidance_scale=7.5,
num_inference_steps=30,
).images[0]
재현의 범위
같은 시드가 같은 그림을 보장하는 것은 같은 환경 안에서다. GPU 종류, 라이브러리 버전, 정밀도(fp16/fp32)가 달라지면 부동소수점 연산 순서가 바뀌어 결과가 미묘하게 달라진다. 단계마다 생긴 아주 작은 차이가 서른 단계를 지나며 쌓이므로, 대개는 비슷한 그림이지만 손가락 하나나 배경의 물체 하나가 달라지는 정도로 갈린다. 그래서 팀 안에서 결과를 주고받으려면 시드뿐 아니라 모델 체크포인트 해시와 파이프라인 버전까지 함께 기록해 둔다.
배치 크기도 같은 함정이다. 생성기 하나로 네 장을 한꺼번에 뽑으면 노이즈 네 덩이가 그 생성기에서 차례로 나오므로, 둘째 장은 같은 시드로 한 장만 뽑았을 때의 그림이 아니다. 「배치로 뽑은 셋째 장이 좋았으니 그 시드로 다시 뽑자」가 안 되는 이유다. 장마다 다시 만들어야 하는 그림이면 생성기를 장마다 따로 만들어 시드 목록으로 넘기는 편이 안전하다. 장치 사이의 차이를 줄이려고 생성기를 CPU에 두고 노이즈를 만든 뒤 GPU로 옮기는 방식을 쓰기도 한다.
시드 격자
실험할 때 쓰는 방법은 시드 여러 개를 고정해 두고 격자로 보는 것이다. 시드 넷을 정해 놓고 손잡이 하나를 세 값으로 바꾸면 그림 열두 장이 나온다.
이 격자를 읽는 법은 단순하다. 같은 열(같은 CFG)을 위아래로 보면 시드가 만드는 흔들림이 보이고, 같은 행(같은 시드)을 옆으로 보면 CFG가 만드는 변화가 보인다. 네 행 모두에서 CFG 5 쪽이 나으면 그건 설정의 효과다. 한 행에서만 CFG 9가 압도적으로 좋고 나머지 셋에서는 별 차이가 없으면, 그건 그 시드가 운이 좋았던 것이다. 이 구별이 격자를 만드는 이유의 전부다. 시드 하나로 한 비교는 이 두 경우를 가르지 못한다.
CFG·steps·샘플러
가이던스 식
CFG(classifier-free guidance) scale은 프롬프트를 따르는 방향으로 얼마나 세게 밀지를 정하는 값이다. 모델은 매 단계에서 프롬프트를 준 예측과 안 준 예측을 둘 다 만들고, 그 차이를 CFG 배만큼 증폭해 더한다.
이면 프롬프트를 준 예측 그대로이고, 가 커질수록 "프롬프트 방향"이 과장된다. 차이 항이 「프롬프트가 있어서 달라진 부분」이므로, CFG는 그 달라진 부분만 골라 몇 배로 키우는 장치다. 그래서 프롬프트를 안 따르는 것 같으면 CFG를 올리고 싶어지는데, 여기가 함정이다.
이 식에서 비용도 하나 따라 나온다. 예측을 두 번 만들어야 하므로, CFG를 켜면 단계마다 네트워크를 두 번 돌린다. 30단계면 예측 60번이다. 그래서 diffusers 같은 라이브러리는 가 1 이하이면 프롬프트 없는 예측을 아예 건너뛰고, 그때 생성 시간이 대략 절반이 된다.
과포화
증폭이 지나치면 값이 정상 범위를 벗어나면서 색이 타고 윤곽이 뭉개진다. 채도가 비현실적으로 올라가고 대비가 극단으로 가는 그 특유의 모습이다. 프롬프트를 더 잘 따르는 게 아니라 그림이 망가지는 것이다. 모델이 학습 중에 본 적 없는 크기의 예측값이 매 단계 들어가니, 그 결과가 학습 데이터에서 본 그림의 범위 밖으로 밀려나는 셈이다.
여기서 흔한 오해는 「프롬프트를 안 따른다 = CFG가 낮다」이다. 실제로는 프롬프트가 서로 부딪히는 요구를 담고 있거나, 모델이 그 낱말을 잘 모르거나, 문장이 너무 길어 뒤쪽 낱말이 텍스트 인코더의 길이 한도에서 잘려 나간 경우가 더 많다. 이때 CFG를 올리면 모델이 이해한 그 어긋난 방향이 더 세게 과장될 뿐이다. 오히려 낮은 쪽으로 내려 보면 덜 과장된, 더 자연스러운 그림이 나오는 경우가 많다. 과포화를 누그러뜨리려고 증폭된 예측의 크기를 다시 줄여 주는 보정 옵션을 두는 파이프라인도 있다.
steps와 샘플러
steps는 노이즈를 몇 번에 나눠 깎을지다. 적으면 덜 정리된 그림이 나오고, 늘리면 좋아지다가 어느 지점부터 평평해진다. 대부분의 샘플러에서 그 지점은 25~40 사이이고, 100으로 올려도 시간만 서너 배 든다. 생성 시간은 거의 steps에 정비례하므로, 30에서 25로 줄이는 것만으로 생성 시간이 6분의 1쯤 준다. 품질 차이가 안 보이는 자리에서 steps를 깎는 것이 가장 쉬운 비용 절감이다.
샘플러는 그 깎는 방식이다. 같은 모델과 같은 시드에서도 샘플러가 다르면 단계마다 노이즈를 어떻게 덜어 낼지 계산하는 식이 다르므로, 같은 steps에서도 결과와 수렴 속도가 다르다. 적은 steps에서 잘 도는 것과 많은 steps에서 좋아지는 것이 갈린다. 특히 이름에 ancestral이 붙은 계열은 단계마다 새 노이즈를 조금씩 다시 섞으므로, steps를 바꾸면 그림이 수렴하는 대신 계속 달라진다. 이런 샘플러에서 「steps를 늘렸더니 좋아졌다」는 비교는 시드를 풀어 둔 비교와 비슷한 처지가 된다.
셋의 얽힘
중요한 것은 셋이 서로 얽혀 있다는 사실이다. 샘플러를 바꾸면 알맞은 CFG 구간이 옮겨 가고, steps를 줄이면 CFG를 낮춰야 하는 경우가 많다. 그래서 「이 모델은 CFG 7이 좋다」는 말은 「이 샘플러와 이 steps에서는」이라는 단서를 달고서만 참이다.
증류 모델은 이 얽힘의 극단이다. 원래 모델이 수십 단계에 걸쳐 하던 일을 몇 단계 안에 하도록 따로 학습시킨 모델인데, 이렇게 단계를 크게 줄인 빠른 모델들은 가이던스가 이미 가중치 안에 녹아 있어서 CFG를 끄거나 12 같은 낮은 값에서 가장 좋다. 일반 모델의 78을 그대로 쓰면 결과가 무너진다. 새 모델을 쓸 때는 그 모델의 권장 구간을 모델 카드에서 먼저 확인하고, 그 구간을 중심으로 격자를 짠다.
네거티브 프롬프트
미는 방향
네거티브 프롬프트는 "이것을 피하라"고 주는 텍스트다. 앞의 식에서 자리에 빈 텍스트 대신 네거티브 프롬프트의 예측을 넣는 방식으로 동작한다. 그러면 차이 항이 「프롬프트 쪽 − 네거티브 쪽」이 되므로, 결과는 프롬프트에 가까워지는 동시에 네거티브에서 멀어지는 방향으로 밀린다.
여기서 알 수 있는 것은 네거티브 프롬프트가 금지 목록이 아니라는 점이다. 모델은 「흐릿함은 안 된다」라는 규칙을 받는 것이 아니라, 「흐릿한 그림의 예측」을 하나 만들어 그 반대쪽으로 밀릴 뿐이다. 그래서 네거티브는 프롬프트와 같은 방식으로 해석되고, 모델이 잘 아는 낱말일수록 효과가 선명하다.
CFG 1에서의 무력화
이 구조에서 두 가지가 따라 나온다. 첫째, CFG가 1이면 네거티브 프롬프트가 아무 일도 안 한다. 식에 을 넣으면 항이 지워져 프롬프트 쪽 예측만 남기 때문이다. 앞에서 본 대로 라이브러리는 이때 그 예측을 아예 계산하지 않는다.
이것이 실무에서 문제가 되는 자리는 증류 모델이다. CFG를 끄고 쓰는 모델에 다른 모델에서 쓰던 네거티브를 그대로 옮겨 두면, 아무 일도 안 하는 줄이 설정에 남아 「네거티브로 손가락 문제를 막고 있다」는 착각을 만든다. 네거티브가 효과가 있는지 의심되면 그 줄을 지우고 같은 시드로 다시 뽑아 비교해 본다.
짧은 목록
둘째, 네거티브에 너무 많은 것을 적으면 방향이 흐려진다. 「저화질, 흐림, 왜곡, 손가락 기형, 워터마크, …」를 스무 개 나열하면 네거티브 예측은 그 모든 것을 조금씩 섞은 애매한 그림이 되고, 거기서 멀어지는 방향도 애매해진다. 실제로 나오고 있는 문제 두세 개를 적는 편이 낫다. 격자를 보고 「네 시드 중 셋에 글자가 박힌다」면 그때 「text, watermark」를 넣는 식이다. 문제가 없는데 미리 넣어 둔 낱말은 효과도 확인할 수 없고, 다른 낱말의 방향을 흐리기만 한다.
밖에서 주는 조건
도구별 고정 대상
프롬프트로는 "어떤 것"을 말할 수 있지만 "정확히 이 자세, 이 구도"는 말할 수 없다. 이때 그림 밖에서 조건을 준다.
| 도구 | 고정하는 것 | 쓰는 자리 |
|---|---|---|
| ControlNet (포즈·깊이·엣지) | 형태와 구도 | 같은 자세로 옷만 바꾸기, 스케치를 그림으로 |
| 인페인팅 마스크 | 바꿀 영역 | 배경은 그대로 두고 물체만 교체 |
| 이미지-투-이미지 (denoise 강도) | 원본과의 거리 | 스타일만 바꾸기, 해상도 올리기 |
| 참조 이미지 어댑터 | 스타일·인물의 정체성 | 같은 사람·같은 화풍 유지 |
| 지역별 프롬프트 | 어느 영역에 무엇을 | 왼쪽은 숲, 오른쪽은 도시 |
이 도구들은 시드와 달리 출발점을 바꾸지 않고, 가중치와 달리 모델을 바꾸지도 않는다. 깎는 과정의 매 단계에 텍스트 말고 하나의 신호를 더 넣어 예측이 그 신호를 따르게 만든다. 그래서 학습 없이 생성 한 번으로 효과를 볼 수 있다.
고르는 기준
확산 모델 제어와 편집은 앞의 글이 자세히 다뤘으므로 여기서는 고르는 기준만 적는다. 바꾸지 말아야 할 것이 무엇인지로 고른다. 자세를 지켜야 하면 ControlNet, 영역을 지켜야 하면 마스크, 원본 그림의 배치를 대충 지켜야 하면 이미지-투-이미지, 인물의 얼굴을 지켜야 하면 참조 어댑터다.
질문을 「무엇을 바꾸고 싶은가」로 세우면 도구가 잘 안 갈린다. 「옷을 바꾸고 싶다」에는 다섯이 다 그럴듯해 보인다. 그런데 「사람의 자세와 얼굴은 그대로, 배경도 그대로」로 세우면 답이 좁혀진다 — 옷 영역만 마스크로 열고 나머지를 닫는 인페인팅이다. 지켜야 할 것이 둘 이상이면 도구를 겹쳐 쓴다. 포즈 ControlNet으로 자세를 잡고 참조 어댑터로 얼굴을 지키는 식이다. 다만 겹칠수록 조건끼리 부딪히는 자리가 생기므로, 하나씩 붙여 가며 어느 조건이 무엇을 망치는지 본다.
조건 강도
이 도구들에도 강도 조절이 있다. ControlNet의 conditioning scale, 이미지-투-이미지의 denoise 강도가 그것이다. 강도를 1에 가깝게 올리면 조건을 그대로 베끼고, 낮추면 프롬프트가 이긴다. 스케치가 그대로 남아 그림이 뻣뻣하다면 이 값을 내리는 것이 첫 수다.
이미지-투-이미지의 denoise 강도는 숫자로 따라가 보면 뜻이 분명해진다. 강도는 원본에 노이즈를 얼마나 덮은 자리에서 깎기를 시작할지를 정한다. steps 30에 강도 0.6이면 노이즈를 60%쯤 덮은 자리에서 출발해 실제로는 18단계만 돈다. 강도 0.3이면 9단계뿐이라 원본의 구도와 색이 거의 남고 질감만 바뀐다. 강도 0.9면 27단계를 돌며 원본은 희미한 배치 정도만 남는다. 그래서 「스타일만 바꾸고 싶다」면 낮게, 「구도만 빌리고 싶다」면 높게 둔다. 강도를 바꾸면 실제로 도는 단계 수도 함께 바뀐다는 것을 알아 두면, 낮은 강도에서 그림이 덜 다듬어 보일 때 steps를 올려야 하는 이유도 설명된다.
LoRA
가는 기준
앞의 세 층으로 안 되면 마지막이 모델 가중치를 옮기는 것이다. 대개 LoRA를 쓴다. 모델 전체를 다시 학습하지 않고, 기존 가중치 옆에 작은 저차원 행렬 한 쌍만 얹어 그것만 학습하는 방법이다. 얹힌 행렬이 기존 예측을 특정 화풍이나 특정 인물·제품 쪽으로 기울인다. 원래 가중치는 그대로 두므로 파일이 작고, 생성할 때 붙였다 뗐다 할 수 있으며, 얼마나 세게 기울일지를 강도 값으로 정한다.
여기까지 가야 하는 경우는 실제로 정해져 있다.
- 모델이 모르는 대상을 그려야 할 때. 우리 회사 제품, 특정 인물, 사내 캐릭터처럼 학습 데이터에 없던 것
- 말로 설명이 안 되는 화풍을 반복해서 써야 할 때. "우리 브랜드 일러스트 톤"은 프롬프트 스무 줄로도 안 잡힌다
- 같은 조건을 수천 장에 걸쳐 일관되게 유지해야 할 때
세 경우의 공통점은 문제가 「출발점」이나 「미는 세기」가 아니라 예측 자체에 있다는 것이다. 모델이 우리 제품을 본 적이 없으면, 어떤 시드에서 출발하든 어떤 CFG로 밀든 모델은 비슷한 다른 물건을 그린다. 이것이 가중치를 옮겨야 하는 유일한 이유이고, 이 이유가 없으면 LoRA는 다른 층의 문제를 비싸게 덮는 도구가 된다.
학습의 비용
LoRA는 데이터 20~50장을 모으고 학습을 돌리고 강도를 다시 튜닝하는 일이다. 데이터를 모으는 것이 생각보다 오래 걸린다. 대상이 여러 각도·조명·배경에서 찍힌 사진이어야 하고, 모든 사진에 같은 배경이 있으면 모델은 대상 대신 그 배경을 배운다. 장마다 무엇이 찍혔는지 설명하는 캡션도 붙여야 한다. 학습이 끝나면 강도를 다시 고른다. 너무 세면 프롬프트를 무시하고 학습 사진을 거의 그대로 그리며, 너무 약하면 대상이 안 닮는다.
그리고 LoRA는 앞의 손잡이들을 없애 주지 않는다. LoRA를 얹은 모델에서도 시드 격자를 다시 짜고 CFG 구간을 다시 찾아야 한다. LoRA가 예측을 기울였으니 알맞은 CFG도 옮겨 가는 경우가 많다. 베이스 모델을 바꾸면 그 위에서 학습한 LoRA는 대개 다시 학습해야 한다.
먼저 볼 대안
반대로 여기까지 안 가도 되는 경우가 훨씬 많다. 한두 장만 필요하다면 인페인팅으로 고쳐 쓰는 편이 빠르다. 제품 사진 한 장을 원하는 배경 위에 놓는 일이면, 제품 영역을 닫고 배경만 여는 마스크 한 번이 학습 하루보다 낫다. 화풍이 널리 알려진 것이면 프롬프트로 충분하고, 얼굴 하나를 몇 장에 걸쳐 유지하는 정도면 참조 어댑터로 된다. 형태 문제라면 ControlNet이 답이다. LoRA는 그 비용을 낼 이유가 분명할 때만 간다.
실험 순서와 기록
한 번에 하나
손잡이가 이렇게 많으면 두세 개를 동시에 바꾸고 싶어지는데, 그러면 무엇이 효과가 있었는지 영영 모른다. CFG를 낮추고 샘플러를 바꿨는데 좋아졌다면, 다음 모델에서 둘 중 무엇을 가져가야 할지 알 수 없다. 실무에서 쓰는 순서는 대개 이렇다.
- 시드 넷을 고정한다. 이후 모든 비교는 이 시드들 위에서 한다
- 프롬프트와 네거티브를 먼저 손본다. 가장 싸고, 여기서 끝나는 일이 많다
- CFG를 세 값으로 훑는다
- steps와 샘플러를 본다. 품질이 아니라 속도 문제일 때가 많다
- 형태가 문제면 조건을 밖에서 준다. ControlNet·마스크·참조 이미지
- 그래도 안 되면 LoRA를 고려한다
순서가 왼쪽에서 오른쪽으로 가는 것은 앞의 「비용과 정밀도」와 같은 이유다. 그리고 단계마다 앞 단계에서 정한 값을 고정한 채로 다음 손잡이를 돌린다. 5단계에서 ControlNet을 붙였다면 거기서 다시 CFG를 한 번 훑는다 — 조건이 붙으면 알맞은 구간이 옮겨 가기 때문이다.
양쪽으로 훑기
3단계에서 CFG를 훑을 때는 낮은 쪽도 반드시 넣는다. 지금 7이면 9·11만 볼 것이 아니라 5·7·9로 본다. 앞에서 본 대로 「프롬프트를 안 따른다」는 증상에서 사람들은 거의 언제나 올리는 쪽만 시도하는데, 실제로는 내리는 것이 효과가 있는 경우가 많다. 올리는 쪽만 훑은 격자는 「7이 최선」이라는 잘못된 결론을 내기 쉽다. 세 값이 전부 한쪽에 몰려 있으면 최선이 그 바깥에 있을 수 있기 때문이다. 격자에서 가운데 값이 가장 좋을 때 비로소 구간을 찾았다고 말할 수 있다.
설정 기록
바꿀 때마다 설정을 그림과 함께 남긴다. 프롬프트, 네거티브, 시드, CFG, steps, 샘플러, 모델 해시, 그리고 붙였다면 조건 이미지와 강도, LoRA 이름과 강도까지다. 이것을 이미지 메타데이터나 옆의 JSON에 적어 두면 두 주 뒤에 "그때 그 설정"을 다시 찾을 수 있다. 이걸 안 해서 마음에 드는 그림을 다시 못 만드는 일이 정말 흔하다. 시드 하나만 적어 두고 샘플러나 모델 버전을 안 적어 두면, 앞의 「재현의 범위」에서 본 대로 같은 시드도 다른 그림을 준다.
정리하면 순서는 늘 같다. 비교를 할 수 있게 시드를 묶고, 싼 손잡이부터 하나씩 돌리고, 무엇을 지켜야 하는지로 조건을 고르고, 가중치는 마지막에 옮긴다. 그리고 그 모든 것을 그림 옆에 적는다.
이 글은 그림을 만드는 쪽의 손잡이를 다뤘다. 다음 글에서는 방향을 돌려 그림 속의 글자를 읽어 내는 쪽, OCR을 다룬다. 글자를 찾는 모델과 읽는 모델이 어떻게 나뉘어 왔는지, 그리고 그 경계가 VLM에서 어떻게 지워졌는지를 본다.
읽어주셔서 감사합니다. 😊

