[2025년]Stable Diffusion 모델과 lora 이미지 그리기 알아둬야 될 것들

안녕하세요 어제는 Stable Diffusion Reforge 설치 가이드를 썻었는데요.

오늘은 그걸 이용해서 그림을 생성하는 가이드를 적어볼까 합니다.

webui-user.bat 실행을 시키면 아래와 같이 인터넷 창이 쓰면서 

webui화면이 나옵니다.

먼저 알아두셔야 될 것

---

✔️ 개념

Stable Diffusion은 텍스트를 이미지로 바꿀 때 CLIP이라는 텍스트 인식 모델을 쓰는데요.

이때 CLIP은 내부적으로 여러 층(layer)을 거치며 문장을 해석하는데,
"몇 번째 층까지 사용할까?"를 결정하는 옵션이 바로 CLIP Skip입니다. 

✔️ 쉽게 말하면?

CLIP Skip = 텍스트 해석의 깊이 조절

보통 1이면 모든 레이어를 사용 → 정확한 해석

2 이상이면 위쪽 레이어 무시 → 좀 더 자유로운 그림, 느낌 위주

✔️  언제 바꾸냐?

기본값은 1 (추천)

2로 바꾸면 특정 LoRA나 모델에서 더 잘 나오는 경우 있습니다.

다만 무조건 좋다고는 할 수 없고, 모델·LoRA에 따라 달라집니다.

🌀 Sampling Steps (샘플링 스텝 수)

✔️ 개념

AI가 그림을 생성할 때, 점점 선명하게 만들어가는 과정이 있음

그 단계가 바로 Sampling Steps입니다.

✔️ 쉽게 말하면?

Steps 수가 많을수록 더 정교한 이미지

예: Steps 10 → 뿌연 그림
Steps 30~50 → 선명하고 안정적인 이미지

SD의 경우 SDXL과 해상도 차이가 있어서 17-20 정도의 값에서 왔다 갔다 합니다.

SDXL는 2배의 값에서 왔다 갔다 합니다.

⚠️ 주의할 점

너무 높이면 시간만 오래 걸리고 효과 적음

일반적으로는 20~30이면 충분

LoRA 쓸 땐 30 이상이 잘 먹히기도 함

본인이 맞게 설정하시면서 뽑아 보는 걸 추천합니다.

---

🧮 Batch count vs Batch size (배치 카운트 / 사이즈 차이)

1. 📦 Batch count (배치 카운트)

"총 몇 세트를 만들 것인가?"

예: count = 3 → 그림 3장 생성

2. 📏 Batch size (배치 사이즈)

"한 세트에 몇 장을 동시에 만들 것인가?"

예: size = 2 → 메모리를 더 써서 2장씩 병렬 생성

🧠 정리

항목의미예시

 

Batch count	총 몇 번 생성할지	3이면 3세트 생성
Batch size	한 번에 몇 장 생성	2면 GPU가 동시에 2장 그림

💡 팁

※VRAM이 적다면 Batch size는 무조건 1로!

※ Batch count만 올려서 여러 장 생성하는 게 안전해

 

1. WebUI에서 그림 뽑기 기본 흐름

WebUI에서 그림을 생성하는 기본 방식은 아주 간단합니다.
V표시해둔 txt2img(처음 설정 그대로) 탭에 들어가서 원하는 프롬프트(prompt)를 입력하고,
하단의 Generate 버튼만 누르면 바로 이미지가 출력되죠.

하지만 그림의 품질을 좌우하는 핵심 요소는 다음과 같습니다:

 

체크포인트 모델 (.safetensors)

VAE 설정

Sampler / Steps / CFG 값

해상도 (width x height)

 

한 줄 요약하자면,
모델은 '화풍', VAE는 '색감', LoRA는 '디테일 추가' 역할을 한다고 보면 됩니다.

---

 2. VAE란? 꼭 필요한가?

VAE(Variational AutoEncoder)는 쉽게 말하면 색감을 보정해 주는 디코더 역할을 합니다.
모델에 따라 VAE를 설정하지 않으면 다음과 같은 문제가 생깁니다:

 

※ 색이 탁하거나 흐림

※ 눈 주변이 뭉개짐

※ 채도가 이상하거나 전체적으로 죽은 느낌 

📌 사용한 모델:

DreamShaper XL

다운로드 링크: https://civitai.com/api/download/models/351306?type=Model&format=SafeTensor&size=full&fp=fp16
✔️ VAE는 내장되어 있는 모델이 있고 , 없는 모델이 있습니다.
내장이 되어있는 경우 특별히 VAE를 로드하지 말고 AUTO로 두시고 그냥 쓰시면 됩니다.
내장되어 있는 모델에 VAE를 쓰게 되면 오히려 색감이나 그림이 깨지는 경우가 있으니 아시고 쓰시길 바랍니다.

-프롬프트-
photorealistic portrait of a Korean man with clear skin, detailed facial features, natural lighting, looking into the camera, 50mm lens, ultra realistic, skin texture visible

 

---

✅ 같이 써볼 SDXL VAE (정식 추천 버전)

📌 사용한 VAE:

SDXL Natural Skintone

다운로드 링크:
https://civitai.com/api/download/models/1539028?type=Model&format=SafeTensor

위에 사진에 VAE를 적용한 겁니다.

각각 사이트에서 자신이 원하는 SDXL.SD.PONY 모델에 가능한 VAE를 찾아보시길 바랍니다. 

 

💡 주의: 일부 모델은 자체적으로 VAE 내장형이므로, 중복 설정하면 색감이 깨질 수 있어요.

---

 3. 모델 추천 (WebUI 기준)

모델은 전체적인 그림의 스타일과 품질을 좌우합니다.
아래는 제가 써보고 추천드리는 모델입니다.

 

SDXL 기반 모델

reVAnimatedXL

juggernautXL

realitiesEdgeXL

realisticVisionXL

 Stable Diffusion XL (SDXL 계열)

💡 해상도와 용량도 꼭 확인하세요. SDXL은 메모리를 많이 먹기 때문에, VRAM이 12GB 이상은 되어야 안정적입니다.

네이티브 해상도: 1024 × 1024

권장 범위:

1024 ~ 1344 (가로/세로) 안정적

1024×1024 → 가장 자연스러운 결과

1024×1536, 1152×896 등 비율 조절도 OK

1536 이상 → VRAM 부담 크고, 디테일 왜곡 ↑

 

학습모델 해상도에서 벗어나게 되면 왜곡으로 늘어나서 이상하게 나올 수도 있습니다.

업스케일 쓰실 때도 나와있는 사진을 업스케일하는 것이 아니고 

업스케일로 그리는 것이기 때문에 조절하면서 해줄 필요가 있습니다. 1.2-2배까지 추천드려요

R-ESRGAN 4x+(실사)

R-ESRGAN 4x+ Anime6B(애니)

---

 SD1.5 기반 모델

(SDXL에도 같은 모델의 이름이 있습니다. 모델명뒤에 XL이라고 적혀있으면 SDXL용입니다.)

SD모델의 경우 2~4기가 용량을 갖고 있습니다.

meinamix

revAnimated

pastelMix

dreamshaper

 

Stable Diffusion 1.5 (SD1.x 계열)

네이티브 해상도: 512 × 512

권장 범위:

가로/세로 512 ~ 768 까지는 안정적

512×768, 768×512 → 세로/가로 확장 OK

1024 이상 → 디테일 깨짐, 손가락/얼굴 망가짐 빈번

해결책:

Hires.fix / Upscaler 사용 → 2배 업스케일 후 디테일 보정

ControlNet/LoRA로 특정 부분 안정화

---

4. LoRA란? 그리고 적용법

LoRA는 모델에 작은 디테일을 추가하는 플러그인 같은 존재입니다.
기본 모델을 바꾸지 않고, 캐릭터, 포즈, 의상, 스타일 등을 덧입힐 수 있죠.

내가 가진 로라가 뭘하는거지? 라고 생각되시면 스테이블 디퓨전의 애드온중에서 civitai helper를 설치 하시면 내가가진 로라에 관한 이미지를 채울수있습니다.

설정 모양의 버튼을 누르시면 어떤 캡션을 썼는지 나옵니다. 그 단어와 일치하는 단어를 넣으면

그 디자인이나 효과에 맞는 설정이 적용됩니다. 단 가중치가 낮을 경우 원본 체크포인트에 같은 게 있는 경우

적용이 미미하게 될 수도 있습니다.

 적용 방법 (WebUI 기준)

\models\Lora 폴더에 .safetensors 파일 넣기

txt2img 프롬프트 입력창 옆의 Lora 탭에서 클릭해 추가

strength 값 조절 (예: <lora:파일명:0.7>

로라를 쓰실 때 일일이 글을 쓰지 마시고 로라탭에서 한번 클릭을 하면 프롬프트 칸에 반영이 됩니다.

가중치 값만 조절해서 쓰시면 됩니다.

로라를 쓴것과 드리쉐퍼의 학습된 체크포인트를 썻을 경우

프롬프트 : Masterpiece, best quality, hi tes, high resolution, absurdres, realistic, very realistic, x made from pcgaming ,hkmagic, hkstyle, ((arcane warrior,(armored robes, rainbow robes), ( bladed staff, rainbow leds, led gemstones)), interesting landscape, <lora:add-detail-xl:1> <lora:FantasyWizardWitchesXLV3:1> <lora:hkstyleV5:1> <lora:pcgaming:0.8>->4가지의 로라를 적용한 예입니다. 프롬프트는 시비티아이에서 가져왔습니다. 로라 자체가 보시면 디테일 쪽과 여성을 위치로 표현 스타일변화와 빛나는 엘리디를 추가한 것 같은데요. 보통 기본모델이 표현을 더 좋게 하고 싶거나 사물이 학습이 안 된 경우 바꿔줄 수 있는 멋진 장치입니다.

추천 LoRA 예시

EdgeOfReality (판타지 풍)

PixarStyle (애니 스타일)

RealPeople (실사 인물화)

CuteStyleMix (귀여운 만화체)

아래 사이트에서 로라 체크포인트를 무료로 받을 수 있으니 프롬프트 또한 올려둔 걸 보고 참조하시면서 

연습해 보시는 걸 추천드립니다.

https://civitai.com

Image posted by sirducky

LoRA를 잘 활용하면 내가 원하는 인물, 내가 기억하는 장면을 복원할 수도 있어요.

---

 마무리하며

오늘 포스팅에서는 WebUI 기준으로
기본 그림 뽑는 방법 + 모델/VAE/LoRA 개념까지 간단히 소개해봤어요.

다음에는 ComfyUI 쪽 가이드를 별도로 다뤄볼 예정이에요.
궁금하신 부분은 댓글로 남겨주시고,
좋은 그림 많이 뽑으시길 바랍니다 😊