Cumfyui를 이용한 Flux 이미지 생성과 모델 설치

 

안녕하세요. 이번글은 cumfiui에 많이 쓰이는 flux 모델에 대해 적어볼까 합니다.
우선 이해하기 쉽게 표로 글을 써보겠습니다.

 

 FLUX 모델 종류 요약

모델 이름특징 요약

Flux.1 Dev	공개 모델, 품질 좋고 가볍다
Flux.1 Schnell	빠른 생성용 모델 (속도↑ 품질△)
Flux Kontext Dev	LoRA 편집 가능, 구조적 변경에 강함

FLUX vs 다른 AI 모델 요약 비교

항목                                               FLUX                             Stable Diffusion          MidJourney                    DALL·E

 

화질	매우 우수 (특히 얼굴, 손)	우수	우수	보통
속도	Schnell 모델 빠름	보통~빠름	느림	빠름
텍스트 표현	정확함	종종 오류 있음	거의 불가능	우수
사용 난이도	쉬움 (ComfyUI 호환)	쉬움~중간	쉬움	매우 쉬움
LoRA 지원	가능 (Kontext LoRA)	가능	불가능	불가능
공개 여부	Dev/Schnell 공개	대부분 공개	비공개 (유료)	제한적 사용 가능

 
 

flux.1 Dev:Flux.1 Schnell Flux Kontext 현재 공개된 모델은 이렇게 3가지 버전입니다.
 
물론 퓨전이나 양자화된 모델들은 여러 가지로 만들어져서 배포돼있는 상태입니다.
 
flux를 쓰시기 위해선 4가지 모델이 필요합니다.
베이스모델
클립이 2중 구조라 2개의 파일이 있어야 합니다
vae파일 

VAE란?

VAE (Variational AutoEncoder)
: 잠재 공간(latent space)과 실제 이미지 간의 인코딩↔디코딩 변환을 담당하는 모델

---

 Flux에서 VAE의 역할

위치역할 요약

 

텍스트 → latent	텍스트 프롬프트로 생성한 latent image를 이미지로 복호화(decode)
이미지 → latent	기존 이미지나 noise를 latent 벡터로 압축 (인코딩)

즉,

• 확산모델(Unet)은 latent 공간에서 노이즈를 제거함
• VAE는 그 latent 결과를 최종 이미지로 바꿔주는 단계

---

VAE 없으면 생기는 문제

문제설명

❌ 생성 이미지가 흐릿해짐	디코딩 품질 저하, 세부 묘사가 빠짐
❌ 톤/색상 왜곡	latent space를 이미지로 매끄럽게 변환하지 못함
❌ LoRA/ControlNet 연동 오류	일부 확장 기능에서 VAE 필요로 함

---

확산 모델 사용 시 노드
gguf 양자화 사용시 UNET LOADER(GGUF) 노드를 불러와 연결해 주시면 됩니다.
 
베이스 모델받기(양자화 전 q4_k_s 모델을
사용해 봤습니다.
gguf모델은 모델폴더에 디퓨전 모델에 넣어줍니다.

 
https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main

city96/FLUX.1-dev-gguf at main

 

컴퓨터 vram이 넉넉하다 싶으시면
flux1-dev-fp8.safetensors 용량이 좀 큽니다.
16 버전은 구글링으로 쉽게 찾을 수 있을 겁니다.
safetensors 베이스 모델을 사용할 경우 unet폴더에 넣어줍니다.

flux1-dev-fp8.safetensors 

https://huggingface.co/lllyasviel/flux1_dev/tree/main

lllyasviel/flux1_dev at main

 

클립 파일  두 가지를 받으셔야 됩니다. 16 버전과 clip_l이나   8 버전과 clip_l
 
t5xxl_fp8_e4m3fn.safetensors
clip_l.safetensors
 
클립파일은 동시에 클립 폴더에 넣어줍니다.

 
https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

comfyanonymous/flux_text_encoders at main

 

VAE 파일

 

ae.safetensors 를 받습니다.

https://huggingface.co/lovis93/testllm/tree/main

lovis93/testllm at main

 

 

저는 이렇게 노드가 구성했고 바꾸면서 쓰고
있긴 합니다.
컨트롤 +b를 누르면 그 노드를 패스하고
가는 기능입니다.
현재 로라는 전에 썻던거라 닫아놨습니다.

 

성능이 좋으신 컴퓨터인데 좀 더 빨리 뽑고 싶으신 분들은 세이지 어텐션 노드를 쓰시면 더 빠른 결과를 낼 수 있을 것 같네요.

 

이미지 출력 시간을 확인해 봅니다.

Q4 (gguf) , fp8 (safetensors) 2배 업스케일을 줬을 때 시간 차이입니다. 아무래도 t 캐시가 돌고 있어 빠르게 나온듯합니다.
Q4 (gguf) 모델을 썼을 경우 업스케일 모델을 쓰면 fp8과 견줄만하게 나오는 것 같네요. 속도도 빠르고요
이건 이미지 보는 눈의 차이가 있어서 저는 막눈이라 모델별로 테스트하고 적당하다 생각하시면 그 모델을 쓰시는 걸 추천드립니다.

 

이상 공개 모델 받는곳과 몇가지의 차이점을 살펴봤습니다.
다음에 더 좋은 이야기로 뵐게요.