diorama 스타일을 이용한 wan2.2 '크리스마스소품'

flux에 diorama 스타일을 이용한 이미지중에 크리스마스를 연상캐하는 소품을 그렸었는데

그이미지를 가지고 영상을 만들어 볼까 합니다.

 

https://memorywalker.tistory.com/25

cumfyui wan2.2 모델 설치와 영상 만들어보기

flux diorama lora를 이용해 뽑은 이미지

 

1. 조명 ON/OFF: 프롬프트에 조명 관련 키워드의 가중치를 조절하거나, (lights on:1.x) / (lights off:1.x) 같은 구체적인 지시어를 번갈아 사용합니다.
2. 눈 내림: (falling snow:1.x) 키워드를 지속적으로 사용하여 눈이 내리는 효과를 유지합니다.
3. 디오라마 고정: 디오라마 자체의 일관성을 유지하기 위해 핵심 요소들을 반복해서 명시합니다.

---

Wan2.2용 프롬프트 구성 (키프레임 스케줄링 가정):

아래는 특정 프레임 구간별로 적용할 수 있는 프롬프트의 예시입니다. ComfyUI의 프롬프트 스케줄링 기능을 사용하여 이 프롬프트들을 시간 흐름에 따라 적용해야 합니다.

I. 조명이 켜진 상태 + 눈 내림 (초반, 중간, 후반 반복)

(A beautiful Christmas diorama under a glass dome:1.4), inside: (small Christmas tree decorated with red ornaments:1.2), a cute snowman with a red scarf and a friendly smile, (glowing string lights draped around the tree and dome:1.5), (warm soft illumination from the lights:1.3), tiny gift boxes, white snow ground, wooden base, outside: (heavy falling snow:1.5), blurry dark background, cozy, magical, festive, intricate details, cinematic lighting.

• 주요 키워드 설명:
  • (glowing string lights draped around the tree and dome:1.5): 조명이 켜진 상태를 강조합니다.
  • (warm soft illumination from the lights:1.3): 조명이 켜졌을 때의 빛 효과를 명시합니다.
  • (heavy falling snow:1.5): 밖에 눈이 많이 내리는 것을 강조합니다.

II. 조명이 꺼진 상태 + 눈 내림 (중간에 삽입)

(A beautiful Christmas diorama under a glass dome:1.4), inside: (small Christmas tree decorated with red ornaments:1.2), a cute snowman with a red scarf and a friendly smile, (string lights OFF, dark inside the dome:1.5), (very subtle ambient light, no direct illumination from inside:1.3), tiny gift boxes, white snow ground, wooden base, outside: (heavy falling snow:1.5), blurry dark background, mysterious, quiet night, festive, intricate details.

• 주요 키워드 설명:
  • (string lights OFF, dark inside the dome:1.5): 조명이 꺼진 상태를 강조합니다.
  • (very subtle ambient light, no direct illumination from inside:1.3): 조명이 꺼졌을 때의 어둡지만 완전히 깜깜하지는 않은 상태를 표현합니다.
  • (heavy falling snow:1.5): 여전히 눈이 내리는 것을 유지합니다.

---

ComfyUI Workflow 구성 아이디어:

1. 프롬프트 스케줄링: ComfyUI의 프롬프트 스케줄링 노드 (예: Prompt Schedule 또는 Anything Everywhere와 Conditioning Average 조합)를 사용하여 위의 프롬프트들을 프레임 구간에 따라 전환합니다.
   • 예시 스케줄링:
     • 프레임 0-30: "조명 켜짐" 프롬프트
     • 프레임 31-60: "조명 꺼짐" 프롬프트
     • 프레임 61-90: "조명 켜짐" 프롬프트
     • ... 이런 식으로 반복하여 깜빡이는 효과를 줍니다.
2. AnimateDiff / Video Generator: Wan2.2를 포함한 비디오 생성 워크플로우를 사용합니다. 초기 이미지를 시드로 사용하거나, Image-to-Image 방식으로 시작하여 디오라마의 형태를 유지합니다.
3. ControlNet (선택 사항): 만약 디오라마의 형태나 구도를 완벽하게 유지하고 싶다면, 원본 이미지를 ControlNet (Canny, Depth 등)의 입력으로 사용하여 프레임 전체에 걸쳐 일관된 구조를 유지할 수 있습니다.
4. Negative Prompt:
   • "lights always on" 또는 "lights always off"를 높은 가중치로 넣어 특정 상태가 고정되는 것을 방지합니다.

5. blurry, low quality, deformed, cropped, ugly, bad anatomy, out of frame, text, watermark, (lights always on:1.5), (lights always off:1.5), no snow, clear sky
   

Wan2.2 팁:

• Motion Strength: Wan2.2 노드의 motion_strength (또는 유사한 파라미터)를 적절히 조절하여 눈이 내리는 정도와 조명이 깜빡이는 효과의 강도를 조정합니다. 너무 낮으면 변화가 미미하고, 너무 높으면 디오라마 자체가 왜곡될 수 있습니다.
• Seed 값: 초기 Seed 값을 고정하여 디오라마의 기본 형태가 일관되게 유지되도록 합니다.
• 반복 테스트: 조명이 깜빡이는 타이밍과 눈이 내리는 강도는 여러 번의 테스트를 통해 최적의 값을 찾아야 할 수 있습니다.

●그렇게 프롬프트를 주고 탄생한 영상입니다.

동영상 서비스가 종료되어 해당 콘텐츠를 재생할 수 없습니다.

 

File download

christmass.mp4

6.56MB

 

휴대폰 잠금 화면 설정(Mobile phone lock screen settings)

★다운로드하시고 동영상 선택 후 갤러리 옵션에서 배경 설정 잠금화면으로 하시면 됩니다.    더 좋은 이미지를 만들고 공유해 보도록 하겠습니다. 감사합니다.