flux+wan2.2 밤의 사냥꾼 올빼미 날다.

요즘 말이 선선해져서 매우 쾨적하게 컴퓨터도 돌아가는 거 같습니다.

항상 동영상 작업때나 AI작업을 할때는 그래픽 카드가 너무 요란해져서 온도 상승때문에 불안하거든요.

오늘은 더운 화면보다 조금 시원한 화면을 위해 밤을 배경으로 그려봤네요.

 

우선 cumfyui를 이용해 flux로 올빼미가 밤에 달이 크게 큰날 나무에서 처다보고 있는걸 flux로 그려주었습니다.

●프롬 프트

An ethereal, nocturnal landscape featuring a large, vibrant moon dominating the sky. A dark, shadowy owl perches atop a gnarled, bare tree branch, its silhouette sharply defined against the moon's glow. The owl possesses intense, glowing orange eyes, emphasizing its watchful presence. Surrounding the moon, billowy, dark clouds partially obscure the celestial body, adding depth and mystery to the scene. Tall, slender pine trees frame the composition on either side, their silhouettes contributing to the overall dark, moody ambiance. The forest floor and background are enveloped in a misty, ethereal fog, enhancing the mystical atmosphere. The color palette is primarily dark, with deep blues, blacks, and greens, contrasted by the bright, luminous moon. The lighting is soft, casting long shadows and highlighting the textures of the trees and the branch. The overall mood is mysterious, foreboding, and slightly magical, evocative of a classic fantasy illustration. Style incorporates elements of romanticism and dark fantasy art, creating a strong visual impact. The composition is a balanced, close-up view with a focus on the owl and moon.

 

그림을 활용해서 wan2.2로 동작을 추가

 

●프롬프트

(full moon, detailed clouds drifting slowly across the moon:1.3), a large horned owl perched on a sturdy tree branch, (glowing orange eyes:1.2), dense forest background, mystical night atmosphere, slight fog, volumetric lighting, wide shot, calm, serene.
(full moon, detailed clouds drifting:1.2), a large horned owl perched on a sturdy tree branch, (blinking slowly and deliberately with glowing orange eyes:1.5), dense forest background, mystical night atmosphere, slight fog, volumetric lighting, camera slowly zoom in on the owl's face, anticipation.
(full moon, scattered clouds:1.1), a large horned owl on the tree branch, (starting to unfold its wings, eyes fixed on the viewer:1.5), dense forest background, mystical night atmosphere, slight fog, volumetric lighting, camera continues to zoom in smoothly, ready for flight.
(full moon, dynamic clouds:1.0), (a large horned owl flying directly towards the camera:1.8), its wings fully spread, (glowing orange eyes fixed on the viewer:1.5), coming closer, dense forest blur in background, mystical night atmosphere, volumetric lighting, (camera rapidly zooms in on the owl:1.5), action, motion blur.

 

 

• 초반 (0-30 프레임):설명: 큰 달, 움직이는 구름, 가지에 앉은 올빼미, 배경 숲, 차분한 분위기에 집중합니다.
• (full moon, detailed clouds drifting slowly across the moon:1.3), a large horned owl perched on a sturdy tree branch, (glowing orange eyes:1.2), dense forest background, mystical night atmosphere, slight fog, volumetric lighting, wide shot, calm, serene.

•  

• 중반 (31-60 프레임):설명: 올빼미의 느리고 의도적인 눈 깜박임을 강조하고, 카메라가 올빼미 얼굴로 아주 미세하게 줌 인하기 시작합니다. 다음 행동을 준비하는 느낌을 줍니다.
• (full moon, detailed clouds drifting:1.2), a large horned owl perched on a sturdy tree branch, (blinking slowly and deliberately with glowing orange eyes:1.5), dense forest background, mystical night atmosphere, slight fog, volumetric lighting, camera slowly zoom in on the owl's face, anticipation.
   
• 중후반 (61-90 프레임):설명: 올빼미가 날개를 펼치기 시작하며 카메라를 응시합니다. 비행을 위한 준비 동작을 구체적으로 지시합니다.
• (full moon, scattered clouds:1.1), a large horned owl on the tree branch, (starting to unfold its wings, eyes fixed on the viewer:1.5), dense forest background, mystical night atmosphere, slight fog, volumetric lighting, camera continues to zoom in smoothly, ready for flight.

   
• 후반 (91-120 프레임 이상, 비행 시작):
• (full moon, dynamic clouds:1.0), (a large horned owl flying directly towards the camera:1.8), its wings fully spread, (glowing orange eyes fixed on the viewer:1.5), coming closer, dense forest blur in background, mystical night atmosphere, volumetric lighting, (camera rapidly zooms in on the owl:1.5), action, motion blur.

 

WAN 모델 (특히 Stable Diffusion 기반의 ControlNet 계열 또는 특정 움직임 제어 모델들)의 프롬프트 기본 구성 원리는 일반적인 텍스트-투-이미지 프롬프트와 유사하지만, 동영상 생성이라는 특성상 시간적 일관성과 움직임 제어에 더 중점을 둡니다.

핵심 원리는 다음과 같습니다:

 

1. 시간적 일관성 유지 (Temporal Consistency):
   • 핵심 요소 반복: 동영상 전체에 걸쳐 유지되어야 하는 핵심 요소(예: 올빼미, 달, 숲)는 매 프레임의 프롬프트에 포함되어야 합니다. 그렇지 않으면 프레임마다 요소들이 사라지거나 변형될 수 있습니다.
   • 강조 조절: (element:강도)와 같이 특정 요소의 중요도를 조절하는 방식으로 시간적 일관성을 강화할 수 있습니다. 예를 들어, (large full moon:1.3)은 달이 항상 크게 유지되도록 돕습니다.
2. 움직임 및 변화 지시 (Motion & Transformation):
   • 구체적인 동사 사용: 단순히 "날아가는 올빼미"보다는 "카메라를 향해 날아오는 올빼미", "날개를 활짝 펼치고 (towards the camera)"와 같이 방향과 동작을 명확히 지시하는 동사를 사용합니다.
   • 상태 변화 명시: "눈을 깜박이다", "날개를 펼치기 시작하다", "가지에서 이륙하다" 등 객체의 상태 변화를 구체적으로 서술하여 모델이 해당 전환을 인식하도록 합니다.
   • 카메라 움직임: "camera zoom in", "camera pan left", "camera rotate" 등 카메라의 움직임 자체를 프롬프트에 명시하여 시점 변화를 유도할 수 있습니다.
   • 시간적 지시어 (간접적): "gradually", "slowly", "rapidly" 등의 부사를 사용하여 움직임의 속도나 강도를 간접적으로 지시할 수 있습니다.
   • 모션 블러 (Motion Blur): "motion blur", "dynamic lighting" 등 움직임의 효과를 나타내는 단어를 추가하여 비디오의 역동성을 높일 수 있습니다.
3. 환경 및 분위기 설정 (Environment & Atmosphere):
   • 배경 유지: "dense forest background", "mystical night atmosphere"와 같이 배경과 전체적인 분위기를 일관되게 유지하는 프롬프트를 사용합니다.
   • 조명/날씨: "volumetric lighting", "slight fog", "moonlight" 등 조명이나 날씨 효과를 명시하여 시각적 깊이와 분위기를 더할 수 있습니다.
   • 스타일: "photorealistic", "cinematic", "digital painting" 등 원하는 이미지 스타일을 명시하여 일관된 미적 감각을 유지합니다.
4. 부정 프롬프트 (Negative Prompt):
   • 원치 않는 요소 제거: "blurry, low quality, deformed, cropped, extra limbs" 등 생성되기를 원치 않는 요소를 Negative Prompt에 넣어 이미지의 품질을 높입니다.
   • 워터마크 등 제거: "watermark, text" 등도 흔히 사용됩니다.

 

CFG Scale: 프롬프트에 대한 모델의 충실도를 나타내는 CFG Scale 값을 조절합니다. 높은 값은 프롬프트를 더 엄격하게 따르지만, 이미지의 다양성이 줄어들 수 있습니다.

저같은 경우 흔히들 사용하는 sd3의 cfg의 경우 좀 나춰서 6으로 사용했을시 반복움직임이 안나왔습니다.

한번에 뽑는다기 보단 설정을 바꿔가면서 여러번 시도 하는것이 좋을 것 같네요.

 

WAN 모델이 특히 중시하는 측면:

WAN 모델은 "움직임" 자체에 초점을 맞추는 경우가 많으므로, 특정 키프레임에서의 시각적 특징 (올빼미의 형태, 배경의 디테일)을 일관되게 유지하면서도, 프레임 간의 움직임이 자연스럽게 연결되도록 프롬프트를 구성하는 것이 중요합니다.

 

● 미리보기 화면

동영상 서비스가 종료되어 해당 콘텐츠를 재생할 수 없습니다.

File download

 

nightbird.mp4

11.82MB

 

휴대폰 잠금 화면 설정(Mobile phone lock screen settings)

★다운로드하시고 동영상 선택 후 갤러리 옵션에서 배경 설정 잠금화면으로 하시면 됩니다. 
   더 좋은 이미지를 만들고 공유해 보도록 하겠습니다. 감사합니다.