미드저니(Midjourney) 이미지를 런웨이(Runway) 영상으로 변환하는 방법

오늘은 미드저니(Midjourney)에서 생성한 인물 이미지를 런웨이(Runway)에서 영상으로 변환할 때 원본 이미지의 특성을 최대한 유지하는 방법에 대해 알아보겠습니다. 많은 크리에이터들이 경험하는 문제 중 하나는 런웨이에서 영상 생성 시 원본 이미지의 특징이 달라지는 현상인데요, 이를 해결하기 위한 실용적인 팁을 공유해 드립니다.

미드저니(Midjourney) Explore 화면

 

지난 글 - [IT 인터넷/ChatGPT and AI] - DALL-E vs Midjourney vs Stable Diffusion: AI 이미지 생성기 비교 분석

왜 이미지가 달라질까요?

런웨이의 영상 생성 AI는 이미지에 움직임을 추가하는 과정에서 원본 이미지를 재해석합니다. 이 과정에서 인물의 얼굴 특징, 의상 디테일, 색상 등이 변형될 수 있습니다. 특히 별도의 프롬프트 지정 없이 변환할 경우 AI가 더 많은 '창의적 자유'를 가지게 되어 원본과의 차이가 커질 수 있습니다.

원본 이미지를 유지하는 7가지 방법

1. 이미지 강도(Image Strength) 최적화

런웨이의 설정에서 이미지 강도 또는 Image Strength 값을 높게 설정하세요. 일반적으로 0.8 이상으로 설정하면 원본 이미지의 특성을 더 잘 유지할 수 있습니다. 이 설정은 AI가 얼마나 원본 이미지에 충실할지를 결정합니다.

2. 스타일 가중치(Style Weight) 조정

스타일 가중치를 낮추면 AI가 이미지에 자체적인 스타일을 덜 적용합니다. 일반적으로 0.3 이하로 설정하여 원본 이미지의 시각적 특성이 우선시되도록 합니다.

3. 명확한 프롬프트 사용하기

비록 별도의 프롬프트 없이 작업하고 계셨더라도, 간단한 프롬프트를 추가하는 것이 큰 도움이 됩니다:

• "원본 이미지와 정확히 동일한 외모 유지"
• "인물의 얼굴 특징 변경 없음"
• "exact same appearance as reference image"
• "maintain original facial features"

4. 참조 이미지(Reference Image) 활용

런웨이의 참조 이미지 기능을 활용하세요. 미드저니에서 생성한 이미지를 참조 이미지로 설정하고 영향력을 높게 조정하면 결과물이 더 유사하게 나옵니다.

5. 초기 프레임 설정 최적화

영상의 첫 프레임을 원본 이미지와 최대한 유사하게 설정하세요. 초기 프레임이 원본에 가까울수록 나머지 영상 프레임도 원본의 특성을 더 잘 유지합니다.

6. 모션 스케일(Motion Scale) 제한

모션 스케일을 낮게 설정하여 움직임의 정도를 제한하세요. 과도한 움직임은 원본 이미지의 특성을 왜곡시킬 수 있습니다. 미세한 움직임으로 시작하여 점진적으로 조정하는 것이 좋습니다.

7. 해상도 최적화

가능한 한 고해상도 이미지를 사용하세요. 세부 정보가 많을수록 AI가 원본 특성을 인식하고 유지하기 쉽습니다. 미드저니에서 생성 시 --v 5.2 같은 최신 버전과 --q 2 이상의 품질 설정을 사용하는 것이 좋습니다.

미드저니에서 런웨이로 패션 모델 이미지 변환 과정 예시;

1단계: 미드저니에서 고품질 패션 모델 이미지 생성

1. Discord에서 미드저니 봇이 있는 서버에 접속합니다.
2. 명령어 채널에서 다음과 같은 프롬프트를 입력합니다:
   [imagine prompt: professional fashion model, high-end clothing, studio lighting, detailed fabric, photorealistic, fashion editorial --v 5.2 --q 2]
3. 생성된 결과물 중 마음에 드는 이미지를 선택합니다.
4. "Upscale" 옵션을 선택하여 이미지 해상도를 높입니다.
5. 완성된 고해상도 이미지를 다운로드합니다.

2단계: 런웨이 준비

1. https://runwayml.com에 접속하여 로그인합니다.
2. 새 프로젝트를 생성하거나 기존 프로젝트를 엽니다.
3. "Gen-2" 또는 "Motion Brush" 같은 이미지-비디오 변환 도구를 선택합니다.

3단계: 최적 설정으로 런웨이에서 영상 변환

1. 미드저니에서 다운로드한 이미지를 런웨이에 업로드합니다.
2. 다음 설정을 적용합니다:
   1. 이미지 강도(Image Strength): 0.85로 설정
   2. 스타일 가중치(Style Weight): 0.3 이하로 설정
   3. 모션 스케일(Motion Scale): 낮게 설정(약 30-40%)
   4. 프레임 수(Frame Count): 원하는 영상 길이에 맞게 설정
3. 프롬프트 영역에 다음과 같이 입력합니다:
   [maintain exact facial features, same clothing details, consistent lighting..]
4. 추가적으로 원본의 특정 요소를 강조하고 싶다면 더 자세히 명시합니다:
   [maintain exact facial features, same clothing details, consistent lighting, preserve hair color and style, keep exact same skin tone, identical fabric texture]

4단계: 생성 및 미세 조정

1. "Generate" 또는 "Create" 버튼을 눌러 영상 생성을 시작합니다.
2. 결과를 확인하고 원본과 비교합니다.
3. 만족스럽지 않은 경우 설정을 미세 조정합니다.
   1. 얼굴 특징이 변경되었다면 이미지 강도를 더 높입니다(0.9 정도로)
   2. 의상 디테일이 달라졌다면 프롬프트에 의상 설명을 더 자세히 추가합니다
   3. 움직임이 과도하면 모션 스케일을 더 낮춥니다

5단계: 최종 영상 저장

1. 만족스러운 결과물이 나왔다면 "Export" 또는 "Download" 버튼을 클릭합니다.
2. 적절한 해상도와 형식(MP4, MOV 등)을 선택합니다.
3. 영상을 저장합니다.

6단계: 필요시 후처리

1. 추가적인 조정이 필요하다면 Adobe Premiere Pro, After Effects 또는 DaVinci Resolve 같은 편집 소프트웨어에서 색상 보정이나 안정화를 적용할 수 있습니다.
2. 특히 원본 이미지와 색감이 달라졌다면 색상 보정이 효과적일 수 있습니다.

이 과정을 통해 원본 미드저니 이미지의 특성을 최대한 유지하면서도 자연스러운 움직임을 가진 패션 모델 영상을 만들 수 있습니다. 설정값은 이미지의 특성과 원하는 결과물에 따라 약간씩 조정할 수 있습니다.

마지막으로

AI 기술이 발전함에 따라 미드저니와 런웨이 같은 도구 간의 워크플로우도 점점 더 원활해지고 있습니다. 위의 팁들을 적용하면 원본 이미지의 특성을 유지하면서도 매력적인 움직임을 가진 영상을 제작할 수 있습니다. 여러분만의 실험을 통해 최적의 설정을 찾아 보시기 바랍니다. 

 

 

DALL-E로 창작하는 완벽한 프롬프트 작성법 가이드

 

 

DALL·E: OpenAI의 창의적인 이미지 생성 AI