Я использую в основном интерфейс AUTOMATIC1111 (в google collab) со скриптами и дополнениями. Хотя для Deforum есть отдельный collab, но я предпочитаю работать из интерфейса.
Подробнее о способах:
1. Интерполяция c помощью скрипта Prompt travel.
Его можно найти во вкладке Extensions в AUTOMATIC1111 и установить. Придётся перезагрузить интерфейс и скрипт появится в выпадающем меню внизу страницы txt2img и img2img. Суть метода в том, что вы пишете несколько разных промптов, каждый с новой строки (Enter), выставляете количество шагов (steps) между ними и это будет количеством сгенерированных png. Которые впоследствии объединяются в видеофайл. SD создаст плавный (иногда не очень) морфинг между картинками из ваших промптов.
2. Интерполяция скриптом Seed Travel.
Ставится так же, как и предыдущий. Метод в путешествии между сидами одного промпта. Можно задать свои конкретные или оставить randomize. Как вариацию этого метода можно попробовать скрипт Loopback Wave.
3. Deforum - интерполяция, совмещённая с движениями камеры в 2D и 3D.
Его можно установить так же из Extensions в AUTOMATIC1111. Появится дополнительная вкладка Deforum, в которой довольно много параметров, разбирать которые нужно подробно и это отлично уже сделано тут - https://www.youtube.com/watch?v=7FQQDrOhihA
По итогу всех методов у вас в папке stable-diffusion-webui/outputs (и далее в зависимости от скрипта) появятсяpng файлы, которые либо сам скрипт склеит в mp4, либо, как делаю я - можно их импортировать в видеоредактор, как пнг-секвенцию, чтобы чтобы сделать какой-то постпродакшн и добавить музыку, например.
Автор @artificalart
#подписчик
background magic garden, film photography, close up portrait of creepy gremlin, horror movie, CineStill 800t, global illumination, detailed and intricate environment, Side-view, high detailed photo, octaine renderer, 8k, Fisheye lens sample, art by Tom Bagshaw and greg rutkowski
#подписчик#sd
• Creator
alone human in Hill, Sunrise over the mountains, made by Erik Johansson and Nc Wyeth and Rhads, Cinematic light, Tarashikomi art style, Cry Engine, Infra-red, led, zoom, fantastic space, golden hour, HQ, clear focus
#подписчик#mj