Post #11955

Свежие исследования, которые уже можно полезно применить. Речь пойдёт о Лорах-слайдерах и "новом" способе пофиксить руки в генерациях. Начнём с пайпера от 20 ноября: https://arxiv.org/pdf/2311.12092.pdf Тут описан концепт Lora который сразу задумывался как слайдер (а не как LECO, который был "стирателем" изначально). Если кратко - это способ легко и быстро обучает Лоры-слайдеры для любых целей. В отличии от предыдущих вариантов, такой способ чуть больше изменяет изначальную картинку, но результат применения (по словам разработчиков) куда лучше. Казалось бы, что нам этот концепт, да? От выхода новых исследований, до того как его реально начнут применять проходит, обычно, месяц+. Но эти ребята зашли с козырей (индусы, всё-таки). Выложили готовый код с примерами - https://github.com/rohitgandikota/sliders (работает он пока не у всех, venv-а не предусмотрели - индусы, всё-таки🌚) и пачку готовых примеров на SD XL, скачать их можно тут - https://sliders.baulab.info/weights/xl_sliders/ Что конкретно делает каждый можно посмотреть в пайпере или на отдельном сайте - https://sliders.baulab.info Так вот, среди этих Лор есть fix_hands.pt, который авторы позиционируют как решение проблем с руками. Это мы и проверим!😼 Итак, подкидываем в папку к Лорам (она работает как обычная модель, из коробки), пишем простенький промт про девушку держащую кружку (что бы SD сразу было сложно) на фоне дома, добавляем активатор<lora:fix_hands:1> в позитив и идём "гулять" по моделям. Итог можно видеть на генерациях выше. Что я могу сказать по ощущениям после овер 200 генок: 1) Руки действительно фиксятся. Не всегда до конца, не всегда идеально, но в 80% случаях на всех моделях я бы выбрал результат с фиксом. В отличии от всяких "бадпромтов", негативных Лор на руки и т.п. - эффект реально заметный. Модель старается сделать из любого количества пальцев ровно пять и поставить их так, как они должны быть. 2) На модели с хорошо проработанными руками это работает несколько хуже. На таких, я бы сказал, выбор 60/40 (в пользу фикса). На моделях с "плохими" руками результат всегда лучше (даже если оба вышли кривоватыми). 3) Общий вид выходной картинки довольно заметно меняется. Не критически - модель всё рисует по промту, заменя то, что в промте не прописано чётко или на вторых ролях. 4) Картинка улучшается!😱 Небольшой побочный эффект - прорабатываются детали, глаза, лица и т.д. Особенно сильно это было заметно на базовой SD XL. Пара выводов. Во-первых - новый способ фикса рук имеет место быть. Во-вторых - это ведь не только фикс рук! Там есть ещё и другие Лоры - на общую починку всего (repair_slider.pt), а так же пачка готовых слайдеров на различные аспекты (длина волос, мускулатура, размер глаз и бровей, стилистики). А самое главное - можно обучать свои слайдеры. Как на XL, так и на 1.5-2.1. Может не у всех сразу заведётся этот "индуский код", но авторы активно шевелятся, что бы это всё заставить работать. Плюс есть коллаб! (индуский, я за него не в ответе) https://colab.research.google.com/github/rohitgandikota/sliders/blob/main/XL-sliders-inference.ipynb В общем - налетаем, забираем, используем. Обсудить / пообщаться Наш чат @text2image