Stable Diffusion | Text2img

Всё, товарищи, как я и говорил - вчерашние новшества обновили и в основной ветке Автоматика1111. Можете смело обновляться и пользоваться unCond + ToMe (через расширение), и радоваться скоростям генераций!😼

Новый полезный (ну, я надеюсь) пост. Поговорим о ускорении генераций в SD. Пост большой, но манипуляции простые. По итогу, у меня получилось +50-60% скорости в обычных задачах с ~8.6 ит\сек при батчсайзе 8 до ~14-16 ит\сек на GTX 3060. Итак, как повысить скорость генераций? 1) Купить 4090... 😢 1) (настоящий пункт 1) Ну а если у вас, как и у меня, нет денюжек на своих хотелки, то накатим оптимизаций. И первая из них - Negative Guidance minimum sigma. Принцип работы этой функции описан тут. Если кратко - на высоких шагах генераций опция снижает CFG до 1, тем самым ускоряя работу генератора в разы, не теряя в итоговом качестве картинки. Итак, как её включить? Начнём с того, что уважаемый Автоматик чуть-чуть изменил подход к своей разработке. Для того, что бы обкатывать новые изменения он завёл dev-ветку а так же Релиз-ветку - это то, что будет в новой версии Автоматика после тестов. На данный момент ветки одинаковы, и судя по тестам - всё работает хорошо. Лог релиза есть тут. Помимо всего прочего там есть строчка: option to remove negative conditioning at low sigma values И это - то, что нам нужно. Соответственно, если вы хотите использовать данную оптимизацию, нужно обновиться до любой из веток, либо дождаться когда это выкатят в релиз (думаю - пара дней). 2) Token Merging for Stable Diffusion. Принцип работы этой оптимизации описан тут. Если кратко - то оптимизация смешивает некоторые избыточные токены в один, увеличивая скорость их перебора. Использовать эту опцию ещё проще. Есть расширение. Ставим его, перезапускаем SD, в настройках появляется новая оптимизация (картинка 2). Итак, всё поставили, давайте к тестам. Во-первых, накатив dev/релиз ветку мы получим то, что многие давно ждали - PyTorch 2 и искформерсы чуть поновее. Только от этой фишки прирост в скорости будет 5-20%, судя по многочисленным отзывам. Я не стал тестить разницу 1/2 пайторч, тестов в интернете уже полно. Советую при установки ветки/обновления удалить папку venv - и всё пройдёт безболезненно. Для начала unCond sigma. Найти эту оптимизацию можно в Настройках - Параметры семплеров (картинка 3). Если вы просмотрели информацию по ссылкам выше - то выставляем его на значение "3", как рекомендует автор. Для вас я потестил и значения "1" и "2" дополнительно - конкретной разницы в качестве я не увидел. Так что тоже порекомендую поставить 3 и не парится. Результаты сравнений есть на картинке 4. Тест проводил на 512х512, 40 шагов, Эулер а, 10 батчсайз. Сравнил скорости с xFormers/SDP (замена xFormers в Пайторч 2, у некоторых даёт значительный прирост в скорости. У меня - на уровне погрешности, но памяти ест чуть меньше), а так же новую оптимизацию. На 5 картинке коты сгенерированные с этими вариантами - попробуйте найти отличия в худшую сторону (у меня не вышло). И что, спросите вы, это всё? Жалкие 9% ускорения? Нет, товарищи, фишка обоих этих ускорений в экспоненциальном росте скорости тем выше, чем выше разрешение и нагрузка. При очень высоких расширениях (и хайресе), прирост будет в 200-300%, смотрим ниже. На картинке 6 я протестил СДП оптимизацию, unCond и ToMe последовательно. Небольшое отступление. ToMe, в отличие от unCond, уже начинает заметно менять картинку (кот на картинке 7 - с тем же сидом и настройками, что и раньше). Но, опять же, я бы не сказал, что в худшую сторону. Рекомендуемое автором значение - 0.5. Человек давно пользующейся этой опцией порекомендовал ставить 0.4 - меньше замыленности картинки, и серьёзное ускорение генераций. Снова к тестам. Сначала я добавил ToMe к прошлой оптимизации на SDP. Получил ещё +8%. Далее затестил на высоких разрешениях - 1536х1536. Только с unCond скорость сразу выросла на 21%. С обоими опциями - 126% прироста! 2048х2048 - картинка не вывелась, падала на последнем этапе, но скорости видны. Итого +242% прироста! После провёл ещё немного тестов. В моих обычных задачах (512х768, 768х768+, Хайрес) скорости, поднимались на 40-60% без итогового ухудшения картинки. Ещё раз - да, картинка менялась. Но пролистывая пару сотен генераций я не смог сказать где тут ToMe, где unCond, а где без всего.

Предрелизнулась новая модель text2image - DeepFloyd (IF) от одного из подразделений наших любимых StabilityAI. Это бесплатная модель с открытым исходным кодом по новому подходит к генерациям. Сначала создаётся база будущей картинки - размером 64x64 пикселей.…

Подборка LyCORIS от одного автора - различные материалы. 1) Китайская роспись белой керамики. https://civitai.com/models/51328 2) Делаем всё из дерева. https://civitai.com/models/52068 3) Бронзовые статуи/поделки. https://civitai.com/models/50310/realistic-bronze-art-style 4) Китайская вырезка из красной бумаги. https://civitai.com/models/52291 Обратите внимание, что (на данный момент) Ликорисы не работают "из коробки" в дистрибутиве Автоматика - нужно специальное расширение (есть на страницах этих Лор).

This world are made of love and peace! Love and peeeeeace! Человек-стихийное бедствие. Где бы вы его не увидели - бегите! Вэш-Ураган! Lora. https://civitai.com/models/51480/vash-stampede-1998

А знаете, кого мы забыли в этих Лорах с черепашками? Конечно же мисс Эйприл О'Нил, прямиком из мультсериала 1987 года ❤️https://civitai.com/models/51651/esthetic-april-oneil-1987-tmnt

Генерим мемчики Wojak с этой Lora 🥸https://civitai.com/models/49886/wojak-style-lora

Туранга Лила, Lora 🗿https://civitai.com/models/49933/turanga-leela-from-futurama-lora

Lora, что бы лучше получался Призрачный Гонщик, персонаж вселенной Марвел. Пламя, мотоцикл и стильный костюмчик в комплекте! 😼https://civitai.com/models/50701/ghost-rider

Ко вчерашнему Большому Папочке из Биошока сегодня мне попалась ещё одна Lora на него. И в довесок - его Маленькая Сестрёнка (куда же без неё?). Под спойлером она, потому что вся в крови и жутенькая 🌚

Ну и раз уж мы вспомнили классику. Один из самых известных советских музыкантов - Виктор Цой, собственной персоной. Lora. https://civitai.com/models/39197/viktor-tsoi-viktor-coj