Stable Diffusion | Text2img

Немного анонсов, если вы пропустили их. Пару часов назад компания StabilityAI (известная всем как разработчик Stable Diffusion) выпустили, как они и обещали когда-то, бесплатную чат-модель. "Типа" аналог ЧатГПТ, если говорить более понятными словами. Пока это только 3b и 7b модели, но в процессе и более крупная - на 175 миллиардов параметров (столько же было у GPT-3, лежащего в основе ЧатГПТ). Да, это уже можно запустить на своём ПК. Но пока это только заготовка заготовки для заготовки. Код тут - https://github.com/stability-AI/stableLM/ Базовые 7b веса здесь - https://huggingface.co/stabilityai/stablelm-base-alpha-7b (остальные ищите в соседних ссылках у модели) Пообщаться онлайн можно здесь (только на английском) - https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat

Обновление одних из лучших весов для фэнтези-арта. Вместе с V2 чекпоинты разделились на несколько "веток" (для большего контроля над моделью). V2 — Общий чекпоинт, добавлено много новых РПГ и фэнтези рисунков в обучение. V2 offset — НойзОффсет придаёт генерациям больше реалистичности. V2 Art — Сильный стиль рисовки. Очень "артистичные" (сами достраивают ваши сцены). V2 inpaint — новые инпаинтные веса. Ссылка у них общая, выбирайте сверху нужный вариант - https://civitai.com/models/8124

ха-ха-хаа, ха-ха-хаа, ха-ха-хаа, х-е-е-е-е-е-е-е-е... Слышите этот смех? Я тоже!😼 Lora для генераций самого знаменитого дятла - Вуди Вудпекера. https://civitai.com/models/39222/woody-woodpecker

Lora для генераций местами забавных, а местами жутеньких существ. https://civitai.com/models/16431/funny-creatures

Пара красивых Lora от одного автора. 1) Рисунки в стилистике Индийской народности Гонд (считайте, просто разновидность Индийских рисунков). https://civitai.com/models/44111/gond-style 2) Рисунки по дереву (с интересной фактурой дерева по генерации). https://civitai.com/models/45058 И да, эти Лоры не только девушек рисуют, там просто автор такой🥸

А вы мечтали генерировать свои всратыши? ГазпромDeforum, мечты осуществляются! Во-первых, приветствуйте, аниме-веса для генерации видео! Что бы они заработали нужно поставить плагин Дефорума отсюда в ваш локальный Автоматик, ну и дальше использовать их по инструкции со страницы. Во-вторых, появился скрипт для файнтьюна генераций видео под свою стилистику/персонажей. Брать тут, для обучения желательно 24 гигабайта видеокарта. Но, со всякими ухищрениями файнтьюн входит в 16 гигов или ниже.

Продолжаем "революционировать" в SD. А точнее - в недавнем Segment Anything. Туда, как и обещали авторы, добавили ещё один инструмент - Grounding DINO! Давайте разберём зачем вообще нужен этот Динозаврик. А поможет он ещё более чётко работать с масками и размечать датасеты под обучения. Кто уже попробовал Сегментацию могли заметить, что очень мелкие детали довольно сложно "поймать" маской. Выделить глаза или уши, например, та ещё задача. Или, если у вас на картинке много лиц, а заинпаинтить по маске надо только одно - придётся вручную править маску. Но Dino решает эти проблемы очень легко! Обновив расширение в блоке сегмент появится дополнительные опции для включения новой фитчи и промта под неё. И, например, вписав в промт Граудинга "eyes" можно поймать глаза вообще не проставляя точки позитива и негатива! В этом случае текстбокс сработает заместо этих точек. Плюс ко всему, этот инструмент ещё и разделит глаза на разные выделения, и в маску можно отправить только один глаз для инпаинта. Ну или это применимо для одного лица из множества, как я писал выше. Как пользоваться показано на картинках выше. Пройдёмся пошагово: 1) Раскрываем блок Сегментирования в и2и (не забывайте выбрать чекпоинт, H - самый крутой, как мы помним), выбираем нужную картинку, выставляем галочку Enable GroundingDINO и ниже - I want to preview GroundingDINO detection. У Дино тоже есть свои веса, не забываем выбирать и их (скачаются автоматически). Вписываем то, что нужно найти, и обращаем внимание на ползунок Threshold - это будет ваш любимый ползунок. Он позволяет редактировать силу отсейки результатов, погоняв его туда-сюда легко получить нужное. 2) Далее - нажимаем под загруженной картинкой кнопку Генерации, смотрим что повыделял нам Dino. Если результат примерно нужный (два уха - две области выделения, примерно на тех местах), идём дальше, если нет - играем с ползунком отсейки. Выше несколько картинок, показывающие различные значения. Если слишком маленькое значение - полезут лишние коробочки, если слишком высокое- не появится ничего. Каждый раз это значение индивидуально. 3) Крутим ещё ниже (да, расширение получилось монструозное по длине). Там у нас будет выбор, какие квадраты передать в Сегментацию (отмечаются галочками), и, собственно, дальше всё как в предыдущий раз. Нажимаем Превью, чуть-чуть ждём, выбираем понравившуюся маску, выставляем галку Копировать в инпаинт-маску, и в самом низу появилась удобная кнопочка - Switch to Inpaint Upload - которая передаст нашу маску и изначальное изображение на нужную подвкладку. 4) Наконец, возвращаемся в самый верх. Там вы видим, что на нужную вкладку нас переключило, но маски и картинки, опять, не видно. Но это не беда, нажав на "генерацию" мы увидим что нужные данные подрузились и работают как надо. Не забывайте написать промт и использовать инпаинтные модели, для лучших результатов. 5) Так же, в сегментации появилась ещё одна полезная галочка - Расширить маску. Полезно, когда нужно выбрать область чуть больше, чем выделилась. Например, на скрине выше я выделил по маске глаз кролика, расширил маску, и сделал ему глазки побольше и сместил их относительно оригинала. В общем и частном получился отличный инструмент для генерации масок. Поначалу выглядит сложно, но попробуйте - это очень легко и быстро на практике. Ещё раз ссылка на расширение, если вы её потеряли. На страничке есть несколько поясняющих видео. Пара уточнений по установке. Во-первых, обновление/установка его займёт какое-то время, потому что Динозаврику нужно скомпилировать ядро под вашу систему. Соответственно, требования как и у иксформесов - установленный С++ компилятор и Cuda. Во-вторых, я ставил на начальных билдах и в них нужно было что бы версия Куды-торча совпадала с версией установленной в системе Куды. В автоматике, по умолчанию, Куда-торч ставится 11.7 и мне пришлось сносить свою системную 12.0 Куду и ставить 11.7 что бы всё заработало. Возможно, в текущей версии это уже поправили, но имейте ввиду - будут ошибки при перезапуске, вы знаете что делать.

Картинки к следующему посту о GroundingDINO в расширении Segment Anything. 1 - Включаем GroundingDINO, добавляем картинку, пишем промт. 2/3/4 - Смотрим, как работает Отсеивание. 5 - Выбираем нужные данные для передачи в инпаинт. 6 - Результат генераций по маске (хоть её и не видно). 7 - Работа галочки "Расширить маску" 8/9/10 - Выделяем различные детали: лица, глаза, деревья.

Lora для генераций простых скетчей под "старину". https://civitai.com/models/41882/old-sketch-style

Простенькая Lora для генераций деревьев для игр с видом "сбоку". Будем считать, что это была рубрика "для геймдева" 🥸https://civitai.com/models/39400/gametreemodel

И вот вам ещё замечательный LyCORIS, что бы уж точно поставили расширение и юзали его. Разборка на детальки! Не настоящая, конечно, но выглядит это прикольно. https://civitai.com/models/41294/2d-fake-disassemble-2d

Кстати, если вам нужна неведомая зверушка - то обновился интересный чекпоинт Химеризации. Ей можно загенирировать, всё что что захочется вашей фантазии! https://civitai.com/models/24728