Post #9178

Предрелизнулась новая модель text2image - DeepFloyd (IF) от одного из подразделений наших любимых StabilityAI. Это бесплатная модель с открытым исходным кодом по новому подходит к генерациям. Сначала создаётся база будущей картинки - размером 64x64 пикселей. Затем, при помощи двух разных СуперСкалеров, картинка увеличивается сначала до 256х256, а после - до 1024х1024. Естественно, на каждом из этапов модель дополнительно регулируется слоями UNet, что бы базовая картинка и промт не "потерялись". Разработчики заявляют об отличной фотореалистичности и детализированности "из коробки", плюс беспрецедентное следование вашему текстовому запросу - 6.66 FID-очков по датасету COCO, если вам это о чём-нибудь говорит. (мне это мало что говорит, но разработчики счастливы от такой цифры, говорят что лучше всех аналогов на текущий момент 🥸). Так же эта модель отлично генерирует текст и, опять же по заявлениям разработчиков, благодаря обновлённому подходу в генерациях избавлена от "детских болячек" прошлых нейросетей - очень плохих рук и сливания деталей в общую кучу. В общем, нужно проверять на практике, но предрелизные картинки, которые выкладывали авторы с начала текущего года - действительно неплохи. По системным требованиям. К сожалению новая технология требует "новых" ресурсов. Пока (я подчеркнул, да), системные требования видны на картинке 3. Да, 24 гигабайта для картинки 1024х1024. С небольшими вывертами это всё входит в 16 гигабайт бесплатного коллаба, блог об этом. Надеемся на сообщество и разработчиков - что бы завезли побольше оптимизаций, для домашнего использования моделей. - Код модели здесь. - Модели (веса) будут тут. (они уже выложены, но пока скрыты от обычных пользователей). - Демка, что бы всё попробовать будет здесь.