PHYGITAL+CREATIVE

Создала курс о нейросетях с помощью нейросетей Сделала свой самый маленький и простой курс об ИИ-искусстве с помощью нейронных сетей, тут его можно пройти за 8 минут. В курсе есть и про определение ИИ-арта, и про датасеты, и про GANы, и даже про этику нейронно-сетевого искусства! В общем, для 8 мин и первого знакомства — идеально. А еще он бесплатный, конечно. Вообще этот пост не про курсы по нейросетям, а про классный сайт, который за пару минут создает маленькие курсы на любые темы. Переводить можно встроенным переводчиком Google, создавать свои курсы и смотреть чужие. Курсы разбиваются на блоки, в них генерятся картинки в стиле коммерческих иллюстраций. Это прекрасное вдохновение для преподавателей и отличный вход в разные темы для ученика. Сейчас я много преподаю и понимаю, что часто на нужную тему в интернете есть океан информации, которую очень трудно структурировано изучить. Поэтому такие тулзы, объединяющие поиск, генерацию текста и ее визуальное представление очень помогут нам не потеряться в будущем. Еще один классный инструмент — расширение для Google MagicSlides, составляйте зачаточные презентации обо всем.

Temporal Kit + EBSynth + edgeOfRealism Подход основан на методе от Tokyo_Jab. Использовался Temporal Kit для преобразования видео в сетку и обратно в видео (с помощью EBSynth). 1) Удаляем фон. 2) Изменяем размер видео до 1024x1536. Это кратно 512x768. 3) С помощью Temporal kit генерируем сетку, используя значения: Sides: 4, Height Resolution: 3072, frames per keyframe: 4, Check EbSynth Mode, Check Batch Settings > BatchRun 4) Используем img2img в пакетном режиме с настройками: Steps: 25, Sampler: DPM++ 2M, CFG scale: 7, Face restoration: CodeFormer, Size: 2048x3072, Model: edgeOfRealism_eorV20Fp16BakedVAE, Denoising strength: 0.8, Version: v1.2.0, ControlNet 0: "preprocessor: softedge_pidinet, model: control_v11p_sd15_softedge 5) Работаем с Temporal-Kit > EBSynth-process. Пользуемся read_last_settings, и ставим разрешение на выходе 1536. 6) Запускаем img2img в папке с ключевыми кадрами, чтобы добавить больше деталей. Параметры: Steps: 25, Sampler: DPM++ 2M, CFG scale: 7, Face restoration: CodeFormer, Size: 1024x1536, Model: edgeOfRealism_eorV20Fp16BakedVAE, Denoising strength: 0.1 7) Запускаем EbSynth. Автор разбил пакетную обработку по 20 кейфреймов. В Temporal-Kit есть возможность это задать при генерации сетки, но автор обнаружил, что в результате получаются неполные сетки, и это нарушает консистентность видеоряда. 8) Temporal-Kit > Recombine EBsynth. 9) Открываем видео в DaVinci, и применяем дефликер. Реддит Автор взял футаж отсюда.

Хогвартс, но это не школа магии, а обычное ПТУ. Грюм без глаза в роли трудовика смотрелся бы колоритно.

Персонажи Гарри Поттера внезапно стали самураями с помощью магии Midjourney. У Букли нет цели, только путь.

Топ 10 ИИ для текстуринга Продолжаем собирать для вас подборки с топовыми инструментами под конкретную индустрию и юзкейс в нашей Library. Представляем вам новый топ-10 для создания текстур и материалов с помощью ИИ #gamedev

Adobe интегрировали в последнюю версию Photoshop возможность генерить text-2-image через свой сервис Firefly. Фича находится в бета стадии и называется Generative Fill. Схема знакомая: выделяете место в котором надо что-то сгенерить, вбиваете промт, оно генерит на выбор 3 варианта искомого. Если не вбивать промт, нейронка попробует сама угадать контекст (например, может пригодиться на аутпейтинге). Для каждой генерации создаётся новый слой, что удобно. Из любопытного: нейронка хорошо понимает, где нужны тени и отражения, что заметно на видео. Также весьма неплохо работает с текстурой — обратите внимание на солевые кромки озера. Да, освещение и масштаб сгенерённых объектов не идеальные, но это уже существенное ускорение рабочих процессов. И... вы же топите за то, чтобы вас не заменили, так? Чтобы опробовать фичу нужно установить Creative Cloud и залогиниться в нём (может у вас даже поставилось автоматом с фотошопом). Затем, в разделе Beta-apps установить Photoshop (Beta) с версией 24.6 . Если после установки Generative Fill не будет как на видео, зайдите в раздел Обновления и накатите апдейт на установленную бету (я хз почему сразу не устанавливается самая пропатченная версия). Продукты из бета-категории ставятся параллельно в свои папки и никак не повредят вашим уже существующим пиратским установкам. Но без интернета Generative Fill не работает. У вас будет 7 дней на тест в триальном режиме. Альтернативно, если у вас есть доступ к веб-интерфейсу Firefly вы можете попробовать фичу там. Причём в этом разделе на самом деле вагон приложений с приставкой Beta, что намекает на экспансию генеративных фич во все продукты Adobe. Хорошо подготовились! Добавил за секунду компанию своему котану, сгенерённому на DeepFloyd IF.

В Photoshop интегрируют ИИ — он будет сам рисовать картинки В скором времени Photoshop, After Effects и Premiere Pro смогут генерировать изображения по запросам пользователей. Adobe разработала собственную нейросеть Firefly, которая состоит из двух инструментов: один отвечает за создание картинок, а второй — за художественные шрифты. В ближайшее время Adobe запустит бета-версию Firefly в виде веб-сервиса — заявки на участие в тесте уже принимаются. Neurohub🔥

Дайджест пока я гонял на PHD фест: 📹 ВИДЕО + АРТ 🎨 Stability AI: выпустили DreamStudio в опенсорс под названием StableStudio. Будет поддержка ControlNet, локального инференса через A1111 или WebGPU, расширение через плагины, и другие ништяки. Позже туда подъедет чат. Я поставил потестил, пока это DS один-в-один. Тем более нужен API ключ Stability для работы, который можно взять в акке DS. Когда подъедет возможность использовать локальные мощности, или через плагин подцепить Stable Horde и другие ништяки, тогда будет о чем поговорить. DragGAN: меняем композицию на фото, указывая мышкой точки как должно меняться движение объекта в кадре. Выглядит довольно интересно. Phygital+: добавили DeepFloyd для генерации картинки с текстом, добавили Segment Anything (SAM) для аккуратного выделения объектов. CoDi: модель, способная генерировать контент на связке модальностей текста, арта, видео и музыки. Пока без кода. Nvidia: представили text-2-video модель PYoCo, которая является файнтюном eDiff-I, но с новым приором шума к видео. Похоже оно даже умеет в текст на видео а-ля DeepFloyd, но всё в стиле зелёных без кода. Casablanca: нейронка на видеосозвонах автоматом направляет вашу голову и взгляд в камеру. BlockadeLabs: добавили ControlNet в свой генератор 360-панорам. Глубину неплохо передаёт. На схожую тему вышла бумага LDM3D про генерацию 3D диффуизей. Mesh Diffusion: генерация 3D преставлений не из вокселей или облака точек, а меша. Upscayl: ещё один софт для апскейла фото, можно запустить локально. Instruct pix2pix, который изначально использовался в A1111, устарел и вместо него лучше использовать контролнетовский pix2pix, который позволяет работать с хайрезом. FastComposer: генерация изображений из текста или реф картинки без тонкой настройки. 🎸 ЗВУК 🎸 GETMusic: генерация музыки и нот любой длительности, в том числе и по рефу. Работают вместе две модели: GETScore генерирует ноты, а GETDiff генерирует музыку. Можно зафайнтюнить на любимой музыке. Похоже входит в набор инструментов Music от Microsoft. Ecoute: транскрипция сказанного интервьюером и спикером в реальном времени в раздельные текстовые поля. Под капотом GPT-3.5 + маленькая версия Whisper для text2speech. Нужен API ключ OpenAI. FunASR: тоже опенсорс инструмент для распознавания речи, но работает для конференций с большим количеством участников. 🤖 ЧАТЫ 🤖 OpenAI: ChatGPT вышел на iOS (Android позже подъедет) с поддержкой Whisper для перевода голоса в текст. Пока только для акков из США. Также накатили дефолтный WebBrowsing для владельцев плюсов, а не через плагин WebPilot который от третьих лиц и ему надо доверять. Очень ждём Code Interpreter вот это будет вообще разнос. Запрещёнка анонсировала свой аналог Copilot для написания кода, а также показала свой чип MTIA v1 для ускорения DL с фокусом на рекламу. Google: добавят в Colab возможность генерить код с помощью модели Codey, которая основана на PaLM 2. К слову выяснилось, что последняя обучалась на 3,6 трлн токенов, что в 5 раз больше, чем предыдущая модель. Посмотрим, что им это даст раз словам Сэма (OpenAI) и Эмада (Stability) гнаться за токенами нет смысла, а маленьких моделей показывающих годные результаты не мало. Чувак с помощью социальной инженерии вытащил из GitHub Copilot системные промты. Другой чел нашёл как с дать ChatGPT полный доступ над своей системой. Microsoft: выкатили датасет TinyStories 2,5М со словарным запасом 5-летнего ребёнка, который написан GPT-3.5 и GPT-4 и подходит для тренировки и валидации новых LM размером до 10М параметров. Плюс опубликовали исследование на тему обмена данными между разными LLM. Tascade: добавили генерацию с помощью GPT-4 списка задач, отслеживания его выполнения, создания майндмэпа и тд. DreamGPT: усиливаем галлюцинации нейронок, для создания новых идей. Dora: генерируем одностраничный сайт по текстовому промту. Gradio: используем любую модель с Gradio по API через JavaScript. TokenHawk: ещё один лама чат на WebGPU.

First Date with NPC 🔄 Превращение вирального ролика про девушку NPC в реальную NPC через SD-CN-Animation. 👍 Автор опубликовал полный процесс работы: — Вытаскиваем кадр из оригинального видео. — Сначала используем его в img2img в SD для создания референс кадра. — Переходим в SD-CN-Animation и используем полученный кадр-референс 'reference_only' CN preprocessor, так мы получаем более последовательную анимацию — Добавляем post effect ✅ В видео уже были идеальные движение, здесь получается супер приятный video2video. Остальные настройки. Автор даже указал время генерации всего ролика - 4.5 часа

Увидел в этом посте интересный плагин «Show Me» для ChatGPT который позволяет создавать разные диаграммы автоматом, и не мог удержаться чтобы поспрашивать всякое, включая самый главный вопрос «а как какать». Спасибо нейронкам, теперь вся жизнь может быть схематизирована! P.S. Бонусом, на последнем видео разбивка копипасты «идущий вдоль реки» на сущности, я знаю вы хотели такую схему – вот тут полная версия. P.P.S. Поскольку OpenAI нормальные стартаперы, поиска по плагинам у них нет

Intel последнее время как-то чуть ушел в тень: все увлеклись ИИ и железом для машинного обучения. Но именно на эти темы Intel и сделал только что крутые анонсы. Собственная генеративная модель на триллион параметров Aurora genAI заточена под нужды научного сообщества, обучаться будет не только на текстах общего назначения, но и на научных (причем не только текстах, но и даных и коде для научных исследований). Диапазон применений планируется впечатляюще широкий: from the design of molecules and materials to the synthesis of knowledge across millions of sources to suggest new and interesting experiments in systems biology, polymer chemistry and energy materials, climate science, and cosmology. А железо для всего этого — суперкомпьютер Aurora, на основе интеловских же процессоров: 21 248 шт. Xeon CPU и 63 744 GPU. https://wccftech.com/intel-aurora-genai-chatgpt-competitor-generative-ai-model-with-1-trillion-parameters/

Epic Games has launched Virtual Production Visualization Guide, a series of comprehensive step-by-step tutorials that will explain how to utilize virtual production workflows for visualization. Learn more and read the first chapter of the Guide: https://80.lv/articles/epic-games-reveals-virtual-production-visualization-guide/?utm_source=telegram