PHYGITAL+CREATIVE

Чистый, без примесей, text-to-3D! Коль скоро Epic Games до сих пор выясняет этичность использования ИИ, кто-то должен был сделать ИИ-Метахьюмана! Мне написал Макс П. из Synthesis AI и пригнал вот такую новость. Synthesis AI, стартап из Сан-Франциско, специализирующийся на производстве синтетических данных, сегодня объявил, что разработал новый способ создания реалистичных ТРЕХМЕРНЫХ цифровых людей из текстовых подсказок. Компания анонсирует, что ее новая технология преобразования текста в 3D, использует "пайплайны генеративного искусственного интеллекта и визуальных эффектов для создания цифровых людей с высоким разрешением кинематографического качества, которые можно использовать для различных приложений, таких как как игры, виртуальная реальность, фильмы и симуляторы". Ну и дело не столько в качестве, а в подходе. Кто-то наконец-то сделал брутфорсный тренинг моделей на классических полигональных сетках, без всяких нерфов, 2Д-проекций, читов в духе kaedim и вот этого вот всего. На выходе реальные текстурированные 3Д-меши. Synthesis AI сделала собственные модели, используя генеративные архитектуры на основе диффузии для создания разнообразного набора сеток, которые регулируются критическими параметрами, такими как пол, возраст, этническая принадлежность и пр. Слои текстур создаются с использованием отдельной(!) генеративной модели, которая обеспечивает детальное независимое управление(!) Комплексная 3D-модель с высоким разрешением создается путем слияния этих двух основных компонентов. В общем это такой ИИ-Метахьюман с голосовым(текстовым) управлением (хотя управление слайдерами тоже есть). Еще раз - на выходе чистое, рафинированное, генетически немодифицированное 3Д! Synthesis AI специализируется на синтетических данных, поэтому немудрено, что собственная библиотека Synthesis AI, содержащая более 100 тысяч цифровых людей, является базовыми данными, используемыми для обучения моделей. Другие продукты компании, Synthesis Humans и Synthesis Scenarios, уже используют эту библиотеку для решения задач компьютерного зрения с размеченными данными для поддержки разработки возможностей идентификации лиц, мониторинга водителей, аватаров и многого другого. В общем, наконец-то кто-то обГАНил (обдиффузил) полигональные 3Д-сетки, пусть на определенном, но очень востребованном классе объектов - кожаные головы. Это только начало, цитирую: "сочетая генеративный ИИ с пайплайнами кинематографических визуальных эффектов, компании смогут синтезировать мир, включая людей, окружающую среду и объекты". Мы с Максом обсудили дальнейшее обГАНИвание 3Д, а я срочно записался в бету, благо есть административный ресурс влияния. Макс неоднократно зажигал у меня на Ивенте, а психоделические посиделки в киевском "Любимом дяде" с Дэном и Максом до сих пор оказывают на меня влияние. https://venturebeat.com/ai/synthesis-ai-debuts-text-to-3d-technology-for-cinematic-quality-digital-human-synthesis/

Учёные не знают, как ИИ выучил новый язык Одна из проблем, с которой сталкиваются современные разработчики нейросети — ИИ обучают себя навыкам, которых от них не ожидают. Так, ИИ от Google «самоадаптировался» и выучил язык, когда ему предложили использовать бенгальский язык, который ИИ не знал. А как это произошло — создатели до сих пор не понимают.

Phygital+ — еще один ассистент для художников, дизайнеров и креаторов, которым пользуемся сами. Эта платформа объединяет более 30 нейронок, что позволяет с легкостью создавать, редактировать и масштабировать визуальный контент. В одной рабочей зоне может быть целый ряд сеток, никаких навыков программирования не требуется. А еще есть опция обучить модель на нескольких снимках человека и создавать арт и концепты с участием, например, вас. На картинке как раз скрин такого пайплайна в проекте художницы Aziza Kadyri. #инструмент

Адобченко поднимает веки и медленно спускается с горы. Я вот читаю анонсы предстоящего NAB 2023 и вижу, что кроме Adobe, все крупные игроки (Максон, Автодеск, Сайды, Фаундри) сидят в танке по поводу генеративного ИИ. Просто молчат. А вот Адобченко вчера пульнул протокол о намерениях встроить ИИ во все, что шевелится, то есть не только в статичные картинки, но и в монтаж, композ и все, что связано с видео, кино и анимацией. Список фич впечатляет, и это не просто еще один способ генерить веселые пиксели, а именно видение проступающих из диффузионного шума пайплайнов. 1. Колоркоррекция видео голосом. Цитирую: «Сделайте эту сцену теплой и привлекательной». Не шутка, кнопка сделай красиво уже здесь. 2. Про логосы и шрифты я уже писал, когда тестировал FireFly. Теперь все это хозяйство можно будет анимировать. Не думаю, что это будет дефорумная покадровая анимация. Скорее псевдо-3Д в афтере. 3. Бомба: ИИ-преобразование сценария в текст для автоматического создания раскадровок и превизов! Без комментариев. 4. Автоматическая нарезка B-Roll-ов для чернового или окончательного монтажа! (это как бы визуальные перебивки, которые (тостуемый) монтажер вставляет поверх основного видеоряда). 5. Прошенный советчик. Который расскажет, что не надо отрезать ноги, и объяснит за "восьмерки". С ним можно будет поговорить за (цитирую) "процессы от первоначального видения до создания и редактирования". 6. Генерация музыки! Пользователи "могут легко создавать бесплатные пользовательские звуки и музыку, чтобы отразить определенное чувство или сцену как для временных, так и для финальных треков". Когда? В конце года. Огромная, жирная, красная кнопка. "Сделать зашибись и в ТикТок!". https://blog.adobe.com/en/publish/2023/04/17/reimagining-video-audio-adobe-firefly RunwayML такой, задумчиво почесывая затылок: "за сколько будем продавацца?"

Сравнение хайпа вокруг Web3 и Generative AI

довольно плавное видео получается, пусть и с артефактами https://t.me/Psy_Eyes/680

Как всегда генерировать одного и того же персонажа в Stable Diffusion, Automatic1111 | Пикабу https://pikabu.ru/story/kak_vsegda_generirovat_odnogo_i_togo_zhe_personazha_v_stable_diffusion_automatic1111_10148682

Только что на techcrunch опубликовали новые плюшки от Adobe, с их новыми нейроинструментами. Все изменения касаются работы с видео и это круто! 1. Появится колоргрейдинг по текстовому описанию. Ну тут не особо удивительно, т.к. подобные инструменты были довольно давно, хоть теперь эта фича и работает с сегментацией, т.е. можно отдельно догрейдить лица и т.д. 2. Другие функции, включают возможность генерировать пользовательские звуки и музыку. Firefly также поможет создавать субтитры, логотипы и заголовки. 3. И создавать превизы по сторибордам! А вот тут интересно, потому что эта штука будет работать с генерацией сцены в трехмерном представлении. Скорее всего ассеты будут набираться из их собственного стора, но на сколько он будет обширный, не понятно. Сорс

Для сравнения с Open Assistant есть другой опенсорс чат-бот, которым занимаются Stable Horde (они же Horde AI). Это люди, которые объединяют мощности домашних GPU в глобальную распределенную сеть, чтобы те, у кого слабая видюха или вовсе телефон, могли тоже генерить картинки или текст. Даже можно забустить Photoshop через плагин. Так вот, для генерации текста есть: * KoboldAI Client - локальная установка, особо тех. знаний не надо * KoboldAI Lite - доступ через веб-интерфейс * Agnaistic - альтернативный веб-интерфейс Я попробовал Lite и Agnaistic. Первый мне не понравился совсем ибо там ответы лепятся воедино к твоим вопросам и добавляется многое, чего ты вообще не спрашивал. Похоже, что народ пользуется функцией редактирования ответов, и в итоге тебе тебе попадается чей-то исправленный вариант с контекстом, оставленным по ошибке. Однако это в принципе хорошая фича (для RLHF) плюс можно выбрать разные модели для генерации ответов, в числе которых Llama/Aplaca. А вот Agnaistic мне понравился намного больше. На тот же вопрос про "Во все тяжкие" ответ был кратким и поделу, а даты и количество сезонов модель подсказала сразу без ошибок. Да, кличку Хайзенберг она попутала с Mr.Chips, но в целом результат хороший. Кодить пока не умеет, либо нужно делать каким-то особым способом запрос. Из ништяков Agnaistic: * Не нужно логиниться, данные о чатах не хранятся * Анонимайзер — можно скрыть имена и даты в чате (для скриншотов я так понял) * Можно установить локально * Text-2-Image силами Stable Diffusion, NovelAI, или Horde AI * Подключение к OpenAI, Claude, Kobold, Novel, AI Horde, и LuminAI через API * Можно выбирать версии OpenAI (GPT-4, Turbo, DaVinci) и Claude * Можно пригласить несколько человек в чат К слову проекты Stable Horde уже сгенерировали: 46,3 млн изображений (574,3 Терапикселей) и 2,9 млн текстов (271,5 мегатокенов). Так что, дело идёт и проект набирает обороты. Уже есть бот для телеги, плагины для GIMP, Unreal Engine, и Blender. Сайт Stable Horde (там все ссылки) + гитхаб Agnaistic + гитхаб

Adobe добавит искусственный интеллект в свой видеоредактор Firefly от Adobe пока не может генерировать видеоролики, но может упростить их редактирование. Например, для цветокоррекции достаточно будет ввести текстовое описание того, как должно выглядеть видео. Кроме этого, Firefly понимает сценарии и генерирует по ним раскадровки и анимированное превью. https://techcrunch.com/2023/04/17/adobe-brings-firefly-to-its-video-tools/ — @aioftheday — новости вокруг искусственного интеллекта

📑RedPajama: текстовый датасет на 1.2 триллиона токенов! Недавно я писал про открытую модель Dolly 2.0. Теперь таких моделей станет больше, ведь подъехал самосвал с текстовыми данными! RedPajama - это датасет на 1.2 триллиона текстовых токенов, созданный с целью воспроизведения передовых LLM. Датасет был воссоздан, следуя рецепту описанному в статье о LLaMA (то есть LLaMA училась на чем-то похожем). Кайф в том, что RedPajama-Data-1T является открытым и доступным для скачивания, то есть на нем можно обучать свои модельки. RedPajama-Data-1T - это 2048 json файлов, которые включают 7 сегментов данных: - CommonCrawl: 5 дампов - C4 датасет - GitHub код, отфильтрованный по лицензиям - arXiv: Научные статьи - Books: Корпус открытых книг - Wikipedia: Подмножество страниц - StackExchange: скроулили 28 крупнейших сайтов платформы Кажется, что через пару месяцев мы увидим в open-source полностью открытую версию LLaMA, обученную с нуля с использованием этого набора данных. Блогпост Скачать датасет @ai_newz

Кстати мало кто упомянул про релиз от DeepSpeed, в котором они: – подготовили скрипт для тренировки RLHF, в который надо просто передать модель с Huggingface – подготовили API для питона, чтобы тренировку можно было кастомизировать – смогли, как показывают в брошюре, сильно снизить время и косты обучения – позволяют впихнуть OPT-13B на одну A100, например Для оптимизации ввернули туда и Low Rank Adaption (LoRA), который сейчас используют кажется все для обучения LLaMA-моделей больших размеров Чек ит аут короче, в датасетах для инстракшн тюнинга сейчас тоже дефицита нет https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-chat