PHYGITAL+CREATIVE

OpenAI без лишней шумихи опубликовала результаты исследований для своей новой модели преобразования текста в 3D Shape-E. Это ChatGPT для создания 3D-моделей. Исходный код тут. #сервис Новости ИИ | Бот ChatGPT | Чат ИИ

🪴 Nvidia показала нейросеть NeuralVDB, которая генерирует невероятно детализированную графику. Система в реальном времени определяет, как свет отражается от разных материалов и сразу применяет это на 3D-моделях. Реалистично воспроизводится керамика, отпечатки пальцев, пятна и пыль. Производительность увеличивается в 10 раз, а детализация аж в 16 раз. Не беспокойтесь о нагрузке на видеокарту — обещают, что объем памяти требуется в 100 раз меньше, чем нужно было прежде. Фантастика! #AI | Not Boring Tech

Моя самая любимая статья по диффузионным моделям — это Elucidating the Design Space of Diffusion-Based Generative Models, NeurIPS 2022. Статья настолько плотная получилась, что её, как хороший роман, нужно перечитывать несколько раз. В ней авторы собрали все, что мы знаем о диффузионных моделях в плане теории, переосмыслили, упростили и выкатили общую формулировку прямой и обратной диффузии. Дифференциациальные уравнения, которые они вывели, описывают все предыдущие формулировки (например, DDPM, DDIM и др.), причем более интуитивно. Ещё оказалось, что во время инференса можно решать любые выбранные диффуры, даже если модель тренировалась с другой формулировкой. Главное чтобы модель оценивала "скор" d logp(x_t)/ dt, указываеющий в сторону более высокой плотности данных при текущем уровне шума t. Самое мясо со всеми доказательствами, конечно, в аппендиксе на 30+ страниц. Рекомендую, если хотите глубоко понять суть диффузионных моделей (ту же Stable Diffusion). Но придется поразбираться пару дней. @ai_newz

https://github.com/kex0/batch-face-swap Обновилось хорошее расширение для автоматической замены лица. Мне лень писать или снимать превью и описание к нему. Но это хорошая вещь. Делюсь

Некоторые штуки в ИИ уже криповые, хоть и невероятные. Например, читать мысли через fMRI. Аза Раскин, исследователь AI для деконструкции языка, рассказывает о том, как в этом году в двух разных лабораториях проводили тесты на реконструкцию того, что видит человек под томограммой (fMRI). В одном примере человек видит картинку А → AI считывает скан активности мозга → возвращает довольно точную реконструкцию картинкой Б, которая очень похожа на А. Во втором примере человек просто смотрит клип и думает о том, что видит → AI берет скан активности мозга → пишет текстом примерно то, что происходит в клипе. То есть, дословно описывает то, что происходило на экране, но без доступа к оригиналу. Только к МРТ. Смотреть на это не просто завораживающе, но и очень крипово. В самом видео полуторамесячной давности (оч рекомендую) Аза Раскин и Тристан Харрис рассуждают о том, что такое AI-дилемма, и чем она отличается от Social Dilemma (см. одноименный фильм 2020-го года). А что вас удивляет, восторгает или ужасает в возможностях AI, которые уже реально увидеть и потрогать?

ИИ CEBRA восстановил видео, которое смотрели мыши по их мозговой активности. Ждём, когда с помощью таких технологий будут пиратить фильмы из кинотеатров.

А вот не самое радужное последствие не просто гонки языковых моделей, но и постоянных нападок на Гугл, который якобы оплошал и не смог. Разработки в области ИИ были в своей научной части очень открытыми, публиковалась масса работ, и те, что выполнены были в Гугле, отличались высоким качеством — именно оттуда пошли трансформеры (буква Т в ChatGPT, ага), и это только один пример. Но вот Гугл объявляет о режиме большей закрытости: еще в феврале руководитель разработки ИИ Джефф Дин объявил, что теперь публикация научных результатов будет разрешена только после выпуска продуктов на основе этих результатов. __One former Google AI researcher described the shift as Google going from “peacetime” to “wartime.”__ Кажется, миновал тот период, когда все дружными усилиями разных компаний и стран растили пирог ИИ; настала пора дележки пирога, когда важней становится размер своего куска, а не всего блюда. Так всегда бывает, но всегда жаль, что наступает этот момент.

AI Designer Нам нужен сильный дизайнер с опытом работы с AI и с видением UI/ UX для AI в 2D / 3D Описание вакансии тут Будем рады поработать вместе

SD +ControlNet +Deflicker (DaVinci Resolve). Также использованы кастомные нойз скрипты и апскейлинг (автор добивал до 2048x2048 на фрейм). Более сильные изменения стиля возможны в угоду консистентности, которая также зависит от используемой модели. Детального гайда и промтов нет, но на первом сегменте про красное бикини, втором слегка анимешный лук, третьем розовое бикини, и четвертом радужные волосы. Ютуб автора Реддит

Чистый, без примесей, text-to-3D! Коль скоро Epic Games до сих пор выясняет этичность использования ИИ, кто-то должен был сделать ИИ-Метахьюмана! Мне написал Макс П. из Synthesis AI и пригнал вот такую новость. Synthesis AI, стартап из Сан-Франциско, специализирующийся на производстве синтетических данных, сегодня объявил, что разработал новый способ создания реалистичных ТРЕХМЕРНЫХ цифровых людей из текстовых подсказок. Компания анонсирует, что ее новая технология преобразования текста в 3D, использует "пайплайны генеративного искусственного интеллекта и визуальных эффектов для создания цифровых людей с высоким разрешением кинематографического качества, которые можно использовать для различных приложений, таких как как игры, виртуальная реальность, фильмы и симуляторы". Ну и дело не столько в качестве, а в подходе. Кто-то наконец-то сделал брутфорсный тренинг моделей на классических полигональных сетках, без всяких нерфов, 2Д-проекций, читов в духе kaedim и вот этого вот всего. На выходе реальные текстурированные 3Д-меши. Synthesis AI сделала собственные модели, используя генеративные архитектуры на основе диффузии для создания разнообразного набора сеток, которые регулируются критическими параметрами, такими как пол, возраст, этническая принадлежность и пр. Слои текстур создаются с использованием отдельной(!) генеративной модели, которая обеспечивает детальное независимое управление(!) Комплексная 3D-модель с высоким разрешением создается путем слияния этих двух основных компонентов. В общем это такой ИИ-Метахьюман с голосовым(текстовым) управлением (хотя управление слайдерами тоже есть). Еще раз - на выходе чистое, рафинированное, генетически немодифицированное 3Д! Synthesis AI специализируется на синтетических данных, поэтому немудрено, что собственная библиотека Synthesis AI, содержащая более 100 тысяч цифровых людей, является базовыми данными, используемыми для обучения моделей. Другие продукты компании, Synthesis Humans и Synthesis Scenarios, уже используют эту библиотеку для решения задач компьютерного зрения с размеченными данными для поддержки разработки возможностей идентификации лиц, мониторинга водителей, аватаров и многого другого. В общем, наконец-то кто-то обГАНил (обдиффузил) полигональные 3Д-сетки, пусть на определенном, но очень востребованном классе объектов - кожаные головы. Это только начало, цитирую: "сочетая генеративный ИИ с пайплайнами кинематографических визуальных эффектов, компании смогут синтезировать мир, включая людей, окружающую среду и объекты". Мы с Максом обсудили дальнейшее обГАНИвание 3Д, а я срочно записался в бету, благо есть административный ресурс влияния. Макс неоднократно зажигал у меня на Ивенте, а психоделические посиделки в киевском "Любимом дяде" с Дэном и Максом до сих пор оказывают на меня влияние. https://venturebeat.com/ai/synthesis-ai-debuts-text-to-3d-technology-for-cinematic-quality-digital-human-synthesis/

Хроники хайпа (XX) Круги по воде от петиции (https://t.me/gonzo_ML/1448) всё ещё расходятся, а Маск тем временем собирает свой стартап-конкурента OpenAI под названием X.AI (https://www.ft.com/content/2a96995b-c799-4281-8b60-b235e84aefe4). Сам OpenAI планирует улучшения в GPT-4, но обучение GPT-5 пока не начинал (https://www.theverge.com/2023/4/14/23683084/openai-gpt-5-rumors-training-sam-altman). Появляется всё больше моделей. Финансовая BloombergGPT, лайтовые LLaMA (https://t.me/gonzo_ML/1324), Alpaca (https://t.me/gonzo_ML/1407), Vicuna, Dolly 2.0 (https://t.me/gonzo_ML/1453). Кажется, что переломной точкой в обществе стал ChatGPT, а появление GPT-4 только добавило к трендам и хайпу. Многие теперь ведут списки событий вокруг ИИ, типа такого “3 неделя от явления GPT-4 народу” (https://www.reddit.com/r/ChatGPT/comments/12diapw/gpt4_week_3_chatbots_are_yesterdays_news_ai/). Народ же создаёт курсы обучения пользованию ChatGPT-4 (модели, которая не существует) и продаёт торговых роботов криптой на ней (хайпы слились воедино, инфобизнес тут как тут). Когда уже GPT/ChatGPT станет нарицательным как ксерокс или гугл? В это время LangChain (https://github.com/hwchase17/langchain), библиотека для склейки вызовов LLM и других тулов, которой всего полгода, поднимает раунд на $10M (https://blog.langchain.dev/announcing-our-10m-seed-round-led-by-benchmark/). Я пока не понял, для чего именно мне самому её использовать кроме как для сборки каких-то proof-of-concept. До продакшн энтерпрайз решений там, кажется, ещё далеко, но раунд должен помочь. Другой интересный экспериментальный проект, Auto-GPT (https://github.com/Significant-Gravitas/Auto-GPT), предназначенный для добавления автономности к GPT, набрал за месяц звёзд на гитхабе больше, чем у PyTorch (https://github.com/pytorch/pytorch). Auto-GPT умеет искать в интернете, синтезировать голос, хранить состояние в векторной базе данных. Умеет также генерить и исполнять код (https://twitter.com/SigGravitas/status/1642181498278408193). Для чего-то полезного рабочего, кажется, использовать сложно, но эксперимент интересный, посмотрим, куда разовьётся. С кодом в принципе может быть и опасно, Моррис когда своего червя запускал тоже не думал, что он весь ARPANET наводнит. Ещё один в чём-то похожий проект -- BabyAGI (https://github.com/yoheinakajima/babyagi), итеративно разбирающий задачи (и создающий новые) и выполняющий их через GPT. Развивается ветка самоулучшения моделей. Сравнительно свежий Self-Refine (https://arxiv.org/abs/2303.17651) улучшает ответ модели через фидбек от самой модели. Это в целом похоже на RLAIF (https://t.me/gonzo_ML/1285). Наверное, стоит отдельного разбора. Другая недавняя работа “Towards Healthy AI: Large Language Models Need Therapists Too” (https://arxiv.org/abs/2304.00416) вводит в дополнение к понятию критика, понятие психотерапевта, и предлагает фреймворк SafeguardGPT. А ещё одна интересная работа, “Generative Agents: Interactive Simulacra of Human Behavior“ (https://arxiv.org/abs/2304.03442), заводит подобно игре Sims множество симулирующих людей агентов, каждый со своей памятью и историей, которые живут своей жизнью в своём сэндбоксе. Сколько нам ещё до 13-го этажа (https://www.imdb.com/title/tt0139809/)?