Точки над ИИ

Runway становится еще более киношным Теперь кадры можно аутпейнтить (расширять контекст за счет зум-аута) и далее возвращаться обратно. Такое расширение можно делать не только по промпту, но и по референсному изображению!

Чувствую следующий год будет очень интересным Появляется все больше примеров "симуляций мира". Простое объяснение: это управление движением в реальном времени на уровне кадров в генеративной модели. Все это про создание реалистичных миров с бесконечным генеративным контентом, создание симуляций в научных и развлекательных целях. Пример в посте – проект The Matrix. Проект направлен на создание бесконечно генерируемого мира с реалистичной графикой и возможностью взаимодействия в реальном времени. Система обеспечивает точное управление на уровне кадров, визуальные эффекты и бесконечные возможности для исследования. Она обучена на данных из AAA-игр, таких как Forza Horizon 5 и Cyberpunk 2077, а также на реальных видеоматериалах, что позволяет пользователям исследовать разнообразные ландшафты, включая пустыни, города и леса, в непрерывных видеороликах. Скоро у них выйдет демка. Очень жду. Пока что визуально это одна из самых "не галлюционирующих" моделей мира.

Давно не было про речь PlayDialog — это голосовой ИИ от Play.ai, который умеет красиво говорить, с эмоциями, интонациями и настроением. Подходит для озвучки, подкастов и любых проектов, где нужен реально живой голос. Ещё есть API. Очень естественно звучащий синтез речи. #voice

Такая находка. 500 успешных бизнес-кейсов применения ML/AI в процессах крупнейших компаний и корпораций. Все удобно собрано в эйртебл-табличке, к каждому кейсу есть статья-источник. Вот ссылка. #library

Похоже что это первый AI-продукт за долгое время с которым я провел так много времени подряд с максимальным включением и очень сильными эмоциями от результата. За последние 2 дня я провел 10 часов в Suno. Suno это стартап, который создали выходцы из Кембриджа…

Зацените звучание в Suno v4.0 Звук стал намного чище, уже не так режет слух посторонний шум и дисторшн. Вот несколько примеров треков на новой версии: раз, два, три. #music

Для всех, кто хочет поиграть в гейм-дизайнера, разработчика и 3D-художника. Очень залипательный геймдев-конструктор на базе LLM. Называется Rosebud. Внутри максимально-понятный интерфейс. Вы выбираете 3D или 2D тип игры, дальше общаетесь с чатом и смотрите на изменения в реальном времени. Далее игру можно опубликовать и она попадет в каталог с сотней игр, сделанных на платформе. #gamеdev

Нам с вами в копилочку гайдов. Руководство по составлению промптов для Stable Diffusion 3.5. Внутри общие рекомендации по структуре промптов, отдельным стилистикам и отрицательным промптам.

Про переодевалки Прошло уже больше года с момента, когда я в последний раз тестировал Superlook AI. Тут писал про это, а тут даже снял рилс. Сервис сильно обновился – от интерфейса до функционала. Обновилась сама примерочная, появились аватары много пресетов стилей, а самое главное - теперь есть API. Ну и забавный момент, я такого еще не встречал: во время генерации лука на экране загрузки висит монетка по которой можно тапать, и ваши монеты реально копятся на счет аккаунта😅 Пока не понял – можно ли с ними что-то делать. Ну и инсайт/сюрприз дня – сервис, оказывается, запилили в студии Toonbox (создатели легендарного Mr. Freeman). #fashion

AutoVFX: Да простит меня Даня, но щас вот за VFX. Не чокаясь. Это очень забавная работа китайских студентов из Иллинойса. Но это прям полноценная попытка сделать однокнопочный Гудини или Майю. Вместе с Нюком до кучи. Замысел на миллион - загружаете видео и голосом говорите, каких эффектов навалить и как приподвзорвать объекты в сцене. И оно такое - апажалста. Я сначала дам цитату, а потом разберу работу, уж больно лихие амбиции (в духе этого канала) "Мы представляем AutoVFX, фреймворк, который автоматически создает реалистичные и динамичные VFX-видео из одного видео и инструкций на естественном языке. Используя нейро-3Д-моделирование сцены, генерацию кода на основе LLM и физическую симуляцию, AutoVFX способен обеспечить физически корректные, фотореалистичные эффекты, которыми можно управлять непосредственно с помощью инструкций на естественном языке." Каково? Поглядите примеры тут: https://haoyuhsu.github.io/autovfx-website/ А теперь пробежимся, из какого опен-сорса и палок они собирают эту монструозную конструкцию. Gaussian Splatting submodules diff-gaussian-rasterization segmentation & tracking modules Grounded-Segment-Anything and GroundingDINO recognize-anything lighting estimation modules PyTorch3D Trimesh Tracking-Anything-with-DEVA По дороге ставится Блендор! We use BakedSDF implemented in SDFStudio for surface reconstruction. Please make sure to use our custom SDFStudio for reproducibility. We recommend to create an extra environemnt for this part since CUDA 11.3 has been tested on this repo. Это больше похоже, конечно, на эксперимент и дипломную работу, но безумство и отвага меня восхищают. Почитайте их Гитхаб, это прям дерзко: https://github.com/haoyuhsu/autovfx @cgevent

OpenAI продолжает подкидывать нам шоукейсы, сделанные на Sora. Дайте уже доступ поскорее, пока всякие Kling'и не захватили рынок🥲

Я как-то пропустил интервью у Джо Рогана с первым подопытным, которому вживили Neuralink. Из забавного, цитата: «У меня буквально аимбот в голове» Он в восторге от точности и чёткости работы чипа. Он много играет в ПК-игры и считает, что через несколько лет необходимо будет создать отдельные лиги для геймеров, потому что они будут на «абсолютно другом уровне». Полный выпуск по ссылке.