PHYGITAL+CREATIVE

HuggingAGI HuggingFace announced multi-modal agent API that can automatically chain 100,000+ of HF models (stable diffusion, whisper, OpenAssistant,...) for text, audio, image, video, time-series,… based on your commands. All open-source so it can work locally!

Как LLM применяют к RLьным задачам. 24.05.2023 Ребятки из NVidia и Microsoft Research выложили SPRING: GPT-4 Out-performs RL Algorithms by Studying Papers and Reasoning, в которой рассказали, что сделали фреймворк, и продемонстрировали свой подход к использованию LLMов в RLе. В качестве окружения они взяли The Crafter (скормили прям целую статью по нему в LLM), и получили там SOTA. The Crafter - это визуальное окружение, игрушка по типу Minecraft, но 2д и попроще. Если описать поверхностно, работает это так: Сначала выбираются параграфы из статьи, которые могут быть полезны в генерации контекста. Статья разбивается на параграфы и LLM отвечает вопросы Q_game. Из этих ответов формируются контексты и конкатенируются в один C. Из среды берутся 2 последних изображения, из них вытаскивается текстовое описание d_i, d_i-1 с помощью дескриптора. Также есть набор подготовленных вопросов Q_act . На каждом шаге игры LLM отвечает на вопросы Q_act как в графе показано. LLM дает ответ на вопрос A_v основываясь на контексте C, двух фреймах d_i, d_i-1 и ответе на предыдущий вопрос(ы). Из ответа на последний вопрос поиском по подстроке выбирается лучший экшен. Вижу плюсы: ➕ параметры ллма тренировать не нужно, ибо все делается промптами; ➕ новая SOTA с LLMом. Но есть нюансы: как я понял соту показал только GPT-4; пришлось скормить статью описывающую крафтер целиком в LLM. В целом, выглядит так, что в будущем мы увидим много достижений от LLM based RL.

Инструменты для включения AI в повседневную жизнь, часть 2 В продолжение части 1 про нейронках-помощниках в отедльных вопросах... Мне прислали список с картинки выше, и я решил пойти и потестить несколько сервисов из него. Эти инструменты помогают круто интегрировать AI в посведневную работу и учебу. 🔸Stockimg.ai генеирирует все основные виды графики, которыми оперируют визуальные дизайнеры: от обложек книги и постеров до интерфейсов 🔸Browse.ai создает ботов, которые мониторят и доставают данные из любых сайтов и сервисов под конкретные юзкейсы. 🔸Bardeen.ai делает автоматизацию процессов с помощью AI. Похоже на следующее поколение сервисов типа Zapier и IFTTT. 🔸Namelix.com за несколько секунд создает нейминг и айдентику для бренда по описанию и нескольким ключевым словам. 🔸Postwise.aiнатренирован на миллионах постов из твиттера и умеет писать твиты за вас так, чтобы их хотелось пошарить 🔸Murf.ai синтезирует речь, которая звучит не как робот-автоответчик, а как живой человек. Оч крипово, насколько этот синтез похож на людей. 🔸Rationale.jina.ai— сервис для анализа ситуаций и развития критического мышления. Описав суть вашей ситуации, вы даете сервису покрутить ваш кейс через различные модели, которые помогут вам принять решение. Напоминает первые шаги в автоматизации управленческих консалтеров. 🔸LumaLabs.ai cоздает 3D-сцену на основе фотографий, подгоняет их так, чтобы получился бесшовный и реалистичный 3D. 🔸Artflow.ai создает анимированных 3D-персонажей на основе 2D-фоток и картинок. 🔸Tome.app создает презентацию за вас: придумывает структуру, создает слайды, пишет тексты, генерирует картинки. 🔸Chatdoc.com берет от вас большой документ (н-р, диссертацию или книгу) и позволяет «общаться» с ним в чат-интерфейсе, узнавая все интересующие детали, делая выжимки и т.п. Пока звучит лучше, чем работет. 🔸Detangle.ai создает умные и четкие саммари из любых документов и ссылок в красивом интерфейсе. Увы, всё ещё вейтлист. Пример саммари.

https://twitter.com/stevemills/status/1651870956447584259?s=46&t=IO_D6IRtK8iS_1pLCdDWnA

Кстати, как точно заметил Андрей Себрант, на презентации Эппле НИ РАЗУ не сказали слова МЕТАВЕРС! Ни разу. Шлем-маска есть. Метаверса нет. Живите теперь с этим. Без метаверса.. https://t.me/techsparks/4072

Коллаборация Midjourney и Stable Diffusion Чтобы сделать эти плакаты, автор сначала использовал Midjourney, он генерировал изображения, пока не получил то, что ему подходило. Например промпт для первой картинки был New pirate of the caribbean movie poster, 2025, dramatic, epic, 32k UHD, cinematic lighting, fully detailed, colorful --v 5 --ar 5:10 --q 2 Советую посмотреть итог в полном разрешении 1, 2, 3 Затем он использовал Ultimate SD Upscale от Stable Diffusion, для того чтобы наполнить изображения деталями, так как этот тип апскейла умеет дорисовывать детали которых изначально нет. Благодаря чему можно получить очень высокое качество и детализацию на огромных разрешениях. Сэмплер использовался DDIM, уровень шумоподавления 0,28/0,35. В Upscaler выбрал 4x-UltraSharp. В Extra он увеличил размер плаката до x2 и снова использовал тот же апскейлер. Затем поместил плакат в фотошоп и разрезал его пополам, чтобы у него было две части изображения, чтобы они образовывали квадраты. Он помещал один за другим кусочки своего плаката в SD и делал то же самое, что подробно описал в начале. После этого он сделал ретушь в фотошопе. Тут в качестве апскейлера был использован 4x-UltraSharp. Напоминаю что при SD апскейле в промпте оставляем только ключевые слова стиля и качества. Конкретные объекты убираем. UltraSharp собственно делает то, как и называется. При увеличении добавляет резкости. Выложил его в нашей группе с полезностями если захотите его опробовать в ваших работах. Канал Нейронная эстетика

Промпт инжиниринг для Stable Diffusion Рассказываем в небольшой статье-подборке о различных способах написания промптов и возможностях оптимизации этого процесса с помощью существующих инструментов. Для удобства также сделали подборку инструментов на AI Library #prompttips#promptops

Вместо тысячи слов про Apple Vision Pro P.S. мысли нашего CEO тут

https://twitter.com/MetaAI/status/1665759715765411840?s=20

🍭 ИИ продолжает волшебство в редакторах: с помощью нейронки VideoComposer можно выбрать стиль видео, анимировать движения, передвинуть предметы, добавить пролеты, заполнить пустоты в ролике и многое другое. Система генерирует схематичные видео не только по текстовой подсказке, но и благодаря заданному стилю, фото, образцудвижения, эскизу и даже нужной глубине. Поэтому результат выходит ровно таким, каким его видит пользователь. Демо пока нет, но обещают выложить код. #AI | Not Boring Tech

Мои мысли про Apple Vision Pro На мой взгляд, Apple поспешили, то что они готовят что-то интересное в XR было понятно еще 10 лет назад, однако то что презентовали не является тем, что нужно рынку и они привыкли выходить на готовый рынок, а XR еще очень далек от этого. Пара моментов - Форм-фактор. На данный момент помимо технологических особенностей не вижу прорыва в этом у Apple. А также никто не задумывается о психологических и когнитивных факторах использования очков, и что может быть только в Калифорнии люди готовы надевать на себя это - они уже перебробовали микродозинг, все виды наркотиков и совершенно не понимают как работать с чувствами - поэтому подавай новую игрушку) - Контент. В презентации не было показано ни одной причины зачем одевать очки, у меня Magic Leap к примеру с собой всегда - но я очень редко их надеваю, хотя опыт в них потрясающий. Учитывая текущий Generative AI хайп могли бы и показать некоторые примеры, которые сейчас все вокруг пытаются сформулировать и которыми мы давно занимаемся - когда AI помогает создавать контент в XR. И на самом деле даже Magic Leap интереснее показывает возможности, Apple правда может 2.8 триллиона долларов помогут добиться своего результата и экосистема разработчиков. Однако, мы видим как Meta из-за метаверса потеряла в цене минимум x2, а Microsoft почти или не почти закрыла Microsoft Hololens. - Интерфейс. Понятно глаза, понятно трекинг рук. Самое интересное это Spatial Audio на мой взгляд - Цена. 3500$ здрасьте) Но в любом случае круто и мы постепенно двигаемся к фиджитал миру)

Дополнение к новости о Vision Pro. Появится в продаже все-таки не осенью, а в начале следующего года. На старте только в США. Цена кусается. За гаджет будут просить на старте $3499. Плюс, судя по видео, можно будет подключать контроллер от PlayStation 5.