PHYGITAL+CREATIVE

⏹️Анпакинг курса «AI в интерьере» Нейросети становятся частью стандартного рабочего процесса в дизайне интерьеров. Они ускоряют этап концепции, позволяют точнее формулировать идеи и визуализировать их в рамках проектных ограничений. ▶️На курсе «AI в интерьере» вы научитесь интегрировать нейросети в свой профессиональный workflow: от анализа задач до визуальной подачи без потери авторского почерка. Вы освоите более 20 AI-инструментов в одном браузерном интерфейсе Phygital+ с бесплатным доступом к сервису на время обучения. ➡️ А 15 октября команда Phygital+ проведёт конференцию AI BUSINESS CONF с классными спикерами из Яндекса, Альфа Банка, X5 Tech и других крупных компаний. Регистрируйтесь на мероприятие по ссылке. #AI

Meta* представили AudioCraft - новый инструмент искусственного интеллекта, который способен генерировать высококачественный реалистичный звук и музыку на основе простых текстовых подсказок #music#AI https://about.fb.com/news/2023/08/audiocraft-generative-ai-for-music-and-audio/ *Meta признана в России экстремистской организацией @HotDigital

🖌️ Управляемое изменение изображений с помощью DragGAN В создании визуального контента, который отвечает нуждам пользователя, часто требуется гибкое и точное управление позой, формой, выражением и компоновкой сгенерированных объектов. В данной работе исследуется более эффективный и малоизученный способ управления GAN, позволяющий "перетаскивать" любые точки изображения для точного достижения целевых точек в интерактивном режиме. Для этого предлагается DragGAN, состоящий из двух основных компонентов: 1) контроль движения на основе признаков, который направляет контрольную точку к целевой позиции, и 2) новый подход к отслеживанию точек, использующий дискриминативные признаки GAN для определения позиции контрольных точек. С помощью DragGAN, любой может деформировать изображение с точным контролем над перемещением пикселей, тем самым меняя позу, форму, выражение и компоновку различных категорий, таких как животные, автомобили, люди, пейзажи и т.д. Поскольку эти манипуляции выполняются на обученном генеративном изображении GAN, они способны создавать реалистичные результаты даже в сложных сценариях, таких как воссоздание закрытого контента и деформация форм, которые последовательно следуют за жесткостью объекта. 🔗 Website: https://vcai.mpi-inf.mpg.de/projects/DragGAN/ 📝 Paper: https://vcai.mpi-inf.mpg.de/projects/DragGAN/data/paper.pdf 🧪 Demo: https://huggingface.co/spaces/radames/DragGan 👨‍💻 Github: https://github.com/XingangPan/DragGAN #ai#gan#image

Стартап 3DFY открыл доступ к функции “3DFY Prompt”. Вводим текстовый запрос, получаем 3D-модельку. После того, как модель была сгенерирована, она доступна для скачивания в популярных расширениях (.glb, .blend, .fbx) #3D#AI https://app.3dfy.ai/ @HotDigital

Как писать промпты в Stable diffusion Нашёл две полезные статьи по составлению запросов. В статье Написание промптов для Stable Diffusion: подборка инструментов и оптимизация описаны основы и хитрости по получению хорошего изображения. А 3 ways to control lighting in Stable Diffusion неплохо её дополняет и рассказывает о работе с освещением. #AI#полезное

Что лучше работает Prompting или Finetunning? Размышления Andrej Karpathy на тему сравнения prompting (включая embeddings) и finetuning для обучения LLMs (Large Language Model). Вот что он говорит о разных моментах этого процесса: 1. Zero-shot prompting (решение задач без примеров) - это когда модель решает задачу без предоставления примеров решений, опираясь исключительно на свои эмбеддинги. 2. Few-shot prompting (решение задач с несколькими примерами) - это когда модель получает небольшое количество примеров прежде, чем решать задачу, используя свои эмбеддинги в сочетании с предоставленными примерами. 3. Finetuning (дообучение) - процесс обучения модели на основе конкретных примеров и данных, чтобы улучшить ее способности в решении задач, адаптируя эмбеддинги и параметры модели. В контексте сравнения prompting и finetuning становится ясно, что достижение высокой точности в решении множества задач, применяя только zero-shot или few-shot prompting, - это замечательно (подкладывать примеры как preprompt). Однако для достижения наилучших результатов необходимо применять finetuning, особенно когда речь идет о конкретных, четко определенных задачах, и доступно много данных для обучения. Стоит учесть, что маленькие модели, в отличие от больших, практически не в состоянии обучаться при помощи zero-shot или few-shot prompting, но их все равно можно настроить с тщательным выбором сложности задачи и методов решения. #ai#prompting#finetunning

Мультимодальный AI Meta: будущее поиска, генерации и взаимодействия с виртуальным миром в 6 типах данных Мультимодальность постепенно проникает в нашу жизнь. Meta AI зарелизила в opensource работу с 6 модальностями, которая не только позволяет работать с текстом, изображениями и видео, но также с инфракрасными изображениями и другими данными, что открывает возможности работы с AR/VR информацией. Вот какие возможности это открывает: Мультимодальный поиск (аля Google, но одновременно по 6 модальностям). Пример: найди виртуальный мир, в котором есть пространство размером с футбольное поле, и в котором были танцующие котики. Арифметические вычисления с векторами. Если раньше "кошка" и "cat" для LLM были одно и то же по смыслу, то теперь 3D-модель кота и слово "cat" будут равносильны, а "3D-модель кота" + слово "счастливый" - фото усов позволит найти видео улыбающегося кота без усов. Кросс-модальная генерация (сейчас отдельно генерируем картинки и видео, а будем генерировать объекты в 6ти модальностях одновременно). Пример: "сгенерируй мне AR-мир с котиками на основе звука, как они мяукают". Исследование Meta AI в области мультимодальности является значительным шагом вперед в развитии AI и открывает новые возможности для работы с разнообразными данными. 📝 Paper: https://dl.fbaipublicfiles.com/imagebind/imagebind-paper.pdf 👨‍💻 Github: https://github.com/facebookresearch/imagebind #ai#multimodal#metaai#ar#vr#llm#opensourсe

🍭 ИИ продолжает волшебство в редакторах: с помощью нейронки VideoComposer можно выбрать стиль видео, анимировать движения, передвинуть предметы, добавить пролеты, заполнить пустоты в ролике и многое другое. Система генерирует схематичные видео не только по текстовой подсказке, но и благодаря заданному стилю, фото, образцудвижения, эскизу и даже нужной глубине. Поэтому результат выходит ровно таким, каким его видит пользователь. Демо пока нет, но обещают выложить код. #AI | Not Boring Tech

🌱 Бот на основе GPT-4 обучается играть в Minecraft — он самостоятельно исследует мир, осваивает новые навыки, строит дома и учится выживать. Нейронка генерирует команды, исправляет ошибки и сохраняет новые навыки в базе, чтобы позже их повторять. В сравнении с предыдущей версией бота, о которой я писал тут, новая в 3 раза эффективнее находит уникальные предметы и продвигается по открытому миру в 15 раз быстрее. У ИИ-агентов есть реальное применение — они смогут тестировать игры без участия людей или обыгрывать игроков в Minecraft на турнирах, как это было с шахматами. #AI | Not Boring Tech

Гайд: создаём мультфильм с помощью Midjourney Думаете, с Midjourney можно только генерировать картинки? А как насчет целого мультика?! Пользователь поделился своим собственным туториалом аж на 167 страниц. В нём вы найдёте, как: • Создать и анимировать персонажа; • Сделать фон; • Добавить 3D-эффекты и многое другое для создания крутой AI-мультипликации. А также в документе рассказано про все настройки, раскадровки, анимации, постпродакшен в After Effects, Photoshop и так далее. Ознакомиться можно тут*клик* #AI

🪴 Nvidia показала нейросеть NeuralVDB, которая генерирует невероятно детализированную графику. Система в реальном времени определяет, как свет отражается от разных материалов и сразу применяет это на 3D-моделях. Реалистично воспроизводится керамика, отпечатки пальцев, пятна и пыль. Производительность увеличивается в 10 раз, а детализация аж в 16 раз. Не беспокойтесь о нагрузке на видеокарту — обещают, что объем памяти требуется в 100 раз меньше, чем нужно было прежде. Фантастика! #AI | Not Boring Tech

​​Prompt Engineering Guide. Кроме шуток, но при использовании LLM в особенности в пользовательских интерфейсах типа ChatGPT особое значение имеет промпт. Иногда бывает, что ты задаешь вопрос и попадаешь под ограничение модели – это может быть ограничение восприятия, потому что ты неправильно задаешь вопрос. Делюсь с вами ссылкой на бесплатный и очень классный гайд (прям пошагово можно кликать, мне очень зашло так) на тему промптинга. Полезно и если вы сложные вещи просите (писать код вам) и даже более-менее простые, но с определенной логикой. Сайт: https://www.promptingguide.ai/introduction/basics Github: https://github.com/dair-ai/Prompt-Engineering-Guide Заскринил вам секцию, где начинаются техники промптинга. А слева еще и видны модели, для которых такие техники подходят. Ну чтобы вы понимали, что это не только ChatGPT: – Flan – ChatGPT – LLaMA – GPT-4 – 46(!) других моделей Почему именно сейчас решил написать? Я недавно подписался на очень прикольный канал “Мысли Рвачева” @rvnikita_blog, почитал про автора, посмотрел пару постов и решил остаться. Потом он опубликовал пост (https://t.me/rvnikita_blog/358) на тему промптинга как раз тогда, когда я проверял (и довольно успешно, но кустарно) одну тему с ChatGPT. Я отметил его себе. А потом мой любимый канал @theedinorogblog Димы Филонова в подборке сказал, что кто-то подсуетился и стал продавать курсы, как пользоваться ChatGPT. И меня триггернуло, я подумал, ну вот вам гайд, как писать промтпы туда – бесплатно, и выглядит супер просто! К слову, канал “Мысли” я подсмотрел также у Димы в посте (https://t.me/Theedinorogblog/4468), где его подписчики делились своими каналами. Я посмотрел не все, конечно, но многие. Так что вдвойне все связано. @proVenture #ai#полезное