Machinelearning

⚡️Вышла Z-Image Base. Tongyi выложила фундаментальную версию модели семейства Z-Image. В отличие от ранее выпущенной Turbo, это полновесный трансформер, ориентированный на максимальное качество и управляемость генерации . Z-Image отлично подходит для дообучения, тренировки LoRA и интеграции с ControlNet. Модель поддерживает CFG и работу с негативными промптами, генерируя результат за 28–50 шагов. 📌Лицензирование: Apache 2.0 License. 🟡Модель 🟡Демо HF 🟡Демо ModelScope 🟡Archive 🟡ComfyUI WorkFlow 🖥GitHub @ai_machinelearning_big_data #AI#ML#Diffusion#ZImage#Tongyi

🌟Minimax VTP: гибридный токенизатор для диффузии на стероидах. В диффузионных архитектурах считается, что масштабировать первую стадию, VAE - занятие неблагодарное. Eго задача - превратить пиксели в латентный код и обратно, а добавление ему параметров или данных никак не помогает основной модели DiT генерировать изображения лучше. MiniMax решила поменять правила игры и представила Visual Tokenizer Pre-training (VTP). Их гипотеза заключается в том, что токенизатор должен не просто механически "зиповать" пиксели, а понимать семантику изображения. Чтобы реализовать это, они объединили в обучении токенизатора сразу 3 лосса: 🟢Стандартный pixel reconstruction loss; 🟢Self-supervised learning (через Masked Image Modeling и дистилляцию, как в DINOv2); 🟢Image-text contrastive loss (как в CLIP). Это заставило латентное пространство структурироваться семантически: теперь векторы кодировали смыслы, а не просто цветовые пятна. 🟡Теоретические выкладки подтвердились на практике. Оказалось, что качество генерации напрямую зависит от "интеллекта" токенизатора. Не меняя архитектуру и гиперпараметры самого DiT и не увеличивая затраты на его обучение, просто за счет использования VTP-токенизатора удалось улучшить метрику FID на 65.8% и ускорить сходимость модели в 3 раза. 🟡Но главное открытие - это то, что заработал закон масштабирования для Stage 1. Теперь, чем больше вычислительной мощности и данных вливается в претрейн токенизатора, тем качественнее становится итоговая генерация, чего раньше с обычными VAE достичь было невозможно. 🟡В открытом доступе опубликованы 3 чекпоинта VTP с различием по количеству параметров: 🟠VTP-Large - 0.7B; 🟠VTP-Base - 0.3B; 🟠VTP-Small - 0.2B. 📌Лицензирование: MIT License. 🟡Набор моделей 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI#ML#Diffusion#Tokenizer#Minimax

⚡️BERT is just a Single Text Diffusion Step Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею. Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT. Как работаетBERT? В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты. В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст. То есть BERT делает один шаг очистки - угадывает замаскированные слова. А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст. Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор. В примере: - Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText. - На каждом шаге часть токенов заменяется на <MASK>, модель восстанавливает их, потом снова маскирует — и так несколько раз. - После нескольких итераций модель способна генерировать связный текст, даже без автогенеративного декодера (как у GPT). 📈Результаты - Модель генерирует осмысленный текст, хотя и не идеально связный. - Качество улучшалось по мере добавления шагов диффузии. - По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only. Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами. Главная мысль: BERT можно считать одноступенчатой версией текстовой диффузии. Если добавить больше шагов, то vs получаем диффузионный генератор текста. Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе. https://nathan.rs/posts/roberta-diffusion/ @ai_machinelearning_big_data #AI#Diffusion#RoBERTa#BERT#LanguageModel#MLM#Research

🧠 Как «вклеить» объект в картинку так, чтобы он выглядел естественно? Это одна из самых сложных задач в семантической генерации: 🔸 нужно сохранить структуру сцены 🔸 вставить объект по текстовому описанию 🔸 и найти уместное место, а не просто налепить поверх Большинство моделей с этим не справляются — объект добавляется не к месту или портит фон. Новый метод Add-it от NVIDIA решает эту задачу без обучения модели. Он расширяет механизм внимания в диффузионных моделях, чтобы учитывать сразу три источника: 1. Оригинальное изображение 2. Текстовый промпт 3. Промежуточную сгенерированную картинку 📌 Такой подход позволяет: – сохранить геометрию сцены – встроить объект туда, где он действительно мог бы быть – не терять мелкие детали и текстуры 📊 Результаты: – Add-it без дообучения обходит supervised‑модели – На новом бенчмарке Additing Affordance показывает SOTA результат по «естественности размещения» – В слепых тестах люди выбирают его в 80% случаев – Улучшает метрики качества генерации 🟠Github: https://github.com/NVlabs/addit 🟠Demo: https://huggingface.co/spaces/nvidia/addit 🟠Paper: https://arxiv.org/abs/2411.07232 🟠Project: https://research.nvidia.com/labs/par/addit/ @ai_machinelearning_big_data #NVIDIA#Diffusion#Addit#StableDiffusion#AIgen#ControllableGeneration