Новый универсальный дрон DJI Air 2S
Пожалуй, я буду разбавлять длинные статьи небольшими заметками из мира технологий, а то канал ощущается тяжеловесным. Но, чтобы не быть бестолковым агрегатором новостей, буду дополнять собственным мнением и/или опытом, связанным с темой.
Компания DJI только что выпустила новый квадрокоптер — DJI Air 2S. Складное и достаточно компактное устройство весом 600г, является своеобразным гибридом линеек Mavic Mini и Mavic Air. Кстати, обратите внимание на отсутствие слова Mavic в названии. Хотя на офсайте дрон находится в разделе Mavic, но теперь это просто DJI Air, что намекает на полностью отдельную линейку.
Из важных особенностей: дюймовый сенсор, который по заявлению производителя может чисто снимать даже в темноте. По личному опыту могу сказать, что в темноте дроны отрабатывают лучше, чем от них ожидаешь, приложу ниже свой снимок Петропавловки с DJI Mavic Air первого поколения. Ещё формально заявлен 8-кратный зум, но это ерунда, потому что он цифровой — тот же эффект получится, если растягивать картинку в видеоредакторе.
И второй важный момент — акцент на автоматизацию. В предыдущих моделях тоже были полуавтоматические режимы — дрон облетает вокруг тебя или, например, сам подлетает в точку над тобой и начинает подниматься, смотря вниз. Я почти никогда этими режимами не пользовался, потому что вручную всегда снимешь лучше, если уметь. Но это показывает характерную тенденцию — способность быстро получать сгенерированный контент для условных соцсетей. В своё время телефоны вытеснили с потребительского рынка большие фотокамеры не только из-за того, что телефон у каждого с собой, но и из-за простоты получения результата, который годится для демонстрации широким массам. В отдельной камере ты можешь долго возиться с настройками и фотошопом, а затем получить крутой результат. В телефоне ты можешь нажать одну кнопку и получить сносный результат, который отправишь в Инстаграм. С учётом того, что время жизни контента в интернете сокращается, идёт переход на форматы вроде Историй и коротких роликов — тенденция очевидна.
Здесь добавили режимы, благодаря которым дрон сам летает вокруг тебя несколько минут в разных позах, а затем сам же склеивает из этого типа кинематографичное видео. Это гораздо хуже, чем снимать самому, если ты умеешь, но гораздо лучше, чем могут (и хотят!) делать 90% людей.
Чтобы внедрить эту функцию, DJI якобы улучшили определение препятствий и режим слежения за движущимся объектом. По опыту могу сказать, что и то и другое — полный отстой, даже у лучшей в мире дроно-компании. Хвалёное определение препятствий полностью бессильно перед ветками и проводами — то есть тогда, когда оно действительно нужно. Потому что стену и ствол дерева я без проблем замечу сам. Что касается ActiveTrack (слежение за целью), то, опять же, оно работает нормально только при полном отсутствии препятствий. Вот как в рекламных роликах по ссылке, которую я привёл — если ты едешь по чистому полю или берегу моря. В реальных условиях даже небольшой ряд кустов вокруг дороги делает функцию неюзабельной. И вторая проблема — общая низкая скорость этих дронов. Здесь заявляют около 70 км/ч в спортивном режиме в безветрие. По факту получается 40-50 км/ч, даже для слежения за велосипедом скорости маловато, а слежение за автомобилем или мотоциклом адекватно организовать не получится.
Тем не менее, при всех недостатках новая модель выглядит, как крутой универсальный дрон на все случаи жизни, и в особенности для путешествий (если вы не боитесь, что в аэропорту заставят его выкидывать). Обычная версия стоит $999, а расширенный комплект $1299, что по меркам качественных дронов не дорого.
#gadgets#tech
Apple выпустила необычную ИИ-модель для разработчиков
Apple тихо выложила на Hugging Face новую модель DiffuCoder-7B-cpGRPO с интересной особенностью.
Вместо классической генерации кода слева направо, она может писать код в любом порядке и улучшать несколько блоков одновременно, что делает генерацию быстрее.
Модель основана на диффузионном подходе (как в Stable Diffusion для картинок) и построена поверх Qwen2.5-7B от Alibaba. Показала прирост 4.4% на популярных бенчмарках моделей для программирования.
Особенность: регулируя температуру, можно менять порядок генерации токенов - от строгого последовательного до гибкого хаотичного.
#Apple#Coding#Diffusion
------
@tsingular
🌟Minimax VTP: гибридный токенизатор для диффузии на стероидах.
В диффузионных архитектурах считается, что масштабировать первую стадию, VAE - занятие неблагодарное.
Eго задача - превратить пиксели в латентный код и обратно, а добавление ему параметров или данных никак не помогает основной модели DiT генерировать изображения лучше.
MiniMax решила поменять правила игры и представила Visual Tokenizer Pre-training (VTP).
Их гипотеза заключается в том, что токенизатор должен не просто механически "зиповать" пиксели, а понимать семантику изображения.
Чтобы реализовать это, они объединили в обучении токенизатора сразу 3 лосса:
🟢Стандартный pixel reconstruction loss;
🟢Self-supervised learning (через Masked Image Modeling и дистилляцию, как в DINOv2);
🟢Image-text contrastive loss (как в CLIP).
Это заставило латентное пространство структурироваться семантически: теперь векторы кодировали смыслы, а не просто цветовые пятна.
🟡Теоретические выкладки подтвердились на практике.
Оказалось, что качество генерации напрямую зависит от "интеллекта" токенизатора. Не меняя архитектуру и гиперпараметры самого DiT и не увеличивая затраты на его обучение, просто за счет использования VTP-токенизатора удалось улучшить метрику FID на 65.8% и ускорить сходимость модели в 3 раза.
🟡Но главное открытие - это то, что заработал закон масштабирования для Stage 1.
Теперь, чем больше вычислительной мощности и данных вливается в претрейн токенизатора, тем качественнее становится итоговая генерация, чего раньше с обычными VAE достичь было невозможно.
🟡В открытом доступе опубликованы 3 чекпоинта VTP с различием по количеству параметров:
🟠VTP-Large - 0.7B;
🟠VTP-Base - 0.3B;
🟠VTP-Small - 0.2B.
📌Лицензирование: MIT License.
🟡Набор моделей
🟡Arxiv
🖥GitHub
@ai_machinelearning_big_data
#AI#ML#Diffusion#Tokenizer#Minimax
⚡️Вышла Z-Image Base.
Tongyi выложила фундаментальную версию модели семейства Z-Image.
В отличие от ранее выпущенной Turbo, это полновесный трансформер, ориентированный на максимальное качество и управляемость генерации .
Z-Image отлично подходит для дообучения, тренировки LoRA и интеграции с ControlNet.
Модель поддерживает CFG и работу с негативными промптами, генерируя результат за 28–50 шагов.
📌Лицензирование: Apache 2.0 License.
🟡Модель
🟡Демо HF
🟡Демо ModelScope
🟡Archive
🟡ComfyUI WorkFlow
🖥GitHub
@ai_machinelearning_big_data
#AI#ML#Diffusion#ZImage#Tongyi
🧠 Как «вклеить» объект в картинку так, чтобы он выглядел естественно?
Это одна из самых сложных задач в семантической генерации:
🔸 нужно сохранить структуру сцены
🔸 вставить объект по текстовому описанию
🔸 и найти уместное место, а не просто налепить поверх
Большинство моделей с этим не справляются — объект добавляется не к месту или портит фон.
Новый метод Add-it от NVIDIA решает эту задачу без обучения модели.
Он расширяет механизм внимания в диффузионных моделях, чтобы учитывать сразу три источника:
1. Оригинальное изображение
2. Текстовый промпт
3. Промежуточную сгенерированную картинку
📌 Такой подход позволяет:
– сохранить геометрию сцены
– встроить объект туда, где он действительно мог бы быть
– не терять мелкие детали и текстуры
📊 Результаты:
– Add-it без дообучения обходит supervised‑модели
– На новом бенчмарке Additing Affordance показывает SOTA результат по «естественности размещения»
– В слепых тестах люди выбирают его в 80% случаев
– Улучшает метрики качества генерации
🟠Github: https://github.com/NVlabs/addit
🟠Demo: https://huggingface.co/spaces/nvidia/addit
🟠Paper: https://arxiv.org/abs/2411.07232
🟠Project: https://research.nvidia.com/labs/par/addit/
@ai_machinelearning_big_data
#NVIDIA#Diffusion#Addit#StableDiffusion#AIgen#ControllableGeneration
#python#comfyui#diffusion#flux#genai#mlsys#quantization
Nunchaku is a fast and efficient engine that runs 4-bit neural networks using a special method called SVDQuant, which compresses models to use less memory and speed up processing by 2 to 5 times compared to older methods. It supports advanced AI models for tasks like high-quality text-to-image generation and image editing, working best on modern NVIDIA GPUs. You can easily install and use it with ComfyUI, and it has active community support on Slack, Discord, and WeChat. This means you can generate or edit images quickly with less computing power, saving time and resources. It also offers tutorials and example workflows to help you get started smoothly.
https://github.com/nunchaku-tech/ComfyUI-nunchaku
⚡️BERT is just a Single Text Diffusion Step
Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею.
Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT.
Как работаетBERT?
В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты.
В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст.
То есть BERT делает один шаг очистки - угадывает замаскированные слова.
А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст.
Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор.
В примере:
- Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText.
- На каждом шаге часть токенов заменяется на <MASK>,
модель восстанавливает их, потом снова маскирует — и так несколько раз.
- После нескольких итераций модель способна генерировать связный текст,
даже без автогенеративного декодера (как у GPT).
📈Результаты
- Модель генерирует осмысленный текст, хотя и не идеально связный.
- Качество улучшалось по мере добавления шагов диффузии.
- По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only.
Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами.
Главная мысль:
BERT можно считать одноступенчатой версией текстовой диффузии.
Если добавить больше шагов, то vs получаем диффузионный генератор текста.
Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе.
https://nathan.rs/posts/roberta-diffusion/
@ai_machinelearning_big_data
#AI#Diffusion#RoBERTa#BERT#LanguageModel#MLM#Research
#python#audio_generation#diffusion#image_generation#inference#model_serving#multimodal#pytorch#transformer#video_generation
vLLM-Omni is a free, open-source tool that makes serving AI models for text, images, videos, and audio fast, easy, and cheap. It builds on vLLM for top speed using smart memory tricks, overlapping tasks, and flexible resource sharing across GPUs. You get 2x higher throughput, 35% less delay, and simple setup with Hugging Face models via OpenAI API—perfect for building quick multi-modal apps like chatbots or media generators without high costs.
https://github.com/vllm-project/vllm-omni
#python#deep_learning#diffusion#flax#flux#hacktoberfest#image_generation#image2image#image2video#jax#latent_diffusion_models#pytorch#score_based_generative_modeling#stable_diffusion#stable_diffusion_diffusers#text2image#text2video#video2video
The Hugging Face Diffusers library is a powerful and easy-to-use tool for generating images, audio, and 3D molecular structures using advanced diffusion models. It offers ready-to-use pretrained models and flexible components like pipelines, schedulers, and model building blocks, allowing you to quickly create or customize your own diffusion-based projects. Installation is simple via pip or conda, and you can generate high-quality outputs with just a few lines of code. This library benefits you by making cutting-edge AI generation accessible, customizable, and efficient, whether you want to run models or train your own[1][2][5].
https://github.com/huggingface/diffusers