Machinelearning

🌟Self-Flow: обучение диффузионных моделей без внешних энкодеров от Black Forest Labs. Black Forest Labs и MIT решили проблему, с которой сталкиваются диффузионные и flow-модели: чтобы генерировать качественные картинки, им нужны сильные семантические представления. Обычно их берут снаружи - выравнивают внутренние признаки модели с признаками энкодера вроде DINOv2. Метод работает, но есть нюанс. Чем сильнее энкодер, тем хуже результат: в экспериментах замена DINOv2-B на более мощный DINOv3-H+ стойко ухудшала FID. Модель привязывалась к фиксированным внешним представлениям и переставала масштабироваться. На видео и аудио выравнивание с энкодерами V-JEPA2 и MERT вообще давало результат хуже ванильного flow matching. 🟡Self-Flow предлагает механизм Dual-Timestep Scheduling В стандартном flow matching все токены нойзятся одинаково, поэтому модель решает задачу локально и не учится строить глобальные связи. Self-Flow сэмплирует 2 разных уровня шума и случайно назначает их разным токенам (часть входа зашумлена сильнее, часть чище). Это создает асимметрию: чтобы восстановить сильно зашумленные токены, модель вынуждена опираться на чистые и строить глобальный контекст. Поверх этого работает самообучение по принципу дистилляции. Обучаются одновременно 2 копии модели: модель-ученик видит смешанный зашумленный вход, модель-учитель - более чистую версию (EMA-копия с экспоненциальным скользящим средним). Ученик учится предсказывать признаки учителя из зашумленного входа, и это вынуждает его развивать сильные семантические представления без какого-либо внешнего энкодера. 🟡Результаты тестов 🟢На ImageNet 256×256 Self-Flow показал FID 5.70 против 5.89 у REPA; Это, кстати, первый случай, когда self-supervised метод превзошел внешнее выравнивание на этом бенче 🟢На text-to-image: FID 3.61 против 3.92 у REPA; 🟢По видео: FVD 47.81 против 49.75 у REPA; 🟢По аудио: лучшие FAD-оценки среди всех вариантов. При этом на масштабировании (с 290M до 1B) разрыв с REPA увеличивается: модель Self-Flow на 625M параметров обходит REPA на 1B. Метод универсален для модальностей - он работает одинаково на картинках, видео и аудио, что намекает на применение для мультимодального обучения. В репозитории проекта есть код инференса на основе SiT-XL/2 с per-token timestep conditioning, чекпоинт на основе ImageNet 256×256 и скрипты для генерации сэмплов под FID-оценку через ADM evaluation suite. Поддерживаются режимы SDE и ODE, мульти-GPU через torchrun. 🟡Статья 🟡Техотчет 🖥GitHub @ai_machinelearning_big_data #AI#ML#Multimodal#Framework#BFL

⚡Gemini 3 Flash - быстрый ИИ нового поколения от Google Gemini 3 Flash: - это очень быстрая модель с минимальной задержкой - при этом она сохраняет сильные способности к рассуждению - Frontier-уровень на GPQA Diamond - рассуждения уровня PhD - Хорошие результаты на Humanity’s Last Exam - State-of-the-art на MMMU Pro - хорошо работает с видео и мультимодальными данными - В целом, качество сопоставимо с Gemini 3 Pro Стоит в четыре раза дешевле, чем Gemini 3.0 Pro, при этом показывает сопоставимые результаты почти во всех бенчмарках, включая HLE и ARC-AGI 2. На некоторых бенчмарках модель обходит GPT-5.2. Более того, в ряде тестов модель даже превосходит более мощную версию Pro, оставаясь при этом значительно дешевле. По сути, Flash - это попытка Google сбалансировать три вещи одновременно: скорость + интеллект + стоимость. Цены: - Text input: $0.30 per 1M tokens - Text output: $2.50 per 1M tokens - Cache read: $0.075 per 1M tokens - Input audio: $0.999 per 1M tokens - Input audio (cached): $0.249 per 1M tokens - Web search: $0.035 per request - Cache storage: $1 per hour per 1M tokens https://blog.google/products/gemini/gemini-3-flash/ @ai_machinelearning_big_data #AI#Gemini#Google#LLM#Multimodal#AIModels#MachineLearning

⚡️ HunyuanOCR: открытая OCR-модель, которая рвёт бенчмарки при размере всего 1B Tencent выложила в open-source новую модель HunyuanOCR. Это компактная, быстрая и полностью готовая end-to-end система для OCR, построенная на мультимодальной архитектуре Hunyuan. Главное - при размере только 1 миллиард параметров она показывает результаты уровня крупных моделей и стоит в разы дешевле в запуске. ⚡ Топ по бенчмаркам • 860 на OCRBench среди всех моделей до 3B • 94.1 на OmniDocBench - лучший результат в задачах распознованяисложных документов 🌐 Что умеет HunyuanOCR Модель закрывает практически все типы OCR задач • текст на улицах, витринах, табличках • рукописный текст и художественные шрифты • сложные документы: таблицы, формулы, встроенный HTML и LaTeX • субтитры в видео • перевод текста на фото end-to-end сразу на 14 языков Это не каскадный пайплайн, а единое решение Один запрос и одно инференс-прогон дают готовый результат. Это быстрее, надёжнее и удобнее, чем традиционные OCR-цепочки. 📌 Project Page web: https://hunyuan.tencent.com/vision/zh?tabIndex=0 mobile: https://hunyuan.tencent.com/open_source_mobile?tab=vision&tabIndex=0 🔗GitHub https://github.com/Tencent-Hunyuan/HunyuanOCR 🤗 Hugging Face https://huggingface.co/tencent/HunyuanOCR 📄 Technical Report https://github.com/Tencent-Hunyuan/HunyuanOCR/blob/main/HunyuanOCR_Technical_Report.pdf @ai_machinelearning_big_data #HunyuanOCR#TencentAI#OCR#VisionAI#DeepLearning#Multimodal#AIModels#OpenSourceAI#ComputerVision#DocumentAI

⚡️LongCat-Flash-Omni - открытая 560B MoE-модель (27B активных параметров), которая умеет вести живой диалог в реальном времени, слышать, видеть и отвечать голосом. Ключевые фишки: -модель разговаривает и видит собеседника, реагирует на беседу в реальном времени - 128K контекст - продвинутая MoE-архитектура: высокое качество при меньших затратах (27B активных параметров из 560B) - Полгный open-source По тестам: - лидер на OmniBench, DailyOmni - хорошие показатели на ASR (распознавании речи), DocVQA, RefCOCO - обходит лучше Qwen3-Omni Instruct - и очень близка к Gemini-2.5-Flash, но это все таки*открытая* модель Открытая мультимодальная модель, которую можно запускать локально, хороший вариант для голосовых ассистентов. 🤖Model: https://modelscope.cn/models/meituan-longcat/LongCat-Flash-Omni 🌐Demo: https://longcat.ai 📄 Full technical report & code: https://github.com/meituan-longcat/LongCat-Flash-Omni @ai_machinelearning_big_data #AI#OpenSourceAI#Multimodal#MoE#LLM#GenAI

⚡️Glyph: масштабирование контекста через визуально-текстовую компрессию В основе модели лежит простая идея : вместо того чтобы кормить модели километровый текст, Glyph превращает его в изображение и обрабатывает через vision-language модель. Используется LLM-управляемый генетический алгоритм, чтобы подобрать наилучшие параметры визуального отображения текста (шрифт, плотность, макет), балансируя между сжатием и точностью. Это радикально снижает вычислительные затраты, сохраняя при этом смысловую структуру текста. При этом точность почти не падает: на задачах с длинным контекстом Glyph работает на уровне современных моделей вроде Qwen3-8B. При экстремальном сжатии VLM с контекстом 128K может эффективно обрабатывать задачи, эквивалентные 1M+ токенов в традиционных LLM. Фактически, длинный контекст становится мультимодальной задачей, а не чисто текстовой. 📄Подробности: arxiv.org/abs/2510.17800 🧩Веса: huggingface.co/zai-org/Glyph 👉Репозиторий: github.com/thu-coai/Glyph @ai_machinelearning_big_data #AI#LLM#Multimodal#Research#DeepLearning

🔍 Qwen3-VL-2B-Thinking — новая маленькая мультимодальная модель, заточенная под рассуждения Компактная версия семейства Qwen3-VL, ориентированная на глубокое мышление, аналитику и агентные применения. В линейке Qwen-VL предусмотрены два ключевых режима: - *Instruct* — для диалогов и инструкций, - *Thinking* — для логических рассуждений, кода и комплексных задач. 💡 Особенности - Архитектура поддерживает мультимодальность: модель понимает текст и изображения, способна анализировать контент и выстраивать причинно-следственные связи. - Оптимизирована для reasoning-задач, где важна не генерация текста, а последовательное мышление и вывод. - Благодаря размеру в 2B параметров, модель легко разворачивается на локальных GPU и в облачных окружениях. - Поддерживает tool calling и интеграцию в агентные фреймворки. Qwen3-VL-2B-Thinking - отличная модель при минимальных ресурсах. 👉https://huggingface.co/Qwen/Qwen3-VL-2B-Thinking @ai_machinelearning_big_data #Qwen3VL#Qwen#Reasoning#AI#Multimodal#OpenSource

⚡️ Omni-Embed-Nemotron - новая единая модель от NVIDIA для поиска по тексту, изображениям, аудио и видео Модель обучена на разнообразных мультимодальных данных и может объединять разные типы входных сигналов в общее векторное представление. - Поддержка всех типов данных: текст, изображение, аудио, видео. - Основана на архитектуре Qwen Omni (Thinker-модуль, без генерации текста). - Контекст - до 32 768 токенов, размер embedding — 2048. - Оптимизирована под GPU, поддерживает FlashAttention 2. Это делает её идеальной для: - кросс-модального поиска (поиск текста по видео или изображению); - улучшения RAG-проектов; - систем мультимодального понимания контента. Просто, быстро и эффективно - всё в одном открытом решении. 🌐 Открытая модель: https://huggingface.co/nvidia/omni-embed-nemotron-3b @ai_machinelearning_big_data #crossmodal#retrieval#openAI#NVIDIA#OmniEmbed#multimodal#AIModels#OpenSource#Search#UnifiedEmbedding

🚀Qwen выпустили гайд по работе с Qwen3-VL! Это подборка интерактивных ноутбуков, демонстрирующих возможности Qwen3-VL - как при локальном запуске, так и через API. Внутри - десятки реальных примеров с разборами: ▪ Работа с изображениями и рассуждение по ним ▪ Агент для взаимодействия с интерфейсами (Computer-Use Agent) ▪ Мультимодальное программирование ▪ Распознавание объектов и сцен (Omni Recognition) ▪ Продвинутое извлечение данных из документов ▪ Точное определение объектов на изображении ▪ OCR и извлечение ключевой информации ▪ 3D-анализ и привязка объектов ▪ Понимание длинных документов ▪ Пространственное рассуждение ▪ Мобильный агент ▪ Анализ и понимание видео 🟠GitHub: https://github.com/QwenLM/Qwen3-VL/tree/main/cookbooks 🟠API-документация: https://alibabacloud.com/help/en/model-studio/user-guide/vision/ 🟠Попробовать: https://chat.qwen.ai/?models=qwen3-vl-plus 🟠Qwen3-VL: https://github.com/QwenLM/Qwen3-VL/blob/main/cookbooks @ai_machinelearning_big_data #Qwen#Qwen3VL#AI#VisionLanguage#Multimodal#LLM

🚀 Hunyuan-Large-Vision: новая мощная мультимодальная модель от Tencent 🔹 MoE-архитектура — 389B параметров (52B активных) для оптимального баланса мощности и эффективности. 🔹 Лидер в рейтингах — 1256 баллов в LMArena Vision, #1 в Китае, на уровне GPT-4.5 и Claude-4-Sonnet. 🔹 Глубокое понимание — визуальное рассуждение, анализ видео и 3D-пространства, 79,5 баллов в среднем по бенчмарку OpenCompass. 📌 Модель дополняет линейку Hunyuan-TurboS-Vision и Hunyuan-T1-Vision, доступных через Tencent Cloud для задач в самых разных отраслях. 🟢Попробовать: https://hunyuan.tencent.com/modelSquare/home/list?modelKey=VisionUnderstand 🟢Блог: https://vision.hunyuan.tencent.com 🟢API: https://cloud.tencent.com/document/product/1729/104753 @ai_machinelearning_big_data #AI#Multimodal#MachineLearning#MoE#VisionAI#Tencent#Hunyuan#LLM#ComputerVision#3DVision

🖼️ GPT-Image-Edit-1.5M — крупнейший и полностью открытый датасет для редактирования изображений по тексту! 🚀 1.5 миллиона триплетов: инструкция + оригинальное изображение + отредактированное по запросу Как мы это сделали? Мы переосмыслили и усилили три известных датасета (OmniEdit, HQ-Edit, UltraEdit) с помощью новой GPT-Image API. 📊 Результаты впечатляют: Модель FluxKontext, дообученная на этом наборе, показывает: ▫️ 7.24 на GEdit-EN ▫️ 3.80 на ImgEdit-Full ▫️ 8.78 на Complex-Edit — на уровне с топовыми проприетарными решениями! 🎯 Инструкции выполняются точно, а изображения выглядят реалистично. Цель — сократить разрыв между open-source и закрытыми системами редактирования. 🔗 Подробнее: 🌐 Проект: https://ucsc-vlaa.github.io/GPT-Image-Edit/ 💻 Код: https://github.com/wyhlovecpp/GPT-Image-Edit 📦 Датасет: https://huggingface.co/datasets/UCSC-VLAA/GPT-Image-Edit-1.5M 🤖 Модель: https://huggingface.co/UCSC-VLAA/gpt-image-edit-training 📄 Статья: https://arxiv.org/abs/2507.21033 @ai_machinelearning_big_data #AI#ImageEditing#OpenSource#GPT4V#Multimodal