Неделю назад в мире опенсорс разработки произошло интересное событие.
Опенсорс — это когда разработчик пишет программу (как правило, эта программа нужна для работы других программ) и выкладывает её в общий доступ на полностью свободных началах. В большинстве случаев после этого кто угодно может делать с этой программой абсолютно что угодно: копировать, изменять, продавать решения на её основе за деньги и так далее. Иногда то, что пишут такие разработчики-волонтёры, оказывается невероятно удобно и полезно. Настолько, что гигантские корпорации используют это у себя. А кроме них — ещё десятки тысяч проектов по всему миру. Такое использование называется «зависимость», и оно создаёт связь между автором опенсорс-проекта и тем, кто взял его труд.
Связь обычно такая: в моей программе где-то указано, что вот этот вот код взят по такому-то адресу у опенсорс разработчика Васи. Моя программа иногда может на этот адрес заглядывать и смотреть, а не внёс ли Вася чего нового. Вдруг он улучшил работу и исправил ошибки — тогда я скачаю новую версию его программы и установлю её у себя. Формально для такого обновления должны существовать ограничения. По факту человеческая лень и негласный этикет среди разработчиков приводят к тому, что обновления ставят не глядя. Считается, что Вася будет выкладывать только улучшенную и проверенную новую версию своей программы, ведь за ним наблюдает миллион других разработчиков. Пацаны во дворе не поймут, если Вася сделает что-то неаккуратно.
Один из разработчиков по имени Marak Squires написал некоторое время назад две очень полезные программные библиотеки. Как раз такие, которые скачали десятки тысяч людей, в том числе в крупных корпорациях, и использовали у себя. В прошлом году этот разработчик написал что-то вроде: «Эй, корпорации, вы берёте мой труд бесплатно. Конечно, я его раздал бесплатно, но вы чёртовы капиталистические гиганты, и у вас миллиарды баксов, а я вам сэкономил миллионы баксов на разработке. Я жду от вас чек на почту в благодарность». Конечно, всем было пофигу.
А неделю назад этот разработчик внёс в свои библиотеки деструктивное обновление, которое сделало программы, установившие его, неработоспособными, и вывело на экран «LIBERTY LIBERTY LIBERTY». Это обновление положило кучу проектов, в том числе у гигантов-корпораций. Поднялась буря.
Одна часть интернета заявила, что разработчик никому ничего не должен, поэтому волен делать со своим кодом всё, что хочет. Вторая часть претендовала на то, что совершённый им поступок это вандализм и осознанный вред другим разработчикам. Дров в огонь подкинуло то, что GitHub, на котором размещался код этого разработчика, заблокировал его аккаунт. А система хранения пакетов NPM откатила изменения до предыдущих версий. Хотя формально никаких законов он не нарушал: компании брали его код по собственной воле, а он ничего никому не гарантировал.
___________________________
Я не готов назвать здесь однозначно правую сторону. Пока выглядит, как «Все мудаки». Но на мой взгляд это показательный пример вот чего: никакие формальные правила никогда не покроют всё многообразие человеческих взаимоотношений, и поэтому личностный аспект тоже важен. Даже если нет закона или правила, по которому вы что-то должны, есть смысл стараться действовать созидательно и стремиться, хотя бы частично, к всеобщему благу, а не только к личному. Особенно в ситуации, когда у тебя в руках сосредоточена та или иная власть. Корпорации действительно могли бы найти способ отблагодарить разработчика (и вообще — всех разработчиков, чей код они бесплатно берут в таких масштабах). Просто из чувства благодарности, а не потому, что должны. Разработчик мог бы просто закрыть проект и не стараться нанести урон. Просто из чувства неприятия всего деструктивного. Это, конечно, идеализированный мир розовых пони, но сила и власть это как раз способность двигать границы реальности.
#dev
🚢DP World: мультимодальные коридоры становятся ключевым фактором устойчивости цепочек поставок.
Оператор портовой и логистической инфраструктуры DP World отмечает рост мультимодальных транспортных решений на фоне сбоев в глобальных цепочках поставок.
Компания развивает интеграцию морских, железнодорожных и автомобильных перевозок, создавая сквозные логистические коридоры. По оценкам, мировой рынок мультимодальных перевозок достигнет $160 млрд к 2032 году.
DP World уже реализует эту стратегию: сеть компании охватывает более 200 портов и свыше 23 500 рейсов в год, а объем перевозок достигает около 6 млн TEU.
Особое внимание уделяется развитию фидерного и каботажного судоходства, связывающих региональные порты с внутренними логистическими системами.
Переход от линейных цепочек к интегрированным коридорам отражает новую модель глобальной торговли, где ключевыми факторами становятся гибкость, скорость и устойчивость к внешним шокам.
Дополнительно усиление мультимодальности позволяет снижать зависимость от отдельных маршрутов и повышать эффективность логистики, особенно в условиях геополитической нестабильности и перегрузки портов.
Таким образом, DP World делает ставку на интеграцию транспортных систем как основу конкурентоспособности в новой структуре глобальных поставок.
📌DP World Limited — основана в 2005 году, глобальный портовый оператор, базируется в ОАЭ, принадлежит компании Dubai World (правительство Дубая).
#logistics#ports#shipping#multimodal#supplychain
⚡️Glyph: масштабирование контекста через визуально-текстовую компрессию
В основе модели лежит простая идея : вместо того чтобы кормить модели километровый текст, Glyph превращает его в изображение и обрабатывает через vision-language модель.
Используется LLM-управляемый генетический алгоритм, чтобы подобрать наилучшие параметры визуального отображения текста (шрифт, плотность, макет), балансируя между сжатием и точностью.
Это радикально снижает вычислительные затраты, сохраняя при этом смысловую структуру текста.
При этом точность почти не падает: на задачах с длинным контекстом Glyph работает на уровне современных моделей вроде Qwen3-8B.
При экстремальном сжатии VLM с контекстом 128K может эффективно обрабатывать задачи, эквивалентные 1M+ токенов в традиционных LLM.
Фактически, длинный контекст становится мультимодальной задачей, а не чисто текстовой.
📄Подробности: arxiv.org/abs/2510.17800
🧩Веса: huggingface.co/zai-org/Glyph
👉Репозиторий: github.com/thu-coai/Glyph
@ai_machinelearning_big_data
#AI#LLM#Multimodal#Research#DeepLearning
🚢Eastship расширяет бизнес, запуская направление Air & Sea.
Румынская логистическая компания Eastship объявила о создании нового подразделения Eastship Air & Sea, направленного на предоставление комплексных транспортных решений.
Новый сервис объединяет морские и авиационные перевозки, позволяя компании расширить присутствие в сегменте генеральных грузов по всей Европе.
С операционной точки зрения, интеграция различных видов транспорта повышает гибкость логистических цепочек и позволяет эффективнее управлять сложными поставками.
Для рынка это сигнал усиления мультимодальных решений, где логистические операторы стремятся предложить полный спектр услуг в рамках единой платформы.
📌Eastship Projects & Logistics SRL — основана в Румынии, компания специализируется на проектной логистике и перевозках; находится в частной собственности - управляющим директором и партнёром является Дэн Бадою (Dan Badoiu).
#Logistics#Shipping#AirCargo#Europe#Multimodal
🚢 CLdN приобретает бизнес Samskip в Великобритании и Ирландии.
Люксембургский оператор shortsea CLdN договорился о покупке британско-ирландского quay-to-quay и door-to-door направления у мультимодальной группы Samskip.
Сделка охватывает контейнерные линии Роттердам–Великобритания (Белфаст, Блайт, Грэнджмут, Халл, Тилбери) и Ирландия (Корк, Дублин, Уотерфорд), совершающие свыше 1000 заходов в год.
В периметр входят более 5 000 единиц мультимодального оборудования (45’ pallet-wide, reefers, curtain-siders, flat racks и др.), а также контракты на автоперевозки, ж/д и баржевые плечи, соглашения по совместному использованию судов и портовые операции. Финансовые условия не раскрываются; требуется одобрение регуляторов.
Для CLdN актив усиливает существующую сеть (около 30 судов, >200 рейсов в неделю по направлениям UK/IE–Континент–Иберия–Скандинавия) и расширяет частоту и покрытие door-to-door.
Для Samskip это стратегический фокус на дальнем мультимодальном контуре (Континент, Нордики, Балтика, Северная Африка) при сохранении сервиса в UK/IE через партнёрство.
📌CLdN основана в 1928 году и является частной группой, контролируемой бельгийской семьёй Van Damme.
📌Samskip основана в 1990 году в Исландии; частная компания, контролируемая исландскими акционерами.
#shortsea#multimodal#containers#UKIreland#logistics
🌟Self-Flow: обучение диффузионных моделей без внешних энкодеров от Black Forest Labs.
Black Forest Labs и MIT решили проблему, с которой сталкиваются диффузионные и flow-модели: чтобы генерировать качественные картинки, им нужны сильные семантические представления. Обычно их берут снаружи - выравнивают внутренние признаки модели с признаками энкодера вроде DINOv2. Метод работает, но есть нюанс.
Чем сильнее энкодер, тем хуже результат: в экспериментах замена DINOv2-B на более мощный DINOv3-H+ стойко ухудшала FID. Модель привязывалась к фиксированным внешним представлениям и переставала масштабироваться. На видео и аудио выравнивание с энкодерами V-JEPA2 и MERT вообще давало результат хуже ванильного flow matching.
🟡Self-Flow предлагает механизм Dual-Timestep Scheduling
В стандартном flow matching все токены нойзятся одинаково, поэтому модель решает задачу локально и не учится строить глобальные связи. Self-Flow сэмплирует 2 разных уровня шума и случайно назначает их разным токенам (часть входа зашумлена сильнее, часть чище). Это создает асимметрию: чтобы восстановить сильно зашумленные токены, модель вынуждена опираться на чистые и строить глобальный контекст.
Поверх этого работает самообучение по принципу дистилляции. Обучаются одновременно 2 копии модели: модель-ученик видит смешанный зашумленный вход, модель-учитель - более чистую версию (EMA-копия с экспоненциальным скользящим средним).
Ученик учится предсказывать признаки учителя из зашумленного входа, и это вынуждает его развивать сильные семантические представления без какого-либо внешнего энкодера.
🟡Результаты тестов
🟢На ImageNet 256×256 Self-Flow показал FID 5.70 против 5.89 у REPA;
Это, кстати, первый случай, когда self-supervised метод превзошел внешнее выравнивание на этом бенче
🟢На text-to-image: FID 3.61 против 3.92 у REPA;
🟢По видео: FVD 47.81 против 49.75 у REPA;
🟢По аудио: лучшие FAD-оценки среди всех вариантов.
При этом на масштабировании (с 290M до 1B) разрыв с REPA увеличивается: модель Self-Flow на 625M параметров обходит REPA на 1B.
Метод универсален для модальностей - он работает одинаково на картинках, видео и аудио, что намекает на применение для мультимодального обучения.
В репозитории проекта есть код инференса на основе SiT-XL/2 с per-token timestep conditioning, чекпоинт на основе ImageNet 256×256 и скрипты для генерации сэмплов под FID-оценку через ADM evaluation suite. Поддерживаются режимы SDE и ODE, мульти-GPU через torchrun.
🟡Статья
🟡Техотчет
🖥GitHub
@ai_machinelearning_big_data
#AI#ML#Multimodal#Framework#BFL
⚡Gemini 3 Flash - быстрый ИИ нового поколения от Google
Gemini 3 Flash:
- это очень быстрая модель с минимальной задержкой
- при этом она сохраняет сильные способности к рассуждению
- Frontier-уровень на GPQA Diamond - рассуждения уровня PhD
- Хорошие результаты на Humanity’s Last Exam
- State-of-the-art на MMMU Pro - хорошо работает с видео и мультимодальными данными
- В целом, качество сопоставимо с Gemini 3 Pro
Стоит в четыре раза дешевле, чем Gemini 3.0 Pro, при этом показывает сопоставимые результаты почти во всех бенчмарках, включая HLE и ARC-AGI 2. На некоторых бенчмарках модель обходит GPT-5.2.
Более того, в ряде тестов модель даже превосходит более мощную версию Pro, оставаясь при этом значительно дешевле.
По сути, Flash - это попытка Google сбалансировать три вещи одновременно: скорость + интеллект + стоимость.
Цены:
- Text input: $0.30 per 1M tokens
- Text output: $2.50 per 1M tokens
- Cache read: $0.075 per 1M tokens
- Input audio: $0.999 per 1M tokens
- Input audio (cached): $0.249 per 1M tokens
- Web search: $0.035 per request
- Cache storage: $1 per hour per 1M tokens
https://blog.google/products/gemini/gemini-3-flash/
@ai_machinelearning_big_data
#AI#Gemini#Google#LLM#Multimodal#AIModels#MachineLearning
🖼️ GPT-Image-Edit-1.5M — крупнейший и полностью открытый датасет для редактирования изображений по тексту!
🚀 1.5 миллиона триплетов:
инструкция + оригинальное изображение + отредактированное по запросу
Как мы это сделали?
Мы переосмыслили и усилили три известных датасета (OmniEdit, HQ-Edit, UltraEdit) с помощью новой GPT-Image API.
📊 Результаты впечатляют:
Модель FluxKontext, дообученная на этом наборе, показывает:
▫️ 7.24 на GEdit-EN
▫️ 3.80 на ImgEdit-Full
▫️ 8.78 на Complex-Edit
— на уровне с топовыми проприетарными решениями!
🎯 Инструкции выполняются точно, а изображения выглядят реалистично.
Цель — сократить разрыв между open-source и закрытыми системами редактирования.
🔗 Подробнее:
🌐 Проект: https://ucsc-vlaa.github.io/GPT-Image-Edit/
💻 Код: https://github.com/wyhlovecpp/GPT-Image-Edit
📦 Датасет: https://huggingface.co/datasets/UCSC-VLAA/GPT-Image-Edit-1.5M
🤖 Модель: https://huggingface.co/UCSC-VLAA/gpt-image-edit-training
📄 Статья: https://arxiv.org/abs/2507.21033
@ai_machinelearning_big_data
#AI#ImageEditing#OpenSource#GPT4V#Multimodal
⚡️LongCat-Flash-Omni - открытая 560B MoE-модель (27B активных параметров), которая умеет вести живой диалог в реальном времени, слышать, видеть и отвечать голосом.
Ключевые фишки:
-модель разговаривает и видит собеседника, реагирует на беседу в реальном времени
- 128K контекст
- продвинутая MoE-архитектура: высокое качество при меньших затратах (27B активных параметров из 560B)
- Полгный open-source
По тестам:
- лидер на OmniBench, DailyOmni
- хорошие показатели на ASR (распознавании речи), DocVQA, RefCOCO
- обходит лучше Qwen3-Omni Instruct
- и очень близка к Gemini-2.5-Flash, но это все таки*открытая* модель
Открытая мультимодальная модель, которую можно запускать локально, хороший вариант для голосовых ассистентов.
🤖Model: https://modelscope.cn/models/meituan-longcat/LongCat-Flash-Omni
🌐Demo: https://longcat.ai
📄 Full technical report & code:
https://github.com/meituan-longcat/LongCat-Flash-Omni
@ai_machinelearning_big_data
#AI#OpenSourceAI#Multimodal#MoE#LLM#GenAI
🔍 Qwen3-VL-2B-Thinking — новая маленькая мультимодальная модель, заточенная под рассуждения
Компактная версия семейства Qwen3-VL, ориентированная на глубокое мышление, аналитику и агентные применения.
В линейке Qwen-VL предусмотрены два ключевых режима:
- *Instruct* — для диалогов и инструкций,
- *Thinking* — для логических рассуждений, кода и комплексных задач.
💡 Особенности
- Архитектура поддерживает мультимодальность: модель понимает текст и изображения, способна анализировать контент и выстраивать причинно-следственные связи.
- Оптимизирована для reasoning-задач, где важна не генерация текста, а последовательное мышление и вывод.
- Благодаря размеру в 2B параметров, модель легко разворачивается на локальных GPU и в облачных окружениях.
- Поддерживает tool calling и интеграцию в агентные фреймворки.
Qwen3-VL-2B-Thinking - отличная модель при минимальных ресурсах.
👉https://huggingface.co/Qwen/Qwen3-VL-2B-Thinking
@ai_machinelearning_big_data
#Qwen3VL#Qwen#Reasoning#AI#Multimodal#OpenSource
🚀Qwen выпустили гайд по работе с Qwen3-VL!
Это подборка интерактивных ноутбуков, демонстрирующих возможности Qwen3-VL - как при локальном запуске, так и через API.
Внутри - десятки реальных примеров с разборами:
▪ Работа с изображениями и рассуждение по ним
▪ Агент для взаимодействия с интерфейсами (Computer-Use Agent)
▪ Мультимодальное программирование
▪ Распознавание объектов и сцен (Omni Recognition)
▪ Продвинутое извлечение данных из документов
▪ Точное определение объектов на изображении
▪ OCR и извлечение ключевой информации
▪ 3D-анализ и привязка объектов
▪ Понимание длинных документов
▪ Пространственное рассуждение
▪ Мобильный агент
▪ Анализ и понимание видео
🟠GitHub: https://github.com/QwenLM/Qwen3-VL/tree/main/cookbooks
🟠API-документация: https://alibabacloud.com/help/en/model-studio/user-guide/vision/
🟠Попробовать: https://chat.qwen.ai/?models=qwen3-vl-plus
🟠Qwen3-VL: https://github.com/QwenLM/Qwen3-VL/blob/main/cookbooks
@ai_machinelearning_big_data
#Qwen#Qwen3VL#AI#VisionLanguage#Multimodal#LLM
Мультимодальный AI Meta: будущее поиска, генерации и взаимодействия с виртуальным миром в 6 типах данных
Мультимодальность постепенно проникает в нашу жизнь.
Meta AI зарелизила в opensource работу с 6 модальностями, которая не только позволяет работать с текстом, изображениями и видео, но также с инфракрасными изображениями и другими данными, что открывает возможности работы с AR/VR информацией.
Вот какие возможности это открывает:
Мультимодальный поиск (аля Google, но одновременно по 6 модальностям). Пример: найди виртуальный мир, в котором есть пространство размером с футбольное поле, и в котором были танцующие котики.
Арифметические вычисления с векторами. Если раньше "кошка" и "cat" для LLM были одно и то же по смыслу, то теперь 3D-модель кота и слово "cat" будут равносильны, а "3D-модель кота" + слово "счастливый" - фото усов позволит найти видео улыбающегося кота без усов.
Кросс-модальная генерация (сейчас отдельно генерируем картинки и видео, а будем генерировать объекты в 6ти модальностях одновременно). Пример: "сгенерируй мне AR-мир с котиками на основе звука, как они мяукают".
Исследование Meta AI в области мультимодальности является значительным шагом вперед в развитии AI и открывает новые возможности для работы с разнообразными данными.
📝 Paper: https://dl.fbaipublicfiles.com/imagebind/imagebind-paper.pdf
👨💻 Github: https://github.com/facebookresearch/imagebind
#ai#multimodal#metaai#ar#vr#llm#opensourсe
#rust#artificial_intelligence#big_data#data_engineering#distributed_computing#machine_learning#multimodal#python#rust
Daft is a powerful, easy-to-use data engine that lets you process large-scale data using Python or SQL with high speed and efficiency. It supports complex data types like images and tensors, works well interactively for quick data exploration, and can scale to huge cloud clusters using Ray. Daft integrates smoothly with cloud storage and data catalogs, making it ideal for data engineering, analytics, and machine learning workflows. By using Daft, you can handle big, multimodal datasets faster and more flexibly, improving your ability to analyze and prepare data for AI models without complex setup or slowdowns.
https://github.com/Eventual-Inc/Daft