🌟Tencent HY-WU: динамические LoRA для редактирования изображений.
Tencent HY опубликовала первую часть серии работ под названием HY-WU (Weight Unleashing). Суть метода в отказе от стандартной парадигмы адаптации, при которой модель получает один фиксированный набор весов для всех задач.
Специальная модель-генератор синтезирует LoRA отдельно под каждый входной пример прямо во время инференса, без дополнительной оптимизации на тест-тайме.
Проблема, которую решает HY-WU, хорошо знакома всем, кто работал с дообучением: когда задачи противоречат друг другу (например, "размыть" против "убрать размытие" или "состарить лицо" против "восстановить"), общий адаптер вынужден идти на компромисс.
Градиенты конфликтуют, и результат оказывается хуже, чем если бы задачи обучались раздельно.
Чтобы не быть голословными, авторы измерили это напрямую: косинусное сходство градиентов между разнородными задачами устойчиво отрицательно, среднее около −0.30, то есть задачи буквально тянут веса в противоположные стороны.
HY-WU предлагает условную генерацию параметров. Модель-генератор (8B параметров) принимает на вход совместное представление изображения и текстового запроса через энкодер SigLIP2, после чего генерирует LoRA-матрицы (~0.72B) и инжектирует их в базовую модель.
Обучение сквозное, только через downstream-loss, без предварительно собранных чекпойнтов адаптеров.
🟡Тесты и результаты
Для тестов выбрали задачу редактирования изображения текстовым запросом - в нем конфликты неизбежны и визуально очевидны.
🟢В попарном human evaluation (GSB) HY-WU выигрывает у всех топовых open-source редакторов с большим отрывом: 67–78% против Step1X, Qwen, LongCat и FLUX;
🟢Среди закрытых систем модель обошла Seedream 4.5 (55.6%) и GPT Image 1.5 (55.5%).
🟠Единственные, кто пока впереди - Nano Banana 2 и Nano Banana Pro.
Tencent проверили: прирост качества дается именно условной маршрутизацией, а не просто увеличением числа параметров. Когда генератор использовали с перемешанными или усредненными условиями, результат проваливался до уровня базовой модели.
Полный SFT с намного большим числом обучаемых параметров давал сопоставимый результат с обычным Shared LoRA, так как в обоих случаях в инференсе применяется одна фиксированная точка в пространстве весов.
Выпущенная работа - первая часть серии исследований по функциональной памяти для генеративных моделей. В планах:
🟢сравнить функциональную память с retrieval-подходами и понять, когда каждый из них уместен;
🟢разработать протоколы онлайн-обучения, при которых модель усваивает новые задачи без деградации на старых;
🟢исследовать масштабирование модели-генератора отдельно от базовой модели.
Помимо этого, в планах выйти за пределы LoRA на другие операторные интерфейсы, распространить метод на видео и агентные системы, а также проработать возможность точечно удалять поведение модели через управление состоянием генератора.
Кроме этого архиполезного исследования Tencent выложили связку из модели-генератора и базовой модели HY-Image-3.0-Instruct, поверх которой она и работает.
Поиграться этой красотой можно, если под рукой простаивает 8х40 GB или 4х80 GB VRAM.
📌Лицензирование: Tencent Hunyuan Community License.
🟡Страница проекта
🟡Prompt Handbook (китайский)
🟡Модель
🟡Техотчет
🖥Github
@ai_machinelearning_big_data
#AI#ML#ImageEdit#HYWU#Tencent
🤖 CEO Tencent Пони Ма о раннем этапе развития холдинга, роли продаж и судьбе:
🛒 Мы постоянно пытались продать #Tencent, но никто не собирался покупать. Мы не могли продать QQ (первая социальная сеть компании, MAU до сих пор в районе 850 млн), поэтому продолжали развивать проект самостоятельно.
💸 Раньше в г.Шэньчжэнь не было VC. Нам повезло, что прямо перед крахом пузыря доткомов мы привлекли $2 млн.
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML
ClimateLearn - машинное обучение в предсказании климата и погоды
ClimateLearn - это библиотека в питоне для доступа к самым современным климатическим данным и моделям машинного обучения стандартизированным и простым способом. Эта библиотека предоставляет доступ к нескольким наборам данных, зоопарку базовых подходов, а также набору метрик и визуализаций для крупномасштабного сравнительного анализа методов статистического масштабирования и временного прогнозирования.
В этом ноутбуке можно поучиться как пользоваться.
#ML#AI#climate
Seismic Foundation Model от создателя FaultSeg3D
Как говорится paper alert📖! Когда-то давно d 2018, тогда еще сотрудник Техасского Университета в Остине, Xinming Wu сделал синтетический датасет сейсмических моделей с разломами и обучил на нем довольно простую по нынешним временам сверточную нейронную сеть для сегментации разломов - FaultSeg3D. Написал статью и выкатил модель в октрытый доступ. На тот момент это был прорыв, так как модель работала во многом лучше существующих на тот момент инструментов.
Совсем недавно, он же сделал первый шаг к созданию первой базовой модели (Foundation Model) для сейсмического анализа недр и выпустил статью - "Seismic Foundation Model (SFM): a new generation deep learning model in geophysics". Особенность базовых моеделей в том, что они обучены на огромном количестве данных и служат отправной точкой для разработки специализированных моделей и могут быть легко адаптированы к широкому спектру применений.
Авторы накопали 192 сейсмических куба, >2 миллионов сейсмических разрезов и натренировали эту самую сейсмическую базовую модель, используя архитектуру Трансформера. Затем протестировали работу модели на различных задачах: классификация фаций, сегментация геологических тел, сейсмическая инверсия, подавление шумов и интерполяция сейсмической записи. Теперь они могут дообучать модель или использовать тонкую настройку для более узких задач. Побольше бы такого!
В обсчем, что тут сказать, Data is a King 👑. Есть данные, будет и базовая модель. Но только, сдается мне, что даже с "номинально" открытыми данными все не так просто и там куча условностей. Видимо по этому, ссылка на гитхаб в статье не работает 😀.
Статью можете нати во вложении!
#ML#AI#paper
Хакатончик от Xeek
Two Birds, One Neural Network - так называется новый хакатон от Xeek в области Generative AI. Звучит как-будто нужно сделать свой Dalle-E2, но на самом деле, задача выглядит немного иначе. По условиям хакатона, участникам нужно сделать нейронную сеть, которая максимизирует разнообразие генерируемых результатов, отвечающих двум условиям. Авторы хакатона проводят параллели с добавлением двух геофизических измерений для ограничения сценариев геологических моделей. Буквально, нужно построить нейронную сеть, которая генерирует разнообразные значения x0, x1, сохраняя при этом их природу в виде нисходящих или восходящих прямых линий, удовлетворяющих заданным функциям y1, y2, как показано на картинке.
Более подробное описание - тут. Призовой фонд $40К (первое место $19.5K).
#hackathon#AI#ML
Выделение объектов на Лидаре с помощью ML
LiDAR (Light identification, Detection and Ranging) - крутая штука. Это технология получения и обработки информации с помощью активных оптических систем (лазеров). Такой "лазерный дальнометр" для картирования объектов в 3Д и еще с координатами. Используется повсеместно в куче индустрий от беспилотных автомобилей до майнинга. Даже на айфонах есть (но не на моем 😢). На картинке, например, "лидарная" карта залива Линнхейвен в Вирджинии 🤩.
Но я даже не про красивые картинки. Они же просто красивые, а пользы сами по себе приносят мало. Польза есть, если, например, из этих моделей, по сути точек с координатами, вытаскивать реальные объекты. То есть делать сегментацию 💡.
Об этом и интересная статья на Медиуме: Introducing Segment-Lidar: Revolutionizing Unsupervised Instance Segmentation of Aerial LiDAR Data, которая рассказывает как применять крутейший алгоритм по выделению объектов SAM от компании Meta для выделения объектов на геопространственных данных, полученных с помощью Лидара (картинка 2). Статья, собственно, представляет собой пошаговую инструкцию, как это делать с помощью модуля в Питоне segment-lidar.
📖Medium
💻Github
#GIS#ML
NVIDIA и Physics Informed Neural Operator для нелинейных инженерных задач
Стараюсь краем уха следить за исследованиями в области physics informed machine learning, потому что эти модели машинного обучения, вроде как, могут получше работать с нелинейными физическими моделями сложной природы, а не только для того чтобы сделать свою фотку в стиле Барби. Больше всего в это вкладывается NVIDIA со своим Modulus. У меня даже пост про это есть.
А в этом линкедин посте, Анима Анандкумар, диерктор по ИИ в NVIDIA, рассказывает про применение нейронных операторов Фурье не только для моделирования потока флюидов под землей, но и для моделирования плазмы при ядерном синтезе, оптимизация литографических масок для дизайна микросхем и прогноза экстремальных погодных событий.
Ну и на сладенькое, на гитхабчике Caltech в открытом доступе лежат ноутбуки лекции из их последнего буткемпа, посвященного нейронным операторам.
Инджой -> Caltech AI4Science Bootcamp
#FNO#AI#ML
Сегодня с 16:00 по Москве здесь будет шумно — начнется Дзен-пятница. Воспользуюсь своим пекинским часовым поясом и расскажу несколько интересных моментов с конференции “CHina CHat 2018“, которая сейчас проходит в Шанхае.
Что за ивент?
Конференция преимущественно для иностранных компаний и брендов, которые хотят прийти на китайский рынок через соцмедиа и популярные приложения. Говорят о “social commerce”, в частности как продвигаться и продавать через #WeChat, #Douyin и прочие платформы.
О чем говорят?
🔸 Медиа-эксперт Мэтью Брэнан: со вступительным словом рассказал, как год назад все недоумевали насчет Douyin (Tiktok), а в 2018 это главный двигатель рынка. В целом речь о том, как не надо недооценивать тренды. Например, сейчас все обсуждают (но никто не пользуется) Bullet Messages. Тоже самое было с wechat mini-apps и некоторыми блогерами, которые сейчас стали мега-популярными (ванхунами).
🔸 В двух выступлениях ребята из #Tencent рассказали, какие возможности существуют в WeChat для брендов и компаний (в т.ч. иностранных), а также их внутренняя рекламная сеть (Social Ads), доступ к Big Data для таргетирования и анализа эффективности. А также: кейсы использования mini-apps, магазины в wechat, использование facial recognition и O2O.
🔸 Ashley Galina Dudarenok (агентство ChoZan) рассказывала о Douyin и продвижение в нем. MAU в июле 2018 уже 500 млн. Где, кто и когда смотрят видео на Douyin - данные по географии и пользователям. Нажмите ниже 🎵 если хотите подробный рассказ об этом.
🔸 Jenny Chen (агентство WalkTheChat): тренды social commerce (интернет-торговля и социальные сети). Как современные бренды используют соцмедия для маркетинга и продаж. Много разных кейсов, дам один пример: сеть кофеен Coffee Box. Они сделали приложение в вичате, в котором каждый пользователь может себе открыть виртуальную кофейню со своим брендом/дизайном и продавать кофе с доставкой. Естественно кофе доставляет «Кофибокс», но человек получает пару-тройку юаней комиссию за продажу (друзьям).
Также Jenny рассказала про ванхунов, они же KOL (key opinion leaders), как и на чем они зарабатывают в Китае. Нажмите 👩🎤 ниже, если хотите подробный рассказ об этом.
Комплексное глубокое обучение для моделей месторождений. Нажал на кнопочку - готово!
Руслан Мифтахов выпустил очередное видео, на этот раз про комплексное (end-to-end) глубокое обучение для моделирования месторождений. Посмотрите, будет интересно тем кто этим занимается. Видео основано на статье специалистов SLB "Deep learning for end-to-end subsurface modeling and interpretation: An example from the Groningen gas field".
Как и рассказывает Руслан, идея end-to-end глубокого обучения для моделирования месторождений довольно крутая и у нее есть прекрасная аналогия в мире беспилотных автомобилей - собираем все возможные алгоритмы прогнозы обстановки на дороге и автоматизации в одну систему. Что если сделать подобное и для дорогостоящего и длительного процесса моделирования подземных месторождений чего угодно, хоть нефти, хоть минералов 🤔?
Например, есть несколько видов данных (со скважин и сейсмические данные). Их нужно обработать, интерпретировать каждый вид данных особым способом, закартировать и наконец сделать 3D модель свойств горных пород и флюидов - типа, бурить сюда! Интересно, что модели машинного обучения уже представлены для каждого процесса в отдельности. Есть модели машинного обучения для обработки скважинных данных, есть модели машинного обучения для автоматического выделения тектонических разломов на сейсмике и так далее. Авторы статьи, делают один, на мой взгляд пока небольшой, шаг к полной автоматизации процесса интерпретации и моделирования. Они говорят, давайте соберем все эти модели и придумаем автоматический процесс, чтобы собрать данные, нажать на кнопочку и на выходе получить модель свойств всея Земли (на картинке). Это может быть модель пористости или плотности пород, да чего угодно.
Я лично знаком с авторами, коллеги все-таки. Действительно, у них есть работающие компоненты, которые они собрали в статье под одним зонтиком. Это в основном сверточные нейронные сети для различных задач. Идея крутая, но даже для частичной ее реализации, на мой взгляд, нужно пройти большой путь. Ведь то, что у нас под ногами скрыто от наших глаз, в отличие от того, что видит камера беспилотного автомобиля. Подземного сканера с супер-разрешением все еще нет, где ты Илон Маск? Поэтому в игру вступают неопределенность и сдвиг данных.
Неопределенность геологических моделей будет всегда, потому что этих моделей бескочнечность, ведь мы точно никогда не узнаем что там под землей, а можем лишь догадываться по обрывкам данных. Если эту неопределенность не учитывать - будет финансово больно, даже при наличии самых красивых моделей и самых глубоких обучателей. Сдвиг данных, возникает тогда, когда модель обученная на одних данных, попадает в новые условия. И в геонауках это серьезная проблема. Не смотря на аналогии, нет двух одинаковых месторождений, и даже если модель обучить на 1000 месторждениях, 1001-е будет другое и производительность модели будет значительно ниже и вероятно не понравится, людям принимающим решение о бурении скважины стоимостью стопицот миллионов . Умные геоинженеры и обучатели машин сейчас работают над тем, чтобы побороть эти две проблемы для моделирования месторождений, но с переменным успехом (на мой взгляд опять же).
Пост может показатья кому-то скептическим, но на самом деле я полон оптимизма. Каких-то пять лет назад даже 10-я часть предложенных алгоритмов была невозможна по разным причинам, а сегодня уже идут разговоры о полной автоматизации моделирования с помощью машинного обучения. Повсеместная адаптация займет еще много лет, но все равно впереди блестящее будущее!
📖статья
#ML#AI#geo#subsurface
Машинное обучение в геонауках. Обзор
70 years of machine learning in geoscience in review - статья почти 3-х летней давности, но от этого не теряющя актуальности. В этой работе дается обзор развития машинного обучения в геонауках за последние 70 лет 👴, со времен когда еще и машинным обученем это никто не называл. Кригинг, деревья, метод опорных векторов и далее к сверточным сетям и генеративным моделям глубокого обучения. Отсутствует только обзор популярных в последние годы больших языковых и генерационных моделей.
В общем такое краткое изложение того с чего все начиналось и к чему пришли, применяя статистику и программирование для понимания земных процессов.
Ко всему прочему это еще и прекрасный обзор литературы 📚. Или идеальная вводная лекция для курса "Машинное обучение в геонауках/поиске ресурсов"
#ML#AI#geoscience#paper