TGTGInsightаналитика telegramLIVE / telegram public index
← Machinelearning

TGINSIGHT SIMILAR POSTS

Найти похожее

Источник @ai_machinelearning_big_data · Post #9641 · 9 мар.

🌟Tencent HY-WU: динамические LoRA для редактирования изображений. Tencent HY опубликовала первую часть серии работ под названием HY-WU (Weight Unleashing). Суть метода в отказе от стандартной парадигмы адаптации, при которой модель получает один фиксированный набор весов для всех задач. Специальная модель-генератор синтезирует LoRA отдельно под каждый входной пример прямо во время инференса, без дополнительной оптимизации на тест-тайме. Проблема, которую решает HY-WU, хорошо знакома всем, кто работал с дообучением: когда задачи противоречат друг другу (например, "размыть" против "убрать размытие" или "состарить лицо" против "восстановить"), общий адаптер вынужден идти на компромисс. Градиенты конфликтуют, и результат оказывается хуже, чем если бы задачи обучались раздельно. Чтобы не быть голословными, авторы измерили это напрямую: косинусное сходство градиентов между разнородными задачами устойчиво отрицательно, среднее около −0.30, то есть задачи буквально тянут веса в противоположные стороны. HY-WU предлагает условную генерацию параметров. Модель-генератор (8B параметров) принимает на вход совместное представление изображения и текстового запроса через энкодер SigLIP2, после чего генерирует LoRA-матрицы (~0.72B) и инжектирует их в базовую модель. Обучение сквозное, только через downstream-loss, без предварительно собранных чекпойнтов адаптеров. 🟡Тесты и результаты Для тестов выбрали задачу редактирования изображения текстовым запросом - в нем конфликты неизбежны и визуально очевидны. 🟢В попарном human evaluation (GSB) HY-WU выигрывает у всех топовых open-source редакторов с большим отрывом: 67–78% против Step1X, Qwen, LongCat и FLUX; 🟢Среди закрытых систем модель обошла Seedream 4.5 (55.6%) и GPT Image 1.5 (55.5%). 🟠Единственные, кто пока впереди - Nano Banana 2 и Nano Banana Pro. Tencent проверили: прирост качества дается именно условной маршрутизацией, а не просто увеличением числа параметров. Когда генератор использовали с перемешанными или усредненными условиями, результат проваливался до уровня базовой модели. Полный SFT с намного большим числом обучаемых параметров давал сопоставимый результат с обычным Shared LoRA, так как в обоих случаях в инференсе применяется одна фиксированная точка в пространстве весов. Выпущенная работа - первая часть серии исследований по функциональной памяти для генеративных моделей. В планах: 🟢сравнить функциональную память с retrieval-подходами и понять, когда каждый из них уместен; 🟢разработать протоколы онлайн-обучения, при которых модель усваивает новые задачи без деградации на старых; 🟢исследовать масштабирование модели-генератора отдельно от базовой модели. Помимо этого, в планах выйти за пределы LoRA на другие операторные интерфейсы, распространить метод на видео и агентные системы, а также проработать возможность точечно удалять поведение модели через управление состоянием генератора. Кроме этого архиполезного исследования Tencent выложили связку из модели-генератора и базовой модели HY-Image-3.0-Instruct, поверх которой она и работает. Поиграться этой красотой можно, если под рукой простаивает 8х40 GB или 4х80 GB VRAM. 📌Лицензирование: Tencent Hunyuan Community License. 🟡Страница проекта 🟡Prompt Handbook (китайский) 🟡Модель 🟡Техотчет 🖥Github @ai_machinelearning_big_data #AI#ML#ImageEdit#HYWU#Tencent

Результаты

Найдено 10 похожих постов

🤖 CEO Tencent Пони Ма о раннем этапе развития холдинга, роли продаж и судьбе: 🛒 Мы постоянно пытались продать #Tencent, но никто не собирался покупать. Мы не могли продать QQ (первая социальная сеть компании, MAU до сих пор в районе 850 млн), поэтому продолжали развивать проект самостоятельно. 💸 Раньше в г.Шэньчжэнь не было VC. Нам повезло, что прямо перед крахом пузыря доткомов мы привлекли $2 млн.

Hashtags

Earth&Climate Tech

@earth_climate_tech · Post #401 · 19.10.2023, 16:00

​​Polymathic - междисциплинарный ИИ Ох, какая классная межуниверситетская инициатива - Polymathic🔥. Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п. В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков. На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI. #AI#ML

Hashtags

Earth&Climate Tech

@earth_climate_tech · Post #352 · 24.07.2023, 16:00

ClimateLearn - машинное обучение в предсказании климата и погоды ClimateLearn - это библиотека в питоне для доступа к самым современным климатическим данным и моделям машинного обучения стандартизированным и простым способом. Эта библиотека предоставляет доступ к нескольким наборам данных, зоопарку базовых подходов, а также набору метрик и визуализаций для крупномасштабного сравнительного анализа методов статистического масштабирования и временного прогнозирования. В этом ноутбуке можно поучиться как пользоваться. #ML#AI#climate

Earth&Climate Tech

@earth_climate_tech · Post #391 · 18.09.2023, 18:17

​​Seismic Foundation Model от создателя FaultSeg3D Как говорится paper alert📖! Когда-то давно d 2018, тогда еще сотрудник Техасского Университета в Остине, Xinming Wu сделал синтетический датасет сейсмических моделей с разломами и обучил на нем довольно простую по нынешним временам сверточную нейронную сеть для сегментации разломов - FaultSeg3D. Написал статью и выкатил модель в октрытый доступ. На тот момент это был прорыв, так как модель работала во многом лучше существующих на тот момент инструментов. Совсем недавно, он же сделал первый шаг к созданию первой базовой модели (Foundation Model) для сейсмического анализа недр и выпустил статью - "Seismic Foundation Model (SFM): a new generation deep learning model in geophysics". Особенность базовых моеделей в том, что они обучены на огромном количестве данных и служат отправной точкой для разработки специализированных моделей и могут быть легко адаптированы к широкому спектру применений. Авторы накопали 192 сейсмических куба, >2 миллионов сейсмических разрезов и натренировали эту самую сейсмическую базовую модель, используя архитектуру Трансформера. Затем протестировали работу модели на различных задачах: классификация фаций, сегментация геологических тел, сейсмическая инверсия, подавление шумов и интерполяция сейсмической записи. Теперь они могут дообучать модель или использовать тонкую настройку для более узких задач. Побольше бы такого! В обсчем, что тут сказать, Data is a King 👑. Есть данные, будет и базовая модель. Но только, сдается мне, что даже с "номинально" открытыми данными все не так просто и там куча условностей. Видимо по этому, ссылка на гитхаб в статье не работает 😀. Статью можете нати во вложении! #ML#AI#paper

Hashtags

Earth&Climate Tech

@earth_climate_tech · Post #399 · 17.10.2023, 16:00

Хакатончик от Xeek Two Birds, One Neural Network - так называется новый хакатон от Xeek в области Generative AI. Звучит как-будто нужно сделать свой Dalle-E2, но на самом деле, задача выглядит немного иначе. По условиям хакатона, участникам нужно сделать нейронную сеть, которая максимизирует разнообразие генерируемых результатов, отвечающих двум условиям. Авторы хакатона проводят параллели с добавлением двух геофизических измерений для ограничения сценариев геологических моделей. Буквально, нужно построить нейронную сеть, которая генерирует разнообразные значения x0, x1, сохраняя при этом их природу в виде нисходящих или восходящих прямых линий, удовлетворяющих заданным функциям y1, y2, как показано на картинке. Более подробное описание - тут. Призовой фонд $40К (первое место $19.5K). #hackathon#AI#ML

Earth&Climate Tech

@earth_climate_tech · Post #320 · 16.06.2023, 17:18

Выделение объектов на Лидаре с помощью ML LiDAR (Light identification, Detection and Ranging) - крутая штука. Это технология получения и обработки информации с помощью активных оптических систем (лазеров). Такой "лазерный дальнометр" для картирования объектов в 3Д и еще с координатами. Используется повсеместно в куче индустрий от беспилотных автомобилей до майнинга. Даже на айфонах есть (но не на моем 😢). На картинке, например, "лидарная" карта залива Линнхейвен в Вирджинии 🤩. Но я даже не про красивые картинки. Они же просто красивые, а пользы сами по себе приносят мало. Польза есть, если, например, из этих моделей, по сути точек с координатами, вытаскивать реальные объекты. То есть делать сегментацию 💡. Об этом и интересная статья на Медиуме: Introducing Segment-Lidar: Revolutionizing Unsupervised Instance Segmentation of Aerial LiDAR Data, которая рассказывает как применять крутейший алгоритм по выделению объектов SAM от компании Meta для выделения объектов на геопространственных данных, полученных с помощью Лидара (картинка 2). Статья, собственно, представляет собой пошаговую инструкцию, как это делать с помощью модуля в Питоне segment-lidar. 📖Medium 💻Github #GIS#ML

Hashtags

Earth&Climate Tech

@earth_climate_tech · Post #359 · 31.07.2023, 16:00

NVIDIA и Physics Informed Neural Operator для нелинейных инженерных задач Стараюсь краем уха следить за исследованиями в области physics informed machine learning, потому что эти модели машинного обучения, вроде как, могут получше работать с нелинейными физическими моделями сложной природы, а не только для того чтобы сделать свою фотку в стиле Барби. Больше всего в это вкладывается NVIDIA со своим Modulus. У меня даже пост про это есть. А в этом линкедин посте, Анима Анандкумар, диерктор по ИИ в NVIDIA, рассказывает про применение нейронных операторов Фурье не только для моделирования потока флюидов под землей, но и для моделирования плазмы при ядерном синтезе, оптимизация литографических масок для дизайна микросхем и прогноза экстремальных погодных событий. Ну и на сладенькое, на гитхабчике Caltech в открытом доступе лежат ноутбуки лекции из их последнего буткемпа, посвященного нейронным операторам. Инджой -> Caltech AI4Science Bootcamp #FNO#AI#ML

Hashtags

Сегодня с 16:00 по Москве здесь будет шумно — начнется Дзен-пятница. Воспользуюсь своим пекинским часовым поясом и расскажу несколько интересных моментов с конференции “CHina CHat 2018“, которая сейчас проходит в Шанхае. Что за ивент? Конференция преимущественно для иностранных компаний и брендов, которые хотят прийти на китайский рынок через соцмедиа и популярные приложения. Говорят о “social commerce”, в частности как продвигаться и продавать через #WeChat, #Douyin и прочие платформы. О чем говорят? 🔸 Медиа-эксперт Мэтью Брэнан: со вступительным словом рассказал, как год назад все недоумевали насчет Douyin (Tiktok), а в 2018 это главный двигатель рынка. В целом речь о том, как не надо недооценивать тренды. Например, сейчас все обсуждают (но никто не пользуется) Bullet Messages. Тоже самое было с wechat mini-apps и некоторыми блогерами, которые сейчас стали мега-популярными (ванхунами). 🔸 В двух выступлениях ребята из #Tencent рассказали, какие возможности существуют в WeChat для брендов и компаний (в т.ч. иностранных), а также их внутренняя рекламная сеть (Social Ads), доступ к Big Data для таргетирования и анализа эффективности. А также: кейсы использования mini-apps, магазины в wechat, использование facial recognition и O2O. 🔸 Ashley Galina Dudarenok (агентство ChoZan) рассказывала о Douyin и продвижение в нем. MAU в июле 2018 уже 500 млн. Где, кто и когда смотрят видео на Douyin - данные по географии и пользователям. Нажмите ниже 🎵 если хотите подробный рассказ об этом. 🔸 Jenny Chen (агентство WalkTheChat): тренды social commerce (интернет-торговля и социальные сети). Как современные бренды используют соцмедия для маркетинга и продаж. Много разных кейсов, дам один пример: сеть кофеен Coffee Box. Они сделали приложение в вичате, в котором каждый пользователь может себе открыть виртуальную кофейню со своим брендом/дизайном и продавать кофе с доставкой. Естественно кофе доставляет «Кофибокс», но человек получает пару-тройку юаней комиссию за продажу (друзьям). Также Jenny рассказала про ванхунов, они же KOL (key opinion leaders), как и на чем они зарабатывают в Китае. Нажмите 👩‍🎤 ниже, если хотите подробный рассказ об этом.

Earth&Climate Tech

@earth_climate_tech · Post #318 · 14.06.2023, 21:58

​​Комплексное глубокое обучение для моделей месторождений. Нажал на кнопочку - готово! Руслан Мифтахов выпустил очередное видео, на этот раз про комплексное (end-to-end) глубокое обучение для моделирования месторождений. Посмотрите, будет интересно тем кто этим занимается. Видео основано на статье специалистов SLB "Deep learning for end-to-end subsurface modeling and interpretation: An example from the Groningen gas field". Как и рассказывает Руслан, идея end-to-end глубокого обучения для моделирования месторождений довольно крутая и у нее есть прекрасная аналогия в мире беспилотных автомобилей - собираем все возможные алгоритмы прогнозы обстановки на дороге и автоматизации в одну систему. Что если сделать подобное и для дорогостоящего и длительного процесса моделирования подземных месторождений чего угодно, хоть нефти, хоть минералов 🤔? Например, есть несколько видов данных (со скважин и сейсмические данные). Их нужно обработать, интерпретировать каждый вид данных особым способом, закартировать и наконец сделать 3D модель свойств горных пород и флюидов - типа, бурить сюда! Интересно, что модели машинного обучения уже представлены для каждого процесса в отдельности. Есть модели машинного обучения для обработки скважинных данных, есть модели машинного обучения для автоматического выделения тектонических разломов на сейсмике и так далее. Авторы статьи, делают один, на мой взгляд пока небольшой, шаг к полной автоматизации процесса интерпретации и моделирования. Они говорят, давайте соберем все эти модели и придумаем автоматический процесс, чтобы собрать данные, нажать на кнопочку и на выходе получить модель свойств всея Земли (на картинке). Это может быть модель пористости или плотности пород, да чего угодно. Я лично знаком с авторами, коллеги все-таки. Действительно, у них есть работающие компоненты, которые они собрали в статье под одним зонтиком. Это в основном сверточные нейронные сети для различных задач. Идея крутая, но даже для частичной ее реализации, на мой взгляд, нужно пройти большой путь. Ведь то, что у нас под ногами скрыто от наших глаз, в отличие от того, что видит камера беспилотного автомобиля. Подземного сканера с супер-разрешением все еще нет, где ты Илон Маск? Поэтому в игру вступают неопределенность и сдвиг данных. Неопределенность геологических моделей будет всегда, потому что этих моделей бескочнечность, ведь мы точно никогда не узнаем что там под землей, а можем лишь догадываться по обрывкам данных. Если эту неопределенность не учитывать - будет финансово больно, даже при наличии самых красивых моделей и самых глубоких обучателей. Сдвиг данных, возникает тогда, когда модель обученная на одних данных, попадает в новые условия. И в геонауках это серьезная проблема. Не смотря на аналогии, нет двух одинаковых месторождений, и даже если модель обучить на 1000 месторждениях, 1001-е будет другое и производительность модели будет значительно ниже и вероятно не понравится, людям принимающим решение о бурении скважины стоимостью стопицот миллионов . Умные геоинженеры и обучатели машин сейчас работают над тем, чтобы побороть эти две проблемы для моделирования месторождений, но с переменным успехом (на мой взгляд опять же). Пост может показатья кому-то скептическим, но на самом деле я полон оптимизма. Каких-то пять лет назад даже 10-я часть предложенных алгоритмов была невозможна по разным причинам, а сегодня уже идут разговоры о полной автоматизации моделирования с помощью машинного обучения. Повсеместная адаптация займет еще много лет, но все равно впереди блестящее будущее! 📖статья #ML#AI#geo#subsurface

Earth&Climate Tech

@earth_climate_tech · Post #306 · 30.05.2023, 21:20

Машинное обучение в геонауках. Обзор 70 years of machine learning in geoscience in review - статья почти 3-х летней давности, но от этого не теряющя актуальности. В этой работе дается обзор развития машинного обучения в геонауках за последние 70 лет 👴, со времен когда еще и машинным обученем это никто не называл. Кригинг, деревья, метод опорных векторов и далее к сверточным сетям и генеративным моделям глубокого обучения. Отсутствует только обзор популярных в последние годы больших языковых и генерационных моделей. В общем такое краткое изложение того с чего все начиналось и к чему пришли, применяя статистику и программирование для понимания земных процессов. Ко всему прочему это еще и прекрасный обзор литературы 📚. Или идеальная вводная лекция для курса "Машинное обучение в геонауках/поиске ресурсов" #ML#AI#geoscience#paper