Earth&Climate Tech

​​Polymathic - междисциплинарный ИИ Ох, какая классная межуниверситетская инициатива - Polymathic🔥. Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п. В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков. На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI. #AI#ML

Хакатончик от Xeek Two Birds, One Neural Network - так называется новый хакатон от Xeek в области Generative AI. Звучит как-будто нужно сделать свой Dalle-E2, но на самом деле, задача выглядит немного иначе. По условиям хакатона, участникам нужно сделать нейронную сеть, которая максимизирует разнообразие генерируемых результатов, отвечающих двум условиям. Авторы хакатона проводят параллели с добавлением двух геофизических измерений для ограничения сценариев геологических моделей. Буквально, нужно построить нейронную сеть, которая генерирует разнообразные значения x0, x1, сохраняя при этом их природу в виде нисходящих или восходящих прямых линий, удовлетворяющих заданным функциям y1, y2, как показано на картинке. Более подробное описание - тут. Призовой фонд $40К (первое место $19.5K). #hackathon#AI#ML

​​Глубокое обучение для поиска промышленно-научных изображений (например, изображений горных пород) Допустим у вас есть база данных микроскопических изображений горных пород с измеренными физическими свойствами. Эта база данных постоянно пополняется. Вы берете новое изображение и хотите 1) найти подобные из миллиона других и 2) оценить физические свойства найденного изображения без дополнительного физического эксперимента. Вот примерно это попытались сделать ученые из Shell в статье Content-based image retrieval for industrial material images with deep learning and encoded physical properties 🔥 Они обучили свою кастомную нейронную сеть оценивать похожесть изображений горных пород, используя сиамские нейронные сети. В дополнение к этому, они натренировали сеть оценивать похожесть мета-данных, например какая пористость или проницаемость, присуща именно этому изображению. В результате получилась история как на картинке -> подаем изображение с измеренными физическими свойствами -> получаем максимально похожие изображение с оцененными физическими свойствами. На картинке 2 желтый - резульатат при использовании архитектуры ResNet-34, фиолетовым - архитектура предложенная авторами. Результат конечно в пользу последней. Авторы предлагают использовать данный подход для всех типов промышленных и научно-исследовательских изображений. Статья📖 Код💻 #paper#ML#AI#Earth

​​Seismic Foundation Model от создателя FaultSeg3D Как говорится paper alert📖! Когда-то давно d 2018, тогда еще сотрудник Техасского Университета в Остине, Xinming Wu сделал синтетический датасет сейсмических моделей с разломами и обучил на нем довольно простую по нынешним временам сверточную нейронную сеть для сегментации разломов - FaultSeg3D. Написал статью и выкатил модель в октрытый доступ. На тот момент это был прорыв, так как модель работала во многом лучше существующих на тот момент инструментов. Совсем недавно, он же сделал первый шаг к созданию первой базовой модели (Foundation Model) для сейсмического анализа недр и выпустил статью - "Seismic Foundation Model (SFM): a new generation deep learning model in geophysics". Особенность базовых моеделей в том, что они обучены на огромном количестве данных и служат отправной точкой для разработки специализированных моделей и могут быть легко адаптированы к широкому спектру применений. Авторы накопали 192 сейсмических куба, >2 миллионов сейсмических разрезов и натренировали эту самую сейсмическую базовую модель, используя архитектуру Трансформера. Затем протестировали работу модели на различных задачах: классификация фаций, сегментация геологических тел, сейсмическая инверсия, подавление шумов и интерполяция сейсмической записи. Теперь они могут дообучать модель или использовать тонкую настройку для более узких задач. Побольше бы такого! В обсчем, что тут сказать, Data is a King 👑. Есть данные, будет и базовая модель. Но только, сдается мне, что даже с "номинально" открытыми данными все не так просто и там куча условностей. Видимо по этому, ссылка на гитхаб в статье не работает 😀. Статью можете нати во вложении! #ML#AI#paper

​​IMAGE'23 и генерация моделей по подсказке Всем привет! Пропал-пропал, был на конференции IMAGE'23. Это такая огромная, на тысяч 6-7 человек, геотехническая конференция в Хьюстоне для специалистов в области геонаук, полезных ископаемых и (уже) декарбонизации. Самые большие секции были посвящены машинному обучению в геонауках. На одной из них я показал наши эксперименты в области Генеративного ИИ (Generative AI), а именно первые наброски того как можно генерировать реалистичные геологические\сейсмические модели с помощью семантически понятного текста. Типа говоришь "йоу, модель, сделай мне низкочастотный сейсмический разрез с двумя сбросовыми разломами в восточной части и добавь немного шума". И на выходе получаешь реалистичный сейсмический разрез удовлетворяющий твоему описанию, или получаешь сразу несколько разных разрезов, ведь генерация стохастическая. Использовали мы немного модифицированную версию знаменитой нейронки Dalle-E2 от Open AI, которую обучили с нуля. Точнее три ее компонента: ✅CLIP - для семантической связи между текстом и изображением(моделью) и преобразования последнего в векторное представление; ✅ Diffusion Prior - для стохастической генерации текстовых векторных представлений в текстовые представления изображения(модели) и ✅ Decoder - для стохастической генерации самих изображений(моделей) из их векторного представления. Последняя нейроночка использует диффузионную модель. Получилось неплохо! На второй картинке пример моделей, которые сгенерировались по соответствующей подсказке. Конечно отправлять в продакшн еще рановато, но идея, кажется, работает не только на кошечках и собачках. #Image23#conference#ML#AI#subsurface

NVIDIA и Physics Informed Neural Operator для нелинейных инженерных задач Стараюсь краем уха следить за исследованиями в области physics informed machine learning, потому что эти модели машинного обучения, вроде как, могут получше работать с нелинейными физическими моделями сложной природы, а не только для того чтобы сделать свою фотку в стиле Барби. Больше всего в это вкладывается NVIDIA со своим Modulus. У меня даже пост про это есть. А в этом линкедин посте, Анима Анандкумар, диерктор по ИИ в NVIDIA, рассказывает про применение нейронных операторов Фурье не только для моделирования потока флюидов под землей, но и для моделирования плазмы при ядерном синтезе, оптимизация литографических масок для дизайна микросхем и прогноза экстремальных погодных событий. Ну и на сладенькое, на гитхабчике Caltech в открытом доступе лежат ноутбуки лекции из их последнего буткемпа, посвященного нейронным операторам. Инджой -> Caltech AI4Science Bootcamp #FNO#AI#ML

ClimateLearn - машинное обучение в предсказании климата и погоды ClimateLearn - это библиотека в питоне для доступа к самым современным климатическим данным и моделям машинного обучения стандартизированным и простым способом. Эта библиотека предоставляет доступ к нескольким наборам данных, зоопарку базовых подходов, а также набору метрик и визуализаций для крупномасштабного сравнительного анализа методов статистического масштабирования и временного прогнозирования. В этом ноутбуке можно поучиться как пользоваться. #ML#AI#climate

Илон Маск объявил о запуске xAI. Цель компании понять истинную природу Вселенной. Так и написано! «The goal of xAI is to understand the true nature of the universe.» В пятницу 14 июля можно задать вопросы в Твиттере. Сейчас сотрудники компании сплошь звезды AI. И они активно нанимают в свой офис в Кремниевой Долине. Так что если вы талантливый AI инженер и вам близки цели Маска- можете попробовать - тут. P.S. О запуске объявлено 12.07.23. Сумма цифр 42 - отсылочка для тех кто читал «Автостопом по Галактике» (“the hitchhiker's guide to the galaxy”) 😎 #AI#announcement

Графовые нейронные сети для моделирования подземной архитектуры Пересматриваю статьи в журнале Mathematical Geosciences и натыкаюсь на довольно частое применение графовых нейронных сетей (Graph Neural Networks - GNN) в геологическом моделировании. Например, прекрасная статья Three-Dimensional Structural Geological Modeling Using Graph Neural Networks Трехмерные геологические модели это основа современного исследования недр для любых целей. Модель нужно построить по обрывкам данных, создать достоверную картинку. Это вообще-то сложно 🤯! Текущий подход - сделать сетку и применять геостатистические методы или машинное обучение для интерполяции внутри сетки. При этом возникают проблемы, когда геология сложная, например куча разломов. По сравнению с традиционными свёрточными нейронными сетями (CNN), GNN не имеют регулярной структуры и допускают сложную структурную информацию и геологические взаимоотношения, открывая новые возможности для моделирования трёхмерных структурных геологических моделей. Архитектура генерирует трехмерные структурные модели, ограниченные разбросанными точечными данными, геологической выборкой и границами (пластами и разломами). Геологическая природа нестркутрна и, возможно, графовые сети в будущем заменят традиционные подходы. На картинке прогноз строения пластов с GNN. #ML#AI#Subsurface_Modeling#GNN

GeologicAI - стартапчик с приятным уху названием Мы немного следим за Breakthrough Energy Ventures (BEV), это такой инвестиционный гигант, фокусирующийся на энергитических и климатических стртапах, созданный Биллом Гейтцем. Иногда кажется, что область геологии и поиска ресурсов настолько консервативна, что места для стартапов там нет. Тем приятнее было увидеть новость, про инвестицию BEV в GeologicAI. У GeologicAI есть робосканер, который сканирует керн и обрабатывает его с помощью AI. Керн, это кусок горной породы цилиндрической формы, который достается при бурении скважины. По сути это единственный источник реальной информации о том, что творится под землей. Традиционно керн описывается специалистами в "ручном режиме", а тут много красивых AI и софтверных решений для автоматизации и более объективного описания и анализа. На видео вся красота. BEV инвестировали не очень много - $20mln. Инвесторы рассчитывают, что технология будет востребована при растущем рынке поиска минералов и редкоземеньных металлов для энергетического перехода. #AI#startup

Ностальгии пост Читаете Вастрика? Я тут разгребал старые заметки и презентации и наткунлся на тот самый огромный пост Вастрика про машинное обучение написанный тыщу лет назад (олды, так сказать, поймут). Лушего введения в предмет я до сих пор не встречал, а это на минуточку 2018! Простым языком, без формул и с прикольчиками всякими. Все раскладывает по полочкам, охватывает 90% всего того, что называют машинным обучением даже на сегодняшний день. Пост Вастрика с тех пор стал легендой, мемом и классикой. Я до сих пор иногда к нему возвращаюсь, чтобы научиться объяснять сложные вещи так же доступно. Чего только стоит вводный абзац "Машинное обучение — как секс в старших классах. Все говорят о нем по углам, единицы понимают, а занимается только препод. Статьи о машинном обучении делятся на два типа: это либо трёхтомники с формулами и теоремами, которые я ни разу не смог дочитать даже до середины, либо сказки об искусственном интеллекте, профессиях будущего и волшебных дата-саентистах." НЕТЛЕНКА! В общем, если вы такие 🙄 "что за баян?", то сори. Если в машинном обучении и каким-то неведомым мне образом прошли мимо этого поста - марш читать, это чистое удовольствие! То же самое касается тех, кто до сих пор мечтал разобраться, но боялся прикасаться к умным статьям и книжкам. Кстати, еще подойдет для всяких менеджеров, чтобы понимать что там их инженеры делают. 📖 - нетленка на русском и английском P.S. У Вастрика недавно вышел еще один фундаментальный пост про AI alignment и я тоже советую его почитать примерно всем. #AI#classic

​​Комплексное глубокое обучение для моделей месторождений. Нажал на кнопочку - готово! Руслан Мифтахов выпустил очередное видео, на этот раз про комплексное (end-to-end) глубокое обучение для моделирования месторождений. Посмотрите, будет интересно тем кто этим занимается. Видео основано на статье специалистов SLB "Deep learning for end-to-end subsurface modeling and interpretation: An example from the Groningen gas field". Как и рассказывает Руслан, идея end-to-end глубокого обучения для моделирования месторождений довольно крутая и у нее есть прекрасная аналогия в мире беспилотных автомобилей - собираем все возможные алгоритмы прогнозы обстановки на дороге и автоматизации в одну систему. Что если сделать подобное и для дорогостоящего и длительного процесса моделирования подземных месторождений чего угодно, хоть нефти, хоть минералов 🤔? Например, есть несколько видов данных (со скважин и сейсмические данные). Их нужно обработать, интерпретировать каждый вид данных особым способом, закартировать и наконец сделать 3D модель свойств горных пород и флюидов - типа, бурить сюда! Интересно, что модели машинного обучения уже представлены для каждого процесса в отдельности. Есть модели машинного обучения для обработки скважинных данных, есть модели машинного обучения для автоматического выделения тектонических разломов на сейсмике и так далее. Авторы статьи, делают один, на мой взгляд пока небольшой, шаг к полной автоматизации процесса интерпретации и моделирования. Они говорят, давайте соберем все эти модели и придумаем автоматический процесс, чтобы собрать данные, нажать на кнопочку и на выходе получить модель свойств всея Земли (на картинке). Это может быть модель пористости или плотности пород, да чего угодно. Я лично знаком с авторами, коллеги все-таки. Действительно, у них есть работающие компоненты, которые они собрали в статье под одним зонтиком. Это в основном сверточные нейронные сети для различных задач. Идея крутая, но даже для частичной ее реализации, на мой взгляд, нужно пройти большой путь. Ведь то, что у нас под ногами скрыто от наших глаз, в отличие от того, что видит камера беспилотного автомобиля. Подземного сканера с супер-разрешением все еще нет, где ты Илон Маск? Поэтому в игру вступают неопределенность и сдвиг данных. Неопределенность геологических моделей будет всегда, потому что этих моделей бескочнечность, ведь мы точно никогда не узнаем что там под землей, а можем лишь догадываться по обрывкам данных. Если эту неопределенность не учитывать - будет финансово больно, даже при наличии самых красивых моделей и самых глубоких обучателей. Сдвиг данных, возникает тогда, когда модель обученная на одних данных, попадает в новые условия. И в геонауках это серьезная проблема. Не смотря на аналогии, нет двух одинаковых месторождений, и даже если модель обучить на 1000 месторждениях, 1001-е будет другое и производительность модели будет значительно ниже и вероятно не понравится, людям принимающим решение о бурении скважины стоимостью стопицот миллионов . Умные геоинженеры и обучатели машин сейчас работают над тем, чтобы побороть эти две проблемы для моделирования месторождений, но с переменным успехом (на мой взгляд опять же). Пост может показатья кому-то скептическим, но на самом деле я полон оптимизма. Каких-то пять лет назад даже 10-я часть предложенных алгоритмов была невозможна по разным причинам, а сегодня уже идут разговоры о полной автоматизации моделирования с помощью машинного обучения. Повсеместная адаптация займет еще много лет, но все равно впереди блестящее будущее! 📖статья #ML#AI#geo#subsurface