TGTGInsightаналитика telegramLIVE / telegram public index
← Machinelearning

TGINSIGHT SIMILAR POSTS

Найти похожее

Источник @ai_machinelearning_big_data · Post #8417 · 31 авг.

💡 Исследователи из ByteDance и Stanford предложили новый метод для генерации длинных видео — Mixture of Contexts. 🔑 В чём проблема: Когда видео становится длинным, внимание модели сильно «раздувается»: растёт стоимость вычислений, модель теряет детали на генерациях, забывает персонажей и «дрейфует». ⚡ Чем интересен Mixture of Contexts: - Видео разбивается на куски (кадры, шоты, подписи). - Каждый запрос выбирает только нужные чанки, вместо того чтобы учитывать всю историю. - Для этого используется простая оценка релевантности: сравнение признаков чанков с текущим запросом. - Обязательно учитываются два «якоря»: полный текстовый промпт и локальный шот для деталей видео. - Causal mask блокирует внимание к будущим кадрам, чтобы не было зацикливаний. - Дальше применяется Flash Attention только к выбранным чанкам — вычисления растут не с длиной всего видео, а только с полезным контекстом. 📊 Результаты: - В 7 раз меньше FLOPs - В 2.2 раза быстрее работа - На длинных сценах (180k токенов) отсекается 85% ненужного внимания 🎥 Итог: - Короткие клипы сохраняют качество - Длинные сцены становятся более плавными, а персонажи — стабильными - Время генерации заметно сокращается Главное: модель учится сама понимать, на что смотреть, получая «память» на минуты видео без изменения базовой архитектуры. 🟠Подробнее @ai_machinelearning_big_data #AI#ML#ByteDance#Stanford#videogeneration

Результаты

Найдено 10 похожих постов

Илья AGI TV 🤖

@ilia_plasma · Post #613 · 05.02.2025, 06:53

Китайцы продолжают бомбить рынок новыми ИИ моделями. #ByteDance выпустил видео генератор OmniHuman-1 для замены блогеров, певцов и CEO Nvidia. ❗️ Осторожно: все видео - AI

Hashtags

ByteDance анонсировала Seaweed APT2 — модель для генерации видео в реальном времени. Пока доступна только демонстрация, но уже видно, что это серьёзный шаг вперёд. 🔍 Краткий обзор возможностей: Реальное время: генерация видео при 24 кадрах в секунду с разрешением до 1280x720 пикселей. Длительность: поддержка видео продолжительностью до 1 минуты (1440 кадров) при использовании всего одной нейронной сети (1NFE). Интерактивность: возможность управления персонажами и камерой в реальном времени. Качество: высокая детализация и плавные движения. Аппаратные требования: работает на одном H100 GPU при разрешении 736x416 пикселей. 🧠 Технология: Модель использует авторегрессионную архитектуру с кэшированием ключевых векторов (KV cache), что позволяет достигать постоянной скорости вывода. Обучение проводилось с использованием adversarial post-training (APT), что обеспечивает высокое качество генерации. ⚠️ Важные моменты: Не open-source: модель не имеет открытого исходного кода. Возможная интеграция: скорее всего, Seaweed APT2 будет интегрирована в продукты ByteDance, такие как CapCut или TikTok Studio. 🔗Подробнее #ByteDance | acidcrunch

Hashtags

Earth&Climate Tech

@earth_climate_tech · Post #395 · 02.10.2023, 16:00

​​Интенсивность выбросов парниковых газов при добыче геологического водорода До добычи геологического водорода еще далековато. Если вообще это когда-нибудь случится 😑. Но профессор Стэнфорда Адам Брандт решил немного заранее посчитать насколько интенсивным с точки зрения выбросов будет возможная добыча геологического водорода. Он опубликовал статью, где приведен оценочный жизненный цикл производства и обработки геологического водорода. Для приблизительной оценки углеродной интенсивности жизненного цикла водорода, профессор использовал основы инженерной физики и химии. В статье описано несколько сценариев. Базовый сценарий включает газ с содержанием водорода на уровне 85 моль%, а также азот (12%) и метан (1,5%), и другие инертные газы (1,5%). Производительность, глубина и другие параметры добычи взяты из данных о бурении природного газа в США на текущий момент. По приведенным расчетам, эксплуатация скважин, сепарация и компрессия газа приводят к интенсивности парниковых газов приблизительно 0,4 кг CO2экв. на килограмм добытого водорода. Прогнозиреутся, что самыми крупными источниками выбросов парниковых газов будут являться неуправляемые потери из системы и выбросы, связанные со строительством скважин и оборудования. В статье также проводится анализ чувствительности, при различных составах газа или методах производства. Результаты наиболее чувствительны к составу газа, в частности, к количеству водорода и метана в исходном потоке газа (на картинке). Статья📖 #hyrdogen#Stanford

Earth&Climate Tech

@earth_climate_tech · Post #323 · 19.06.2023, 22:00

Минутка личных новостей 😎 Вчера прошел через выпускную церемонию Стэндфордской Школы Устойчивого Развития. Было интересно, весело и помпезно как любят американцы. Всплакнуть бы, но чувства немного смазались, ведь прошел почти год с момента защиты моей диссертации. Я-то и диплом уже давно получил. Так как официальная часть награждения проходит в единственный день в году, когда чествуют всех выпускников Стэнфорда, я нарядился в регалии в первый, и, возможно последний раз. В академической среде есть понятие “hooding ceremony”, это когда профессор надевает докторский капюшон через голову выпускника, что свидетельствует об их успешном завершении докторантуры. Типа щегол теперь имеет право носить разноцветный шелковый шарфик поверх мантии 👨‍🎓. Меня посвящал Профессор Тапан Мукерджи, мой, можно сказать, научный руководитель. Когда-то я боялся притрагиваться к его научным книгам, потому что для меня они были слишком заумные, недосягаемая величина. Но потом судьба распорядилась так, что я стал делать исследования под его менторством. И вот финальный аккорд - фоточка с ним. Кстати, если у вас есть вопросы по поводу поступления на PhD в американский ВУЗ, то можете задавать. Поделюсь опытом. Тут главное самому себе ответить на вопрос нужно ли это. И ответ этот ох какой неоднозначный и сугубо индивидуальный, особенно для таких “возрастных” кандидатов как я. #stanford#personal

Earth&Climate Tech

@earth_climate_tech · Post #401 · 19.10.2023, 16:00

​​Polymathic - междисциплинарный ИИ Ох, какая классная межуниверситетская инициатива - Polymathic🔥. Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п. В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков. На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI. #AI#ML

Hashtags

Ali Kuzhuget (AI, NLP, keyboards, Dev)

@AliKuzhuget · Post #165 · 14.10.2025, 00:53

Stanza и малоресурсные языки – Что такое Stanza? Stanza – это написанный на языке программирования Python инструмент превращения сырого текста в грамматически размеченный корпус через ряд этапов, среди которых: • Лингвистическая токенизация – в очень приблизительном виде, разделение на то, что мы обычно понимаем под терминами «предложение» и «слово» • Частеречная и морфологическая разметка – присвоение каждому «слову» тэга части речи (существительное, прилагательное и т. д.), а также морфологических тэгов, характеристик слов этой конкретной части речи (род, число, падеж, лицо, степень сравнения) • Лемматизация – приведение каждого «слова» к словарной форме • Синтаксическая разметка – установление синтаксических отношений между «словами» в предложении. Далее по следующим подглавам можете почитать в приложенном документе – Почему именно Stanza? – Stanza как инструмент сохранения языка – Stanza как инструмент исследования – Stanza на практике Спасибо Илье Афанасьеву (Ilia Afanasev – @djulian13) за свой опыт по работе с Stanza. #NLP#Малоресурсные_языки#Stanford

✨Seedance 1.0 — новый прорывной AI-генератор видео от ByteDance (создателя TikTok). Seedance 1.0 создает Full HD-видео длительностью до 5 секунд всего за 41 секунду, поддерживает сложные сцены со сменой ракурсов и мультишотовые последовательности, а также адаптируется под любые стили — от фотореализма до аниме . По данным платформы Artificial Analysis, Seedance 1.0 превосходит конкурентов, включая Google Veo 3, в качестве генерации, точности следования промпту и плавности движений. Но, в отличие от Veo 3, который требует подписки и геодоступа, Seedance 1.0 доступен через открытые сателлиты без vpn (например, seedance.tv/ru) и стоит всего ~$0.50 за ролик . Пока инструмент не генерирует звук, но идеален для короткого контента в соцсетях. Попробовать можно здесь: aigcarena.com, seedance.tv, lunaai.video или pollo.ai (где вам лично удобнее). Почитать побольше и посмотреть ролики можно здесь. Ожидаем, что Seedance скоро добавят в Dreamina, так как это все продукты одной компании, ByteDance.. Девушка в русском сарафане и косынке едет на Харлей девидсон по просёлочной дороге #AI#видеогенерация#Seedance#ByteDance#Veo3 https://t.me/semasci

Earth&Climate Tech

@earth_climate_tech · Post #352 · 24.07.2023, 16:00

ClimateLearn - машинное обучение в предсказании климата и погоды ClimateLearn - это библиотека в питоне для доступа к самым современным климатическим данным и моделям машинного обучения стандартизированным и простым способом. Эта библиотека предоставляет доступ к нескольким наборам данных, зоопарку базовых подходов, а также набору метрик и визуализаций для крупномасштабного сравнительного анализа методов статистического масштабирования и временного прогнозирования. В этом ноутбуке можно поучиться как пользоваться. #ML#AI#climate

Earth&Climate Tech

@earth_climate_tech · Post #391 · 18.09.2023, 18:17

​​Seismic Foundation Model от создателя FaultSeg3D Как говорится paper alert📖! Когда-то давно d 2018, тогда еще сотрудник Техасского Университета в Остине, Xinming Wu сделал синтетический датасет сейсмических моделей с разломами и обучил на нем довольно простую по нынешним временам сверточную нейронную сеть для сегментации разломов - FaultSeg3D. Написал статью и выкатил модель в октрытый доступ. На тот момент это был прорыв, так как модель работала во многом лучше существующих на тот момент инструментов. Совсем недавно, он же сделал первый шаг к созданию первой базовой модели (Foundation Model) для сейсмического анализа недр и выпустил статью - "Seismic Foundation Model (SFM): a new generation deep learning model in geophysics". Особенность базовых моеделей в том, что они обучены на огромном количестве данных и служат отправной точкой для разработки специализированных моделей и могут быть легко адаптированы к широкому спектру применений. Авторы накопали 192 сейсмических куба, >2 миллионов сейсмических разрезов и натренировали эту самую сейсмическую базовую модель, используя архитектуру Трансформера. Затем протестировали работу модели на различных задачах: классификация фаций, сегментация геологических тел, сейсмическая инверсия, подавление шумов и интерполяция сейсмической записи. Теперь они могут дообучать модель или использовать тонкую настройку для более узких задач. Побольше бы такого! В обсчем, что тут сказать, Data is a King 👑. Есть данные, будет и базовая модель. Но только, сдается мне, что даже с "номинально" открытыми данными все не так просто и там куча условностей. Видимо по этому, ссылка на гитхаб в статье не работает 😀. Статью можете нати во вложении! #ML#AI#paper

Hashtags

Earth&Climate Tech

@earth_climate_tech · Post #399 · 17.10.2023, 16:00

Хакатончик от Xeek Two Birds, One Neural Network - так называется новый хакатон от Xeek в области Generative AI. Звучит как-будто нужно сделать свой Dalle-E2, но на самом деле, задача выглядит немного иначе. По условиям хакатона, участникам нужно сделать нейронную сеть, которая максимизирует разнообразие генерируемых результатов, отвечающих двум условиям. Авторы хакатона проводят параллели с добавлением двух геофизических измерений для ограничения сценариев геологических моделей. Буквально, нужно построить нейронную сеть, которая генерирует разнообразные значения x0, x1, сохраняя при этом их природу в виде нисходящих или восходящих прямых линий, удовлетворяющих заданным функциям y1, y2, как показано на картинке. Более подробное описание - тут. Призовой фонд $40К (первое место $19.5K). #hackathon#AI#ML