DLStories

Нина подаётся на Yandex ML Prize как руководитель DLS. Там для заявки нужны несколько отзывов студентов, которые проходили курс. Если вы проходили DLS, вам понравилось, и вы хотите поддержать DLS, Нину и всех нас, напишите мне, пожалуйста P.S. Вроде набрали 10 человек, спасибо вам большое 🥰

Так вышло, что теперь у нас не три, а четыре дня NeoAI, и сегодня тоже есть тур Он начнется вот-вот, вот ссылка на трансляцию. А ещё у нас есть живой лидерборд! Туры сегодня и завтра уже не международные, поэтому на лидерборде по новым задачам будут только кандидаты в сборную Приходите смотреть трансляцию, там будет про задачи в том числе)

А я тем временем уже снова в Москве (точнее, в подмосковье), где завтра (3 мая) стартует NeoAI — Northern Eurasian Olympiad on Artificial Intelligence. Это AI олимпиада, которую мы проводим как основной отбор в сборную на межнар IOAI, но в этом году в ней удаленно также могут участвовать и другие страны. Всего будет три дня контестов по три задачи (3, 4 и 6 мая). Сережа (один из тренеров) решил взять у ICPC идею и сделать трансляцию олимпиады. И будет не просто трансляция из зала, а еще разговоры с разными людьми вокруг AI соревнований: как было раньше, как есть сейчас, и куда все это катится как это все будет выглядеть в будущем В посте Саши — спикеры на все три дня и подробные темы. А вот ссылки на прямые трансляции всех дней: • Первый тур (3 мая 10:00 - 16:00) • Второй тур (4 мая 10:00 - 16:00) • Третий тур (6 мая 10:00 - 16:00)

В DLS делают очень интересную штуку — летнюю смену по AI для школьников 8-10 классов. Это типа летний лагерь, как по олимпиадной математике/проге, но только по ИИ! Смена пройдет 3-13 июля в экопарке «Бобровый мыс». Учеба будет довольно плотной: 4 пары в день и работа над проектом. Программа начинается с математики для ML, основ ML, CV, NLP. Участники смены будут разделены по уровню подготовки, поэтому смена подойдет как новичкам в AI, так и студентам с обширным опытом. Организация и программа делается людьми, которые хорошо понимают в програмах и образовании по олимпиадной математике и AI. Руководитель смены — Валерия Набатова, тренер сборной Москвы по ИИ и один из менеджеров DLS. Для участия в смене необходимо зарегистрироваться на сайте и пройти отборочный контест до 9 мая (контест доступен в течение пяти дней после регистрации, но не позже 9 мая 23:59 Мск). Участие в смене платное, для олимпиадников предусмотрена скидка. Больше информации о смене и программе читайте на сайте: 📎Сайт 📎Регистрация (открыта до 9 мая 23:59 Мск) Если остались вопросы, спрашивайте под постом DLS о смене тут

Я сегодня наконец доехала на ICLR в Рио де Жанейро, и прямо сейчас буду презентовать свой постер! Приходите посмотреть на меня и Andreea (мою коллегу-соавтора из лондонского Huawei) в Pavilion 4 P4-#3208, если вы вдруг тоже тут) Я так и не написала до этого момента про эту статью, давайте напишу хотя бы немного сейчас. Небольшой дисклеймер: возможно, это будет не самый связный и понятный рассказ, потому что я вообще не спала сегодняшную ночь (летела из Лондона в Рио, это 11 часов 🫠), и слова из-за этого в связные предложения складываются чуть хуже 👿 Итак, статья CASteer: Cross-Attention Steering for Controllable Concept Erasure — она о том, как перенести идеи representation engineering из LLM на диффузионки и получить довольно простой training-free метод для удаления концептов из диффузий (например, картинок с nudity, violence или copyritghted material), который при этом очень эффективный и сохраняет общее качество генераций модели. Теперь чуть подробнее. Для начала, в чем состоит идея representation engineering из LLM. Где-то году в 2022-2023 было показано, что в LLM работает следующая идея: давайте выберем концепт (например, toxicity) и зафиксируем слой LLMки (например, слой номер 13). Возьмем несколько промптов, на которые LLM отвечает довольно токсично, и усредним активации с этого слоя на этим промпты. Получим "среднюю активацию слоя на токсичные промпты". Возьмем еще несколько промптов, на которые LLM отвечает не токсично, и тоже усредним активации с этого слоя на этим промпты. Получим "среднюю активацию слоя на обычные промпты". Потом отнимем среднюю активацию слоя на обычные промпты от средней активации слоя на токсичные промпты, и получим стиринг вектор токсичности. Это будет как бы вектор в пространстве выходов слоя, который кодирует концепт "токсичности" в модели. А далее при inference модели мы просто будем добавлять или отнимать этот стиринг вектор токсичности от текущих активаций модели на этом выбранном слое. Таким образом мы сможем влиять на генерацию: если добавлять стиринг вектор токсичности, то генерация будет получаться более токсичной, а если отнимать, то менее токсичной. Так вот, я в 2024 году наткнулась на эту идею, и она показалась мне довольно удивительной: идея стиринга выходов слоев — супер простая, но это действительно неплохо работает. Мне захотелось разобраться, почему же это вообще работает, и как сделать так, чтобы работало еще лучше (и, желательно, еще с теоретическим обоснованием и гарантиями). Но пока я разбиралась в этом стиринге и что там происходит с активациями при стиринге, мне захотелось попробовать этот стиринг потыкать руками, хотя бы куда-то применить. Так родилась идея попробовать адаптировать эту идею к генерации картинок диффузионками — диффузионный модели все же отличаются от LLM структурой и идеей работы, и к ним стиринг в таком виде еще никто не применял. Собственно, CASteer — это то, что получилось из этой идеи. В статье я беру те диффузионки, которые получают информацию из текста при генерации через слои cross-attention (CA), и применяю стиринг к активациям CA слоев модели, чтобы заставить модель не генерировать определенные концепты, даже если они заданы в промпте. Кажется, что раз мы хотим запретить нейронке генерировать что-то, что есть в тексте, то как раз и нужно стирить то место в сети, которое передает инфу из текста в патчи генерируемой картинки — а это и есть CA слои. И это действительно сработало — CASteer хорошо удаляет разные концепты, не ломая при этом общие способности моделей к генерации разных картинок. Вот так. Еще раз вот вам ссылки: • статья на arxiv • код на GitHub (очень буду рада звездочкам 🥺) Ну и stay tuned, скоро расскажу про следующие статьи, которые уже больше про то, "почему стиринг работает, и как сделать его лучше с теоретической точки зрения"

Я тут несколько раз писала про применения AI в математике, и, в частности, про проект CayleyPy, в котором применяют AI для поиска путей в графах Кэли с огромным числом вершин. Напомню, что их статья про поиск путей в графе кубика Рубика получила Sptlight на neurIPS 2025, а еще недавно задача от CayleyPy была одним из выпускных проектов DLS в этом семестре. Так вот, CayleyPy продолжает жить, и теперь к виртуальному поиску путей в графах добавляется механическая составляющая — робот. Ребята хотят обучить робота очень быстро собирать Мегаминкс (перестановочный пазл, похожий на кубик Рубика) и поставить в этом мировой рекорд. И к этому у них приурочены два соревнования (с призами!), в которых можно поучаствовать всем желающим, и мини-курс, чтобы лучше во всем этом разобраться. Немного про задачу: Мегаминкс - это перестановочный пазл, похожий на кубик Рубика (см. картинку к посту). У него 10^68 состояний — это очень много, и эффективно искать кратчайшие пути сборки пока что никто не умеет. Для сравнения: для обычного кубика Рубика известно, что диаметр графа его состояний (самый длинный кратчайший путь между состояниями) составляет 20. Для мегаминкса сейчас есть только оценки снизу (48) и сверху (116), но точное значение человечеству пока неизвестно. Короче, мегаминкс — это чуть посложнее. И если сравнивать реальное время сборки кубика Рубика и мегаминкса, то сейчас роботы собирают кубик Рубика за 103 миллисекунды (чуть быстрее, чем моргнуть), а мегаминкс пока только за 8 минут. В общем, на Физтехе хотят таки этот мегаминкс победить и поставить мировой рекорд. Для этого они сделали робота, который может независимо вращать каждую из 12 граней мегаминкса, и запустили две соревы. Соревнования поделены на две части — робототехническую и алгоритмическую. Про соревнование по алгоритмам на Kaggle подробно написано в этом посте (единственное — с момента публикации счет в 80000 уже был преодолен, сейчас борьба идет за 75000). А в начале мая очно на Физтехе будет проведено соревнование по сборке мегаминкса роботом (робот на картинке), где решения будут запускаться в реальном времени на неизвестных начальных состояниях. Соревнование организуется совместно с лабораторей интеллектуальных технологий робототехники МФТИ. Руководитель проекта — Илья Осокин, ему можно писать со всеми вопросами. Узнать больше о робототехнической части проекта можно в чате @starkitmega или вот в этом посте. И еще, у лаборатории робототехники есть своя магистратура — туда можно поступить, чтобы заниматься гуманоидами и собаками. Чат поступашек @admissionstarkit А еще в рамках теоретической подготовки к соревнованию на Физтехе проходил мини-курс по комбинаторной теории групп. Всего 7 лекций, их можно найти на YouTube тут. Короче, звучит довольно интересно и необычно, участвуйте, если вдруг интересно) Кажется, что пока не очень много людей занимаются подобными вещами, так что действительно можно придумать что-то интересное.

Как-то так получилось, что меня номинировали в российский Forbes 30 under 30 😮 Кажется, схема там такая: номинантов отбирают в лонг-лист, а затем запускается голосование для определения шорт-листа. Если вдруг хотите проголосовать за меня или кого-то другого, тыкать сюда Ну и, конечно, ждём теперь, когда меня поймают на фроде и посадят)))

Всерос только закончился, а уже через неделю начнется отбор на межнар IOAI (да, работа не кончается никогда 🫠) По этому поводу хотим сделать онлайн трансляцию и обсудить на ней две вещи: 1. как прошел закл ВсОШ - что нам понравилось, что мы хотим сохранить…

Всерос только закончился, а уже через неделю начнется отбор на межнар IOAI (да, работа не кончается никогда 🫠) По этому поводу хотим сделать онлайн трансляцию и обсудить на ней две вещи: 1. как прошел закл ВсОШ - что нам понравилось, что мы хотим сохранить…

Всерос только закончился, а уже через неделю начнется отбор на межнар IOAI (да, работа не кончается никогда 🫠) По этому поводу хотим сделать онлайн трансляцию и обсудить на ней две вещи: 1. как прошел закл ВсОШ - что нам понравилось, что мы хотим сохранить на следующий год, а что хотим поправить. Должно быть интересно тем, кто хочет готовиться к следующему году, поностальгировать по этому заклу или вообще узнать, какой получился ВсОШ по AI 2. отбор на IOAI в этом году - как он проходит, чего ждать на квалах и как будет устроен NEOAI (собственно, основной тур отбора) На стриме будут: • авторы задач и члены жюри ВсОШ ИИ (Саша Гущин, Владимир Гуровиц, Таня Гайнцева) • Призеры закла ВсОШ ИИ и члены сборной России на IOAI в 2025 (Олег Дроканов, Миша Вершинин) — будут впечатления и ВсОШ, и межнаров из первых рук) Трансляция будет онлайн в воскресенье 5.04 в 17:00 мск. Ссылка будет ближе к началу трансляции

Лол Аватарка этого канала — чуть поправленная картинка из Сашиной задачи на региональном этапе олимпиады, и она уже стала просто символом олимпиады наравне с CatBoost)

Час назад начался второй, практический тур. Трансляция тут, и еще по задачам есть public leaderboard 🍿