🌟 EuroBERT: энкодеры нового поколения.
Исследовательская группа под патронажем Centrale Supélec (Университет Париж-Сакле) выпустила в открытый доступ EuroBERT — семейство мультиязычных энкодеров, обученных на 5 трлн. токенов из 15 языков, включая русский.
EuroBERT сочетает инновационную архитектуру с поддержкой контекста до 8192 токенов, что делает это семейство идеальным для анализа документов, поиска информации, классификации, регрессии последовательности, оценки качества, оценки резюме и задач, связанных с программированием, решением математических задачи.
В отличие от предшественников (XLM-RoBERTa и mGTE), EuroBERT объединил GQA, RoPE и среднеквадратичную нормализацию, чтобы достичь беспрецедентной эффективности производительности даже в сложных задачах. Второе немаловажное преимущество EuroBERT - в обучение помимо текстовых данных были включены примеры кода и решения математических задач.
Самая младшая модель EuroBERT с 210 млн. параметров показала рекордные результаты: в тесте MIRACL по многоязычному поиску её точность достигла 95%, а в классификации отзывов (AmazonReviews) — 64,5%. Особенно выделяется умение работать с кодом и математикой — в бенчмарках CodeSearchNet и MathShepherd EuroBERT опережает аналоги на 10–15%.
▶️Состав релиза:
🟢EuroBERT-210М
🟢EuroBERT-610М
🟢EuroBERT-2.1В
⚠️ EuroBERT можно использовать непосредственно с transformers, начиная с версии 4.48.0
⚠️ Для достижения максимальной эффективности, разработчики рекомендуют запускать EuroBERT с Flash Attention 2
▶️ Пример инференса:
from transformers import AutoTokenizer, AutoModelForMaskedLM
model_id = "EuroBERT/EuroBERT-210m"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id, trust_remote_code=True)
text = "The capital of France is <|mask|>."
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)
# To get predictions for the mask:
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# Predicted token: Paris
📌Лицензирование: Apache 2.0 License.
🟡Статья
🟡Коллекция на HF
🟡Arxiv
🖥GitHub (Скоро)
@ai_machinelearning_big_data
#AI#ML#Encoder#EuroBERT
🔥Интересный кейс про ML в картографии
В статье рассказано про развитие детектора Яндекс Карт для распознавания дорожных знаков на панорамах — от бинарного классификатора до нейросетей. Сейчас детектор умеет находить почти все знаки в России. Первая же версия создавалась в 2016 году с помощью небольшого датасета и модели на классических подходах компьютерного зрения. Использовали ACFFeatures + WaldBoost с бинарными решающими деревьями.
Классические методы страдали «близорукостью» — детектили знаки только «в лоб», повороты пропускали, поэтому перешли к новой версии на свёрточных нейросетях и натренировали Faster R-CNN.
Нетривиальные архитектурные решения:
▪️Объединили все знаки ограничения скорости в один класс + дополнительная сеть для распознавания чисел на вырезанном знаке
▪️ То же с направлениями по полосам — детектор находит знак, дополнительная модель выдаёт бинарный вектор направлений
▪️ Создали отдельную модель для обработки найденных знаков многополосности. Полная техническая реализация описана в статье.
🟢Главная проблема — сбор датасета
Как обычно, всё упёрлось в данные для обучения. Терабайты фотографий улиц прогонять через асессоров — дорого и неэффективно. Выстроили такой процесс: сначала автоматически находить фотографии, где есть дорожные знаки, и только потом отправлять их на разметку асессорам.
🟢Финальные цифры:
▪️ 300 тысяч фотографий в датасете
▪️ 1,5 миллиона размеченных знаков
▪️200+ поддерживаемых классов знаков
Любопытный факт: самый частый знак в датасете — пешеходный переход.
Практический результат: всё это помогает автоматически обновлять данные в Картах, по которым сервис строит маршруты, выдаёт голосовые подсказки о том, с какой скоростью ехать и тд. В год так вносится более 200 тысяч автообновлений
⚡️Статья:https://habr.com/ru/companies/yandex/articles/946338/
@ai_machinelearning_big_data
#ai#ml
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML
Программа по ИИ в Лондоне с полным покрытием расходов 🔥
⚡London AI Safety Research Labs⚡
LASR Labs — программа исследований безопасности ИИ, направленная на снижение рисков, связанных с развитием искусственного интеллекта. Участники работают в командах по 3–4 человека под руководством опытных исполнителей. Предполагается разработка проекта и публикация.
📍Где: очно, Лондон, Великобритания
📅Когда: январь- апрель 2026 г.
👥Для кого
Для соискателей с опытом в инженерии по машинному обучению и с сильными навыками работы с количественными данными. Для тех, у кого нет права на работу в UK организаторы помогают получить визу.
💸Условия
Программа предполагает стипендию £11,000, а также покрывают расходы на питание, перелёт и оказывают визовую поддержку и предоставляют офисное помещение.
⏰Дедлайн: подача заявок до 10 октября 2025 г.
➡️Подробнее
➡️StudyGrants - стажировки| стипендии| летние школы 🌎
#ML#AI
Does AI dream of electric patents?
Google faces a legal problem: lawyers are unsure if they could patent plans created by AI algorithms. The company had filed patents describing a ML technique used to design and map out components in the custom AI accelerator TPU chips.
However, US laws recognize and protect intellectual property created only by "natural persons". Although Google engineers built AI models, after training algorithms generated their products automatically with minimal human effort. Therefore, a legal catch arises: is it permissible to patent the outputs created by these systems?
During the meeting held by US Patent and Trademark Office, Laura Sheridan, senior patent counsel at Google, said that company pursued only patterns on ML models, not the floorplans it had created.
This case remains an important issue for the entire IT industry nevertheless. AI technologies already produce a lot of outcomes that could become valuable intellectual property for a business and entrepreneurs. ML systems can, for example, write a code, hunt for new drugs, and create digital art. That is why application of the patent laws to the AI algorithms’ outcomes should be clarified in the shortest time.
#AI#ML
Researchers at MIT, Stanford University, Intelligence Lab, and the Autodesk AI Lab developed AI that can figure out Lego Instructions
Scientists collaborated to develop a learning-based framework that can travel 2D instructions to build 3D objects. This system called the Manual-to-Executable-Plan Network (MEPNet) was successfully tested on Lego sets and Minecraft-style building plans.
So it will definitely help people who were driven mad with confusing Lego manuals. But the key idea is to integrate neural 2D keypoint detection modules and 2D-3D projection algorithms for high-precision prediction of unseen components.
Interpreting 2D instructions could be tricky for AI. The key problems are identifying correspondence between 2D and 3D objects, and dealing with a lot of basic objects, which could be assembled into complex forms. «It requires inferring 3D poses of unseen components composed of seen primitives," the researchers said.
At first, MEPNet analyses the current state of Lego set and creates 3D model of all components. Then the algorithm predicts a set of 2D keypoints and masks for each component.
Once that's done, the 2D keypoints "are back-projected to 3D by finding possible connections between the base shape and the new components." The combination "maintains the efficiency of learning-based models, and generalizes better to unseen 3D components," the team wrote.
The full paper of MEPNet is available via the link. And the algorithm’s code is also posted on GitHub.
#AI#ML
#python#AI#ML
😉
Essentials of Python for Artificial Intelligence and Machine Learning (2024)
-----
Main channel: @repo_science
Coupons: @freecoupons_reposcience
-----
Algoverse AI Research Summer 2025 — это 12-недельная онлайн-программа по исследованиям в области ИИ для учеников старших классов и студентов вузов. Участники работают в небольших группах под руководством опытных исследователей искусственного интеллекта над реальными проектами.
📍Где: онлайн
📅Некоторые сессии программы на лето 2025 года:
🔹21 июня — 14 сентября 2025 года;
🔹12 июля — 5 октября 2025 года.
🗣Язык: английский
👥Для кого
Программа доступна студентам вузов, ученикам старших классов и профессионалам индустрии по всему миру.
💸Условия
Программа платная, но для исключительных абитуриентов, которые не могут оплатить полную стоимость, предусмотрены стипендии.
⏰Дедлайн: 6 июля 2025 г. (в 11:59 по тихоокеанскому времени).
➡️Подробнее
🚀ТГ канал «Возможности для школьников»
#AI#ML#летние_школы
📌Ян Лекун: индустрия движется в тупик, игнорируя реальный путь к AGI.
Один из пионеров глубокого обучения и лауреат премии Тьюринга Ян Лекун резко критикует вектор развития ИИ.
Покинув пост в империи Марка Цукерберга в ноябре прошлого года, он говорит, что Кремниевая долина стала жертвой стадного чувства.
Исключительный фокус на больших языковых моделях — это тупиковый путь, который не приведет к созданию AGI, несмотря на колоссальные инвестиции.
Лекун утверждает, что индустрия буквально одурманена LLM. Фундаментальная проблема архитектуры трансформеров заключается в отсутствии способности к планированию и пониманию физического мира.
Системы, построенные на них обучаются исключительно на цифровых массивах данных; они могут предсказывать текст, но не понимают причинно-следственных связей реальности и не могут моделировать последствия своих действий.
Масштабирование языковых моделей имеет жесткий предел и не позволит достичь даже уровня человеческого интеллекта, не говоря уже о сверхразуме.
Для реализации своего видения Лекун основал Advanced Machine Intelligence Labs (AMI Labs). Стартап планирует создание систем, способных строить планы и прогнозировать исходы событий - то, чего лишены современные генеративные модели.
Отдельно досталось американским техно-гигантам за секретность. Лекун считает отказ от Open Source катастрофой и стратегической ошибкой.
Пока корпорации в США прячут разработки под замок, пытаясь сохранить лидерство, китайские компании используют открытый код и могут перехватить инициативу за счет скорости и креативности.
@ai_machinelearning_big_data
#news#ai#ml
✔️ElevenLabs анонсировала локальное развертывание моделей.
Платформа открыла ранний доступ к 2 вариантам деплоя:
🟢On-Premise - для стандартных серверов с GPU,
🟢On-Device - для edge-устройств и систем с поддержкой NPU, ARM-чипов и бюджетных видеокарт.
Обе версии работают с более чем 30 языками. Инференс и обработка аудио будут выполнятся целиком внутри инфраструктуры клиента.
Лицензионная валидация и телеметрия опциональны вплоть до полностью изолированных контуров.
Обещают доступность тонкой настройки под конкретные языки и диалекты. Обновления в этих вариантах развертывания будут поставляться по контролируемому графику.
Пока открыта запись в лист ожидания, срок запуска - без даты, но указано что в первой половине 2026 года.
Тарификация индивидуальная: лицензия плюс оплата по использование.
@ai_machinelearning_big_data
#news#ai#ml
⚡️OpenAI обновила Agents SDK
Вышло крупное обновление Agents SDK и главное изменение в том, что агенты теперь могут читать и записывать файлы, устанавливать зависимости, запускать код и обращаться к внешним инструментам, а не ограничиваться диалогом с пользователем.
В обновлённый исполнительный каркас добавлены настраиваемая память, оркестрация с учётом песочниц и встроенные инструменты работы с файловой системой. Эти возможности ранее были характерны для Codex.
Помимо этого, SDK поддерживает вызов инструментов через MCP, пользовательские инструкции AGENTS.md и прогрессивные объявления возможностей Skills.
Из коробки SDK работает с 7 провайдерами песочниц: Blaxel, Cloudflare, Daytona, E2B, Modal, Runloop и Vercel. Есть возможность подключить и собственную инфраструктуру.
Новая абстракция Manifest описывает рабочее пространство агента единообразно - позволяет монтировать локальные файлы, задавать каталоги вывода и подключаться к облачным хранилищам AWS S3, Google Cloud Storage, Azure Blob Storage и Cloudflare R2.
По заявлению компании, одна и та же конфигурация работает и при локальной разработке, и при развёртывании в рабочей среде.
Архитектурно SDK отделяет логику управления агентом от среды, в которой выполняется его код, в результате чего:
🟢учётные данные не попадают в среду исполнения сгенерированного моделью кода, что снижает риски промпт-инъекций и утечек данных;
🟢вынесенное состояние агента позволяет делать снимки и восстанавливать работу при сбое контейнера песочницы;
🟢несколько субагентов могут выполнять задачи параллельно в разных контейнерах.
Обновление доступно всем пользователям API и тарифицируется по стандартной схеме - за токены и вызовы инструментов.
Пока поддерживается только Python. Выпуск TypeScript-версии, по словам OpenAI, запланирован на более поздний срок.
@ai_machinelearning_big_data
#news#ai#ml
✔️DeepSeek впервые привлекает внешние инвестиции
Китайский ИИ-стартап, до сих пор существовавший на деньги хедж-фонда High-Flyer, впервые ведёт переговоры о внешнем финансировании. DeepSeek рассчитывает привлечь минимум $300 млн, что выведет ее оценку за пределы $10 млрд. Раньше компания отказывала китайским VC, но теперь деньги нужны для закупки вычислений - обучение моделей дорожает быстрее, чем High-Flyer может финансировать.
Параллельно стартап теряет инженеров. Один из авторов архитектуры V3 ушёл возглавить ИИ-направление в Xiaomi, исследователя Го Дая переманила ByteDance.
С инфраструктурой тоже напряжённо. В апреле 2026 DeepSeek пережил 7-часовой сбой, который затронул 355 млн пользователей. Чтобы снизить зависимость от сторонних облаков, компания планирует строить собственный дата-центр во Внутренней Монголии.
theinformation.com
✔️OpenAI выпустила первую модель в новой серии Life Sciences
GPT-Rosalind, названная в честь биофизика Розалинд Франклин, создана для ускорения разработки лекарств на ранних этапах поиска, улучшения выбора биологических мишеней и планирования экспериментов.
Модель уже показала лучший результат на биологических бенчмарках BixBench и в закрытых тестах по прогнозированию функций РНК-последовательностей, где модель превзошла 95% исторических результатов экспертов-людей.
Вместе с релизом OpenAI выложила на GitHub плагин Codex Life Sciences Research. Инструмент предоставляет доступ к более чем 50 базам данных и биологическим утилитам, причем его можно использовать в связке с любыми моделями общего назначения. Модель доступна в режиме preview участникам Trusted Access Program - корпоративным клиентам в США.
openai.com
✔️Anthropic исправила баг учёта лимитов в Opus 4.7
Anthropic устранила ошибку, из-за которой 5-часовые и недельные квоты в Opus 4.7 списывались быстрее, чем должны, особенно при длинных промптах. Баг существовал ещё в Opus 4.6, но в новой модели стал заметнее: Opus 4.7 перешёл на новый токенизатор, который тратит до 1,35× токенов на тот же текст. Вкупе с ошибкой биллинга лимиты сгорали почти мгновенно.
В качестве компенсации Anthropic обнулила счётчики использования всем подписчикам. Но обрадовало это не всех. Недельная квота считается по индивидуальному 7-дневному окну, поэтому сброс был выгоден только тем, кто уже упёрся в потолок. Разработчики, которые берегли токены на сложные задачи к концу недели, из-за компенсации лишились накопленного запаса.
ClaudeDevs в сети Х
✔️Google показал фреймворк генерации синтетических датасетов Simula
Google Research опубликовал в TMLR работу о фреймворке для генерации синтетических датасетов, который проектирует датасет целиком, с независимым управлением охватом, сложностью и качеством, а не наращивает примеры по одному.
Simula работает без seed-данных: ризонинг-модель сама разворачивает домен в иерархическую таксономию, из каждого узла генерирует разные формулировки сценария. Часть промптов дополнительно усложняется, а корректность ответов проверяют 2 независимых критика, чтобы снизить сикофантию.
Внутри Google Simula уже используется для обучения ShieldGemma, FunctionGemma, MedGemma, классификаторов Gemini, а также фильтров мошеннических звонков и спама в Android.
research.google
✔️Из OpenAI одновременно ушли 2 топовых сотрудника
Об отставке объявили Билл Пиблз и Кевин Вейл. Пиблз руководил созданием видеомодели Sora: он стоял у истоков проекта, когда команда состояла всего из двух человек, и принимал непосредственное участие в развитии продукта вплоть до релиза Sora 2.
Кевин Вейл, ранее занимавший пост директора по продукту, в октябре 2025 года перешел в исследовательский блок, где с нуля запустил направление OpenAI for Science. Из-за его ухода профильный научный отдел решено расформировать, а инженеров и исследователей распределят по другим командам.
В своем прощальном письме Вейл понадеялся, что ускорение научных открытий станет одним из главных и самых позитивных результатов на пути человечества к созданию AGI.
Kevin Weil и Bill Peebles в сети Х
@ai_machinelearning_big_data
#news#ai#ml
📌EvoMap обвинила Hermes Agent в копировании архитектуры.
Команда EvoMap, разрабатывающая эволюционный движок для ИИ-агентов Evolver, опубликовала детальное техническое сравнение, в котором обвинила проект Hermes Agent от Nous Research в систематическом заимствовании архитектурных решений без указания источника.
Разрыв в популярности между проектами значителен: 88 тысяч звёзд на GitHub у Hermes Agent против 2 тысяч у Evolver.
В списке перечислены более 10 совпадений на уровне модулей: трёхуровневая система памяти с идентичным распределением ролей между слоями, замкнутый цикл автоматического извлечения переиспользуемого опыта, механизм периодической рефлексии, динамическое обнаружение и подгрузка навыков, десятишаговая оркестрация эволюционного цикла и ряд инженерных паттернов.
Хронология, на которую опирается EvoMap: ключевой протокол GEP был раскрыт с 1 по 16 февраля в 136 релизах, а система навыков Hermes появилась лишь 12 марта.
Аргументация EvoMap строится на вероятностной логике: каждое совпадение по отдельности объяснимо независимой конвергенцией - трёхуровневая память и извлечение опыта активно обсуждаются в сообществе ИИ-агентов, но их совокупность, по мнению авторов, выходит за рамки случайности.
При этом EvoMap признает:
🟢репозиторий Hermes Agent создан в июле 2025 года, на полгода раньше Evolver; эволюционный модуль Hermes построен на фреймворке GEPA;
🟢стандарт Agent Skills предшествует обоим проектам;
🟢код написан на разных языках - JavaScript и Python
Основатель Nous Research в ответ на претензии написал, что никогда не слышал ни о проекте, ни о его авторах, назвал сравнительный анализ «полной чушью», а позднее посоветовал EvoMap удалить свой аккаунт. На технические аргументы Nous Research не отвечала.
Вслед за этим EvoMap выпустила открытое письмо, объявив о смене лицензии Evolver с MIT на GPL-3.0 и переходе к выпуску ключевых модулей в обфусцированном виде. Команда также признаёт, что судебное разбирательство с Nous Research ей не по силам.
Главный тезис письма выходит за рамки конкретного спора: способен ли институт открытых лицензий работать, когда ИИ сводит стоимость воспроизведения кодовой логики почти к нулю?
При этом позиция EvoMap упирается в тупик: GPL-3.0 обязывает раскрывать код производных продуктов, но без текстуального пересечения полезность лицензии не срабатывают. Обфускация же блокирует вклад сообщества и противоречит самому принципу открытого кода.
@ai_machinelearning_big_data
#news#ai#ml