📌Новый прорыв в алгоритмах: найден способ считать кратчайшие пути быстрее Дейкстры
Метод преодоления "барьера сортировки" для задач кратчайшего пути в ориентированных графах.
Группа исследователей из университетов Синьхуа, Стенфорда и Института Макса Планика представили детерминированный алгоритм для решения задачи SSSP в ориентированных графах с неотрицательными вещественными весами, который работает за время, пропорциональное числу ребер, умноженному на логарифмический множитель, который растет медленнее, чем обычный логарифм.
Проблема поиска кратчайшего пути от одной вершины до всех остальных (SSSP) — одна из фундаментальных в теории графов, и её история тянется с 50-х годов прошлого века. Классический алгоритм Дейкстры, в связке с продвинутыми структурами данных, решает эту задачу за время, которое примерно пропорционально сумме числа рёбер и произведения числа вершин на логарифм от их же числа.
Именно этот множитель - число вершин, умноженное на логарифм, долгое время считался теоретическим минимумом, так как в своей основе алгоритм Дейкстры побочно сортирует вершины по расстоянию от источника. Этот предел известен как «барьер сортировки» и казался непреодолимым.
🟡Основная идея работы - гибрид из алгоритма Дейкстры и алгоритма Беллмана-Форда.
Алгоритм Дейкстры на каждом шаге выбирает из "границы" - множества еще не обработанных вершин ту, что находится ближе всего к источнику. Это и создает узкое место, так как размер границы может достигать величины, сопоставимой с общим числом вершин в графе, и на каждом шаге требуется находить минимум.
Алгоритм Беллмана-Форда, в свою очередь, не требует сортировки, но его сложность пропорциональна числу ребер, умноженному на количество шагов, что слишком долго.
🟡Новый подход использует рекурсию.
Вместо того чтобы поддерживать полную отсортированную границу, алгоритм фокусируется на ее сокращении. А если граница слишком велика, то запускается несколько шагов алгоритма Беллмана-Форда из ее вершин.
Это позволяет найти точное расстояние до некоторой части вершин, чьи кратчайшие пути коротки. Длинные же пути должны проходить через одну из "опорных" вершин, которых оказывается значительно меньше, чем вершин в исходной границе. Таким образом, сложная работа концентрируется только на этом небольшом наборе опорных точек.
🟡Принцип "разделяй и властвуй".
Он рекурсивно разбивает задачу на несколько уровней. На каждом уровне применяется вышеописанная техника сокращения границы, что позволяет значительно уменьшить объем работы на каждую вершину, поскольку логарифмический множитель эффективно делится на другой, более медленно растущий логарифмический член.
В итоге, путем подбора внутренних параметров алгоритма, которые являются специфическими функциями от логарифма числа вершин, и достигается итоговая временная сложность, пропорциональная числу ребер, умноженному на этот новый, более медленно растущий логарифмический множитель.
✔️ Зачем это нужно
— Быстрее решаются задачи в навигации, графах дорог, сетях и планировании.
— Доказано, что Дейкстра — не предел, и можно ещё ускорять поиск кратчайших путей.
🟡Arxiv
@ai_machinelearning_big_data
#AI#ML#Sorting#Graphs#Algorithm
📌Новый прорыв в алгоритмах: найден способ считать кратчайшие пути быстрее Дейкстры
Метод преодоления "барьера сортировки" для задач кратчайшего пути в ориентированных графах.
Группа исследователей из университетов Синьхуа, Стенфорда и Института Макса Планика представили детерминированный алгоритм для решения задачи SSSP в ориентированных графах с неотрицательными вещественными весами, который работает за время, пропорциональное числу ребер, умноженному на логарифмический множитель, который растет медленнее, чем обычный логарифм.
Проблема поиска кратчайшего пути от одной вершины до всех остальных (SSSP) — одна из фундаментальных в теории графов, и её история тянется с 50-х годов прошлого века. Классический алгоритм Дейкстры, в связке с продвинутыми структурами данных, решает эту задачу за время, которое примерно пропорционально сумме числа рёбер и произведения числа вершин на логарифм от их же числа.
Именно этот множитель - число вершин, умноженное на логарифм, долгое время считался теоретическим минимумом, так как в своей основе алгоритм Дейкстры побочно сортирует вершины по расстоянию от источника. Этот предел известен как «барьер сортировки» и казался непреодолимым.
🟡Основная идея работы - гибрид из алгоритма Дейкстры и алгоритма Беллмана-Форда.
Алгоритм Дейкстры на каждом шаге выбирает из "границы" - множества еще не обработанных вершин ту, что находится ближе всего к источнику. Это и создает узкое место, так как размер границы может достигать величины, сопоставимой с общим числом вершин в графе, и на каждом шаге требуется находить минимум.
Алгоритм Беллмана-Форда, в свою очередь, не требует сортировки, но его сложность пропорциональна числу ребер, умноженному на количество шагов, что слишком долго.
🟡Новый подход использует рекурсию.
Вместо того чтобы поддерживать полную отсортированную границу, алгоритм фокусируется на ее сокращении. А если граница слишком велика, то запускается несколько шагов алгоритма Беллмана-Форда из ее вершин.
Это позволяет найти точное расстояние до некоторой части вершин, чьи кратчайшие пути коротки. Длинные же пути должны проходить через одну из "опорных" вершин, которых оказывается значительно меньше, чем вершин в исходной границе. Таким образом, сложная работа концентрируется только на этом небольшом наборе опорных точек.
🟡Принцип "разделяй и властвуй".
Он рекурсивно разбивает задачу на несколько уровней. На каждом уровне применяется вышеописанная техника сокращения границы, что позволяет значительно уменьшить объем работы на каждую вершину, поскольку логарифмический множитель эффективно делится на другой, более медленно растущий логарифмический член.
В итоге, путем подбора внутренних параметров алгоритма, которые являются специфическими функциями от логарифма числа вершин, и достигается итоговая временная сложность, пропорциональная числу ребер, умноженному на этот новый, более медленно растущий логарифмический множитель.
✔️ Зачем это нужно
— Быстрее решаются задачи в навигации, графах дорог, сетях и планировании.
— Доказано, что Дейкстра — не предел, и можно ещё ускорять поиск кратчайших путей.
🟡Arxiv
@ai_machinelearning_big_data
#AI#ML#Sorting#Graphs#Algorithm
🔥Интересный кейс про ML в картографии
В статье рассказано про развитие детектора Яндекс Карт для распознавания дорожных знаков на панорамах — от бинарного классификатора до нейросетей. Сейчас детектор умеет находить почти все знаки в России. Первая же версия создавалась в 2016 году с помощью небольшого датасета и модели на классических подходах компьютерного зрения. Использовали ACFFeatures + WaldBoost с бинарными решающими деревьями.
Классические методы страдали «близорукостью» — детектили знаки только «в лоб», повороты пропускали, поэтому перешли к новой версии на свёрточных нейросетях и натренировали Faster R-CNN.
Нетривиальные архитектурные решения:
▪️Объединили все знаки ограничения скорости в один класс + дополнительная сеть для распознавания чисел на вырезанном знаке
▪️ То же с направлениями по полосам — детектор находит знак, дополнительная модель выдаёт бинарный вектор направлений
▪️ Создали отдельную модель для обработки найденных знаков многополосности. Полная техническая реализация описана в статье.
🟢Главная проблема — сбор датасета
Как обычно, всё упёрлось в данные для обучения. Терабайты фотографий улиц прогонять через асессоров — дорого и неэффективно. Выстроили такой процесс: сначала автоматически находить фотографии, где есть дорожные знаки, и только потом отправлять их на разметку асессорам.
🟢Финальные цифры:
▪️ 300 тысяч фотографий в датасете
▪️ 1,5 миллиона размеченных знаков
▪️200+ поддерживаемых классов знаков
Любопытный факт: самый частый знак в датасете — пешеходный переход.
Практический результат: всё это помогает автоматически обновлять данные в Картах, по которым сервис строит маршруты, выдаёт голосовые подсказки о том, с какой скоростью ехать и тд. В год так вносится более 200 тысяч автообновлений
⚡️Статья:https://habr.com/ru/companies/yandex/articles/946338/
@ai_machinelearning_big_data
#ai#ml
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML
Программа по ИИ в Лондоне с полным покрытием расходов 🔥
⚡London AI Safety Research Labs⚡
LASR Labs — программа исследований безопасности ИИ, направленная на снижение рисков, связанных с развитием искусственного интеллекта. Участники работают в командах по 3–4 человека под руководством опытных исполнителей. Предполагается разработка проекта и публикация.
📍Где: очно, Лондон, Великобритания
📅Когда: январь- апрель 2026 г.
👥Для кого
Для соискателей с опытом в инженерии по машинному обучению и с сильными навыками работы с количественными данными. Для тех, у кого нет права на работу в UK организаторы помогают получить визу.
💸Условия
Программа предполагает стипендию £11,000, а также покрывают расходы на питание, перелёт и оказывают визовую поддержку и предоставляют офисное помещение.
⏰Дедлайн: подача заявок до 10 октября 2025 г.
➡️Подробнее
➡️StudyGrants - стажировки| стипендии| летние школы 🌎
#ML#AI
Does AI dream of electric patents?
Google faces a legal problem: lawyers are unsure if they could patent plans created by AI algorithms. The company had filed patents describing a ML technique used to design and map out components in the custom AI accelerator TPU chips.
However, US laws recognize and protect intellectual property created only by "natural persons". Although Google engineers built AI models, after training algorithms generated their products automatically with minimal human effort. Therefore, a legal catch arises: is it permissible to patent the outputs created by these systems?
During the meeting held by US Patent and Trademark Office, Laura Sheridan, senior patent counsel at Google, said that company pursued only patterns on ML models, not the floorplans it had created.
This case remains an important issue for the entire IT industry nevertheless. AI technologies already produce a lot of outcomes that could become valuable intellectual property for a business and entrepreneurs. ML systems can, for example, write a code, hunt for new drugs, and create digital art. That is why application of the patent laws to the AI algorithms’ outcomes should be clarified in the shortest time.
#AI#ML
Researchers at MIT, Stanford University, Intelligence Lab, and the Autodesk AI Lab developed AI that can figure out Lego Instructions
Scientists collaborated to develop a learning-based framework that can travel 2D instructions to build 3D objects. This system called the Manual-to-Executable-Plan Network (MEPNet) was successfully tested on Lego sets and Minecraft-style building plans.
So it will definitely help people who were driven mad with confusing Lego manuals. But the key idea is to integrate neural 2D keypoint detection modules and 2D-3D projection algorithms for high-precision prediction of unseen components.
Interpreting 2D instructions could be tricky for AI. The key problems are identifying correspondence between 2D and 3D objects, and dealing with a lot of basic objects, which could be assembled into complex forms. «It requires inferring 3D poses of unseen components composed of seen primitives," the researchers said.
At first, MEPNet analyses the current state of Lego set and creates 3D model of all components. Then the algorithm predicts a set of 2D keypoints and masks for each component.
Once that's done, the 2D keypoints "are back-projected to 3D by finding possible connections between the base shape and the new components." The combination "maintains the efficiency of learning-based models, and generalizes better to unseen 3D components," the team wrote.
The full paper of MEPNet is available via the link. And the algorithm’s code is also posted on GitHub.
#AI#ML
#python#AI#ML
😉
Essentials of Python for Artificial Intelligence and Machine Learning (2024)
-----
Main channel: @repo_science
Coupons: @freecoupons_reposcience
-----
Algoverse AI Research Summer 2025 — это 12-недельная онлайн-программа по исследованиям в области ИИ для учеников старших классов и студентов вузов. Участники работают в небольших группах под руководством опытных исследователей искусственного интеллекта над реальными проектами.
📍Где: онлайн
📅Некоторые сессии программы на лето 2025 года:
🔹21 июня — 14 сентября 2025 года;
🔹12 июля — 5 октября 2025 года.
🗣Язык: английский
👥Для кого
Программа доступна студентам вузов, ученикам старших классов и профессионалам индустрии по всему миру.
💸Условия
Программа платная, но для исключительных абитуриентов, которые не могут оплатить полную стоимость, предусмотрены стипендии.
⏰Дедлайн: 6 июля 2025 г. (в 11:59 по тихоокеанскому времени).
➡️Подробнее
🚀ТГ канал «Возможности для школьников»
#AI#ML#летние_школы
📌Ян Лекун: индустрия движется в тупик, игнорируя реальный путь к AGI.
Один из пионеров глубокого обучения и лауреат премии Тьюринга Ян Лекун резко критикует вектор развития ИИ.
Покинув пост в империи Марка Цукерберга в ноябре прошлого года, он говорит, что Кремниевая долина стала жертвой стадного чувства.
Исключительный фокус на больших языковых моделях — это тупиковый путь, который не приведет к созданию AGI, несмотря на колоссальные инвестиции.
Лекун утверждает, что индустрия буквально одурманена LLM. Фундаментальная проблема архитектуры трансформеров заключается в отсутствии способности к планированию и пониманию физического мира.
Системы, построенные на них обучаются исключительно на цифровых массивах данных; они могут предсказывать текст, но не понимают причинно-следственных связей реальности и не могут моделировать последствия своих действий.
Масштабирование языковых моделей имеет жесткий предел и не позволит достичь даже уровня человеческого интеллекта, не говоря уже о сверхразуме.
Для реализации своего видения Лекун основал Advanced Machine Intelligence Labs (AMI Labs). Стартап планирует создание систем, способных строить планы и прогнозировать исходы событий - то, чего лишены современные генеративные модели.
Отдельно досталось американским техно-гигантам за секретность. Лекун считает отказ от Open Source катастрофой и стратегической ошибкой.
Пока корпорации в США прячут разработки под замок, пытаясь сохранить лидерство, китайские компании используют открытый код и могут перехватить инициативу за счет скорости и креативности.
@ai_machinelearning_big_data
#news#ai#ml
✔️ElevenLabs анонсировала локальное развертывание моделей.
Платформа открыла ранний доступ к 2 вариантам деплоя:
🟢On-Premise - для стандартных серверов с GPU,
🟢On-Device - для edge-устройств и систем с поддержкой NPU, ARM-чипов и бюджетных видеокарт.
Обе версии работают с более чем 30 языками. Инференс и обработка аудио будут выполнятся целиком внутри инфраструктуры клиента.
Лицензионная валидация и телеметрия опциональны вплоть до полностью изолированных контуров.
Обещают доступность тонкой настройки под конкретные языки и диалекты. Обновления в этих вариантах развертывания будут поставляться по контролируемому графику.
Пока открыта запись в лист ожидания, срок запуска - без даты, но указано что в первой половине 2026 года.
Тарификация индивидуальная: лицензия плюс оплата по использование.
@ai_machinelearning_big_data
#news#ai#ml
⚡️OpenAI обновила Agents SDK
Вышло крупное обновление Agents SDK и главное изменение в том, что агенты теперь могут читать и записывать файлы, устанавливать зависимости, запускать код и обращаться к внешним инструментам, а не ограничиваться диалогом с пользователем.
В обновлённый исполнительный каркас добавлены настраиваемая память, оркестрация с учётом песочниц и встроенные инструменты работы с файловой системой. Эти возможности ранее были характерны для Codex.
Помимо этого, SDK поддерживает вызов инструментов через MCP, пользовательские инструкции AGENTS.md и прогрессивные объявления возможностей Skills.
Из коробки SDK работает с 7 провайдерами песочниц: Blaxel, Cloudflare, Daytona, E2B, Modal, Runloop и Vercel. Есть возможность подключить и собственную инфраструктуру.
Новая абстракция Manifest описывает рабочее пространство агента единообразно - позволяет монтировать локальные файлы, задавать каталоги вывода и подключаться к облачным хранилищам AWS S3, Google Cloud Storage, Azure Blob Storage и Cloudflare R2.
По заявлению компании, одна и та же конфигурация работает и при локальной разработке, и при развёртывании в рабочей среде.
Архитектурно SDK отделяет логику управления агентом от среды, в которой выполняется его код, в результате чего:
🟢учётные данные не попадают в среду исполнения сгенерированного моделью кода, что снижает риски промпт-инъекций и утечек данных;
🟢вынесенное состояние агента позволяет делать снимки и восстанавливать работу при сбое контейнера песочницы;
🟢несколько субагентов могут выполнять задачи параллельно в разных контейнерах.
Обновление доступно всем пользователям API и тарифицируется по стандартной схеме - за токены и вызовы инструментов.
Пока поддерживается только Python. Выпуск TypeScript-версии, по словам OpenAI, запланирован на более поздний срок.
@ai_machinelearning_big_data
#news#ai#ml