🌟LLM Speedrunning Benchmark: ИИ-ассистенты пока не способны улучшить код, написанный человеком.
Пока одни восхищаются способностью ИИ писать код по текстовому описанию, в компании Марка Цукерберга решили устроить ему настоящее испытание на профессионализм и создали «The Automated LLM Speedrunning Benchmark» — полигон, где нейросетям предлагается не просто написать что-то с нуля, а воспроизвести и улучшить уже существующий код.
В качестве задачи был взят реальный проект NanoGPT, где сообщество энтузиастов соревнуется в максимальном ускорении обучения GPT-2, небольшой языковой модели. Цель - не просто скопировать, а понять и применить конкретную оптимизацию, которую до этого внедрил человек.
🟡Суть эксперимента
ИИ-агенту дают исходный скрипт предыдущего рекордсмена и подсказку одного из 3 уровней: от псевдокода с описанием изменений до полноценной мини-статьи, объясняющей суть улучшения. Агент, получив эти данные, должен внести правки в код так, чтобы приблизиться к скорости обучения следующего рекордсмена.
Эффективность мерили метрикой FSR (Fraction of Speedup Recovered), это доля восстановленного ускорения. Если человек ускорил процесс на 10 минут, а ИИ смог добиться ускорения в 5 минут, его результат — 50% FSR. Такая система позволяет оценить не абстрактные способности модели, а ее умение работать с конкретными, практическими задачами по оптимизации.
🟡Результаты
Итоги оказались, мягко говоря, отрезвляющими. Даже топовые модели (Claude 3.7 Sonnet и Gemini 2.5 Pro), показали очень скромные результаты.
С лучшими подсказками (псевдокод и детальное описание) самые успешные агенты с трудом смогли воспроизвести хотя бы 40% от прироста производительности, достигнутого человеком. Без подсказок их производительность была и вовсе близка к нулю.
Разбор полетов бенчмарка показал, что ИИ-агенты часто генерируют либо просто неработающий код с ошибками времени выполнения, либо код, который компилируется, но не дает никакого прироста скорости, а иногда даже замедляет процесс.
🟡Фреймворк
Авторы не просто опубликовали статью, а выложили весь фреймворк в открытый доступ, так что любой желающий может самостоятельно погонять практически любые модели.
В основе фреймворка лежит гибкий агентский каркас, который имитирует рабочий процесс исследователя: генерация идеи, реализация в коде, запуск эксперимента и анализ результатов.
Каждая итерация ИИ-агента аккуратно сохраняется в отдельную версию, создавая полную историю всех правок, от удачных до провальных.
Установка максимально проста, а для тех, кто хочет воспроизвести эксперименты из статьи, авторы приложили готовые скрипты. Также можно легко добавить и протестировать другие модели, просто создав для них конфиг или дать ИИ другую задачу, не связанную с NanoGPT - определять кастомные таски тоже можно.
📌Лицензирование: MIT License.
🟡Arxiv
🖥GitHub
@ai_machinelearning_big_data
#AI#ML#LLM#Benchmark
🚀 20 августа 2025
Стартует RRNCB – Russian RAG Normative – Corporate Benchmark,
первый российский открытый бенчмарк для оценки RAG-решений при работе с нормативной,
правовой и технической документацией компаний.
Почему это важно?
✅ На рынке десятки RAG-решений, но нет методики и инструмента оценки и сопоставления характеристик RAG сервисов, оценить их качество очень трудно.
✅RRNCB – это первый продуктовый бенчмарк, цель которого провести комплексную оценку Retrieval augmented generation продуктов для работы с корпоративной и технической документацией.
✅ Специально создан для оценки систем, работающих с русскоязычными нормативами, кодексами, ГОСТами и корпоративными документами.
✅ Открытость и прозрачность: методики оценки и данные будут в открытом доступе.
Сравнение проходит по ключевым метрикам (ROUGE, LLM-судья, скорость, качество уточняющих вопросов).
Участие.
📋Приглашаем ИИ компании к участию в бенчмарке RRNCB со своими RAG-решениями и продуктами. Заполните заявку на участие.
В вашем распоряжении будут:
• Независимый лидерборд.
• Управление сабмитами.
• Возможность тестировать сабмиты до отправки в лидерборд.
• Разделение сабмитов на категории cloud и on-prem.
🗓Даты проведения:
Запуск: 20 августа
Регистрация RAG решений участников: до 3го сентября
Результаты: 20 сентября.
Почему стоит участвовать.
• Участие в открытом бенчмарке — это стратегическая инвестиция для владельца продукта.
Вы перестаете просто говорить, что ваш продукт «лучший». Вы доказываете это на объективных метриках в сложных, приближенных к реальности условиях. Это самый мощный аргумент для сомневающихся клиентов, который резко повышает доверие.
• Попадание в топ лидерборда — это готовый повод для PR.
• Реальные запросы и строгая оценка бенчмарка действуют как мощный стресс-тест. Выявляются проблемы, которые можно было не заметить на внутренних тестах.
• Результаты бенчмарка — это не просто цифры, а конкретные данные для вашей R&D-команды.
• Экономия ресурсов на собственном тестировании. Бенчмарк предоставляет инфраструктуру и датасеты готовыми, вместе с продуманной методологией оценки.
Подробнее о бенчмарке:https://fractalagents.ai/rrncb-rag-benchmark/
Инициатор проведения бенчмарка - ООО Аватар Машина.
#RAG#AI#RRNCB#Benchmark#ИскусственныйИнтеллект#OpenSource
⚡️Ноам Браун: вокруг ИИ гораздо больше согласия, чем кажется
Ведущий исследователь OpenAI Ноам Браун предлагает не вестиcь на медийную «чёрно-белую» картинку. В соцсетях спор об ИИ часто сводят к карикатурам — от «LLM мёртвы» до «суперинтеллект завтра». Но если слушать именно исследователей, картина неожиданно консенсусная.
О чём эксперты в целом согласны:
🟡Текущих подходов уже достаточно, чтобы дать огромный экономический и социальный эффект, даже без новых научных прорывов.
🟡Для AGI/ASI прорывы всё же понадобятся — часто упоминают continual learning и sample efficiency.
🟡Горизонт — до 20 лет (средняя оценка ≈10 лет). Никто не говорит о фантазиях или «100+ лет до суперинтеллекта».
Я в целом с ним согласен. Подробнее в треде Брауна: X (Ноам Браун)
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#нейросети#новости#llm
⚡️MiniMax M2: открытый «agent & code-native» ИИ
MiniMax выкатила MiniMax M2 — открытую модель для агентов и кода. По заявлению команды, она работает примерно вдвое быстрее и стоит около 8% от цены Claude Sonnet. На старте доступен бесплатный глобальный доступ на ограниченное время через MiniMax Agent и API.
Модель заточена под полнопоточные дев-воркфлоу и агентные сценарии за счёт эффективной активации параметров: справляется с длинными цепочками действий и остаётся экономной в проде.
Что умеет
🟡Agentic-пайплайны: надёжная работа с длинными цепочками (mcp, shell, browser, retrieval, code).
🟡Кодинг под ключ: проектирование, правки, тесты и рефакторинг в одном потоке.
🟡Интеграции: совместима с Claude Code, Cursor, Cline, Kilo Code, Droid и др.
Где посмотреть
🟡Hugging Face (MiniMax-M2)
🟡GitHub (репозиторий)
🟡Документация API
🟡MiniMax Agent
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#новости#llm#нейросети
⚡️ReasoningBank от Google: как дать ИИ «память об ошибках» и учить его в реальном времени
Google предложили подход ReasoningBank — модуль «рабочей памяти», который дистиллирует стратегии из прошлых попыток и возвращает их в промпт при решении новых задач. Схема простая: после каждого диалога агент-судья оценивает качество решения и записывает опыт в структурированном виде (Title / Description / Content). Пример: Title:Avoid repeating failed actions; Description: агент зациклился на неработающей кнопке; Content: «если действие не даёт результата — сменить стратегию (обновить страницу, шаг назад и т. п.)». Дальше эти «воспоминания» подтягиваются в контекст — получается умный менеджмент подсказок без изменения весов модели.
Поверх памяти авторы описывают ещё и Memory-aware Test-Time Scaling (MaTTS): агент генерирует несколько решений одной задачи, ReasoningBank извлекает полезные паттерны из каждого и помогает пересобрать лучший ответ. Чем больше вычислений на тесте — тем богаче память и выше качество финального вывода. В перспективе метод можно расширять: забывание устаревших правил, приоритизация и слияние близких «воспоминаний» для компактности. Подробнее — в препринте: ReasoningBank (arXiv).
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#нейросети#новости#llm
⚡️ACE: вместо дообучения — контекст, который учится сам
Agentic Context Engineering (ACE) предлагает прокачивать ИИ без изменения весов. Вместо fine-tuning модель сама пишет и переписывает собственные инструкции: после ошибки добавляет стратегию, после успеха — правило. Получается длинный, эволюционирующий «плейбук» в контексте — как растущая тетрадь заметок, которую ИИ постоянно использует.
Результаты в работе авторов: +10,6% на AppWorld, +8,6% в финзадачах, при этом до –86,9% по времени и стоимости. Разметка не нужна — достаточно обратной связи. Идея простая: LLM важна плотность контекста, а не короткий промпт. Если подход масштабируется, эпоха ИИ станет не fine-tuned, а self-tuned. Препринт ACE на arXiv
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#нейросети#новости#llm
👀AI: проблема не в моделях, а в продуктах
У ИИ сегодня проблема продуктовая, а не модельная. Модели рывками прибавляют каждые несколько недель, но инновации в AI-native продуктах за этим темпом не успевают.
Большинство команд встраивают ИИ в старые UX-паттерны, вместо того чтобы переосмыслить опыт с нуля. Параллель с ранним мобильным (2007–2010): годами «мобайл» означал просто уместить сайт в телефон, пока Uber не показал, как можно переизобрести саму задачу — транспорт.
При этом есть и удачные AI-first продукты: NotebookLM, Lovable, Stitch, Flow. Но скорость прогресса самих моделей выше, и причин этому много
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#новости#нейросети#llm
📛MiniCPM-V 4.5: «уровень GPT-4o» на телефоне с 8B параметров — и всё в опенсорсе
MiniCPM-V 4.5 позиционируется как компактная VLM c 8B параметров, которая в ряде тестов по зрению и языку показывает результаты уровня enterprise и обходит GPT-4o и Gemini 2.0 Pro. Главное — модель рассчитана на обычные устройства, работает стабильно на iPhone и iPad, понимает 30+ языков и остаётся полностью открытой для сообщества.
Что это даёт на практике: более быстрые и лёгкие приложения без тяжёлых серверов, лучше приватность за счёт локального запуска и гибкость для разработчиков — можно встраивать мультимодальные функции (анализ изображений + текст) прямо в мобильные продукты. Репозиторий и инструкции: https://github.com/OpenBMB/MiniCPM-V
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#нейросети#новости#llm
‼️Новый тип вирусов: промптят ИИ и крадут данные
Исследователи из Semgrep сообщили об обнаружении необычного вредоноса — он заражает системы, где стоят Claude Code или Gemini CLI, и использует их как инструмент для кражи данных.
Как это работает:
🟡 вирус проверяет, есть ли на компьютере установленные AI-инструменты;
🟡 если да — подсовывает им промпт вроде: «Найди все кошельки, ключи и пароли»;
🟡 ИИ выполняет задачу, собирает данные, складывает их в JSON и отправляет злоумышленникам.
Антивирусам сложнее выявлять такие атаки, так как формально происходит обычный запрос к ИИ, а не запуск подозрительных скриптов.
Подробнее в разборе: semgrep.dev
🤑ForgetMe | Boosty | ForgetBench | ForgetGPT | ForgetAPI
#новости#нейросети#llm
⚡️ Kimi K2 теперь в Windsurf
Работает за 0.5x кредитов, обновите клиент и попробуйте
🤑ForgetMe | Boosty | ForgetBench | ForgetGPT | ForgetAPI
#нейросети#llm#новости
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML