📌Насколько Skills реально помогают LLM-агентам.
SkillsBench — исследование и первый бенчмарк, где Agent Skills тестируются как самостоятельный артефакт.
Авторы из 15+ топовых университетов взяли 84 задачи из 11 доменов, запустили 7 конфигураций моделей (Claude Code с Opus/Sonnet/Haiku 4.5 и 4.6, Gemini CLI с Gemini 3 Pro/Flash, Codex с GPT-5.2) и проверили 3 условия: без Skills, с готовыми Skills и с самостоятельно сгенерированными Skills. Итого: 7 308 траекторий с детерминированными верификаторами на pytest.
Готовые Skills в среднем поднимают pass rate на 16,2 процентных пункта: с 24,3% до 40,6%. Но картина неоднородная: в медицине прирост составил +51,9%, для производства — +41,9%, тогда как в разработке ПО всего +4,5%.
Это объяснимо: там, где модели плохо покрыты обучением (клинические протоколы, промышленные воркфлоу), Skills дают максимальный эффект. Там, где модель и так знает домен - почти ничего.
🟡Главный и неожиданный результат: самогенерация Skills не работает.
Когда моделям предлагали сначала написать нужные гайды, а потом решать задачу, средний результат упал на 1,3% по сравнению с работой вообще без Skills. Только Claude Opus 4.6 показал скромный плюс (+1,4%), а GPT-5.2 просел на 5,6%.
Иными словами - модели не умеют надежно создавать то знание, которым умеют пользоваться.
🟡Еще один интересный момент - это объем Skills.
Оптимальный вариант: 2–3 модуля, прирост +18,6%. При 4 и более - всего +5,9%. Подробная документация вообще дает отрицательный эффект: –2,9%, с ней агент буквально тонет в контексте.
Показательна и стоимость решения задач: Haiku 4.5 со Skills обходит Opus 4.5 без Skills — меньшая и более дешевая модель с готовыми Skills бьет старшую модель без них.
Gemini 3 Flash при этом показал лучший абсолютный результат среди всех конфигураций - 48,7% со Skills при цене $0,57 за одну задачу против $1,06 у Gemini 3 Pro.
🟡Страница проекта
🟡Arxiv
@ai_machinelearning_big_data
#AI#ML#LLM#Benchmark#Skills
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML
ChatGPT для климатических вопросов и ответов
На Hugging Face есть милейший чат бот, который отвечает на все вопросы, касающиеся климата. Работает с помощью больших языковых моделей и при взаимодействии с ChatGPT API.
Бот обучен в основном на документах межправительственной комиссии по изменению климата (IPCC), поэтому не понимает, когда его спрашивают про что-то другое. Задаете вопрос, получаете развернутый ответ со ссылками на документы IPCC. Это интересный пример внедрения больших языковых моделей обученных на корпусе внутренних документов.
#AI#climate#LLM
🚀 20 августа 2025
Стартует RRNCB – Russian RAG Normative – Corporate Benchmark,
первый российский открытый бенчмарк для оценки RAG-решений при работе с нормативной,
правовой и технической документацией компаний.
Почему это важно?
✅ На рынке десятки RAG-решений, но нет методики и инструмента оценки и сопоставления характеристик RAG сервисов, оценить их качество очень трудно.
✅RRNCB – это первый продуктовый бенчмарк, цель которого провести комплексную оценку Retrieval augmented generation продуктов для работы с корпоративной и технической документацией.
✅ Специально создан для оценки систем, работающих с русскоязычными нормативами, кодексами, ГОСТами и корпоративными документами.
✅ Открытость и прозрачность: методики оценки и данные будут в открытом доступе.
Сравнение проходит по ключевым метрикам (ROUGE, LLM-судья, скорость, качество уточняющих вопросов).
Участие.
📋Приглашаем ИИ компании к участию в бенчмарке RRNCB со своими RAG-решениями и продуктами. Заполните заявку на участие.
В вашем распоряжении будут:
• Независимый лидерборд.
• Управление сабмитами.
• Возможность тестировать сабмиты до отправки в лидерборд.
• Разделение сабмитов на категории cloud и on-prem.
🗓Даты проведения:
Запуск: 20 августа
Регистрация RAG решений участников: до 3го сентября
Результаты: 20 сентября.
Почему стоит участвовать.
• Участие в открытом бенчмарке — это стратегическая инвестиция для владельца продукта.
Вы перестаете просто говорить, что ваш продукт «лучший». Вы доказываете это на объективных метриках в сложных, приближенных к реальности условиях. Это самый мощный аргумент для сомневающихся клиентов, который резко повышает доверие.
• Попадание в топ лидерборда — это готовый повод для PR.
• Реальные запросы и строгая оценка бенчмарка действуют как мощный стресс-тест. Выявляются проблемы, которые можно было не заметить на внутренних тестах.
• Результаты бенчмарка — это не просто цифры, а конкретные данные для вашей R&D-команды.
• Экономия ресурсов на собственном тестировании. Бенчмарк предоставляет инфраструктуру и датасеты готовыми, вместе с продуманной методологией оценки.
Подробнее о бенчмарке:https://fractalagents.ai/rrncb-rag-benchmark/
Инициатор проведения бенчмарка - ООО Аватар Машина.
#RAG#AI#RRNCB#Benchmark#ИскусственныйИнтеллект#OpenSource
#AI
Немного ИИ-теории
❗️В недавнем иске против компании OpenAI Илон Маск утверждал, что GPT-4 является ранним AGI, по сути равным человеческому интеллекту.
Что же такое AGI и когда он появится?
👤Сэм Альтман, CEO Open AI определяет AGI (artificial general intelligence) как интеллект, равный уровню обычного человека, который можно было бы принять в команду как сотрудника. Также популярно определение AGI как «системы, способной выполнить любую когнитивную задачу, доступную человеку».
📎Для справки: существует несколько видов (уровней развития) ИИ, а именно узкий ИИ (narrow, ANI), общий ИИ (genreal, AGI) и супер ИИ (super AI, ASI).
⏲Исследователи никак не могут прийти к консенсусу относительно даты появления AGI. По результатам Expert Survey on Progress in AI, существует 50% шанс того, что AGI появится до 2059 года. Тем не менее, поле ИИ изменяется постоянно и становится сложным оставаться в курсе событий.
⭐️Для этого мы нашли крупнейшее русскоязычное AGI-сообщество agirussia.org — у них есть канал и группа в Telegram.
🌐еще проходят еженедельные онлайн-семинары по тематике AGI на русском языке, записи семинаров за последние несколько лет доступны на YouTube и их сообществе в ВК.
Держим руку на пульсе ИИ⭐
⭐️Автор, Анна, @qcuqueen
Хакатончик от Xeek
Two Birds, One Neural Network - так называется новый хакатон от Xeek в области Generative AI. Звучит как-будто нужно сделать свой Dalle-E2, но на самом деле, задача выглядит немного иначе. По условиям хакатона, участникам нужно сделать нейронную сеть, которая максимизирует разнообразие генерируемых результатов, отвечающих двум условиям. Авторы хакатона проводят параллели с добавлением двух геофизических измерений для ограничения сценариев геологических моделей. Буквально, нужно построить нейронную сеть, которая генерирует разнообразные значения x0, x1, сохраняя при этом их природу в виде нисходящих или восходящих прямых линий, удовлетворяющих заданным функциям y1, y2, как показано на картинке.
Более подробное описание - тут. Призовой фонд $40К (первое место $19.5K).
#hackathon#AI#ML
⚡️Ноам Браун: вокруг ИИ гораздо больше согласия, чем кажется
Ведущий исследователь OpenAI Ноам Браун предлагает не вестиcь на медийную «чёрно-белую» картинку. В соцсетях спор об ИИ часто сводят к карикатурам — от «LLM мёртвы» до «суперинтеллект завтра». Но если слушать именно исследователей, картина неожиданно консенсусная.
О чём эксперты в целом согласны:
🟡Текущих подходов уже достаточно, чтобы дать огромный экономический и социальный эффект, даже без новых научных прорывов.
🟡Для AGI/ASI прорывы всё же понадобятся — часто упоминают continual learning и sample efficiency.
🟡Горизонт — до 20 лет (средняя оценка ≈10 лет). Никто не говорит о фантазиях или «100+ лет до суперинтеллекта».
Я в целом с ним согласен. Подробнее в треде Брауна: X (Ноам Браун)
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#нейросети#новости#llm
⚡️MiniMax M2: открытый «agent & code-native» ИИ
MiniMax выкатила MiniMax M2 — открытую модель для агентов и кода. По заявлению команды, она работает примерно вдвое быстрее и стоит около 8% от цены Claude Sonnet. На старте доступен бесплатный глобальный доступ на ограниченное время через MiniMax Agent и API.
Модель заточена под полнопоточные дев-воркфлоу и агентные сценарии за счёт эффективной активации параметров: справляется с длинными цепочками действий и остаётся экономной в проде.
Что умеет
🟡Agentic-пайплайны: надёжная работа с длинными цепочками (mcp, shell, browser, retrieval, code).
🟡Кодинг под ключ: проектирование, правки, тесты и рефакторинг в одном потоке.
🟡Интеграции: совместима с Claude Code, Cursor, Cline, Kilo Code, Droid и др.
Где посмотреть
🟡Hugging Face (MiniMax-M2)
🟡GitHub (репозиторий)
🟡Документация API
🟡MiniMax Agent
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#новости#llm#нейросети
⚡️ReasoningBank от Google: как дать ИИ «память об ошибках» и учить его в реальном времени
Google предложили подход ReasoningBank — модуль «рабочей памяти», который дистиллирует стратегии из прошлых попыток и возвращает их в промпт при решении новых задач. Схема простая: после каждого диалога агент-судья оценивает качество решения и записывает опыт в структурированном виде (Title / Description / Content). Пример: Title:Avoid repeating failed actions; Description: агент зациклился на неработающей кнопке; Content: «если действие не даёт результата — сменить стратегию (обновить страницу, шаг назад и т. п.)». Дальше эти «воспоминания» подтягиваются в контекст — получается умный менеджмент подсказок без изменения весов модели.
Поверх памяти авторы описывают ещё и Memory-aware Test-Time Scaling (MaTTS): агент генерирует несколько решений одной задачи, ReasoningBank извлекает полезные паттерны из каждого и помогает пересобрать лучший ответ. Чем больше вычислений на тесте — тем богаче память и выше качество финального вывода. В перспективе метод можно расширять: забывание устаревших правил, приоритизация и слияние близких «воспоминаний» для компактности. Подробнее — в препринте: ReasoningBank (arXiv).
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#нейросети#новости#llm
⚡️ACE: вместо дообучения — контекст, который учится сам
Agentic Context Engineering (ACE) предлагает прокачивать ИИ без изменения весов. Вместо fine-tuning модель сама пишет и переписывает собственные инструкции: после ошибки добавляет стратегию, после успеха — правило. Получается длинный, эволюционирующий «плейбук» в контексте — как растущая тетрадь заметок, которую ИИ постоянно использует.
Результаты в работе авторов: +10,6% на AppWorld, +8,6% в финзадачах, при этом до –86,9% по времени и стоимости. Разметка не нужна — достаточно обратной связи. Идея простая: LLM важна плотность контекста, а не короткий промпт. Если подход масштабируется, эпоха ИИ станет не fine-tuned, а self-tuned. Препринт ACE на arXiv
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#нейросети#новости#llm
👀AI: проблема не в моделях, а в продуктах
У ИИ сегодня проблема продуктовая, а не модельная. Модели рывками прибавляют каждые несколько недель, но инновации в AI-native продуктах за этим темпом не успевают.
Большинство команд встраивают ИИ в старые UX-паттерны, вместо того чтобы переосмыслить опыт с нуля. Параллель с ранним мобильным (2007–2010): годами «мобайл» означал просто уместить сайт в телефон, пока Uber не показал, как можно переизобрести саму задачу — транспорт.
При этом есть и удачные AI-first продукты: NotebookLM, Lovable, Stitch, Flow. Но скорость прогресса самих моделей выше, и причин этому много
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#новости#нейросети#llm