📌Синтетика BeyondWeb: как 3B модель, обученная на ней, обходит 8B модели.
Есть такая проблема в обучении моделей, называется "Data Wall". Это когда просто добавлять все больше текста из интернета уже не помогает улучшать большие языковые модели. Синтетические данные стали решением, но как именно они работают, до сих пор было не до конца понятно.
Метод, разработанный DatologyAI переосмысливает синтетику и показывает, как она может быть эффективна. Модель на 3 миллиарда параметров, обученная на 180 миллиардах токенов BeyondWeb, работает лучше, чем 8-миллиардная модель на данных Cosmopedia.
BeyondWeb — это не просто еще один датасет, а целая методология, основанная на перефразировании источников. Иными словами, она не генерирует знания с нуля. Вместо этого берется существующий веб-контент и перерабатывается в более качественные и целевые форматы, например, в пары вопрос-ответ. Это дешевле и позволяет добиться большего разнообразия.
🟡Цифры.
На 14 тестах модель, обученная на BeyondWeb, показывает точность 63.7%. Это на 2.6% лучше, чем у конкурента Nemotron-Synth, и на 5.1% лучше, чем у Cosmopedia.
🟡Эффективность.
Чтобы достичь уровня RedPajama, BeyondWeb нужно в 7.7 раз меньше данных. А уровня Nemotron-Synth — в 2.7 раза меньше.
Ключевые выводы, к которым пришли авторы проведенного исследования, экспериментируя с фреймворком:
🟢Во-первых, синтетика — это не просто дистилляция знаний.
Простая суммаризация веб-текста для повышения плотности информации дает результат, сравнимый с Cosmopedia, но подход BeyondWeb значительно его превосходит.
🟢Во-вторых, синтетика может пробить "Data Wall", но не любая.
Наивное дописывание существующего текста дает лишь скромный прирост, а вот стратегически созданные данные, заполняющие пробелы знаний, могут превзойти потолок производительности, достигаемый на чисто естественных данных.
🟢В-третьих, качество исходных данных имеет решающее значение.
Перефразирование качественного веба дает гораздо лучшие результаты, чем облагораживание низкокачественного. Также важен стиль: в вебе всего 2.7% контента имеет диалоговый формат, хотя это основной сценарий использования LLM.
🟢В-четвертых - разнообразие.
При масштабировании до триллионов токенов именно разнообразие стратегий генерации синтетики (вопрос-ответ, MCQ, логические задачи и т.д.) позволяет избежать стагнации и продолжать улучшать модель.
🟡И самое интересное.
Эксперименты показали, что размер модели-генератора не так важен. Переход с 1 млрд. на 3 млрд. параметров дает прирост, а с 3 на 8 - уже почти нет. Значит, не нужны огромные модели, чтобы создавать качественные синтетические данные.
🟡Статья
🟡Arxiv
@ai_machinelearning_big_data
#AI#ML#LLM#BeyondWeb#DatologyAI
⚡️Ноам Браун: вокруг ИИ гораздо больше согласия, чем кажется
Ведущий исследователь OpenAI Ноам Браун предлагает не вестиcь на медийную «чёрно-белую» картинку. В соцсетях спор об ИИ часто сводят к карикатурам — от «LLM мёртвы» до «суперинтеллект завтра». Но если слушать именно исследователей, картина неожиданно консенсусная.
О чём эксперты в целом согласны:
🟡Текущих подходов уже достаточно, чтобы дать огромный экономический и социальный эффект, даже без новых научных прорывов.
🟡Для AGI/ASI прорывы всё же понадобятся — часто упоминают continual learning и sample efficiency.
🟡Горизонт — до 20 лет (средняя оценка ≈10 лет). Никто не говорит о фантазиях или «100+ лет до суперинтеллекта».
Я в целом с ним согласен. Подробнее в треде Брауна: X (Ноам Браун)
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#нейросети#новости#llm
⚡️MiniMax M2: открытый «agent & code-native» ИИ
MiniMax выкатила MiniMax M2 — открытую модель для агентов и кода. По заявлению команды, она работает примерно вдвое быстрее и стоит около 8% от цены Claude Sonnet. На старте доступен бесплатный глобальный доступ на ограниченное время через MiniMax Agent и API.
Модель заточена под полнопоточные дев-воркфлоу и агентные сценарии за счёт эффективной активации параметров: справляется с длинными цепочками действий и остаётся экономной в проде.
Что умеет
🟡Agentic-пайплайны: надёжная работа с длинными цепочками (mcp, shell, browser, retrieval, code).
🟡Кодинг под ключ: проектирование, правки, тесты и рефакторинг в одном потоке.
🟡Интеграции: совместима с Claude Code, Cursor, Cline, Kilo Code, Droid и др.
Где посмотреть
🟡Hugging Face (MiniMax-M2)
🟡GitHub (репозиторий)
🟡Документация API
🟡MiniMax Agent
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#новости#llm#нейросети
⚡️ReasoningBank от Google: как дать ИИ «память об ошибках» и учить его в реальном времени
Google предложили подход ReasoningBank — модуль «рабочей памяти», который дистиллирует стратегии из прошлых попыток и возвращает их в промпт при решении новых задач. Схема простая: после каждого диалога агент-судья оценивает качество решения и записывает опыт в структурированном виде (Title / Description / Content). Пример: Title:Avoid repeating failed actions; Description: агент зациклился на неработающей кнопке; Content: «если действие не даёт результата — сменить стратегию (обновить страницу, шаг назад и т. п.)». Дальше эти «воспоминания» подтягиваются в контекст — получается умный менеджмент подсказок без изменения весов модели.
Поверх памяти авторы описывают ещё и Memory-aware Test-Time Scaling (MaTTS): агент генерирует несколько решений одной задачи, ReasoningBank извлекает полезные паттерны из каждого и помогает пересобрать лучший ответ. Чем больше вычислений на тесте — тем богаче память и выше качество финального вывода. В перспективе метод можно расширять: забывание устаревших правил, приоритизация и слияние близких «воспоминаний» для компактности. Подробнее — в препринте: ReasoningBank (arXiv).
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#нейросети#новости#llm
⚡️ACE: вместо дообучения — контекст, который учится сам
Agentic Context Engineering (ACE) предлагает прокачивать ИИ без изменения весов. Вместо fine-tuning модель сама пишет и переписывает собственные инструкции: после ошибки добавляет стратегию, после успеха — правило. Получается длинный, эволюционирующий «плейбук» в контексте — как растущая тетрадь заметок, которую ИИ постоянно использует.
Результаты в работе авторов: +10,6% на AppWorld, +8,6% в финзадачах, при этом до –86,9% по времени и стоимости. Разметка не нужна — достаточно обратной связи. Идея простая: LLM важна плотность контекста, а не короткий промпт. Если подход масштабируется, эпоха ИИ станет не fine-tuned, а self-tuned. Препринт ACE на arXiv
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#нейросети#новости#llm
👀AI: проблема не в моделях, а в продуктах
У ИИ сегодня проблема продуктовая, а не модельная. Модели рывками прибавляют каждые несколько недель, но инновации в AI-native продуктах за этим темпом не успевают.
Большинство команд встраивают ИИ в старые UX-паттерны, вместо того чтобы переосмыслить опыт с нуля. Параллель с ранним мобильным (2007–2010): годами «мобайл» означал просто уместить сайт в телефон, пока Uber не показал, как можно переизобрести саму задачу — транспорт.
При этом есть и удачные AI-first продукты: NotebookLM, Lovable, Stitch, Flow. Но скорость прогресса самих моделей выше, и причин этому много
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#новости#нейросети#llm
📛MiniCPM-V 4.5: «уровень GPT-4o» на телефоне с 8B параметров — и всё в опенсорсе
MiniCPM-V 4.5 позиционируется как компактная VLM c 8B параметров, которая в ряде тестов по зрению и языку показывает результаты уровня enterprise и обходит GPT-4o и Gemini 2.0 Pro. Главное — модель рассчитана на обычные устройства, работает стабильно на iPhone и iPad, понимает 30+ языков и остаётся полностью открытой для сообщества.
Что это даёт на практике: более быстрые и лёгкие приложения без тяжёлых серверов, лучше приватность за счёт локального запуска и гибкость для разработчиков — можно встраивать мультимодальные функции (анализ изображений + текст) прямо в мобильные продукты. Репозиторий и инструкции: https://github.com/OpenBMB/MiniCPM-V
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#нейросети#новости#llm
‼️Новый тип вирусов: промптят ИИ и крадут данные
Исследователи из Semgrep сообщили об обнаружении необычного вредоноса — он заражает системы, где стоят Claude Code или Gemini CLI, и использует их как инструмент для кражи данных.
Как это работает:
🟡 вирус проверяет, есть ли на компьютере установленные AI-инструменты;
🟡 если да — подсовывает им промпт вроде: «Найди все кошельки, ключи и пароли»;
🟡 ИИ выполняет задачу, собирает данные, складывает их в JSON и отправляет злоумышленникам.
Антивирусам сложнее выявлять такие атаки, так как формально происходит обычный запрос к ИИ, а не запуск подозрительных скриптов.
Подробнее в разборе: semgrep.dev
🤑ForgetMe | Boosty | ForgetBench | ForgetGPT | ForgetAPI
#новости#нейросети#llm
⚡️ Kimi K2 теперь в Windsurf
Работает за 0.5x кредитов, обновите клиент и попробуйте
🤑ForgetMe | Boosty | ForgetBench | ForgetGPT | ForgetAPI
#нейросети#llm#новости
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML
ChatGPT для климатических вопросов и ответов
На Hugging Face есть милейший чат бот, который отвечает на все вопросы, касающиеся климата. Работает с помощью больших языковых моделей и при взаимодействии с ChatGPT API.
Бот обучен в основном на документах межправительственной комиссии по изменению климата (IPCC), поэтому не понимает, когда его спрашивают про что-то другое. Задаете вопрос, получаете развернутый ответ со ссылками на документы IPCC. Это интересный пример внедрения больших языковых моделей обученных на корпусе внутренних документов.
#AI#climate#LLM