Поговорим про ML.
Пару дней назад вышла новость о том, что в продажу поступила первая русскоязычная книга, половину текста в которой написала нейросеть ruGPT-3. А до этого вы все наверняка натыкались на очень яркие записи про Dalle и Imagen, где нейросеть по описанию рисует картинку, и получается очень любопытно.
Такими темпами скоро нейросети превратятся в крипту: высокотехнологичную вещь, о которой, однако, в среде приличных технарей лучше не упоминать. Потому что то, каким образом это используется, и то, какой образ этому создают в массах, расходится не только с реальностью, но и с определённым уровнем вменяемости.
Кстати, ML ещё и может ярко демонстрировать эффект Даннинга-Крюгера. Мем про "Ты чё, пёс, я математик!" нифига не шутка. Человек может считать себя крутым программистом, если научился комбинировать чужие библиотеки на питоне. Хотя на самом деле простейшую практическую задачу решить не способен -- я с такими сталкивался лично. ML-щики вообще пихают свои нейросети куда ни попадя, считая, что это волшебная таблетка и швейцарский нож для любых ситуаций. Мне рассказывали случай, когда на хакатоне по работе с данными выиграл человек, который просто аккуратно вручную подобрал нужные зависимости в Excel :)
Глобально же нейросетями пытаются решать три вида задач:
1. Информации в вопросе много, а в ответе нужно мало. Например, распознавание образов и символов. Подбор значений каких-нибудь коэффициентов. Приложение "Хотдог или не хотдог" из сериала Кремниевая Долина. Обычно нейросети справляются с таким очень хорошо. Рукописный ввод распознают шикарно, по фото могут назвать породу собаки, математические формулы читают. Но важно понимать, что под капотом даже у такой нейросети не возникает никаких понятных вам символов. Например, при распознавании рукописного ввода случайный набор пикселей, не имеющий для человека смысла, может быть с той же степенью уверенности интерпретирован нейросетью, как совершенно чёткая буква А. Просто мы на такой случайный набор не попадаем почти всегда, и поэтому всё ок.
2. Информации в вопросе средне, и в ответе нужно средне. Как правило, это предсказание, восстановление недостающих данных, улучшение качества фото, раскрашивание ч/б. С такими задачами нейросети справляются уже средненько. Улучшенный нейросетью снимок сразу видно. Предсказание лишь ненамного точнее, чем случайный выбор. Польза в том, что в обращении такие сети просты, а результат всё-таки дают. Но не стоит их переоценивать. Например, сюда можно отнести задачу суммаризации текста (по большому объёму текстов тебе печатают выжимку). Мои товарищи в одном чате несколько дней игрались с ботом-суммаризатором, и в основном половина написанных им фраз это просто мусор и ерунда для ржача. Но в другой половине всё-таки какой-то совсем небольшой смысл проглядывался. Недостаточный для того, чтобы задалбывать этим ботом участников чата (привет, ребята :) ), но не абсолютный рандом.
3. Информации в вопросе мало, а в ответе нужно много. Это генерация данных: вот как раз написание текстов, составление рисунков, логотипов и так далее. Так вот, по моему скромному, но всё-таки хоть немного компетентному мнению, в таких вопросах нейросети выдают полную херню. И хвалёная логотипная нейросетка Лебедева — тоже полная херня. И распиаренная GPT ничего толкового не пишет. Когда читаешь примеры в новостях-анонсах, сразу думаешь: "Вау, как круто!". Но когда пробуешь сам: ruGPT-3 по уровню осмысленности где-то чуть ниже "Яндекс.Рефератов", если помните такой сервис и суть его работы. Я не знаю, будут ли сети по созданию изображений работать так круто (сейчас доступа к ним ни у кого нет), но книга в соавторстве с человеком стала возможна только по той причине, что в качестве человека взяли Павла Пепперштейна, который берёт случайные комбинации словосочетаний и выдаёт это за литературу.
Поверьте: человечество пока что в безопасности касательно захвата машинами.
#dev
#python#brain_inspired_ai#deep_learning#large_language_models#reasoning
The Hierarchical Reasoning Model (HRM) is a new type of AI that reasons more like a human brain, using a fast part for quick details and a slow part for big-picture planning. It solves hard logic tasks like Sudoku, mazes, and IQ-style puzzles very well, even though it is tiny (only 27 million parameters) and learns from very little data (just 1,000 examples). Unlike most large language models, it does not need long chains of written reasoning steps or huge amounts of training, which makes it much faster, cheaper, and more efficient. For the user, this means powerful reasoning in a small, fast system that can run on ordinary hardware and still beat much larger models on tough problems.
https://github.com/sapientinc/HRM
#python#ai#llm#rag#reasoning#retrieval
PageIndex is an advanced AI tool that helps you find the most relevant information in long professional documents by thinking and reasoning like a human expert, rather than just matching keywords. It organizes documents into a clear tree structure, similar to a table of contents, and searches through this structure to give precise, trustworthy answers with exact page references. This method avoids the common problems of traditional vector-based search, making it ideal for complex reports, legal texts, or financial filings. You can use it easily via cloud services or run it locally, improving your ability to analyze and understand large documents quickly and accurately.
https://github.com/VectifyAI/PageIndex
⭐VibeThinker-1.5B - миниатюрная модель, которая показывает SOTA-результаты в задачах рассуждения.
🚀Производительность: одна из лучших на AIME24/25 и HMMT25 - превосходит DeepSeek R1-0120 по математическим задачам и опережает модели такого же размера в соревновательном программировании.
⚡Эффективность: всего 1.5B параметров. то есть в 100–600 раз меньше, чем гиганты вроде Kimi K2 и DeepSeek R1.
💰Стоимость: полный пост-тренинг обошёлся всего в $7.8K, примерно в 30–60 раз дешевле, чем у DeepSeek R1 или MiniMax-M1.
Модель основана на Spectrum-to-Signal Principle (SSP) и MGPO-фреймворке, оптимизирующих процесс рассуждения.
📦Model:https://huggingface.co/WeiboAI/VibeThinker-1.5B
💻GitHub:https://github.com/WeiboAI/VibeThinker
📄Arxiv:https://arxiv.org/abs/2511.06221
@ai_machinelearning_big_data
#AI#LLM#Reasoning#OpenSource#SmallModel
🔥 Новые модели от Baidu
На Wave Summit 2025 Baidu китайцы показали новое поколение своих моделей:
- Reasoning-модель ERNIE X1.1: опережает DeepSeek R1 при цене в 2 раза ниже
- ERNIE 4.5: обходит GPT-4.5 при цене всего в 1% от него
🔥ERNIE X1.1:
🟢 Точность фактов выросла на 34.8%
🟢 Следование инструкциям улучшено на 12.5%
🟢 Агентные функции стали лучше на 9.6%
📊 В тестах модель:
- обошла DeepSeek R1-0528
- в ряде бенчмарков показывает уровень GPT-5 и Gemini 2.5 Pro
Доступна в ERNIE Bot, приложении Wenxiaoyan и через API на платформе Qianfan.
На первый взгляд, это достойная модель. Она не превосходит Gemini 2.5 Pro или GPT-5 в задачах reasoning, но с учётом ограничений по вычислительным мощностям в Китае — результат впечатляющий и заслуживает внимания.
🔥 ERNIE-4.5-21B-A3B-Thinking:
СДелана на базе 21B-instruct, которая уже считалась одной из самых сильных компактных MoE.
> 21B параметров всего, 3B активных
> Улучшена производительность в reasoning-задачах и Кодине
> Более точное использование тулзов
> Поддержка расширенного контекста до 128K токенов
> Apache 2.0
За свои деньги - отличная модель.
🟢Попробовать X1.1:https://ernie.baidu.com
🟢ERNIE 4.5: https://huggingface.co/baidu/ERNIE-4.5-21B-A3B-Thinking
🟢 Сегодня в 07:00 AM UTC-7 — прямой эфир команды ERNIE, посвященный X1.1: https://youtube.com/live/1ZHqwkg9-x0?feature=share
@ai_machinelearning_big_data
#ERNIE#AI#Reasoning#WaveSummit2025
🌟OpenReasoning-Nemotron: набор ризонинг-моделей от NVIDIA.
OpenReasoning-Nemotron - набор LLM на архитектуре Qwen 2.5 и дистиллированных из DeepSeek-R1-0528 ( 671 млрд. параметров):
🟠OpenReasoning-Nemotron-1.5B;
🟠OpenReasoning-Nemotron-7B;
🟠OpenReasoning-Nemotron-14B;
🟢OpenReasoning-Nemotron-32B;
Семейство было обучено на 5 млн. примеров рассуждений в математике, естественных науках и программировании.
Модели показали достойные результаты pass@1 на бенчах GPQA, MMLU-PRO, AIME, HMMT и LiveCodeBench - без использования RL.
Старшая модель, 32B, выбила 96,7% по HMMT с декодированием GenSelect.
📌Лицензирование: CC-BY-4.0 License.
🟡Статья
🟡Набор моделей
@ai_machinelearning_big_data
#AI#ML#LLM#Reasoning#Nemotron#NVIDIA
🚀 Новая китайская модель LongCat-Flash-Thinking
🧠 Это модель для рассуждений, которая показала SOTA-результаты среди open-source решений.
⚡ Основное:
- Архитектура MoE, 560B параметров, из них 27B активируются.
- Эффективность: требует на **64,5% меньше токенов**( чем другим открытым моделям того же класса), чтобы достичь топ-результатов на AIME25 (с нативным использованием инструментов,).
- Контекст: 128k, обучение с усилением на задачах рассуждений и кода, многоэтапное пост-тюнинг обучение с мультиагентным синтезом.
- Инфраструктура: асинхронный RL даёт 3x ускорение по сравнению с синхронными фреймворками.
⚙️ Оптимизации для продакшена:
- Свои оптимизированные ядра для работы с MoE и специальные приёмы распределённого обучения,
- KV-cache reduction, квантование, chunked prefill,
- статическая/эластичная маршрутизация, peer-to-peer cache transfer, heavy-hitter replication и PD-disaggregation.
- Поддержка SGLang и vLLM для эффективного деплоя.
📊 Бенчмарки:
- Лидирует в tool use (**τ²-Bench, VitaBench**)
- Хорошие результаты по instruction following (**IFEval, COLLIE, Meeseeks-zh**).
Китайцы стабильно удерживают лидерство в reasoning-моделях.
🟠HF: https://huggingface.co/meituan-longcat/LongCat-Flash-Thinking
@ai_machinelearning_big_data
#AI#LLM#Reasoning#MoE#DeepLearning#OpenSource
🔍 Qwen3-VL-2B-Thinking — новая маленькая мультимодальная модель, заточенная под рассуждения
Компактная версия семейства Qwen3-VL, ориентированная на глубокое мышление, аналитику и агентные применения.
В линейке Qwen-VL предусмотрены два ключевых режима:
- *Instruct* — для диалогов и инструкций,
- *Thinking* — для логических рассуждений, кода и комплексных задач.
💡 Особенности
- Архитектура поддерживает мультимодальность: модель понимает текст и изображения, способна анализировать контент и выстраивать причинно-следственные связи.
- Оптимизирована для reasoning-задач, где важна не генерация текста, а последовательное мышление и вывод.
- Благодаря размеру в 2B параметров, модель легко разворачивается на локальных GPU и в облачных окружениях.
- Поддерживает tool calling и интеграцию в агентные фреймворки.
Qwen3-VL-2B-Thinking - отличная модель при минимальных ресурсах.
👉https://huggingface.co/Qwen/Qwen3-VL-2B-Thinking
@ai_machinelearning_big_data
#Qwen3VL#Qwen#Reasoning#AI#Multimodal#OpenSource
🌟 Теперь поговорим подобнее про Kimina-Prover-72B:
Это модель, которая не просто доказывает теоремы, а учится на своих ошибках.
Kimina-Prover-72B создана на базе Qwen2.5-72B, которая бьет рекорды в формальной математике на Lean 4 и ее облегченные версии 8 и 1,7 миллиарда параметров.
Numina - это некоммерческая научная коллаборация, ориентированная на развитие ИИ в области математики. Ее миссия: создание и публикация обширных баз данных математических задач, разработку open-source ИИ-решателя для их обработки и инструментов для поддержки совместной работы людей и ИИ в фундаментальных науках.
На популярном бенчмарке miniF2F Kimina-Prover-72B достигла внушительной точности в 92.2%, оставив позади Deepseek-Prover-V2 671B.
🟡Ключевая фишка Kimina-Prover - агентный фреймворк для поиска доказательств Test-Time Reinforcement Learning.
Вместо того чтобы пытаться решить сложную задачу в лоб, система научилась декомпозировать ее. Она самостоятельно генерирует, комбинирует и применяет промежуточные утверждения, или леммы, выстраивая из них длинные логические цепочки. По сути, это рекурсивный поиск: для доказательства основной теоремы модель может сначала доказать несколько вспомогательных лемм.
🟡Механика доказательств.
Система отслеживает «рейтинг полезности» каждой леммы и отбраковывает те, что ведут в тупик. Вторым эшелоном идет механизм проверки на вменяемость. Прежде чем использовать новую лемму, модель пытается доказать ее отрицание. Если это удается, значит, лемма противоречива и ее сразу выбрасывают. Такая комбинация гарантирует логическую строгость и надежность всего доказательства.
🟡Kimina-Prover умеет учиться на ошибках.
В отличие от других систем, которые в случае неудачи просто начинают заново, Kimina-Prover умеет читать сообщения об ошибках от компилятора Lean и предлагать исправления.
Для этого ее специально дообучали на датасете из комбинаций «неверное доказательство – фидбэк – верное доказательство». Чтобы обучение шло стабильно, использовали стратегию Batched Failure Replay: все неудачные попытки с одной итерации собираются и используются как обучающий батч для следующей. И это оказалось куда эффективнее, чем бездумный перебор вариантов при том же бюджете вычислений.
📌Лицензирование: MIT License.
🟡Статья
🟡Набор моделей
🟡Demo
🖥GitHub
@ai_machinelearning_big_data
#AI#ML#LLM#TTRL#Reasoning#KiminaProver
🔥WFGY 2.0 — Semantic Reasoning Engine for LLMs (MIT)
Это движок с открытым исходным кодом, цель которого — уменьшить галлюцинации и логические сбои в системах типа RAG / LLM, особенно когда:
- источники OCR-текста плохо распознаются,
- происходит «semantic drift» (когда ответ уходит от вопроса),
- «ghost matches», когда извлечённый фрагмент кажется релевантным, но на самом деле нет.
Обычно ошибки ловят уже в готовом сгенерированном тексте, из-за чего они часто повторяются.
В Semantic Reasoning Engine всё наоборот: если система видит, что рассуждения «кривые» или сбились с курса, она останавливается, сбрасывается или ищет другой путь и отвечает только когда состояние стабильно.
🛡Авторы называют это semantic firewall - семантический «файрвол».
Проверки встроены прямо в процесс мышления модели, а не поверх ответа с фильтрами или регексами. Это помогает избегать ошибок до того, как они попадут в вывод.
📌 Проект включает карту из 16 типичных ошибок LLM:
- неверный поиск данных,
- сбившаяся логика,
- «провалы памяти»,
- путаница ролей агентов и другие.
Для каждой есть простое текстовое исправление. Никаких SDK — достаточно вставить инструкции прямо в промпт.
🟢Как модель решает, правильные ли ответ генерируется:
- ΔS (drift) - не уходит ли смысл слишком далеко от шага к шагу
- λ (convergence) - сходится ли рассуждение к решению или крутится в цикле
- Coverage — достаточно ли фактов и аргументов учтено
Если все три условия выполнены, ответ считается «качественным».
🟢В тестах стабильность вывода выросла до 90–95% против обычных 70–85% у традиционных подходов.
▪Github: https://github.com/onestardao/WFGY
@ai_machinelearning_big_data
#ai#llm#opensource#reasoning#hallucinations#promptengineering
✔️Ling-1T - новая модель от inclusionAI с 1 триллионом параметров
Модель на 1 трлн, из них ≈ 50 млрд активны на токен (MoE-архитектура).
Она обучена на 20 трлн+ токенов, специально отобранных для задач логического мышления и рассуждений. Контекст: 128 000 токенов.
Построена на базе Evo-CoT (Evolutionary Chain of Thought) и Linguistics-Unit RL - нового метода обучения для масштабируемых рассуждений. При помощи Evo-CoT модель постепенно улучшает баланс между точностью рассуждений и вычислительной эффективностью. То есть с каждым шагом она пытается делать рассуждения «глубже», но не слишком дорого по ресурсам.
Моделька демонстрирует сильные результаты в задачах кода, математики, логики и фронтенд-генерации.
В архитектуре задействованы Mixture-of-Experts (1/32 активация), MTP слои и маршрутизация экспертов.
Ling-1T показывает, что огромные модели можно сделать не только мощными, но и экономичными.
https://huggingface.co/inclusionAI/Ling-1T
@ai_machinelearning_big_data
#Ling1T#AI#ML#OpenSource#Reasoning#TrillionScale#FP8