TGTGInsightаналитика telegramLIVE / telegram public index
← Machinelearning

TGINSIGHT SIMILAR POSTS

Найти похожее

Источник @ai_machinelearning_big_data · Post #8125 · 23 июл.

🌟Mixture-of-Recursions: концепция селективного ризонинга. Архитектура Mixture-of-Recursions (MoR), предложенная Google в соавторстве с KAIST AI объединяет в едином фреймворке традиционные подходы разделения параметров и адаптивные вычисления, заставляя модель думать над каждым токеном с разной глубиной. Под капотом MoR - рекурсивный трансформер, который прогоняет входные данные через один и тот же блок слоев несколько раз. Но главная фишка в том, что количество этих прогонов, или глубина рекурсии, не фиксированное, а динамическое и определяется для каждого токена индивидуально. Легковесный обучаемый роутер анализирует токен и решает, сколько вычислительных усилий на него потратить. Простые слова могут пройти всего один цикл рекурсии, в то время как семантически нагруженные термины отправятся на более глубокую обработку из нескольких циклов. Это дает два главных преимущества: 🟢Во-первых, модель тратит вычислительные ресурсы только на те токены, которые все еще активны на данной глубине рекурсии. Токены, которые вышли раньше, в дальнейших вычислениях не участвуют. Это уже само по себе сокращает объем вычислений. 🟢Во-вторых, что самое интересное для инженеров, MoR позволяет реализовать очень эффективное KV caching. Вместо того чтобы хранить в памяти огромный кеш для каждого виртуального слоя, модель кеширует KV-пары только для активных в данном цикле рекурсии токенов. Это кардинально снижает требования к памяти и ускоряет инференс, решая одну из главных головных болей при развертывании LLM. При одинаковом бюджете на обучение (в FLOPs) и меньшем размере самой модели MoR показывает более низкую перплексию и лучшие результаты в few-shot задачах, чем стандартные и рекурсивные аналоги. ▶️ Попробовать MoR можно на практике - код для трейна и оценки доступен в репозитории проекта на Github. 📌Лицензирование: Apache 2.0 License. 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI#ML#LLM#Architecture#MoR

Результаты

Найдено 10 похожих постов

ForgetMe | Нейросети

@forgetmeai · Post #5662 · 30.11.2025, 15:25

⚡️Ноам Браун: вокруг ИИ гораздо больше согласия, чем кажется Ведущий исследователь OpenAI Ноам Браун предлагает не вестиcь на медийную «чёрно-белую» картинку. В соцсетях спор об ИИ часто сводят к карикатурам — от «LLM мёртвы» до «суперинтеллект завтра». Но если слушать именно исследователей, картина неожиданно консенсусная. О чём эксперты в целом согласны: 🟡Текущих подходов уже достаточно, чтобы дать огромный экономический и социальный эффект, даже без новых научных прорывов. 🟡Для AGI/ASI прорывы всё же понадобятся — часто упоминают continual learning и sample efficiency. 🟡Горизонт — до 20 лет (средняя оценка ≈10 лет). Никто не говорит о фантазиях или «100+ лет до суперинтеллекта». Я в целом с ним согласен. Подробнее в треде Брауна: X (Ноам Браун) 🤑ForgetMe | Boosty Приобрести подписку на любые сервисы ⏩@forgetshop_bot #нейросети#новости#llm

ForgetMe | Нейросети

@forgetmeai · Post #5488 · 27.10.2025, 13:33

⚡️MiniMax M2: открытый «agent & code-native» ИИ MiniMax выкатила MiniMax M2 — открытую модель для агентов и кода. По заявлению команды, она работает примерно вдвое быстрее и стоит около 8% от цены Claude Sonnet. На старте доступен бесплатный глобальный доступ на ограниченное время через MiniMax Agent и API. Модель заточена под полнопоточные дев-воркфлоу и агентные сценарии за счёт эффективной активации параметров: справляется с длинными цепочками действий и остаётся экономной в проде. Что умеет 🟡Agentic-пайплайны: надёжная работа с длинными цепочками (mcp, shell, browser, retrieval, code). 🟡Кодинг под ключ: проектирование, правки, тесты и рефакторинг в одном потоке. 🟡Интеграции: совместима с Claude Code, Cursor, Cline, Kilo Code, Droid и др. Где посмотреть 🟡Hugging Face (MiniMax-M2) 🟡GitHub (репозиторий) 🟡Документация API 🟡MiniMax Agent 🤑ForgetMe | Boosty Приобрести подписку на любые сервисы ⏩@forgetshop_bot #новости#llm#нейросети

ForgetMe | Нейросети

@forgetmeai · Post #5435 · 16.10.2025, 12:53

⚡️ReasoningBank от Google: как дать ИИ «память об ошибках» и учить его в реальном времени Google предложили подход ReasoningBank — модуль «рабочей памяти», который дистиллирует стратегии из прошлых попыток и возвращает их в промпт при решении новых задач. Схема простая: после каждого диалога агент-судья оценивает качество решения и записывает опыт в структурированном виде (Title / Description / Content). Пример: Title:Avoid repeating failed actions; Description: агент зациклился на неработающей кнопке; Content: «если действие не даёт результата — сменить стратегию (обновить страницу, шаг назад и т. п.)». Дальше эти «воспоминания» подтягиваются в контекст — получается умный менеджмент подсказок без изменения весов модели. Поверх памяти авторы описывают ещё и Memory-aware Test-Time Scaling (MaTTS): агент генерирует несколько решений одной задачи, ReasoningBank извлекает полезные паттерны из каждого и помогает пересобрать лучший ответ. Чем больше вычислений на тесте — тем богаче память и выше качество финального вывода. В перспективе метод можно расширять: забывание устаревших правил, приоритизация и слияние близких «воспоминаний» для компактности. Подробнее — в препринте: ReasoningBank (arXiv). 🤑ForgetMe | Boosty Приобрести подписку на любые сервисы ⏩@forgetshop_bot #нейросети#новости#llm

ForgetMe | Нейросети

@forgetmeai · Post #5407 · 11.10.2025, 08:03

⚡️ACE: вместо дообучения — контекст, который учится сам Agentic Context Engineering (ACE) предлагает прокачивать ИИ без изменения весов. Вместо fine-tuning модель сама пишет и переписывает собственные инструкции: после ошибки добавляет стратегию, после успеха — правило. Получается длинный, эволюционирующий «плейбук» в контексте — как растущая тетрадь заметок, которую ИИ постоянно использует. Результаты в работе авторов: +10,6% на AppWorld, +8,6% в финзадачах, при этом до –86,9% по времени и стоимости. Разметка не нужна — достаточно обратной связи. Идея простая: LLM важна плотность контекста, а не короткий промпт. Если подход масштабируется, эпоха ИИ станет не fine-tuned, а self-tuned. Препринт ACE на arXiv 🤑ForgetMe | Boosty Приобрести подписку на любые сервисы ⏩@forgetshop_bot #нейросети#новости#llm

ForgetMe | Нейросети

@forgetmeai · Post #5186 · 09.09.2025, 16:37

👀AI: проблема не в моделях, а в продуктах У ИИ сегодня проблема продуктовая, а не модельная. Модели рывками прибавляют каждые несколько недель, но инновации в AI-native продуктах за этим темпом не успевают. Большинство команд встраивают ИИ в старые UX-паттерны, вместо того чтобы переосмыслить опыт с нуля. Параллель с ранним мобильным (2007–2010): годами «мобайл» означал просто уместить сайт в телефон, пока Uber не показал, как можно переизобрести саму задачу — транспорт. При этом есть и удачные AI-first продукты: NotebookLM, Lovable, Stitch, Flow. Но скорость прогресса самих моделей выше, и причин этому много 🤑ForgetMe | Boosty Приобрести подписку на любые сервисы ⏩@forgetshop_bot #новости#нейросети#llm

ForgetMe | Нейросети

@forgetmeai · Post #5133 · 01.09.2025, 11:32

📛MiniCPM-V 4.5: «уровень GPT-4o» на телефоне с 8B параметров — и всё в опенсорсе MiniCPM-V 4.5 позиционируется как компактная VLM c 8B параметров, которая в ряде тестов по зрению и языку показывает результаты уровня enterprise и обходит GPT-4o и Gemini 2.0 Pro. Главное — модель рассчитана на обычные устройства, работает стабильно на iPhone и iPad, понимает 30+ языков и остаётся полностью открытой для сообщества. Что это даёт на практике: более быстрые и лёгкие приложения без тяжёлых серверов, лучше приватность за счёт локального запуска и гибкость для разработчиков — можно встраивать мультимодальные функции (анализ изображений + текст) прямо в мобильные продукты. Репозиторий и инструкции: https://github.com/OpenBMB/MiniCPM-V 🤑ForgetMe | Boosty Приобрести подписку на любые сервисы ⏩@forgetshop_bot #нейросети#новости#llm

ForgetMe | Нейросети

@forgetmeai · Post #5093 · 28.08.2025, 16:02

‼️Новый тип вирусов: промптят ИИ и крадут данные Исследователи из Semgrep сообщили об обнаружении необычного вредоноса — он заражает системы, где стоят Claude Code или Gemini CLI, и использует их как инструмент для кражи данных. Как это работает: 🟡 вирус проверяет, есть ли на компьютере установленные AI-инструменты; 🟡 если да — подсовывает им промпт вроде: «Найди все кошельки, ключи и пароли»; 🟡 ИИ выполняет задачу, собирает данные, складывает их в JSON и отправляет злоумышленникам. Антивирусам сложнее выявлять такие атаки, так как формально происходит обычный запрос к ИИ, а не запуск подозрительных скриптов. Подробнее в разборе: semgrep.dev 🤑ForgetMe | Boosty | ForgetBench | ForgetGPT | ForgetAPI #новости#нейросети#llm

Earth&Climate Tech

@earth_climate_tech · Post #401 · 19.10.2023, 16:00

​​Polymathic - междисциплинарный ИИ Ох, какая классная межуниверситетская инициатива - Polymathic🔥. Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п. В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков. На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI. #AI#ML

Hashtags