✔️T-Pro 2.0 — LLM с гибридным режимом рассуждений
Т-Банк релизнул модель с гибридным ризонингом в опенсорс.
T-Pro 2.0 дообучили на основе Qwen3 32B, улучшив качество и скорость генерации на русском языке.
Вместе с моделью впервые выложили инструктивный датасет. Как дообучали модель сегодня рассказали на Turbo ML конфе и выложили на хабр.
✔️Дообучение модели T-Pro 2.0 проходило в несколько этапов.
На основе токенизатора Qwen3 и с помощью расширения его кириллической части более, чем в 5 раз, разработчики получили улучшенный токенизатор для мультилингвальных моделей. По итогу токенизатор оказался на 30% более эффективен для русского языка. Затем за счет плотного токенизатора на двух доменах (чатовые запросы ru-arena-hard и олимпиадные математические задачи из T-Math) ускорили инференс.
Следующим шагом было дообучение на большом русскоязычном инструктивном корпусе. Далее модель дообучали на более чистом SFT-сете, сформированном из разнообразных промптов, собранных вручную, из открытых источников и переводов англоязычных наборов данных. Для формирования итогового датасета ответы на инструкции генерировались с помощью более мощных моделей, таких как DeepSeek-V3 0324 и Qwen3-235B-A22B. Это позволило обеспечить высокий уровень точности и релевантности.
На стадии Preference tuning для обучения DPO сформировали набор данных с фильтрацией по длине и типу для general-инструкций и сохранением баланса доменов для reasoning-инструкций.
На финальном этапе Speculative decoding в качестве драфт- модели выбрали EAGLE 1 с генерацией драфта во время инференса с помощью tree attention согласно EAGLE 2.
✔️Бенчмарки моделей
Для того, чтобы оценить способности моделей к ведению диалога, следованию инструкциям и решению задач разработчики использовали LLM-as-a-judge-арены: Arena Hard Ru, Arena Hard 2 и арену WildChat Hard Ru. В последней в качестве бейзлайна использовались ответы модели o3-mini, а “судьей” для всех арен выступал DeepSeek V3 0324. Для оценки знаний о мире и общим логическим способностям моделей на русском языке использовались бенчмарки MERA, MaMuRAMu, ruMMLU, ruMMLU-Pro.
Бенчмарки AIME, MATH-500, GPQA Diamond, Vikhr Math, Vikhr Physics, LiveCodeBench v4_v5 позволили оценить способности reasoning-модели к рассуждениям и решению сложных задач. Англоязычные бенчмарки были целиком локализованы на русский язык ИИ-тренерами: ruAIME, ruMATH-500, ru GPQA Diamond, ruLCB. Компания также использовала свой бенчмарк Т-Math, чтобы расширить оценку математических способностей на русском языке.
✔️Задачи, которые закрывает T-Pro 2.0
Дообучение даже продвинутых LLM позволяет управлять стоимостью инференса и скоростью генерации, дообучать важные домены (саппорта или распределение внутреннего промтинга), уменьшить количества артефактов и проблем с русским языком.
Модель T-Pro 2.0 доступна по лицензии Apache 2.0, ее можно бесплатно использовать как для решения задач в промптинге, так и для дообучения на свои задачи.
▪️Hugging face:T-Pro 2.0
Датасет T-wix
@ai_machinelearning_big_data
#news#ai#ml#llm
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML
ChatGPT для климатических вопросов и ответов
На Hugging Face есть милейший чат бот, который отвечает на все вопросы, касающиеся климата. Работает с помощью больших языковых моделей и при взаимодействии с ChatGPT API.
Бот обучен в основном на документах межправительственной комиссии по изменению климата (IPCC), поэтому не понимает, когда его спрашивают про что-то другое. Задаете вопрос, получаете развернутый ответ со ссылками на документы IPCC. Это интересный пример внедрения больших языковых моделей обученных на корпусе внутренних документов.
#AI#climate#LLM
Ян Лекун назвал идею AGI иллюзией
Главный научный сотрудник Meta* по искусственному интеллекту Ян Лекун (Yann LeCun) заявил, что понятия общего интеллекта не существует. По его словам, человеческий разум узкоспециализирован и приспособлен только к ограниченному числу задач в физическом мире.
«Мы хорошо ориентируемся в пространстве, умеем общаться, но слабы в шахматах и других сферах. Некоторые животные в чём-то превосходят нас. Мы называем наш интеллект общим только потому, что не осознаём задач, в которых абсолютно беспомощны», — пояснил Лекун. Он добавил, что идея универсального интеллекта — это иллюзия.
AI-исследователь Хантер Эш (Hunter Ash) возразил, что сама способность рассуждать о природе интеллекта уже говорит об универсальности. По его мнению, человек способен играть в любые игры, адаптироваться, анализировать стратегии и видеть причинно-следственные связи. Это и есть проявление общего интеллекта, пусть и в ограниченном виде.
Скептически отреагировал и Илон Маск, сказав, что Лекун «давно выжил из ума».
#news#AI
https://x.com/slow_developer/status/2000959102940291456?s=46&t=pKf_FxsPGBd_YMIWTA8xgg
Опра взяла интервью у Сэма Альтмана и Билла Гейтса. Как эксперты видят AI: скептицизм, оптимизм и опасения насчет безопасности
Опра взяла интервью у экспертов в области искусственного интеллекта в выпуске под названием «AI и наше будущее» (AI and the Future of Us). Основная мысль ее вступительного слова заключалась в том, что AI-джинн уже выпущен из бутылки, и человечеству надо учиться жить в новой реальности.
Позиция Сэма Альтмана:
• AI изучает концепты, которые заложены в обучающих данных;
• правительству необходимо выработать регламент испытаний AI-систем на безопасность, как мы это делаем для самолетов или новых лекарств;
• никто не должен доверять мнению одного человека, который заявляет об исключительной пользе AI.
Позиция Билла Гейтса:
• AI – это как третий человек на приеме у врача: он ведет запись встречи и предлагает рецепт. Вместо того, чтобы врач сидел перед экраном, он общается с вами, а ПО следит за качеством расшифровки;
• AI может принести пользу в образовании: он всегда доступен и понимает, как вас мотивировать, независимо от уровня знаний.
Позиция директора ФБР Кристофера Рэя (Christopher Wray):
• Качество дипфейков повышается очень быстро;
• более трети американских респондентов видели недостоверную информацию – или то, что по их подозрению, было дезинформацией, согласно опросам 2023 года;
• граждане должны проявлять повышенную бдительность, но поводов для паники нет;
• с 2022 по 2023 год число случаев вымогательства с помощью сексуализированного контента увеличилось на 178%, что отчасти обусловлено технологиями искусственного интеллекта. Основной мишенью являются подростки. Злоумышленники отправляют сгенерированные фотографии сексуального характера, просят отправить подобные материалы в ответ, а потом требуют прислать деньги, угрожая в противном случае обнародовать снимки.
#news#AI
https://techcrunch.com/2024/09/12/ophah-just-had-an-ai-special-with-sam-altman-and-bill-gates-here-are-the-highlights/?utm_source=Live+Audience&utm_campaign=6651b82eb2-nature-briefing-ai-robotics-20240917&utm_medium=email&utm_term=0_b27a691814-6651b82eb2-51976144&mc_cid=6651b82eb2&mc_eid=bb37699b5b
🎱Илон Маск о будущем
На международном фестивале рекламы «Каннские львы», который проходил на Лазурном берегу, Илон Маск дал большое интервью о будущем ИИ, Интернета и самого человечества.
📱Хайлайты
➡️О перспективах ИИ. Не нужно быть ни слишком пессимистичными, ни слишком оптимистичными. Отец-основатель искусственного интеллекта Джеффри Хинтон оценивал вероятность уничтожения человечества ИИ в 10-20%. Но я считаю, что наш стакан на 80% полон. Мы живем в самую интересную эпоху за всю историю человечества. Нас ждут весьма значительные изменения уже в следующем году и радикальные перемены — в ближайшие пять лет.
➡️О жизни с суперинтеллектом. Вероятнее всего, развитие ИИ приведет к изобилию. Это не просто всеобщий базовый доход, а всеобщий высокий доход. Работа станет необязательной. Хотя, если ИИ будет делать все лучше нас, это может вызвать экзистенциальный кризис. В лучшем случае развития событий ИИ будет делать все возможное, чтобы сделать нас счастливыми. Если сверхразум пытается сделать нас счастливыми, он, вероятно, преуспеет.
➡️О Neuralink. Долгосрочная цель — симбиоз человека и ИИ. Мы можем восстанавливать подвижность тела после травм позвоночника, передавая сигналы от мозга. Испытания на животных показали очень хорошие результаты.
➡️О будущем Интернета. Поиск в интернете кардинально изменится. Если вместо множества ссылок ИИ будет давать точные ответы, то вы, конечно, предпочтете его Google. Появится новая модель подачи новостей. Это будет агрегация коллективной мудрости десятков миллионов людей — обобщенная информация в реальном времени от экспертов в данной области и людей, которые находятся на месте события.
➡️О роботах-гуманоидах. Человекоподобные роботы будут выполнять различные задачи: выгуливать собак, ухаживать за домом, сидеть с детьми, учить готовить, играть на пианино. Каждый захочет обзавестись таким роботом. Поэтому их будет 20 миллиардов, и люди привяжутся к ним так же, как к роботам R2-D2 and C-3PO из «Звездных войн».
➡️О путешествиик звездам. Мультипланетарная цивилизация имеет гораздо больше шансов на долгосрочное существование. Исследуя Галактику, мы можем найти множество однопланетарных цивилизаций, которые давно вымерли. Расширение нашего сознания поможет нам лучше понять вселенную.
🎁 Сегодня у Илона Маска день рождения — 53 года. Поздравляем!
📱 Интервью здесь.
Больше по теме:
Илон Маск vs Джефф Безос: кто первым будет на Луне?
Большое интервью с Сэмом Альтманом о будущем ИИ
#news@hiaimedia
Технолидеры прогнозируют появления действительного умного AI в горизонте от 2 до 10 лет
Наибольшим оптимистом оказался Илон Маск, который ранее в этом году заявил, что до появления AGI (artificial general intelligence), сопоставимого или превосходящего интеллект человека, остается всего пара лет. Сэм Альтман из OpenAI прогнозирует появление AGI в «ближайшем будущем».
Генеральный директор Baidu Робин Ли, однако, дает более консервативную оценку. Он утверждает, что AGI, превосходящий возможности человека, появится на горизонте свыше 10 лет. «Все шокированы тем, как стремительно развивались технологии AI за последние пару лет. Но для меня это все еще недостаточно быстро. Это слишком медленно», — сетует топ-менеджер. Он отмечает, что гигантские аудитории в миллиарды пользователей продолжают оставаться у «традиционных» сервисов типа YouTube или Tik-Tok, a killer app для AI до сих пор не существует, и в индустрии нет представления о том, каким оно должно быть.
#news#AI
https://www.cnbc.com/2024/05/23/artificial-general-intelligence-more-than-10-years-away-baidu-ceo.html
⚡️Ноам Браун: вокруг ИИ гораздо больше согласия, чем кажется
Ведущий исследователь OpenAI Ноам Браун предлагает не вестиcь на медийную «чёрно-белую» картинку. В соцсетях спор об ИИ часто сводят к карикатурам — от «LLM мёртвы» до «суперинтеллект завтра». Но если слушать именно исследователей, картина неожиданно консенсусная.
О чём эксперты в целом согласны:
🟡Текущих подходов уже достаточно, чтобы дать огромный экономический и социальный эффект, даже без новых научных прорывов.
🟡Для AGI/ASI прорывы всё же понадобятся — часто упоминают continual learning и sample efficiency.
🟡Горизонт — до 20 лет (средняя оценка ≈10 лет). Никто не говорит о фантазиях или «100+ лет до суперинтеллекта».
Я в целом с ним согласен. Подробнее в треде Брауна: X (Ноам Браун)
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#нейросети#новости#llm
⚡️MiniMax M2: открытый «agent & code-native» ИИ
MiniMax выкатила MiniMax M2 — открытую модель для агентов и кода. По заявлению команды, она работает примерно вдвое быстрее и стоит около 8% от цены Claude Sonnet. На старте доступен бесплатный глобальный доступ на ограниченное время через MiniMax Agent и API.
Модель заточена под полнопоточные дев-воркфлоу и агентные сценарии за счёт эффективной активации параметров: справляется с длинными цепочками действий и остаётся экономной в проде.
Что умеет
🟡Agentic-пайплайны: надёжная работа с длинными цепочками (mcp, shell, browser, retrieval, code).
🟡Кодинг под ключ: проектирование, правки, тесты и рефакторинг в одном потоке.
🟡Интеграции: совместима с Claude Code, Cursor, Cline, Kilo Code, Droid и др.
Где посмотреть
🟡Hugging Face (MiniMax-M2)
🟡GitHub (репозиторий)
🟡Документация API
🟡MiniMax Agent
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#новости#llm#нейросети
⚡️ReasoningBank от Google: как дать ИИ «память об ошибках» и учить его в реальном времени
Google предложили подход ReasoningBank — модуль «рабочей памяти», который дистиллирует стратегии из прошлых попыток и возвращает их в промпт при решении новых задач. Схема простая: после каждого диалога агент-судья оценивает качество решения и записывает опыт в структурированном виде (Title / Description / Content). Пример: Title:Avoid repeating failed actions; Description: агент зациклился на неработающей кнопке; Content: «если действие не даёт результата — сменить стратегию (обновить страницу, шаг назад и т. п.)». Дальше эти «воспоминания» подтягиваются в контекст — получается умный менеджмент подсказок без изменения весов модели.
Поверх памяти авторы описывают ещё и Memory-aware Test-Time Scaling (MaTTS): агент генерирует несколько решений одной задачи, ReasoningBank извлекает полезные паттерны из каждого и помогает пересобрать лучший ответ. Чем больше вычислений на тесте — тем богаче память и выше качество финального вывода. В перспективе метод можно расширять: забывание устаревших правил, приоритизация и слияние близких «воспоминаний» для компактности. Подробнее — в препринте: ReasoningBank (arXiv).
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#нейросети#новости#llm
⚡️ACE: вместо дообучения — контекст, который учится сам
Agentic Context Engineering (ACE) предлагает прокачивать ИИ без изменения весов. Вместо fine-tuning модель сама пишет и переписывает собственные инструкции: после ошибки добавляет стратегию, после успеха — правило. Получается длинный, эволюционирующий «плейбук» в контексте — как растущая тетрадь заметок, которую ИИ постоянно использует.
Результаты в работе авторов: +10,6% на AppWorld, +8,6% в финзадачах, при этом до –86,9% по времени и стоимости. Разметка не нужна — достаточно обратной связи. Идея простая: LLM важна плотность контекста, а не короткий промпт. Если подход масштабируется, эпоха ИИ станет не fine-tuned, а self-tuned. Препринт ACE на arXiv
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#нейросети#новости#llm
👀AI: проблема не в моделях, а в продуктах
У ИИ сегодня проблема продуктовая, а не модельная. Модели рывками прибавляют каждые несколько недель, но инновации в AI-native продуктах за этим темпом не успевают.
Большинство команд встраивают ИИ в старые UX-паттерны, вместо того чтобы переосмыслить опыт с нуля. Параллель с ранним мобильным (2007–2010): годами «мобайл» означал просто уместить сайт в телефон, пока Uber не показал, как можно переизобрести саму задачу — транспорт.
При этом есть и удачные AI-first продукты: NotebookLM, Lovable, Stitch, Flow. Но скорость прогресса самих моделей выше, и причин этому много
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#новости#нейросети#llm
📛MiniCPM-V 4.5: «уровень GPT-4o» на телефоне с 8B параметров — и всё в опенсорсе
MiniCPM-V 4.5 позиционируется как компактная VLM c 8B параметров, которая в ряде тестов по зрению и языку показывает результаты уровня enterprise и обходит GPT-4o и Gemini 2.0 Pro. Главное — модель рассчитана на обычные устройства, работает стабильно на iPhone и iPad, понимает 30+ языков и остаётся полностью открытой для сообщества.
Что это даёт на практике: более быстрые и лёгкие приложения без тяжёлых серверов, лучше приватность за счёт локального запуска и гибкость для разработчиков — можно встраивать мультимодальные функции (анализ изображений + текст) прямо в мобильные продукты. Репозиторий и инструкции: https://github.com/OpenBMB/MiniCPM-V
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#нейросети#новости#llm