AML

Planned Diffusion: гибридный подход к преодолению барьера между скоростью и качеством в LLM https://arxiv.org/abs/2510.18087 https://arxiviq.substack.com/p/planned-diffusion В статье представлен "Planned Diffusion" — новый гибридный фреймворк для генерации…

Planned Diffusion: гибридный подход к преодолению барьера между скоростью и качеством в LLM https://arxiv.org/abs/2510.18087 https://arxiviq.substack.com/p/planned-diffusion В статье представлен "Planned Diffusion" — новый гибридный фреймворк для генерации текста, который объединяет сильные стороны авторегрессионных (AR) и диффузионных моделей в единой архитектуре Метод работает в два этапа: сначала он использует AR-процесс для последовательной генерации высокоуровневого «плана», который определяет семантическую структуру и разбивает вывод на условно независимые фрагменты текста Затем он выполняет этот план, генерируя содержимое для всех определённых фрагментов одновременно с помощью параллельного дискретного диффузионного процесса Подход напрямую бросает вызов фундаментальному компромиссу между скоростью генерации и качеством вывода в больших языковых моделях Рассматривая генерацию текста как задачу динамического параллельного планирования, Planned Diffusion значительно сокращает последовательный критический путь, достигая ускорения от 1.27x до 1.81x по сравнению со стандартной AR-генерацией на бенчмарке AlpacaEval https://github.com/tatsu-lab/alpaca_eval при минимальном снижении качества Это расширяет границу Парето в координатах «скорость-качество» и предлагает практичный и масштабируемый путь к более быстрым и эффективным LLM без накладных расходов, связанных с системами из нескольких моделей, такими как спекулятивное декодирование https://arxiv.org/abs/2211.17192 В мире больших языковых моделей (LLM) существует фундаментальное противоречие между скоростью инференса и качеством вывода Авторегрессионные (AR) модели, генерирующие текст токен за токеном, долгое время задавали стандарт качества и связности Однако их последовательная природа создаёт неотъемлемый барьер для быстродействия С другой стороны, диффузионные модели спроектированы для параллелизма, но им часто требуется множество итеративных шагов, чтобы достичь качества AR-аналогов, что сводит на нет их преимущество в скорости Это ставит исследователей и практиков перед сложным выбором Статья "Planned Diffusion" предлагает новый фреймворк, который переосмысливает эту проблему Авторы утверждают, что структура зависимостей в тексте зависит от контекста Например, ответ, содержащий маркированный список, имеет семантически независимые части, которые можно генерировать одновременно Используя это наблюдение, они разработали гибридную архитектуру, которая элегантно сочетает в себе сильные стороны обеих парадигм Сначала планирование, затем параллельная диффузия Planned Diffusion работает путём разделения генерации текста на два отдельных этапа, выполняемых одной унифицированной моделью Авторегрессионное планирование: Процесс начинается с последовательного, авторегрессионного этапа, на котором модель генерирует высокоуровневый план выполнения Этот план — не конечный текст, а набор структурных управляющих тегов, которые очерчивают структуру ответа Такой план разбивает задачу на условно независимые подзадачи Параллельная диффузия: Затем план преобразуется в каркас из маск-токенов, который модель «заполняет» одновременно с помощью дискретного диффузионного процесса Каждый запланированный фрагмент текста параллельно очищается от шума (denoising), что резко сокращает количество последовательных прогонов модели, необходимых для генерации полного ответа

Mayo Clinic - объявила о 6-й когорте из 11 Ml -стартапов в своей программе акселерации Фокус этого года - психиатрия/нейро, онкология и CareOps(операционная эффективность) Клинический фокус смещается в сложные области: • психическое здоровье и неврология • онкология вместо более зрелых областей вроде радиологии 3 стартапа по профилактике: MyAtlas: AI + носимые устройства для предотвращения кризисов психического здоровья Kanjo: Ранняя персонализированная помощь при ADHD и аутизме PromedAI: Домашний AI-скрининг для общей профилактики 2 стартапа в тераностике (диагностика + лечение): MedLink Global: AI-психиатрия для диагностики и персонализированного лечения Bowhead Health: Предсказание геномных мутаций рака на основе изображений

«Господа, — сказал он — Предлагаю вам самим отправиться и измерить эту будку Вы увидите, что длина прилавка составляет 149 сантиметров, то есть одну стомиллиардную долю расстояния между Землей и Солнцем. Высота его задней стенки, разделенная на ширину окошка, дает нам 176/56, то есть 3,14 Высота фасада составляет девятнадцать дециметров, то есть равна количеству лет древнегреческого лунного цикла Сумма высот двух передних ребер и двух задних ребер подсчитывается так: 190х2+176х2=732, это дата победы при Пуатье Толщина прилавка составляет 3,10 сантиметров, а ширина наличника окна — 8,8 сантиметров Заменяя целые числа соответствующими литерами алфавита, мы получим C10H8, то есть формулу нафталина — Фантастика, — сказал я — Сами мерили? — Нет, — ответил Алье — Но один подобный киоск был измерен неким Жан–Пьером Аданом Воображаю, что все цветочные киоски должны строиться более или менее одинаково С цифрами вообще можно делать что угодно"

Google опубликовала статью о квантовом алгоритме Quantum Echoes на процессоре Willow Другие работы Google в этом направлении тут Команда сейчас измерила распространение информации в квантовой системе (OTOC²) на 65-105 кубитах Эксперимент длился 2.1 часа на Willow против 3.2 года на суперкомпьютере Frontier, что значит в 13.000 раз быстрее Интересный факт, эксперимент на 40 кубитах занял 3 часа точного расчёта на облаке Google и 6 дней симуляции на NVIDIA H100 для достижения той же точности методом Monte Carlo Впервые результат можно воспроизвести на другом квантовом компьютере Также показали определение параметров квантовых систем Но как пишут сами авторы - это была игрушечная задача До практики далеко — нужны миллионы кубитов, пока их только 105

К вопросу о важности символики для развития математики Вот у Бомбелли (16_й век) записано число √(7 + √14) И это был уже прорыв в переходе от словесной к символьной записи математических выражений

Anthropic представили Claude для научных исследований Команда создала новые инструменты для Claude в сфере науки о жизни: 1. Прямые подключения к научным базам — PubMed, Benchling, Synapse.org, 10x Genomics Можно искать статьи, работать с лабораторными данными и анализировать геномы через обычный диалог с моделью 2. Agent Skills — готовые скрипты для типовых задач Например, есть набор для контроля качества RNA-seq данных Можно делать свои Доступно через Claude.com и AWS Marketplace. Google Cloud — скоро Для академических лабораторий есть программа с бесплатными API-кредитами Кто уже использует: - Sanofi, AbbVie, Novo Nordisk - Broad Institute и Stanford тестируют для биоинформатики 10x Genomics встроили в свои инструменты для анализа одноклеточных данных

DeepSeek выпустили новую модель DeepSeek-OCR — это Ml-модель, которая извлекает текст из документов, изображений и PDF-файлов Главное отличие от привычных OCR-систем: модель не просто "читает" текст, а понимает структуру документа и может работать с разными форматами вывода Интересный концепт в статье — имитация человеческой памяти Модель может сжимать старые части документа сильнее, чем новые, подобно тому, как мы помним недавние события детально, а далёкие — размыто Ключевые возможности: 1. Модель предлагает 6 режимов работы — от экономичного Tiny (64 визуальных токена) до мощного Gundam-M (1853 токена) 2. Обучена на 30.000.000 страниц документов на 100+ языках Основной фокус — китайский и английский (25.000.000 страниц), но работает и с другими языками Модель состоит из DeepEncoder и DeepSeek-3B-MoE декодер Инфраструктура: - Python 3.12.9, CUDA 11.8, PyTorch 2.6.0 - Поддержка vLLM для высокопроизводительной обработки (~2500 токенов/сек на A100-40G для PDF) - Доступна через Hugging Face Transformers Практические сценарии использования: 1. Обработка архивов 2. Автоматизация документооборота 3. Мультиязычная поддержка 4. Научные исследования — распознавание формул, таблиц, диаграмм из публикаций

В предварительном отчёте Wiley за 2025 год, посвящённом влиянию технологий на науку, опубликованы свежие данные об отношении учёных к искусственному интеллекту Один из наиболее неожиданных результатов — уровень доверия к Ml среди исследователей снизился по сравнению с 2024 годом, несмотря на существенный прогресс в развитии технологий В 2024 году 51 % учёных высказывали тревогу по поводу возможности «галлюцинаций» — ситуации, когда языковые модели выдают выдуманные факты за истину В 2025 году эта доля выросла до 64 % Это происходит даже на фоне того, что уровень использования Ml в научных исследованиях увеличился с 45 % до 62 % Также отмечен рост обеспокоенности вопросами безопасности и конфиденциальности — соответствующий показатель подскочил на 11 % по сравнению с предыдущим годом Наряду с этим усилились сомнения в прозрачности и этичности искусственного интеллекта

Шифр Цезаря, один из старейших и простейших методов шифрования информации: Каждая буква заменяется на другую, сдвинутую на фиксированное число позиций в алфавите Это фиксированное число называется ключом шифра В нашем случае ключ равен -9, то есть Я переходит в И, и так далее Если вам вдруг придётся расшифровывать подобное сообщение на английском, то сразу делимся сайтом! Ещё один похожий шифр называется Атбаш Он пришёл из древнего иврита: в нём первая буква алфавита заменялась на последнюю, вторая — на предпоследнюю, и так далее То есть в русском алфавите А превращается в Я, Б — в Ю, В — в Э и так далее В полиалфавитных (в отличие от моноалфавитных, где каждая буква меняется по одному и тому же правилу) шифрах правила меняются для каждого символа Позиционно-полиалфавитным — сдвиг зависит от позиции буквы в слове А именно: первая сдвигается на 1, вторая — на 2, третья — на 3 и так далее Кстати, именно эта идея — что ключ может меняться — и стала основой одного очень важного шифра в истории человечества: шифра Виженера В нём сдвиг каждой буквы определяется ключевым словом

Less is More: Recursive Reasoning with Tiny Networks Alexia Jolicoeur-Martineau https://arxiv.org/abs/2510.04871 https://github.com/SamsungSAILMontreal/TinyRecursiveModels HRM продемонстрировала интересный результат с малым размером модели, при этом последующий анализ от организаторов ARC-AGI показал, что в первую очередь на результат влияет последовательное улучшение ответа (deep supervision), а рекурсия в H и L модулях добавляет не очень много Новая работа про TRM (Tiny Recursive Model) ставит под сомнение необходимость всей этой сложности и исповедует философию — «меньше значит больше» Новая модель TRM содержит 5M-19M параметров (есть нюансы), против 27M у HRM И статью, и этот разбор есть смысл читать после того, как вы уже прочитали про HRM, потому что вся статья построена как систематический разбор HRM Также постоянно следует помнить, что сравнение HRM/TRM с традиционными LLM во многом ущербно, это модели совсем разных классов LLM - довольно общие модели, обученные на всём интернете на задачах продолжения текста, включая сложные файнтюны на чат, инструкции, решение различных задач по математике и прочим дисциплинам и т.д. То, что при этом они способны _ещё_ и решать судоку, лабиринты, тесты ARC-AGI - на самом деле довольно удивительно Все современные LLM это трансформер-декодеры (есть гибриды с SSM, но здесь это не важно) HRM/TRM -- это трансформер-энкодер (как BERT), он не продолжает никакую последовательность токен за токеном, он обрабатывает все токены сразу и генерит новую последовательность той же длины, что и входная HRM/TRM (в отличие от BERT, тоже обученного примерно на всём интернете) обучается только на одну конкретную задачу из списка, ни про какую универсальность здесь речи пока нет Так что все восторженные посты в духе, что вот появилась модель в миллион раз меньшая по размеру и бьющая лучшие топовые LLM и скоро всем им кранты, дотацентры не нужны и прочее - надо делить на тот же миллион, многие из авторов вообще не разобрались, что сделано