💡RND1 - новаяэкспериментальная модель с 30 миллиардами параметров, построенная по архитектуре Sparse Mixture-of-Experts, где активно 3 миллиарда параметров.
Она была преобразована из предварительно обученной авторегрессионной модели (Qwen3-30B-A3B) и затем дополнительно обучена на 500 миллиардах токенов, чтобы полностью поменять поведениие диффузионной модели.
Обычные модели (AR, автогрессионные) пишут текст слово за словом, а RND1 создаёт всё предложение сразу и потом пошагово уточняет его, как будто “проявляет” текст из шума.
Это - Diffusion Language Model (DLM), аналог диффузионных моделей, которые рисуют картинки, только здесь она “рисует” слова.
🔄 Как её сделали
Команда Radical Numerics придумала, как превратить готовую модель в диффузионную без обучения с нуля.
Они просто поменяли тип внимания и дообучили модель на новой задаче.
Этот метод называется AR-to-Diffusion Conversion (A2D) - то есть конверсия из автогрессионной модели в диффузионную.
Как это происходит:
1. Берут сильную GPT-подобную модель.
2. Меняют механизм внимания — теперь модель видит весь контекст сразу.
3. Продолжают обучение по диффузионной задаче.
4. Используют разные скорости обучения для разных частей сети, чтобы модель не забыла старое, но научилась новому способу мышления.
⚙️ Что под капотом
▪Mixture-of-Experts (MoE) - у модели 30 млрд параметров, но реально работают только 3 млрд за раз. Это делает её мощной, но экономной.
▪Непрерывное дообучение - старые знания не стираются, а “встраиваются” в новый режим.
▪Огромные батчи - модель учится на больших партиях данных, чтобы стабилизировать обучение, ведь она не обрабатывает все токены сразу.
✔️ Чем RND1 интересна:
- Параллельная генерация - текст создаётся быстрее, без пошаговой задержки.
- Меньше затрат - активных параметров всего 3 млрд, при этом качество как у больших GPT.
- Новая архитектура - открывает дорогу гибридным моделям, сочетающим плюсы AR и DLM.
- Полностью открытый код и веса - можно исследовать, изменять, запускать самому.
- Первый серьёзный шаг к самосовершенствующемуся ИИ- модель может не только обучаться, но и помогать в проектировании следующей версии.
Это реально интересный метод, RND1 показывает, что ИИ можно не просто обучать, а перестраивать - менять его саму логику мышления без начала “с нуля”.
Похоже, это может стать фундаментом для систем Recursive Self-Improvement (RSI), когда ИИ способен создавать и улучшать самого себя.
🟠Blog: https://radicalnumerics.ai/blog/rnd1
🟠Code: https://github.com/RadicalNumerics/RND1
🟠Report: https://radicalnumerics.ai/assets/rnd1_report.pdf
🟠Веса: https://huggingface.co/radicalnumerics/RND1-Base-0910
🟠Видео: https://www.youtube.com/watch?v=M8XdNsecroo
@ai_machinelearning_big_data
#RND1#RadicalNumerics#AI#DLM#DiffusionModel#MoE#OpenSource
🧵 Хочешь делать видео с нейросетями, но нет $300+ на пак нейронок в месяц?Есть рабочий лайфхак!
Veo2, FramePack, Runway — звучит круто, но что делать, если ты студент с дохлым ноутом и нулём на карте?
Я нашёл выход для тех, кто сейчас не может себе позволить платные нейросетки.
🎒 Мне всё чаще пишут:
— Где генеришь?
— Какой сервис юзать вместо Runway?
— Как попасть на Veo 2?
— Блин чёт дорого, а есть за бесплатно?
И вот что я говорю всем:
💸 Платные инструменты — лучше.
У них крутое качество, настройка, скорость.
Я сам за сервисы, если есть возможность.
Но если её нет...
🧬Тогда смотрим на Wan 2.1 Plus.
Это не замена платным нейросетям.
Это — вынужденный, но рабочий вариант.
Что умеет:
🦾 Бесконечные кредиты генераций
🦾 Хорошая физика объектов
🦾 Можно вставлять референсы
🦾 Дают временный доступ к редким фичам (смешивание кадров)
Минусы
🕐 Долгая генерация (больше 40 мин...)
#opensource | AcidCrunch
#AI
Немного ИИ-теории
❗️В недавнем иске против компании OpenAI Илон Маск утверждал, что GPT-4 является ранним AGI, по сути равным человеческому интеллекту.
Что же такое AGI и когда он появится?
👤Сэм Альтман, CEO Open AI определяет AGI (artificial general intelligence) как интеллект, равный уровню обычного человека, который можно было бы принять в команду как сотрудника. Также популярно определение AGI как «системы, способной выполнить любую когнитивную задачу, доступную человеку».
📎Для справки: существует несколько видов (уровней развития) ИИ, а именно узкий ИИ (narrow, ANI), общий ИИ (genreal, AGI) и супер ИИ (super AI, ASI).
⏲Исследователи никак не могут прийти к консенсусу относительно даты появления AGI. По результатам Expert Survey on Progress in AI, существует 50% шанс того, что AGI появится до 2059 года. Тем не менее, поле ИИ изменяется постоянно и становится сложным оставаться в курсе событий.
⭐️Для этого мы нашли крупнейшее русскоязычное AGI-сообщество agirussia.org — у них есть канал и группа в Telegram.
🌐еще проходят еженедельные онлайн-семинары по тематике AGI на русском языке, записи семинаров за последние несколько лет доступны на YouTube и их сообществе в ВК.
Держим руку на пульсе ИИ⭐
⭐️Автор, Анна, @qcuqueen
❤️Интервью Павла Дурова на русском в 4k@durov
🎞 Ссылка на Youtube
Решил поиграться с нашим #AI и перевести видео с липсинком полностью через бот @plasma_gpt_ai_bot На русский в разы сложнее переводить, чем на английский.
Смотрите, что получилось)
👌 Новый #AI технологии на страже HR/HH. Если вы руководите компанией, то внедрение таких ботов в ваши бизнес процессы управления кадрами сильно сэкономит бюджет и повысит x10 качество кандидатов! Можно собрать сегодня даже no-code / no-budget решение самому!
Eсли вам все уже нужен быстрый и качественный подбор сложных IT кадров, или вы сами ищите работу, то рекомендую моего топового рекрутера @mikevolkov
Также я постоянно расширяю наш штат senior solidity / react / python разработчиков. Так что шлите мне @ilia_0x ваше резюме если готовы работать на интересных проектах в международных стартапах!)
#AI моделька, которая оживляет фотографии и эмитирует мимику лица и движение головы в зависимости от контекста речи. Выглядит достаточно правдоподобно.
🤩
⚡️ Если вы хотите понимать, куда движется #AI рынок и какие продукты через год будут иметь миллиардную капитализацию, обратите внимание на участников скромной программы грантов AI Grant, созданную и финансируемую самыми влиятельными личностями на AI рынке (фаундерами Midjourney, OpenAI, Figma, Replit, Stripe, Shopify).
Кстати программа дает гранты на классные идеи от $250k до $2.5m