Machinelearning

🌟OpenJarvis: фреймворк все-в-одном для ИИ-агентов Stanford SAIL замерили, насколько эффективно локальные языковые модели конвертируют электроэнергию в полезные вычисления и назвали этот показатель "intelligence per watt". Они прогнали больше миллиона реальных запросов через 20+ моделей на 8 разных ускорителях и выяснили: с 2023 по 2025 год эффективность локального инференса выросла в 5,3 раза, а современные небольшие модели уже справляются с 88,7% обычных чат- и ризонинг-запросов. Железо и алгоритмы готовы, но не хватало софта. Так появился OpenJarvis: открытый фреймворк, который превращает эти выводы в инфраструктуру для персональных ИИ-агентов, работающих на устройстве пользователя. Авторы проводят параллель с PyTorch: OpenJarvis должен стать для локального ИИ тем, чем PyTorch стал для глубокого обучения - стандартной инфраструктурой, на которой строится все остальное. Фреймворк структурирован вокруг 5 примитивов: 🟢Intelligence - слой языковых моделей с единым каталогом, где не нужно самому отслеживать релизы и считать память. 🟢Engine - бэкенд инференса: Ollama, vLLM, SGLang, llama.cpp, Apple Foundation Models и другие. Openjarvis сам определяет железо и рекомендует конфигурацию. 🟢Agents - слой поведения: роли оркестратора и исполнителя рутинных сценариев, адаптированные под ограниченный контекст и память на устройстве. 🟢Tools & Memory - интеграции через MCP и Google A2A, семантическая индексация локальных документов, подключение к iMessage, Telegram и т.д. 🟢Learning - механизм адаптации: локальные трейсы превращаются в обучающие данные через SFT, LoRA и GRPO. Система сама упаковывает этот процесс в рабочий флоу. Отдельная фишка - подход к эффективности. OpenJarvis профилирует энергопотребление на NVIDIA, AMD и Apple Silicon с интервалом 50 мс. Использовать можно через CLI, браузерный дашборд или десктопное приложение для macOS, Linux и Windows. ⚠️ Для полного функционала (безопасность, инструменты, агенты) потребуется Rust. Помимо самого проекта, команда запустила конкурс-лидерборд экономии денег, энегрии и компьюта, в котором принять участие может любой желающий. В качестве приза самому экономному обещают Mac Mini. 📌Лицензирование: Apache 2.0 License. 🟡Статья 🟡Документация 🟡Сообщество в Discord 🖥GitHub @ai_machinelearning_big_data #AI#ML#Framework#OpenJarvis#Stanford

💡 Исследователи из ByteDance и Stanford предложили новый метод для генерации длинных видео — Mixture of Contexts. 🔑 В чём проблема: Когда видео становится длинным, внимание модели сильно «раздувается»: растёт стоимость вычислений, модель теряет детали на генерациях, забывает персонажей и «дрейфует». ⚡ Чем интересен Mixture of Contexts: - Видео разбивается на куски (кадры, шоты, подписи). - Каждый запрос выбирает только нужные чанки, вместо того чтобы учитывать всю историю. - Для этого используется простая оценка релевантности: сравнение признаков чанков с текущим запросом. - Обязательно учитываются два «якоря»: полный текстовый промпт и локальный шот для деталей видео. - Causal mask блокирует внимание к будущим кадрам, чтобы не было зацикливаний. - Дальше применяется Flash Attention только к выбранным чанкам — вычисления растут не с длиной всего видео, а только с полезным контекстом. 📊 Результаты: - В 7 раз меньше FLOPs - В 2.2 раза быстрее работа - На длинных сценах (180k токенов) отсекается 85% ненужного внимания 🎥 Итог: - Короткие клипы сохраняют качество - Длинные сцены становятся более плавными, а персонажи — стабильными - Время генерации заметно сокращается Главное: модель учится сама понимать, на что смотреть, получая «память» на минуты видео без изменения базовой архитектуры. 🟠Подробнее @ai_machinelearning_big_data #AI#ML#ByteDance#Stanford#videogeneration