⚡️GGUF-версии GPT-OSS от Unsloth.
Unsloth конвертировали обе GPT-OSS (20B и 120B) и исправили ошибки, чтобы повысить качество инференса.
🟡Оптимальный сетап:
🟢20B работает со скоростью более 10 токенов/с при полной точности на 14 ГБ оперативной памяти.
🟢120B с полной точностью будет давать >40 токенов/с на примерно 64 ГБ ОЗУ.
Минимальных требований для запуска моделей нет, запуститься можно даже если у вас всего 6 ГБ и только CPU, но инференс будет медленнее.
GPU не требуется , особенно для модели 20B, но его наличие значительно увеличивает скорость вывода (~80 токенов/с). С чем-то вроде H100 можно получить пропускную способность 140 токенов/с, и это значительно быстрее, чем у OpenAI в ChatGPT.
Модели можно запустить через llama.cpp, LM Studio или Open WebUI. Если модель 120B слишком медленная, попробуйте версию 20B - она очень быстрая и работает не хуже o3-mini.
Помимо моделей формата GGUF c полной точностью, Unsloth сделали версии с 4-bit и 16-bit точностью. 4-бинтый квант, кстати, можно файнтюнить на 24 ГБ VRAM.
📌 Подробная пошаговая инструкция по локальному запуску и файнтюну - в документации Unsloth.
🟡Набор моделей
🟡Документация
@ai_machinelearning_big_data
#AI#ML#GPTOSS#GGUF#Unsloth
🌟Reader3: легковесная читалка для книг от Andrej Karpathy
Андрей Карпаты опубликовал у себя в Github небольшой проект - утилиту под названием reader3.
На первый взгляд, это просто легковесная читалка для электронных книг в формате EPUB, которую можно запустить у себя на компьютере. Но главная идея в том, чтобы читать книги вместе с LLM.
Reader3 разбивает книгу по главам, и пользователь может легко скопировать текст текущей главы и вставить его в свой любимый LLM, чтобы обсуждать сюжет, анализировать стиль или задавать вопросы по тексту.
Но самое интересное здесь — это философия, которая стоит за проектом. Карпаты пишет, что проект написан "на 90% вайбкодингом", просто для иллюстрации идеи и что он не собирается его поддерживать или улучшать.
Я начинаю привыкать читать все (блоги, статьи, главы книг и т. д.) с помощью LLM. Обычно первый проход — ручной, второй — «объяснение/резюме», третий — вопросы и ответы.
В результате я обычно получаю более глубокое понимание, чем если бы я просто прошел дальше. Этот процесс становится у меня одним из самых популярных вариантов чтения.
А вместо этого предлагает пользователям... просто попросить свою языковую модель изменить код так, как им нравится.
Код теперь эфемерный,
— пишет Андрей, намекая на то, что эпоха статичных библиотек и долгой поддержки уходит в прошлое.
Для тех, кто хочет попробовать, процесс максимально прост. Нужно скачать книгу в формате EPUB и запустить пару команд в терминале, используя uv:
uv run reader3.py yourbook.epub
# Then run the server:
uv run server.py
После этого ваша книжная полка станет доступна в браузере по адресу localhost:8123.
📌Лицензирование: MIT License.
🖥GitHub
@ai_machinelearning_big_data
#AI#ML#LLM#Karpathy#Github#Book
🌟OpenJarvis: фреймворк все-в-одном для ИИ-агентов
Stanford SAIL замерили, насколько эффективно локальные языковые модели конвертируют электроэнергию в полезные вычисления и назвали этот показатель "intelligence per watt".
Они прогнали больше миллиона реальных запросов через 20+ моделей на 8 разных ускорителях и выяснили: с 2023 по 2025 год эффективность локального инференса выросла в 5,3 раза, а современные небольшие модели уже справляются с 88,7% обычных чат- и ризонинг-запросов. Железо и алгоритмы готовы, но не хватало софта.
Так появился OpenJarvis: открытый фреймворк, который превращает эти выводы в инфраструктуру для персональных ИИ-агентов, работающих на устройстве пользователя.
Авторы проводят параллель с PyTorch: OpenJarvis должен стать для локального ИИ тем, чем PyTorch стал для глубокого обучения - стандартной инфраструктурой, на которой строится все остальное.
Фреймворк структурирован вокруг 5 примитивов:
🟢Intelligence - слой языковых моделей с единым каталогом, где не нужно самому отслеживать релизы и считать память.
🟢Engine - бэкенд инференса: Ollama, vLLM, SGLang, llama.cpp, Apple Foundation Models и другие. Openjarvis сам определяет железо и рекомендует конфигурацию.
🟢Agents - слой поведения: роли оркестратора и исполнителя рутинных сценариев, адаптированные под ограниченный контекст и память на устройстве.
🟢Tools & Memory - интеграции через MCP и Google A2A, семантическая индексация локальных документов, подключение к iMessage, Telegram и т.д.
🟢Learning - механизм адаптации: локальные трейсы превращаются в обучающие данные через SFT, LoRA и GRPO. Система сама упаковывает этот процесс в рабочий флоу.
Отдельная фишка - подход к эффективности. OpenJarvis профилирует энергопотребление на NVIDIA, AMD и Apple Silicon с интервалом 50 мс.
Использовать можно через CLI, браузерный дашборд или десктопное приложение для macOS, Linux и Windows.
⚠️ Для полного функционала (безопасность, инструменты, агенты) потребуется Rust.
Помимо самого проекта, команда запустила конкурс-лидерборд экономии денег, энегрии и компьюта, в котором принять участие может любой желающий. В качестве приза самому экономному обещают Mac Mini.
📌Лицензирование: Apache 2.0 License.
🟡Статья
🟡Документация
🟡Сообщество в Discord
🖥GitHub
@ai_machinelearning_big_data
#AI#ML#Framework#OpenJarvis#Stanford
Introducing Clifford Chance's Latest Report: "Responsible AI in Practice."
Hello, AI&Law sibscribers! Clifford Chance has published a new report - "Responsible AI in Practice." It sheds light on the growing concerns surrounding AI's use and impact.
Conducted in partnership with Milltown Partners, the document presents findings from focus groups held in the US, the UK, and Germany. These policy-informed discussions explored critical AI issues like bias, consent, transparency, and governance.
While optimism about AI's potential was evident, it's clear that work remains to ensure its responsible and safe application.
#AI#CliffordChance#ResponsibleAI#AIandLaw#EthicalAI
🚀 AI TRENDS | OpenAI Claims Superior Computing Power Over Anthropic
OpenAI has informed investors that its computing capabilities surpass those of Anthropic. According to Jin10, this assertion highlights OpenAI's confidence in its technological advancements and competitive edge in the AI industry. The statement comes amid growing interest and investment in artificial intelligence, as companies strive to enhance their computational power and efficiency. OpenAI's claim may influence investor perceptions and decisions, potentially impacting market dynamics and the competitive landscape within the AI sector.
#AI#OpenAI#Anthropic#ArtificialIntelligence#ComputingPower#TechTrends#Investment#AIIndustry#MarketDynamics#Innovation