💡 Подборка интересных репо с GitHub. Тут вы найдёте: коллекцию бесплатных API, переводчик кода, вопросы и упражнения по различным техническим темам для DevOps и SRE, набор полезных утилит для Windows и другие полезности.
Git-it (Desktop App)
Десктопное приложение для изучения Git и работе с GitHub. Можно использовать на Mac, Windows и Linux.
AI Code Translator
Переводит код с одного языка программирования на другой с помощью ИИ GPT-3.5/4
Public APIs
Коллекция бесплатных API для использования в веб-разработке. Все API разбиты по тематикам.
VideoCrafter
Набор инструментов для создания и редактирования видео с помощью текста.
Ventoy
Инструмент с открытым исходным кодом для создания загрузочной флешки. Работает с ISO/WIM/IMG/VHD(x)/EFI.
Pipcorn
Добавляет picture-in-picture YouTube-плеер прямо в VSCode.
Devops Exercises
Вопросы и упражнения по различным техническим темам для DevOps и SRE.
Microsoft PowerToys
Набор утилит для Windows. Поможет опытным пользователям настраивать и оптимизировать свою работу.
AI Collection
Коллекция проектов в области ИИ. Код, игры, изображение, речь, текст, видео и другое.
Хотите посоветовать полезные или просто интересные репозитории с GitHub? Велкам в комментарии 👇
#github
¿Que puede hacer este bot?
@FiIeMakerBot
Con este bot puede crear archivos pdf, zip, cargar archivos y obtener el enlace, descargar desde github y enlace directo, crear enlaces personalizados y enlaces cortos. También puede cambiar el nombre, convertir y traducir archivos.
#Pdf#convertir#zip#traducir
#GitHub
Idioma: Inglés, Persa
( Visto en: @BotsGram_Cu )
🌟LMCache: умное кэширования для LLM-инференса.
LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы.
Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз.
🟡LMCache гибкий.
Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных.
🟡LMCache умеет в раздельную предобработку.
Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность.
Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях.
Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке.
⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить.
📌Лицензирование: Apache 2.0 License.
🖥Github
@ai_machinelearning_big_data
#AI#ML#LLM#LMCache#KVCache#Github