🌟LMCache: умное кэширования для LLM-инференса.
LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы.
Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз.
🟡LMCache гибкий.
Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных.
🟡LMCache умеет в раздельную предобработку.
Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность.
Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях.
Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке.
⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить.
📌Лицензирование: Apache 2.0 License.
🖥Github
@ai_machinelearning_big_data
#AI#ML#LLM#LMCache#KVCache#Github
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML
🔎GitHubзапустил бета-версию алгоритмической домашней ленты с рекомендациями новых репозиториев и аккаунтов, соответствующих интересам пользователя. Разработчики недовольны и беспокоятся, что сервис может превратиться в соцсеть.
Постоянные пользователи платформы заявили, что не хотят алгоритмическую ленту. По их словам, большинство разработчиков и потребителей предпочитают инструменты с открытым исходным кодом для повышения конфиденциальности и прозрачности данных. Они опасаются, что платформа начнет собирать личную информацию для функционирования алгоритмической ленты.
💬 В ответ на критику GitHub пообещал ввести функцию, которая позволит разработчикам сделать свой профиль приватным и отказаться «практически от всего» с помощью одной кнопки. Однако она появится только в конце апреля 2021 года, добавили в компании.
#GitHub
✴️Copilot CLI: превью — ИИ-помощник прямо в терминале
GitHub запустил Copilot CLI в публичном превью для тарифов Copilot Pro / Pro+ / Business / Enterprise. Инструмент встраивается в командную строку и даёт подсказки в реальном времени без переключения между приложениями.
Что важно: поддерживает сборку, правки, отладку и рефакторинг по запросам на естественном языке; каждый шаг требует подтверждения. По умолчанию — GitHub MCP, возможны кастомные MCP-серверы. Есть глубокая интеграция с репозиториями — работа с issues и PR из CLI.
🤑ForgetMe | Boosty
Приобрести подписку на любые сервисы
⏩@forgetshop_bot
#нейросети#новости#github
ChatGPT для климатических вопросов и ответов
На Hugging Face есть милейший чат бот, который отвечает на все вопросы, касающиеся климата. Работает с помощью больших языковых моделей и при взаимодействии с ChatGPT API.
Бот обучен в основном на документах межправительственной комиссии по изменению климата (IPCC), поэтому не понимает, когда его спрашивают про что-то другое. Задаете вопрос, получаете развернутый ответ со ссылками на документы IPCC. Это интересный пример внедрения больших языковых моделей обученных на корпусе внутренних документов.
#AI#climate#LLM
🧑💻GitHub представил инструмент автозаполнения кода на базе искусственного интеллекта Copilot.
Инструмент доступен в качестве предварительной версии и поддерживает такие языки программирования, как Python, JavaScript, TypeScript, Ruby и Go.
👀 Copilot в режиме реального времени распознает, как пользователь пишет код, и автоматически предлагает строки и функции для автозаполнения. Он поможет найти альтернативные способы решения проблемы, заполнить повторяющиеся строки, превратить комментарии или описания в работающий код и создать тесты для проекта.
Инструмент основан новой ИИ-системе OpenAI Codex, которая преобразовывает естественный язык в код. Ее специально обучали на большом количестве общедоступного исходного кода. API для OpenAI Codex появится летом 2021 года.
#GitHub#OpenAI
🖌GitHub Copilot Labs получил кисти «как у Photoshop» для редактирования программного кода с помощью ИИ.
Они позволяют превратить строки в «более читаемые», указать типы переменных, исправить простые ошибки, добавить операторы отладки или создать кастомные инструменты под свои задачи. Для этого пользователям нужно выделить необходимые строки и выбрать подходящую кисть.
⚙️ По словам разработчиков, в будущем появятся еще больше таких полезных инструментов. Также программисты получат возможность хранить созданные ими кисти.
#GitHub#разработка
#AI
Немного ИИ-теории
❗️В недавнем иске против компании OpenAI Илон Маск утверждал, что GPT-4 является ранним AGI, по сути равным человеческому интеллекту.
Что же такое AGI и когда он появится?
👤Сэм Альтман, CEO Open AI определяет AGI (artificial general intelligence) как интеллект, равный уровню обычного человека, который можно было бы принять в команду как сотрудника. Также популярно определение AGI как «системы, способной выполнить любую когнитивную задачу, доступную человеку».
📎Для справки: существует несколько видов (уровней развития) ИИ, а именно узкий ИИ (narrow, ANI), общий ИИ (genreal, AGI) и супер ИИ (super AI, ASI).
⏲Исследователи никак не могут прийти к консенсусу относительно даты появления AGI. По результатам Expert Survey on Progress in AI, существует 50% шанс того, что AGI появится до 2059 года. Тем не менее, поле ИИ изменяется постоянно и становится сложным оставаться в курсе событий.
⭐️Для этого мы нашли крупнейшее русскоязычное AGI-сообщество agirussia.org — у них есть канал и группа в Telegram.
🌐еще проходят еженедельные онлайн-семинары по тематике AGI на русском языке, записи семинаров за последние несколько лет доступны на YouTube и их сообществе в ВК.
Держим руку на пульсе ИИ⭐
⭐️Автор, Анна, @qcuqueen
Хакатончик от Xeek
Two Birds, One Neural Network - так называется новый хакатон от Xeek в области Generative AI. Звучит как-будто нужно сделать свой Dalle-E2, но на самом деле, задача выглядит немного иначе. По условиям хакатона, участникам нужно сделать нейронную сеть, которая максимизирует разнообразие генерируемых результатов, отвечающих двум условиям. Авторы хакатона проводят параллели с добавлением двух геофизических измерений для ограничения сценариев геологических моделей. Буквально, нужно построить нейронную сеть, которая генерирует разнообразные значения x0, x1, сохраняя при этом их природу в виде нисходящих или восходящих прямых линий, удовлетворяющих заданным функциям y1, y2, как показано на картинке.
Более подробное описание - тут. Призовой фонд $40К (первое место $19.5K).
#hackathon#AI#ML