⌨️Ловите два полезных лайфхака для работы с GitHub
1️⃣ Как открыть любой публичный репозиторий в песочнице CodeSandbox
Для этого:
— просто замените в URL репозитория github.com на githubbox.com. Теперь репо будет открыт в CodeSandbox
2️⃣ Как запустить репозиторий сразу в VSCode
Для этого:
— меняем в URL репозитория .com на .dev. Готово, репо откроется в браузерной версии VSCode
🗣Есть свои подобные секреты? Не жадничай и делись ими в комментариях
#лайфхаки#github
🌟LMCache: умное кэширования для LLM-инференса.
LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы.
Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз.
🟡LMCache гибкий.
Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных.
🟡LMCache умеет в раздельную предобработку.
Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность.
Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях.
Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке.
⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить.
📌Лицензирование: Apache 2.0 License.
🖥Github
@ai_machinelearning_big_data
#AI#ML#LLM#LMCache#KVCache#Github
...Еще одна сюжетная линия, которую я вынесла в отдельную строчку, – это авария, то есть предыстория Сергея. Она важна и как детективная «подложка» сюжета, и как событие в прошлом, которое мотивирует отношение разных героев к теме «колеи времени» в настоящем: верить в нее или нет, пытаться исправить прошлое или забить на это. Изначально линия с аварией была сложнее, поэтому мне хотелось увидеть ее целиком и отдельно, хотя на самом деле события в этой строчке таблицы принадлежат разным сюжетным линиям, перечисленным ниже.
Вот такие структурные «шахматы». Надеюсь, читать про них так же интересно, как и придумывать, – но вовсе не так же мучительно. В заключение скажу, что содержание этой таблицы было гораздо подробнее и сложнее, чем та история, которая сложилась в итоге, – и это хорошо.
Любая структурная таблица – это просто матрица, которая помогает вам растить сюжет и правильно его «подстригать». Не нужно слишком за нее держаться: это просто один из инструментов, помогающих увидеть в том числе и то, что какие-то штуки в истории вы придумываете не так, как надо.
#мастерство#бег#лайфхаки#таблица
🇯🇵 Сегодня расскажем, как добраться до Окинавы🐠
С пересадкой в Шанхае мы летаем China Eastern Airlines. У этой компании там основной транспортный хаб, поэтому многие рейсы идут именно через Шанхай.
Ищите выгодные цены на официальном сайте или агрегаторах.
💡Сейчас будет лайфхак!
Если на одном популярном голубом агрегаторе ✈️ вы нашли приятную цену и он перенаправляет вас на другой агрегатор для покупки билетов - остановитесь!
Вместо этого зайдите на сайт того агрегатора, на который вас перенаправляетav**sales и проверьте цену там.
Очень возможно, что цена при прямом поиске на этом агрегаторе будет выгоднее, чем на том самом голубом)
И важно!
Чаще всего выгодные цены бывают со вторника на среду. Иногда со среды на четверг. Разница не всегда большая, но все же, приятно попытаться купить билеты по выгодной цене)
Но главный секрет успеха - завести привычку периодически мониторить цены на билеты по интересным направлениям.
#Япония#Окинава#советы_путешественникам#лайфхаки#путешествия