TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #217 · 12.02

Попробовал Obsidian. Это такой заметочник. И в итоге буду переходить на него с Notion. Вообще, с заметочниками дела плохи. Когда-то появился Evernote и занял лидирующее положение на рынке даже при всём своём неудобстве. Он кривой, кроссплатформенность реализована плохо (на части платформ то те, то другие функции недоступны), система организации урезана и приводит к беспорядку, а в клиентах много визуального мусора в UI. И тем не менее, это был один из первых облачных заметочников — важный шаг для рынка. Удивительно, как долго человечество шло к идее, что нужно сделать «Блокнот», но под все платформы, включая телефоны, и с синхронизацией через сеть. Потом пришел Notion, который поначалу топтался на месте из-за сомнительной ценовой политики. Но в результате правильных реформ стал процветающим стартапом, использующимся сейчас в огромном количестве команд и проектов. Даже смог позволить себе сделать безлимитную бесплатную версию. По сравнению с Evernote это был глоток свежего воздуха: мусора в UI на порядки меньше, функциональность одинаковая на всех платформах, полноценная древовидная организация любой глубины, почти нормальная поддержка Markdown. Впрочем, что-то не дало авторам пойти дальше и избавить свой сервис от серьёзных UX-косяков. Только ленивый не ругает Notion за ужасно низкую скорость работы. Он долго грузится, долго открывает файлы и относительно долго реагирует на ввод — для заметочника это критически важно. На всех платформах использовали гибридную разработку (HTML внутри контейнера как будто от нормального нативного приложения) со всеми худшими её чертами: проект тяжёлый и неповоротливый. Это не говоря уже о том, что и десктопное и мобильное приложение по сути окно в веб. Оно не будет работать без интернета, а сессия сбрасывается раз в несколько дней. В итоге вы хотите добавить заметку, открываете клиент, и он мало того что грузится долго, так ещё и показывает вам окно авторизации. Нужно переходить в браузер, ждать, пока авторизация пройдёт там, возвращаться в клиент... в общем, вы уже забудете, что за заметку хотели. После пары лет использования Notion я поймал себя на том, что на телефоне открываю встроенные системные заметки, а потом копирую текст оттуда в Telegram, чтобы он был доступен отовсюду. На компьютере же быстрее открыть Notepad++. Короче, Notion со своей задачей быть заметочником на каждый день не справляется. И вот, Obsidian. По сути это продвинутый блокнот с поддержкой Markdown. Ладно, у него есть какая-то фишка с организацией заметок по методу Zettelkasten, но я пока туда не смотрел, да и сам метод требует определённого подхода, который я пока что не применяю. Так что это блокнот, умеющий выводить дерево и отображать Markdown-форматирование. Он очень быстрый, грузится не молниеносно, но адекватно, и сам интерфейс работает очень шустро. Не знаю, HTML там или нет (по виду кажется, что да), но авторы явно поработали над оптимизацией. Конечно же, есть приложения под телефоны, и они тоже весьма комфортны по скорости. Что касается синхронизации, то это платная функция, и, на мой взгляд, необоснованно дорогая: $8 в месяц (сама программа бесплатная). Здесь бы разговор можно было закончить — при всех прелестях сервис без синхронизации между устройствами в 2022 году это как обувь на одну ногу. Но мне повезло: моё NAS-хранилище умеет создавать виртуальное облако. Да, возможно у какого-то из облаков на рынке тоже есть все нужные функции, но, например, Яндекс Диск на телефоне синхронизирует только видео и фотки, а произвольные папки не может. А вот Synology прям спасло. Что ещё хорошего. Notion был перегружен лишними функциями. Но если они всё-таки нужны, у Obsidian отличная система плагинов, поддерживаемых независимыми разработчиками. Уже есть множество решений на любой вкус. Например, в Notion я мог пошарить другому человеку выбранную заметку. А здесь нашёл плагин, который трансформирует заметку в Github Gist. Удобно: Markdown там совместимый, Gist бесплатный и без рекламы. Короче, пока нравится. Вот этот пост сейчас пишу в нём на компьютере, а начал на телефоне днём. То, что нужно. #web#tools

Hashtags

Резултати

Намерени 2 подобни публикации

Търсене: #kvcache

当前筛选 #kvcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github

Machinelearning

@ai_machinelearning_big_data · Post #8010 · 10.07.2025 г., 11:37

⚡️ Китайские исследователи из Shanghai Jiao Tong и Zhejiang University представили MemOS — первую в мире "операционную систему памяти" для ИИ. Обычные LLM быстро забывают информацию, а дообучать их — долго и дорого. В новой работе предлагают радикально другой подход: MemOS превращает память в часть операционной системы. 🟢Память как файлы: Модель может *записывать, перемещать и удалять* знания, как будто работает с файлами, и делать это прямо во время работы, а не только на этапе обучения. 🟢MemCube — контейнер знаний: Каждое знание упаковывается в кубик с метками времени и авторства. Планировщик сам решает, где хранить этот "куб" — в тексте, GPU‑кэше или в виде маленького патча весов. 🟢Умная экономия: MemOS работает с 1500 токенами памяти, но достигает такой же точности, как если бы модель загружала весь контекст. При этом скорость — как у облегчённых моделей. 🟢Мгновенная подгрузка: На тестах с Qwen2.5‑72B переключение нужных "кубов" в кэш снижает задержку первого токена на 91.4%, *без изменения ответа*. 🟢Результаты: MemOS набрал 73.31 балла по LLM‑Judge на LOCOMO-бенчмарке — почти на 9 баллов больше ближайшего конкурента. Особенно хорошо работает на сложных задачах с несколькими шагами и временными зависимостями. 💡 Итог: память как ОС — это не просто удобно, это ускоряет модель, повышает точность и даёт контроль над знаниями. Установка: pip install MemoryOS 🟠GitHub 🟠Проект @ai_machinelearning_big_data #MemoryOS#agentmemory#rag#kvcache