TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #232 · 24.02

Американский философ и когнитивист Дэниел Деннет одним из первых приравнял религию и вирус. Я уже об этом как-то рассказывал: вирус это неодушевлённая конструкция, которая сбивает работу поражённой системы так, чтобы: 1. Нарушать естественные функции этой системы 2. Способствовать самораспространению Нельзя сказать, что вирус думает или что-то делает специально. У него нет концепции зла и агрессии. Это просто механизм, который -- чаще всего из-за случайного совпадения обстоятельств -- способствует разрушению и копированию. Представьте, что вы подбрасываете в воздух детали от Лего, и они по каким-то странным законам при падении соединяются в случайную конструкцию. Вы делаете это очень много раз, вариантов конструкций тоже очень много. В какой-то момент среди прочих конструкций получается робот, который собирает из окружающих его деталей свои копии. Но при этом остальные конструкции он ломает, нарушая их функции. Очевидно, довольно быстро такие роботы потратят всё доступное Лего на себя, и давать им новое Лего будет опасно. Так вот, религия работает по такому же принципу, только её средой выполнения являются не клетки с белками, а когнитивные функции. Она изменяет механизм функционирования разума так, чтобы сбивать некоторые естественные свойства (например, критическое мышление, запрос на эмпирические подтверждения и так далее). Но при этом религиозные люди нередко занимаются активным распространением своих взглядов и обращением еретиков. То есть, другими словами, механизм религии в их мозгу распространяет себя на другие мозги. Как вирус. В широком смысле идеология это тоже религия. У нас нет сведений относительно всех без исключения нюансов существования мира, мы строим себе базовую основу, а затем прямо на неё навешиваем результаты наблюдений. Например, я верю в урбанистику, моя базовая основа это логика в урбанистической теории, статистика из других городов, плюс мои личные ощущения комфорта/дискомфорта, а на неё я уже навешиваю, допустим, отсутствие ненависти к электросамокатам. К сожалению, иногда сам базис идеологии заражён. Это может приводить к тому, что человек даже на самые чудовищные события выдумывает оправдательные объяснения, которые идеологию выгораживают. Я уверен, в стране не сотни и даже не тысячи, а куда больше людей, которые смотрят телевизор, верят пропаганде и объясняют себе сегодняшние события каким-то оправдывающим образом. Например, у меня есть гипотеза, почему старшее поколение может так сильно вестись на откровенно нелепую пропаганду: сознание уже пережило крах идеологии в 91 году и защищается от того, чтобы пережить его снова. Звучит парадоксально: люди уже совершенно точно знают, что по телевизору могут десятилетиями лгать и выдавать ложную картину действительности, и именно из-за этого эти же люди не видят сейчас того же самого. Воспринимайте это как форму болезни. Постарайтесь не ссориться со своими друзьями и близкими. Они могут быть глубоко не правы, а их неправота -- часть общей проблемы, которая привела к сегодняшнему дню. Но они не понимают. Функции их сознания отключены или искажены вирусом пропаганды в комбинации с личными страхами. Их не убедит курс доллара, записи о гибели людей, потеря работы. Даже новая волна пустых полок в магазинах не убедит. Даже понимание того, что их дети уже живут в мире, где возможна война. #life

Hashtags

Резултати

Намерени 2 подобни публикации

Търсене: #kvcache

当前筛选 #kvcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github

Machinelearning

@ai_machinelearning_big_data · Post #8010 · 10.07.2025 г., 11:37

⚡️ Китайские исследователи из Shanghai Jiao Tong и Zhejiang University представили MemOS — первую в мире "операционную систему памяти" для ИИ. Обычные LLM быстро забывают информацию, а дообучать их — долго и дорого. В новой работе предлагают радикально другой подход: MemOS превращает память в часть операционной системы. 🟢Память как файлы: Модель может *записывать, перемещать и удалять* знания, как будто работает с файлами, и делать это прямо во время работы, а не только на этапе обучения. 🟢MemCube — контейнер знаний: Каждое знание упаковывается в кубик с метками времени и авторства. Планировщик сам решает, где хранить этот "куб" — в тексте, GPU‑кэше или в виде маленького патча весов. 🟢Умная экономия: MemOS работает с 1500 токенами памяти, но достигает такой же точности, как если бы модель загружала весь контекст. При этом скорость — как у облегчённых моделей. 🟢Мгновенная подгрузка: На тестах с Qwen2.5‑72B переключение нужных "кубов" в кэш снижает задержку первого токена на 91.4%, *без изменения ответа*. 🟢Результаты: MemOS набрал 73.31 балла по LLM‑Judge на LOCOMO-бенчмарке — почти на 9 баллов больше ближайшего конкурента. Особенно хорошо работает на сложных задачах с несколькими шагами и временными зависимостями. 💡 Итог: память как ОС — это не просто удобно, это ускоряет модель, повышает точность и даёт контроль над знаниями. Установка: pip install MemoryOS 🟠GitHub 🟠Проект @ai_machinelearning_big_data #MemoryOS#agentmemory#rag#kvcache