TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #161 · 15.01

Зимой я выиграл в конкурсе Сбера телевизор Huawei Vision S 55". Недавно его доставили, поделюсь впечатлениями. Я хорошо отношусь к компании Huawei. На мой взгляд, они делают лучшие в мире мобильные камеры. И идеологически их ссору с гуглом я считаю скорее правильной и полезной для рынка. Но конечному потребителю пока что становится хуже. Телевизор Vision S это на самом деле не телевизор, а большой монитор. У него нет АЦП и разъёма для подключения антенны. Это мне глубоко импонирует: эфирное телевидение должно умереть, и чем быстрее, тем лучше. Радует, что на рынке появляются такие решения. Первый шаг к телефону без функции звонков :) Здесь своя операционная система HarmonyOS, на ней предустановленные программы и сервис Салют (умные голосовые помощники и соответствующая экосистема от Сбера). Само устройство лёгкое для своих размеров — без страха повесил его на стену на обычные дюбеля. По железу, к сожалению, ничего впечатляющего, к сожалению. Я сразу проверил работу моего приложения с трёхмерными игральными костями (HTML5 3D на three.js + физика cannon.js), и оно тормозит. Не так безбожно, как на SberBox, но всё-таки ни до уровня SberPortal, ни тем более до уровня мобильного телефона не дотягивает. Затем я запустил небольшую игру, которую недавно делал (HTML5 плеер на движке Godot, 2D + физика). И вот тут расстроился: игра работает, но буквально самую каплю ниже минимального предела комфорта. То есть, если бы она тормозила всего на 5% меньше, в неё уже можно было бы спокойно играть. А так нет. На Портале при этом игра работает шустро, на телефоне тоже шустро, но уже вне Салюта (в Салюте на телефоне не работает, не знаю, почему). Сама операционка вроде бы Android, но жутко урезанная. Для установки программ, которые мне нужны, пришлось скачивать APK. Причем, как именно это сделать было не ясно, и помогло только гугление. VLC завёлся штатно, YouTube отказался логиниться без гуглосервисов (к счастью, он есть внутри Салюта). Netflix я не нашёл ни в каком виде, и это провал. У нас с женой 60% экранного времени это именно Netflix. Ничто другое с ним не сравнится по соотношению нового контента к стоимости подписки. Для меня это самая главная причина, по которой я не стал бы ставить подобный телевизор в гостиной, как центральный экран в доме. Отдельно раздражает то, что предустановленные сервисы от самого Huawei невозможно удалить или даже спрятать. Они занимают всю полосу приложений на главном экране, но являются буквально мусором: покупать в России подписку на кино или музыку от Huawei глупо, мессенджером от Huawei тоже никто не пользуется. К самому экрану претензий нет — картинка сочная, качественная, разрешение отличное. Как устройство вывода для PlayStation 5 всё прекрасно. Ну, иногда может всплывать неотключаемое системное сообщение о каком-нибудь обновлении, но это мелочи. Камера сносная — не хватает звёзд с неба, но и не древняя вебка. Правда вот, на мой взгляд, она совершенно не нужна. Кейс «Люди разговаривают с кем-то по видеосвязи через телевизор» кажется мне целиком выдуманным маркетологами. А приложений, в которых камера могла бы раскрыться, в системе нет. Интеграция с Салютом, наоборот, выполнена хорошо. Даже если приложение «Салют» не запущено, устройство всё равно отзывается на голосовую команду без всякого пульта и активирует ассистента. Это меня приятно удивило, думал, будет такая же байда, как на СберБоксе, когда голосовой ввод, предполагающий занятость рук, всё равно вынуждает освободить руки и взять пульт. Однако, по непонятной причине не поддержана камера и жесты. Хотя, казалось бы, её и так мало где можно использовать, хоть здесь бы сделали. В целом, лично под мой сценарий использования девайс подошёл прекрасно: экран во всю стену в рабочем кабинете, на который главным образом выводится PS5, а ещё можно тестировать приложения Салюта при разработке. Но обычному пользователю покупать стоит с опаской. По моему мнению команда Сбера нормально выполнила интеграцию, но плохо выбрала донора для этой интеграции. #gadgets

Hashtags

Резултати

Намерени 2 подобни публикации

Търсене: #kvcache

当前筛选 #kvcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github

Machinelearning

@ai_machinelearning_big_data · Post #8010 · 10.07.2025 г., 11:37

⚡️ Китайские исследователи из Shanghai Jiao Tong и Zhejiang University представили MemOS — первую в мире "операционную систему памяти" для ИИ. Обычные LLM быстро забывают информацию, а дообучать их — долго и дорого. В новой работе предлагают радикально другой подход: MemOS превращает память в часть операционной системы. 🟢Память как файлы: Модель может *записывать, перемещать и удалять* знания, как будто работает с файлами, и делать это прямо во время работы, а не только на этапе обучения. 🟢MemCube — контейнер знаний: Каждое знание упаковывается в кубик с метками времени и авторства. Планировщик сам решает, где хранить этот "куб" — в тексте, GPU‑кэше или в виде маленького патча весов. 🟢Умная экономия: MemOS работает с 1500 токенами памяти, но достигает такой же точности, как если бы модель загружала весь контекст. При этом скорость — как у облегчённых моделей. 🟢Мгновенная подгрузка: На тестах с Qwen2.5‑72B переключение нужных "кубов" в кэш снижает задержку первого токена на 91.4%, *без изменения ответа*. 🟢Результаты: MemOS набрал 73.31 балла по LLM‑Judge на LOCOMO-бенчмарке — почти на 9 баллов больше ближайшего конкурента. Особенно хорошо работает на сложных задачах с несколькими шагами и временными зависимостями. 💡 Итог: память как ОС — это не просто удобно, это ускоряет модель, повышает точность и даёт контроль над знаниями. Установка: pip install MemoryOS 🟠GitHub 🟠Проект @ai_machinelearning_big_data #MemoryOS#agentmemory#rag#kvcache