TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #982 · 7.05

Некоторые люди захейтили тему со сворачиванием пакетов, а Сергей даже написал большой антипост. Поэтому я решил порассуждать о бытовой оптимизации. На нашу организацию быта влияют три вещи: удобство, цена (в широком смысле, включая затраты времени) и приемлемость для общества. Например, выкидывать мусор в окно это удобно, быстро и бесплатно, но неприемлемо, поэтому, даже если кто-то так делает, его наказывают. Выкидывать мусор посреди собственной комнаты это быстро, приемлемо, но неудобно, поэтому тут уже люди сами себя ограничивают. Беда в том, что все три показателя в некоторой степени субъективны, даже последний. Парковаться двумя колёсами на тротуаре это приемлемо или нет? Для меня нет, и вроде даже какие-то законы против этого существуют, но де-факто в жилых дворах куча народу так делает, и никто им шины не протыкает и стёкла не бьёт. Потому что есть негласный общественный договор, что приоритет места для автомобилей во дворе выше, чем приоритет места для прогулок с колясками. Конкретно я для себя выработал в этом отношении такое правило: я не делаю то, за что критикую других. Если меня в принципе волнует проблема запаркованности дворов, то сам я во дворе не паркуюсь, и это даёт мне в моих глазах право эту проблему вообще обсуждать. И это право мне важнее, чем машина под окнами. А дальше уже идёт очень классическое "Как сделать так, чтобы волнующую тебя проблему заметило больше людей". Хорошего решения никто до сих пор не придумал, но всё, что есть, сводится более менее к расширению своего влияния. Можно попытаться стать политиком и повлиять на законы, можно попытаться стать богатым и переехать в собственный дом, можно попытаться стать лидером мнений и поднимать общественные движения. С удобством и ценой то же самое: у каждого человека есть личные взгляды на то, что нужно делать в быту, и какие затраты для этого оправданы. Кто-то делает уборку в квартире каждый день, кто-то раз в месяц, а кто-то — никогда. Здесь уже оценку можно провести разве что по впечатлению от некоторого усреднённого поведения людей в твоём обществе. В основном люди не кладут мусор посреди своей гостиной. В основном люди не моют окна каждый день. Субъективно я давно заметил, что моя страсть к порядку выше, чем в среднем по больнице. Когда я прихожу к кому-то в гости, я чаще вижу там то, что с моей точки зрения является отсутствием организации вещей. Иногда меня от этого коробит, и я где-то внутри кричу "Боже, как вы можете так жить?". Но глобально я смирился и подстроился. Моя жена склонна к порядку в той же степени, что и я, и тоже любит раскладывать всё по местам и поддерживать чистоту. А вместе с друзьями я не живу. Так что организация хранения пакетов в моём случае служит сразу двум вещам. Во-первых, мне приятно, что они организованы, и 30 секунд на сворачивание не являются для меня какой-то значимой ценой. Во-вторых, из всех нашумевших экологических проблем некоторые я считаю действительно серьёзными, и объём неразлагающегося мусора — одна из них. Если я хотя бы чуть-чуть могу уменьшить количество пакетов, которые будут выбрасываться (мной или людьми, которым понравилось решение по хранению пакетов и превращению их в мусорные) — я буду это делать. #life

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #2bitq

当前筛选 #2bitq清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #9516 · 13.02.2026 г., 15:23

🌟Tencent сжали 1.8B модель в 2 бита: 600 МБ веса и Dual-CoT на борту. Tencent Hunyuan выкатили open-source решение для тех, кто хочет запускать LLM локально на кофеварке. HY-1.8B-2Bit - модель, которую утрамбовали так плотно, что она занимает меньше места, чем многие современные мобильные приложения. Модель пилили методом Quantization-Aware Training, который в отличие от PTQ, позволяет адаптироваться к низкой разрядности весов еще на этапе тренировки. За основу взяли backbone Hunyuan-1.8B-Instruct и жестко сжали веса до 2 бит. При этом эффективный размер в памяти получился эквивалентен модели на 300М параметров, а физический вес получился всего 600 МБ. Что самое ценное - сохранили фичу Dual-CoT: модель умеет переключаться между быстрым мышлением для простых тасков и глубоким long-CoT для сложных. 🟡Бенчмарки 🟢По сравнению с fp16-учителем (1.8B), деградация метрик всего ~4%. Это очень мало для 2-битного квантования. 🟢Разница в точности на сравнении с INT4 ничтожна - 0.13%, хотя весит модель в 2 раза меньше. 🟢Если взять плотную модель на 0.5B параметров, то HY-1.8B-2Bit обходит ее в среднем на 16-17%. На GSM8K разрыв вообще дикий: +22.29%. 🟢Prefill ускорился в 3-8 раз, генерация токенов - в 2-3 раза на поддерживаемом железе. 🟡Жирный нюанс Текущая реализация требует поддержки инструкций Arm SME2. Это значит, что вся эта красота заведется только на Apple M4 и MediaTek Dimensity 9500. Если у вас M1/M2 или Snapdragon прошлых поколений - пока мимо. Разработчики обещают подвезти Neon kernel позже. Кстати, GGUF тоже есть, так что если под рукой есть M4 - можно тестить. Остальным остается ждать оптимизации под старые инструкции. 🟡Модель 🟡GGUF 🟡Техотчет 🖥GitHub @ai_machinelearning_big_data #AI#ML#SLM#2bitQ#Tencent