TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #927 · 21.12

Посмотрел по совету Андрея @technomage первый сезон Scavengers Reign ("Царство падальщиков"). Научно-фантастический мульт про людей, потерпевших крушение на чужой планете и пытающихся выжить. Планета изобилует агрессивной флорой и фауной, которая невероятно изощрёнными способами ловит себе добычу для питания или размножения. Собственно, значительная часть удовольствия от просмотра возникает при наблюдении за фантазией авторов. Следует отдать должное тому, как они смогли придумать столько ужасающе удивительных, но при этом вполне логичных концепций, связанных с охотой животных, распространением растений, борьбой среды с внешними условиями и так далее. Да, сериал жестокий, но по-хорошеиу выносит мозг. Однако, я втянулся только со второго захода. Пришлось настроить свою "приостановку неверия", потому что не мог отделаться от мысли, что в реальном мире столь агрессивная экосистема нежизнеспособна. Да, у нас тоже есть ядовитые растения и заражающие смертельными болезнями насекомые, но в основном это либо побочный эффект, либо способ защиты. Для размножения растению выгоднее выращивать съедобные и питательные плоды, чем, например, плоды, прорастающие сквозь животное и убивающие его. Во-первых, потому что растениям в целом нужно, чтобы животные жили. Во-вторых, потому что с поколениями животные очень быстро "учатся" не есть всякое ядовитое, избегать опасностей и так далее. Взаимоэволюция флоры и фауны на Земле во многом симбиотическая: животные и насекомые помогают размножиться растениям, растения помогают животным и насекомым выживать и питаться. Думаю, система, построенная на вражде этих доменов, очень быстро уничтожила бы сама себя. Плюс, в мультфильме способности некоторых существ (особенно, если можно так выразиться, главного антагониста) выглядят чрезмерно замороченными, требующими весьма сложного строения и большого количества энергии, тогда как те цели, для которых они ему нужны, достижимы сильно проще. Возможно, это результат устойчивой мутации, но всё равно лично мне постоянно приходилось в уме делать какие-то поправки на вымысел. Но всё равно топчик, досмотрел с удовольствием и жду второй сезон. #fiction

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #2bitq

当前筛选 #2bitq清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #9516 · 13.02.2026 г., 15:23

🌟Tencent сжали 1.8B модель в 2 бита: 600 МБ веса и Dual-CoT на борту. Tencent Hunyuan выкатили open-source решение для тех, кто хочет запускать LLM локально на кофеварке. HY-1.8B-2Bit - модель, которую утрамбовали так плотно, что она занимает меньше места, чем многие современные мобильные приложения. Модель пилили методом Quantization-Aware Training, который в отличие от PTQ, позволяет адаптироваться к низкой разрядности весов еще на этапе тренировки. За основу взяли backbone Hunyuan-1.8B-Instruct и жестко сжали веса до 2 бит. При этом эффективный размер в памяти получился эквивалентен модели на 300М параметров, а физический вес получился всего 600 МБ. Что самое ценное - сохранили фичу Dual-CoT: модель умеет переключаться между быстрым мышлением для простых тасков и глубоким long-CoT для сложных. 🟡Бенчмарки 🟢По сравнению с fp16-учителем (1.8B), деградация метрик всего ~4%. Это очень мало для 2-битного квантования. 🟢Разница в точности на сравнении с INT4 ничтожна - 0.13%, хотя весит модель в 2 раза меньше. 🟢Если взять плотную модель на 0.5B параметров, то HY-1.8B-2Bit обходит ее в среднем на 16-17%. На GSM8K разрыв вообще дикий: +22.29%. 🟢Prefill ускорился в 3-8 раз, генерация токенов - в 2-3 раза на поддерживаемом железе. 🟡Жирный нюанс Текущая реализация требует поддержки инструкций Arm SME2. Это значит, что вся эта красота заведется только на Apple M4 и MediaTek Dimensity 9500. Если у вас M1/M2 или Snapdragon прошлых поколений - пока мимо. Разработчики обещают подвезти Neon kernel позже. Кстати, GGUF тоже есть, так что если под рукой есть M4 - можно тестить. Остальным остается ждать оптимизации под старые инструкции. 🟡Модель 🟡GGUF 🟡Техотчет 🖥GitHub @ai_machinelearning_big_data #AI#ML#SLM#2bitQ#Tencent