Намери подобно съдържание

Изходен канал @clockstackwheels · Post #340 · 10.05

В книге и фильме «Чарли и шоколадная фабрика» владелец фабрики Вилли Вонка решает найти себе преемника, поэтому приглашает нескольких детей на экскурсию, где они подвергаются разного рода проверкам на соответствие нужным человеческим качествам: отсутствие жадности, эгоизма, честолюбия, гордыни итд. Но есть проблема. Изначально дети должны были быть выбраны случайно: в выпускаемых фабрикой шоколадках спрятали 5 билетов. Но по факту такой способ как раз приводит к отбору наиболее нерелевантных кандидатов: один билет получает мальчик-обжора из-за того, что ест слишком много шоколада, другой билет попадает к избалованной дочке миллиардера, потому что он просто покупает ей очень много пачек, третий достается самовлюблённой тщеславной спортсменке, помешанной на победах по всём, четвертый вычисляет геймер, который не любит шоколад. На мой взгляд это хорошая задачка для собеседования HR-специалисту: каждая итерация отбора должна приближать выборку к цели, а не отдалять. Что мог сделать Вонка, чтобы изначально к нему попала пятерка добрых и честных детей? Второй важный момент это разница между гипотетическим и реальным функционированием той или иной системы. Такого в жизни очень много: например, в голосованиях на каких-нибудь конкурсах теоретически предполагается, что люди не будут накручивать, а ПДД не предполагают, что на слишком широкой полосе люди будут ехать в два ряда абсолютно всегда (см. Выборгское шоссе). Бюрократия так вообще вся построена на отрицании реальности, что приводит, например, к существованию понятия «Итальянская забастовка». Считаю, что способность адекватно дозировать формализм с поправкой на реальность это ценное свойство, например, для руководителя. #life

Hashtags

#life

Резултати

Намерени 1 подобни публикации

Търсене: #2bitq

当前筛选 #2bitq清除筛选

Machinelearning

@ai_machinelearning_big_data · Post #9516 · 13.02.2026 г., 15:23

Намери подобни Прегледай

🌟Tencent сжали 1.8B модель в 2 бита: 600 МБ веса и Dual-CoT на борту. Tencent Hunyuan выкатили open-source решение для тех, кто хочет запускать LLM локально на кофеварке. HY-1.8B-2Bit - модель, которую утрамбовали так плотно, что она занимает меньше места, чем многие современные мобильные приложения. Модель пилили методом Quantization-Aware Training, который в отличие от PTQ, позволяет адаптироваться к низкой разрядности весов еще на этапе тренировки. За основу взяли backbone Hunyuan-1.8B-Instruct и жестко сжали веса до 2 бит. При этом эффективный размер в памяти получился эквивалентен модели на 300М параметров, а физический вес получился всего 600 МБ. Что самое ценное - сохранили фичу Dual-CoT: модель умеет переключаться между быстрым мышлением для простых тасков и глубоким long-CoT для сложных. 🟡Бенчмарки 🟢По сравнению с fp16-учителем (1.8B), деградация метрик всего ~4%. Это очень мало для 2-битного квантования. 🟢Разница в точности на сравнении с INT4 ничтожна - 0.13%, хотя весит модель в 2 раза меньше. 🟢Если взять плотную модель на 0.5B параметров, то HY-1.8B-2Bit обходит ее в среднем на 16-17%. На GSM8K разрыв вообще дикий: +22.29%. 🟢Prefill ускорился в 3-8 раз, генерация токенов - в 2-3 раза на поддерживаемом железе. 🟡Жирный нюанс Текущая реализация требует поддержки инструкций Arm SME2. Это значит, что вся эта красота заведется только на Apple M4 и MediaTek Dimensity 9500. Если у вас M1/M2 или Snapdragon прошлых поколений - пока мимо. Разработчики обещают подвезти Neon kernel позже. Кстати, GGUF тоже есть, так что если под рукой есть M4 - можно тестить. Остальным остается ждать оптимизации под старые инструкции. 🟡Модель 🟡GGUF 🟡Техотчет 🖥GitHub @ai_machinelearning_big_data #AI#ML#SLM#2bitQ#Tencent

Hashtags

#ai #ml #slm #2bitq #tencent