TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #396 · 9 окт.

7.09.2025 состоялся релизPithon 3.14! На фоне хайпа про NoGIL всё позабыли про другие фичи. Особенно про Multiple Interpreters, который обещает изоляцию процессов но с эффективностью потоков! На сколько действительно это будет эффективно мы узнаем позже, потому что сейчас это лишь первый релиз с ограничениями и недоработками. Но что там про NoGIL? Теперь этот режим не экспериментальный, а официально поддерживаемый, но опциональный. Чтобы запустить без GIL нужна специальная сборка. И перед стартом нужно объявить переменную PYTHON_GIL=0 Для вас я собрал готовый репозиторий где достаточно запустить скрпит, который всё сделает: ▫️ соберет релизный Python 3.14 в новый Docker-образ ▫️ запустит тесты в контейнере (GIL, NoGIL, MultiInterpreter) ▫️ распечатает результаты Тест очень простой, усложняйте сами) Вот какие результаты у меня: === Running ThreadPoolExecutor GIL ON TOTAL TIME: 45.48 seconds === Running ThreadPoolExecutor GIL OFF TOTAL TIME: 6.14 seconds === Running basic Thread GIL ON TOTAL TIME: 45.54 seconds === Running basic Thread GIL OFF TOTAL TIME: 4.74 seconds === Running with Multi Interpreter TOTAL TIME: 18.30 seconds Если сравнивать GIL и NoGIL, то на мои 32 ядра прирост х7-x10 (почему не х32? 🤷). При этом нам обещают что скорости будут расти с новыми релизами. Режим без GIL похож (визуально) на async, тоже параллельно, тоже не по порядку. Но это не IO! и от того некоторый диссонанс в голове 😵‍💫, нас учили не так! Интересно, что чистый Thread работает быстрей чем ThreadPoolExecutor без GIL. Ну и где-то плачет один адепт мульти-интерпретаторов😭 Теперь нужно искать где они могут пригодиться с такой-то скоростью. Скорее всего своя область применения найдется. Отдельно я затестил память и вот что вышло на 32 потока: ThreadPoolExecutor GIL ON 305.228 MB ThreadPoolExecutor GIL OFF 500.176 MB basic Thread GIL ON 90.668 MB basic Thread GIL OFF 472.444 MB with Multi Interpreter 1267.788 MB Пока не знаю как к этому относиться) В целом - радует направление развития! #release

Hashtags

Резултати

Пронајдени 1 слични објави

Пребарај: #2bitq

当前筛选 #2bitq清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #9516 · 13.02.2026 г., 15:23

🌟Tencent сжали 1.8B модель в 2 бита: 600 МБ веса и Dual-CoT на борту. Tencent Hunyuan выкатили open-source решение для тех, кто хочет запускать LLM локально на кофеварке. HY-1.8B-2Bit - модель, которую утрамбовали так плотно, что она занимает меньше места, чем многие современные мобильные приложения. Модель пилили методом Quantization-Aware Training, который в отличие от PTQ, позволяет адаптироваться к низкой разрядности весов еще на этапе тренировки. За основу взяли backbone Hunyuan-1.8B-Instruct и жестко сжали веса до 2 бит. При этом эффективный размер в памяти получился эквивалентен модели на 300М параметров, а физический вес получился всего 600 МБ. Что самое ценное - сохранили фичу Dual-CoT: модель умеет переключаться между быстрым мышлением для простых тасков и глубоким long-CoT для сложных. 🟡Бенчмарки 🟢По сравнению с fp16-учителем (1.8B), деградация метрик всего ~4%. Это очень мало для 2-битного квантования. 🟢Разница в точности на сравнении с INT4 ничтожна - 0.13%, хотя весит модель в 2 раза меньше. 🟢Если взять плотную модель на 0.5B параметров, то HY-1.8B-2Bit обходит ее в среднем на 16-17%. На GSM8K разрыв вообще дикий: +22.29%. 🟢Prefill ускорился в 3-8 раз, генерация токенов - в 2-3 раза на поддерживаемом железе. 🟡Жирный нюанс Текущая реализация требует поддержки инструкций Arm SME2. Это значит, что вся эта красота заведется только на Apple M4 и MediaTek Dimensity 9500. Если у вас M1/M2 или Snapdragon прошлых поколений - пока мимо. Разработчики обещают подвезти Neon kernel позже. Кстати, GGUF тоже есть, так что если под рукой есть M4 - можно тестить. Остальным остается ждать оптимизации под старые инструкции. 🟡Модель 🟡GGUF 🟡Техотчет 🖥GitHub @ai_machinelearning_big_data #AI#ML#SLM#2bitQ#Tencent