7.09.2025 состоялся релизPithon 3.14!
На фоне хайпа про NoGIL всё позабыли про другие фичи. Особенно про Multiple Interpreters, который обещает изоляцию процессов но с эффективностью потоков! На сколько действительно это будет эффективно мы узнаем позже, потому что сейчас это лишь первый релиз с ограничениями и недоработками.
Но что там про NoGIL? Теперь этот режим не экспериментальный, а официально поддерживаемый, но опциональный.
Чтобы запустить без GIL нужна специальная сборка. И перед стартом нужно объявить переменную PYTHON_GIL=0
Для вас я собрал готовый репозиторий где достаточно запустить скрпит, который всё сделает:
▫️ соберет релизный Python 3.14 в новый Docker-образ
▫️ запустит тесты в контейнере (GIL, NoGIL, MultiInterpreter)
▫️ распечатает результаты
Тест очень простой, усложняйте сами)
Вот какие результаты у меня:
=== Running ThreadPoolExecutor GIL ON
TOTAL TIME: 45.48 seconds
=== Running ThreadPoolExecutor GIL OFF
TOTAL TIME: 6.14 seconds
=== Running basic Thread GIL ON
TOTAL TIME: 45.54 seconds
=== Running basic Thread GIL OFF
TOTAL TIME: 4.74 seconds
=== Running with Multi Interpreter
TOTAL TIME: 18.30 seconds
Если сравнивать GIL и NoGIL, то на мои 32 ядра прирост х7-x10 (почему не х32? 🤷). При этом нам обещают что скорости будут расти с новыми релизами.
Режим без GIL похож (визуально) на async, тоже параллельно, тоже не по порядку. Но это не IO! и от того некоторый диссонанс в голове 😵💫, нас учили не так!
Интересно, что чистый Thread работает быстрей чем ThreadPoolExecutor без GIL.
Ну и где-то плачет один адепт мульти-интерпретаторов😭 Теперь нужно искать где они могут пригодиться с такой-то скоростью. Скорее всего своя область применения найдется.
Отдельно я затестил память и вот что вышло на 32 потока:
ThreadPoolExecutor GIL ON
305.228 MB
ThreadPoolExecutor GIL OFF
500.176 MB
basic Thread GIL ON
90.668 MB
basic Thread GIL OFF
472.444 MB
with Multi Interpreter
1267.788 MB
Пока не знаю как к этому относиться)
В целом - радует направление развития!
#release
#typescript#fingerprinting#playwright#puppeteer#scraping#typescript
Fingerprint-suite is a toolkit that generates and injects realistic browser fingerprints into automated browsers like Playwright and Puppeteer. It includes four modular packages: header-generator for HTTP headers, fingerprint-generator for browser fingerprints, fingerprint-injector for injection, and a Bayesian network for realistic fingerprint creation. Since websites increasingly use fingerprinting to track and identify users, this tool helps your web scrapers avoid detection by mimicking real browser behavior. You can customize fingerprints by device type and operating system, making your automated browsing appear completely legitimate to anti-bot systems.
https://github.com/apify/fingerprint-suite
С 17 по 20 ноября в Астане на базе Казахстанского филиала МГУ имени М. В. Ломоносова прошла международная конференция «Sediment and pollutants transport in river catchments: monitoring, fingerprinting and source apportionment».
🌍 Мероприятие объединило ученых из России, Казахстана, Италии, Испании, Бельгии, Великобритании, Бразилии, Ирана и Китая.
Ключевой темой дискуссий стала оценка происхождения источников наносов в речных бассейнах, известная как «фингерпринтинг» (от англ. fingerprinting) или трассировка наносов. Если в западных странах этот подход уже интегрирован в практики управления бассейнами рек, то в России он находится на стадии активного становления.
В рамках научной программы были сделаны доклады об использовании радионуклидов (цезий-137, свинец-210) для оценки темпов эрозии, а также о миграции тяжелых металлов и полициклических ароматических углеводородов. Были представлены результаты исследований на самых разных географических объектах: от малых рек Москвы и горных водосборов Кавказа до речных систем Южной Америки, Сибири и Дальнего Востока, и засушливых регионов Центральной Азии.
👩🏻💻👨🏻💻В конференции приняли участие разработчики пакета FingerPro — Ивана Лизага (Ivan Lizaga, Испания) и Летисия Гаспар Феррер (Leticia Gaspar Ferrer, Испания). Состоялся мастер-класс по основам метода фингерпринтинга. Участники семинара смогли на практике разобрать методы интерпретации данных и моделирования для количественной оценки вклада различных источников эрозии при помощи библиотеки FingerPro.
По результатам конференции будет подготовлен специальный выпуск журнала «Известия Русского географического общества», посвященный вопросам миграции наносов и загрязняющих веществ.
📓Сборник материалов по итогам конференции скоро будет доступен на сайте мероприятия: https://sediment.ru/page69546043.html
#конференции#fingerprinting#наносы#эрозия#Астана#МГУ