В Linux стандартными средствами можно использовать часть оперативной памяти как диск. Для этого требуется указать тип монтирования tmpfs в команде mount
mount -t tmpfs -o size=5G tmpfs /mnt/ram
Теперь путь /mnt/ram можно использовать как обычный каталог. Для чего это может быть нужно?
▫️ Скорость работы с таким каталогом выше чем многие SSD и тем более HDD.
▫️ Если у вас очень быстрый SSD на NVMe M.2 то такой способ особо не прибавит вам скорости, но поможет сохранить ресурс SSD когда требуется обрабатывать очень много мелких файлов и оперативка позволяет выделить нужный объем.
▫️ Оперативка это энергозависимая память, поэтому выключении питания все файлы безвозвратно теряются. Такой "non persistent" каталог гарантирует удаление временных файлов.
Я написал небольшой скрипт для условного теста и сравнения скорости копирования файлов между SSD и RAM.
Вот мои результаты:
Single File Size: 30.0Gb
ssd > ssd: 0:00:12.850 / 2.3Gb/s
sdd > ram: 0:00:06.453 / 4.6Gb/s
ram > ram: 0:00:06.995 / 4.3Gb/s
ram > sdd: 0:00:06.217 / 4.8Gb/s
Dir size: 32.7Gb, File count: 11127
ssd > ssd: 0:00:15.063 / 2.2Gb/s
sdd > ram: 0:00:08.486 / 3.9Gb/s
ram > ram: 0:00:08.032 / 4.1Gb/s
ram > sdd: 0:00:07.026 / 4.7Gb/s
Скрипт для теста ↗️
На моём железе прирост скорости ~2x. Плюс экономия ресурса SSD.
В Windows такой фишки по умолчанию нет, но обязательно найдутся аналогичные решения
#linux#triks
#typescript#fingerprinting#playwright#puppeteer#scraping#typescript
Fingerprint-suite is a toolkit that generates and injects realistic browser fingerprints into automated browsers like Playwright and Puppeteer. It includes four modular packages: header-generator for HTTP headers, fingerprint-generator for browser fingerprints, fingerprint-injector for injection, and a Bayesian network for realistic fingerprint creation. Since websites increasingly use fingerprinting to track and identify users, this tool helps your web scrapers avoid detection by mimicking real browser behavior. You can customize fingerprints by device type and operating system, making your automated browsing appear completely legitimate to anti-bot systems.
https://github.com/apify/fingerprint-suite
С 17 по 20 ноября в Астане на базе Казахстанского филиала МГУ имени М. В. Ломоносова прошла международная конференция «Sediment and pollutants transport in river catchments: monitoring, fingerprinting and source apportionment».
🌍 Мероприятие объединило ученых из России, Казахстана, Италии, Испании, Бельгии, Великобритании, Бразилии, Ирана и Китая.
Ключевой темой дискуссий стала оценка происхождения источников наносов в речных бассейнах, известная как «фингерпринтинг» (от англ. fingerprinting) или трассировка наносов. Если в западных странах этот подход уже интегрирован в практики управления бассейнами рек, то в России он находится на стадии активного становления.
В рамках научной программы были сделаны доклады об использовании радионуклидов (цезий-137, свинец-210) для оценки темпов эрозии, а также о миграции тяжелых металлов и полициклических ароматических углеводородов. Были представлены результаты исследований на самых разных географических объектах: от малых рек Москвы и горных водосборов Кавказа до речных систем Южной Америки, Сибири и Дальнего Востока, и засушливых регионов Центральной Азии.
👩🏻💻👨🏻💻В конференции приняли участие разработчики пакета FingerPro — Ивана Лизага (Ivan Lizaga, Испания) и Летисия Гаспар Феррер (Leticia Gaspar Ferrer, Испания). Состоялся мастер-класс по основам метода фингерпринтинга. Участники семинара смогли на практике разобрать методы интерпретации данных и моделирования для количественной оценки вклада различных источников эрозии при помощи библиотеки FingerPro.
По результатам конференции будет подготовлен специальный выпуск журнала «Известия Русского географического общества», посвященный вопросам миграции наносов и загрязняющих веществ.
📓Сборник материалов по итогам конференции скоро будет доступен на сайте мероприятия: https://sediment.ru/page69546043.html
#конференции#fingerprinting#наносы#эрозия#Астана#МГУ