Что делать если нужно поставить какую-то Python-библиотеку а root-прав нет? То есть в систему библиотеку никак и ничего не поставить.
Есть как минимум два способа это решить правильно!
🔸 Сделать виртуальное окружение и ставить там что угодно.
Это позволит создать полностью независимое исполняемое окружение для ваших приложений.
Все библиотеки будут храниться в домашней директории юзера а значит доступ на запись имеется.
Создать очень просто:
python3 -m venv ~/venvs/myenvname
Теперь активируем окружение
# Linux
source ~/venvs/myenvname/bin/activate
# Windows
%userprofile%\venvs\myenvname\Scripts\activate.bat
Можно ставить любые библиотеки и запускать приложение.
Это стандартный метод работы с любым проектом. Если еще не используете его, то пора начинать. Даже при наличии root доступа!
🔸 Бывает, что нет возможности запустить приложение из своего виртуального окружения. Например, его запускает какой-то сервис от вашего юзера и вставить активацию окружения вы не можете.
В этом случае можно установить библиотеки для Python не глобально в систему, а только для юзера.
Выполните этот код в консоли:
python3 -m site
Вы получите что-то такое:
sys.path = [
'/home/user',
'/usr/lib/python37.zip',
'/usr/lib/python3.7',
'/usr/lib/python3.7/lib-dynload',
'/home/user/.local/lib/python3.7/site-packages',
...
]
USER_BASE: '/home/user/.local'
USER_SITE: '/home/user/.local/lib/python3.7/site-packages'
ENABLE_USER_SITE: True
Нас интересует параметр USER_SITE. Это путь к пользовательским библиотекам, которые доступны по умолчанию, если они есть.
Именно сюда будут устанавливаться модули если добавить флаг --user при установке чего-либо через pip
pip install --user requests
Для этой команды не нужны root-права.
После неё можно запускать системный интерпретатор без виртуальных окружений и установленная библиотека будет доступна для текущего юзера.
Параметр USER_BASE показывает корневую директорию для хранения user-библиотек. Её можно изменить с помощью переменной окружения PYTHONUSERBASE
export PYTHONUSERBASE=~/pylibs
python3 -m site
...
USER_BASE: '/home/user/pylibs'
USER_SITE: '/home/user/pylibs/lib/python3.7/site-packages'
Получается некоторое подобие виртуального окружения для бедных 😁 которое можно менять через эту переменную (не делайте так!Лучше venv!)
🔸 Дописывание пути в PYTHONPATH
Этот способ не входит в список "двух правильных", но тоже рабочий. Здесь придётся сделать всё несколько сложней.
Сначала ставим библиотеку в любое место указывая путь установки
pip3 install -t ~/mylibs modulename
Библиотека установится без привязки к какому-либо интерпретатору. То есть по умолчанию не будет видна. Теперь в нужный момент добавляем этот путь в sys.path или в PYTHONPATH.
Не буду советовать так делать. Единственный раз когда этот способ мне пригодился и решил поставленную задачу, это при создании общей библиотеки для кластера компьютеров.
Модули лежат в сети и подгружаются для всех из одного и того же места. То есть обновлять файлы требуется только один раз а не на всех хосты отдельно.
Минусы такого подхода:
▫️Нужно всем хостам пробить нужный путь в .bashrc или ещё куда-то чтобы он сетапился на старте.
▫️Чем больше хостов тем больше нагрузка на сеть. Иногда такой способ не подходит именно по этой причине. Тогда Ansible вам в помощь.
▫️Не очень подходит если хосты с разными операционками. Некоторые библиотеки различаются для Linux и Windows (там, где есть бинарники) и приходится мудрить более сложные схемы.
#tricks#basic
#typescript#fingerprinting#playwright#puppeteer#scraping#typescript
Fingerprint-suite is a toolkit that generates and injects realistic browser fingerprints into automated browsers like Playwright and Puppeteer. It includes four modular packages: header-generator for HTTP headers, fingerprint-generator for browser fingerprints, fingerprint-injector for injection, and a Bayesian network for realistic fingerprint creation. Since websites increasingly use fingerprinting to track and identify users, this tool helps your web scrapers avoid detection by mimicking real browser behavior. You can customize fingerprints by device type and operating system, making your automated browsing appear completely legitimate to anti-bot systems.
https://github.com/apify/fingerprint-suite
С 17 по 20 ноября в Астане на базе Казахстанского филиала МГУ имени М. В. Ломоносова прошла международная конференция «Sediment and pollutants transport in river catchments: monitoring, fingerprinting and source apportionment».
🌍 Мероприятие объединило ученых из России, Казахстана, Италии, Испании, Бельгии, Великобритании, Бразилии, Ирана и Китая.
Ключевой темой дискуссий стала оценка происхождения источников наносов в речных бассейнах, известная как «фингерпринтинг» (от англ. fingerprinting) или трассировка наносов. Если в западных странах этот подход уже интегрирован в практики управления бассейнами рек, то в России он находится на стадии активного становления.
В рамках научной программы были сделаны доклады об использовании радионуклидов (цезий-137, свинец-210) для оценки темпов эрозии, а также о миграции тяжелых металлов и полициклических ароматических углеводородов. Были представлены результаты исследований на самых разных географических объектах: от малых рек Москвы и горных водосборов Кавказа до речных систем Южной Америки, Сибири и Дальнего Востока, и засушливых регионов Центральной Азии.
👩🏻💻👨🏻💻В конференции приняли участие разработчики пакета FingerPro — Ивана Лизага (Ivan Lizaga, Испания) и Летисия Гаспар Феррер (Leticia Gaspar Ferrer, Испания). Состоялся мастер-класс по основам метода фингерпринтинга. Участники семинара смогли на практике разобрать методы интерпретации данных и моделирования для количественной оценки вклада различных источников эрозии при помощи библиотеки FingerPro.
По результатам конференции будет подготовлен специальный выпуск журнала «Известия Русского географического общества», посвященный вопросам миграции наносов и загрязняющих веществ.
📓Сборник материалов по итогам конференции скоро будет доступен на сайте мероприятия: https://sediment.ru/page69546043.html
#конференции#fingerprinting#наносы#эрозия#Астана#МГУ