Что делать если нужно поставить какую-то Python-библиотеку а root-прав нет? То есть в систему библиотеку никак и ничего не поставить.
Есть как минимум два способа это решить правильно!
🔸 Сделать виртуальное окружение и ставить там что угодно.
Это позволит создать полностью независимое исполняемое окружение для ваших приложений.
Все библиотеки будут храниться в домашней директории юзера а значит доступ на запись имеется.
Создать очень просто:
python3 -m venv ~/venvs/myenvname
Теперь активируем окружение
# Linux
source ~/venvs/myenvname/bin/activate
# Windows
%userprofile%\venvs\myenvname\Scripts\activate.bat
Можно ставить любые библиотеки и запускать приложение.
Это стандартный метод работы с любым проектом. Если еще не используете его, то пора начинать. Даже при наличии root доступа!
🔸 Бывает, что нет возможности запустить приложение из своего виртуального окружения. Например, его запускает какой-то сервис от вашего юзера и вставить активацию окружения вы не можете.
В этом случае можно установить библиотеки для Python не глобально в систему, а только для юзера.
Выполните этот код в консоли:
python3 -m site
Вы получите что-то такое:
sys.path = [
'/home/user',
'/usr/lib/python37.zip',
'/usr/lib/python3.7',
'/usr/lib/python3.7/lib-dynload',
'/home/user/.local/lib/python3.7/site-packages',
...
]
USER_BASE: '/home/user/.local'
USER_SITE: '/home/user/.local/lib/python3.7/site-packages'
ENABLE_USER_SITE: True
Нас интересует параметр USER_SITE. Это путь к пользовательским библиотекам, которые доступны по умолчанию, если они есть.
Именно сюда будут устанавливаться модули если добавить флаг --user при установке чего-либо через pip
pip install --user requests
Для этой команды не нужны root-права.
После неё можно запускать системный интерпретатор без виртуальных окружений и установленная библиотека будет доступна для текущего юзера.
Параметр USER_BASE показывает корневую директорию для хранения user-библиотек. Её можно изменить с помощью переменной окружения PYTHONUSERBASE
export PYTHONUSERBASE=~/pylibs
python3 -m site
...
USER_BASE: '/home/user/pylibs'
USER_SITE: '/home/user/pylibs/lib/python3.7/site-packages'
Получается некоторое подобие виртуального окружения для бедных 😁 которое можно менять через эту переменную (не делайте так!Лучше venv!)
🔸 Дописывание пути в PYTHONPATH
Этот способ не входит в список "двух правильных", но тоже рабочий. Здесь придётся сделать всё несколько сложней.
Сначала ставим библиотеку в любое место указывая путь установки
pip3 install -t ~/mylibs modulename
Библиотека установится без привязки к какому-либо интерпретатору. То есть по умолчанию не будет видна. Теперь в нужный момент добавляем этот путь в sys.path или в PYTHONPATH.
Не буду советовать так делать. Единственный раз когда этот способ мне пригодился и решил поставленную задачу, это при создании общей библиотеки для кластера компьютеров.
Модули лежат в сети и подгружаются для всех из одного и того же места. То есть обновлять файлы требуется только один раз а не на всех хосты отдельно.
Минусы такого подхода:
▫️Нужно всем хостам пробить нужный путь в .bashrc или ещё куда-то чтобы он сетапился на старте.
▫️Чем больше хостов тем больше нагрузка на сеть. Иногда такой способ не подходит именно по этой причине. Тогда Ansible вам в помощь.
▫️Не очень подходит если хосты с разными операционками. Некоторые библиотеки различаются для Linux и Windows (там, где есть бинарники) и приходится мудрить более сложные схемы.
#tricks#basic
#timeseries
Ekambaram, Vijay, Arindam Jati, Pankaj Dayama, Sumanta Mukherjee, Nam H. Nguyen, Wesley M. Gifford, Chandra Reddy, and Jayant Kalagnanam. 2024. “Tiny Time Mixers (TTMs): Fast Pre-Trained Models for Enhanced Zero/Few-Shot Forecasting of Multivariate Time Series.” arXiv [Cs.LG]. arXiv. http://arxiv.org/abs/2401.03955.
#timeseries
Finding a suitable forecasting metric to evaluate the forecasting models is often the key to a forecasting project. Right? We use metrics when developing models, we also use metrics to monitor models.
There are a bunch of metrics people choose from or adapt from. To be faster when choosing and adapting metrics, I created a page on the properties of different metrics for time series forecasting problems. For reproducibility, I also included all the code used to write this page.
https://dl.leima.is/time-series/timeseries-metrics.forecasting/
#Tableau#timeSeries
📊
Forecasting and Time Series Analysis in Tableau
Use Tableau to work with time series, generate forecasts and even add R functionality to enhance Tableau.
🔗Link
-----
Canal principal: @repo_science
Cupones: @freecoupons_reposcience
-----
#TimeSeries#Analysis#Python
⌚️
Forecasting Models and Time Series for Business in Python
Time Series Analysis in Python. Demand Planning & Business Forecasting. Forecast with 6 Models: Prophet, ARIMA & More.
-----
Main channel: @repo_science
Coupons: @freecoupons_reposcience
-----
#вакансия#vacancy#job#timeseries
#datasciense#remote
Вакансия: Middle/ Senior Data Scientist
Кадровое агентство: DevHunt
ЗП: от 150.000 до 250.000 руб на руки
Формат: удаленка
Почему стоит выбрать именно эту позицию:
- Удаленка с гибким началом рабочего дня
- Свобода в принятии решений
- Возможности для роста
- Никакого тайм-трекинга
- Неформальная атмосфера с минимальным числом бюрократии
- Проекты не "в стол"
- Плюшки IT-аккредитации
- Годовые бонусы: х1, х1.5
- ДМС после испытательного срока
Чек-лист идеального кандидата:
- Опыт ML-разработки на Python от 3х лет
- Опыт работы с Pandas, NumPy, SсiPy, scikit-learn, Keras/TensoFlow
- Опыт работы с XGboost, LightGBM, Random Forest, линейными моделями, основными архитектурами нейронных сетей. Понимание механизмов их работы
- Знание SQL на продвинутом уровне, опыт работы с реляционными СУБД (PostgreSQL, Oracle, MS SQL и пр.)
Опыт работы с *nix системами
- Навыки работы с Git и с Conda окружениями
Будет плюсом:
- Опыт разработки проектной документации в части подготовки разделов по предиктивному анализу
- Опыт разработки архитектуры данных и структур баз данных
- Знание и опыт работы с ETL/ELT инструментами
Знание TimescaleDB, InfluxDB, AVEVA (OSIsoft) PI System
- Понимание специфики работы IT-интегратора (outsource)
- Опыт работы в нефтегазовой или смежной области
Задачи:
- Реализации проектов по предиктивной аналитике на промышленных предприятиях
- Анализ и прогнозирование временных рядов
- Анализ производственных процессов и выработка требований к сбору данных
Выбор и обоснование моделей машинного обучения для решения бизнес-задач
- Конструирование признаков для ML-моделей (feature engineering)
Выбор и обоснование метрик для оценки моделей машинного обучения
- Интерпретация результатов функционирования моделей машинного обучения
- Разработка и автоматизация ML-пайплайнов
Контакт:@barnes_recruiter
#Tableau
#Forecasting#TimeSeries
📊
Forecasting and Time Series Analysis in Tableau
Use Tableau to work with time series, generate forecasts and even add R functionality to enhance Tableau.
-----
Main channel: @repo_science
Coupons: @freecoupons_reposcience
-----
#tableau#TimeSeries#Forecasting
📈
Forecasting and Time Series Analysis in Tableau
Use Tableau to work with time series, generate forecasts and even add R functionality to enhance Tableau.
-----
Main channel: @repo_science
Coupons: @freecoupons_reposcience
-----