TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #210 · 3 фев.

Что делать если нужно поставить какую-то Python-библиотеку а root-прав нет? То есть в систему библиотеку никак и ничего не поставить. Есть как минимум два способа это решить правильно! 🔸 Сделать виртуальное окружение и ставить там что угодно. Это позволит создать полностью независимое исполняемое окружение для ваших приложений. Все библиотеки будут храниться в домашней директории юзера а значит доступ на запись имеется. Создать очень просто: python3 -m venv ~/venvs/myenvname Теперь активируем окружение # Linux source ~/venvs/myenvname/bin/activate # Windows %userprofile%\venvs\myenvname\Scripts\activate.bat Можно ставить любые библиотеки и запускать приложение. Это стандартный метод работы с любым проектом. Если еще не используете его, то пора начинать. Даже при наличии root доступа! 🔸 Бывает, что нет возможности запустить приложение из своего виртуального окружения. Например, его запускает какой-то сервис от вашего юзера и вставить активацию окружения вы не можете. В этом случае можно установить библиотеки для Python не глобально в систему, а только для юзера. Выполните этот код в консоли: python3 -m site Вы получите что-то такое: sys.path = [ '/home/user', '/usr/lib/python37.zip', '/usr/lib/python3.7', '/usr/lib/python3.7/lib-dynload', '/home/user/.local/lib/python3.7/site-packages', ... ] USER_BASE: '/home/user/.local' USER_SITE: '/home/user/.local/lib/python3.7/site-packages' ENABLE_USER_SITE: True Нас интересует параметр USER_SITE. Это путь к пользовательским библиотекам, которые доступны по умолчанию, если они есть. Именно сюда будут устанавливаться модули если добавить флаг --user при установке чего-либо через pip pip install --user requests Для этой команды не нужны root-права. После неё можно запускать системный интерпретатор без виртуальных окружений и установленная библиотека будет доступна для текущего юзера. Параметр USER_BASE показывает корневую директорию для хранения user-библиотек. Её можно изменить с помощью переменной окружения PYTHONUSERBASE export PYTHONUSERBASE=~/pylibs python3 -m site ... USER_BASE: '/home/user/pylibs' USER_SITE: '/home/user/pylibs/lib/python3.7/site-packages' Получается некоторое подобие виртуального окружения для бедных 😁 которое можно менять через эту переменную (не делайте так!Лучше venv!) 🔸 Дописывание пути в PYTHONPATH Этот способ не входит в список "двух правильных", но тоже рабочий. Здесь придётся сделать всё несколько сложней. Сначала ставим библиотеку в любое место указывая путь установки pip3 install -t ~/mylibs modulename Библиотека установится без привязки к какому-либо интерпретатору. То есть по умолчанию не будет видна. Теперь в нужный момент добавляем этот путь в sys.path или в PYTHONPATH. Не буду советовать так делать. Единственный раз когда этот способ мне пригодился и решил поставленную задачу, это при создании общей библиотеки для кластера компьютеров. Модули лежат в сети и подгружаются для всех из одного и того же места. То есть обновлять файлы требуется только один раз а не на всех хосты отдельно. Минусы такого подхода: ▫️Нужно всем хостам пробить нужный путь в .bashrc или ещё куда-то чтобы он сетапился на старте. ▫️Чем больше хостов тем больше нагрузка на сеть. Иногда такой способ не подходит именно по этой причине. Тогда Ansible вам в помощь. ▫️Не очень подходит если хосты с разными операционками. Некоторые библиотеки различаются для Linux и Windows (там, где есть бинарники) и приходится мудрить более сложные схемы. #tricks#basic

Резултати

Пронајдени 3 слични објави

Пребарај: #greenplum

当前筛选 #greenplum清除筛选
Data Science Jobs

@datasciencejobs · Post #2644 · 03.04.2025 г., 06:05

#job#вакансия#DataEngineer#Greenplum#MPP#фултайм#remote Вакансия: Data Engineer Формат работы: офис, гибрид, удаленка (можно вне РФ) Занятость: full-time с гибким началом рабочего дня Офис: г. Москва, м. Тульская, Варшавское шоссе, 9с1Б, БЦ “Даниловская Мануфактура” Зарплатная вилка: 300 - 390 тыс руб gross + ДМС + курсы англ языка и разговорная практика с европейским офисом + ежегодно повышаем ЗП + техника (Macbook или PC Dell) + отсрочка от призыва и мобилизации (аккредитованная ИТ компания) Оформление: ТК, ИП Гражданство: РФ Mokka — международная fintech компания, лидер сегмента BNPL в России и Восточной Европе (Buy Now Pay Later – покупай сейчас, плати потом). Сервисы Мокка представлены в более 7 тыс. торговых точек наших партнеров, таких как Lamoda, OneTwoTrip, OZON, М.Видео, Эльдорадо, Детский мир и др, а количество пользователей уже 15+ млн. Сервис работает в РФ, Польше, Румынии, Болгарии. Команда аналитической платформы: — Head of Data and Analytics; — Data Engineer - 3; — BI Analyst - 3; — ML Engineer - 4. Стек DE: Greenplum, S3, Apache NiFi, Apache Kafka, Apache Airflow, Python, DBT, CI\CD - Gitlab, REST API, Docker, Soda core. Проекты DE на 1 полугодие 2025: — разработка процессов обмена данных с внешними системами; — подключение двух новых источников, help desk и app metrica; — оптимизация платформы данных. Смежные команды: 7 продуктовых команд, в РФ и Европе, команда DevOps, команда саппорта и др. Зона ответственности: — проектирование, разработка и оптимизация архитектуры DWH (Greenplum, Data Vault); — разработка и поддержка ETL-процессов с использованием Nifi и Airflow, подключение новых источников данных; — написание трансформаций и моделирование данных с использованием DBT; — мониторинг и контроль работы регламентных процессов обновления данных; — решение инцидентов с качеством данных; — создание витрин данных; — поддержка CI/CD процессов для обработчиков и загрузчиков данных; — документация обработчиков данных и витрин, которые часто используются; — рефакторинг имеющихся обработчиков с целью оптимизации; — создавать решения (например, для заливки моделей / фичей) оптимизированные под запись; — наполнение базы знаний; Пожелания к опыту: — знание методологий проектирования DWH; — опыт в разработке и поддержке DWH и ETL от 3 лет; — знание SQL на хорошем уровне: оконные функции, иерархические запросы, оптимизация производительности запросов; — опыт работы с DBT; — хорошее знание Python: знать что такое virtualenv, уметь remote-development, уметь оформлять тесты и настраивать линтеры; — хорошее знание Airflow: уметь писать собственные hooks и operators, умение пользоваться внутренними возможностями airflow по хранению параметров соединений, создание и поддержание документации по дагам; — Linux: знание основных команд, умение писать bash-скрипты, умение работать с pipe; — умение работать с docker контейнерами; — опыт работы с git, настройка пайплайнов в gitlab-ci; — опыт настройки и использования Apache Kafka, знание Avro формата; — хорошее знание REST API; Nice to have: — опыт работы с S3; — опыт работы с колоночными СУБД (Greenplum, Vertica, Teradata, Clickhouse): уметь разворачивать, проектировать схемы для витрин в зависимости от назначения, настраивать мониторинг и бэкапы, анализ и оптимизация запросов; — Apache NiFi: хотя бы уверенные теоретические знания; — Soda Core; — знание Cloud concepts (Yandex Cloud, AWS); Условия: — формат работы: на выбор - офис, гибрид, удаленка (можно вне РФ); — оформление: ТК РФ, ИП; — оклад: 300-390К руб gross + ежегодное повышение ЗП; — ДМС со стоматологией; — отсрочка от призыва и мобилизации (аккредитованная ИТ компания); — гибкое начало рабочего дня (с 08:00 до 11:00 мск); — техника на выбор: MacBook Pro или PC Dell; — открытая простая коммуникация в команде; Процесс найма: Видео-звонок с HR → Техническое вью → Финальное вью → Оффер. Контакты для связи: @Shvedova1

Data Science Jobs

@datasciencejobs · Post #3174 · 10.03.2026 г., 06:04

#вакансия#dataanalyst#sql#greenplum#dwh#horeca#job#удалённо 🔍Senior Data Analyst (HoReCa / DWH) Ищем «следователя по данным» в проект общепита (сеть ресторанов/доставка). Критически важна роль: отвечаете за чистоту данных в DWH, без вас отчеты по марже и фудкосту теряют смысл. 💰Зарплата: 250-270К руб/мес.Гросс 🎯Локация/гр.: Россия 🕰Срок проекта: 6 месяцев + 📄Оформление: только ИП ✅Чем нужно заниматься: — контроль качества данных в Greenplum / ClickHouse; — разбор инцидентов: почему пропали чеки / сломался фудкост / аномалия в продажах; — взаимодействие с источниками (iiko, R-Keeper, 1С) — инициируете и проверяете исправления; — доработка витрин и ad-hoc запросы. 🎯Must-have: — SQL: продвинутый уровень (окна, CTE, подзапросы, оптимизация); — опыт с DWH (слои, ETL, качество данных); — навык поиска аномалий и расследования инцидентов; — Jira/Confluence, любой BI (Superset/Форсайт). ➕Будет плюсом: — Greenplum / PostgreSQL; — DBT, OpenMetadata; — опыт в ритейле / HoReCa. 📩 Отклик с пометкой «DataScienceJobs» в TG:@AllaDemHR Наш канал в MAX: https://max.ru/datasciencejobs

Data Science Jobs

@datasciencejobs · Post #2147 · 11.06.2024 г., 07:41

#вакансия#de#fintech#remote Привет! Мы в поиске Data Engineer (middle+) Компания: Vsemirsoft Проект: банковский проект (входит в ТОП-50 банков РФ). Стек проекта: - #Hadoop, #GreenPlum, #S3; - #Airflow, #Spark, #Kafka, #Debezium; - #ClickHouse, #Superset Часовой пояс: Москва (UTC+03:00, Europe/Moscow) Формат работы: удаленный Зп: 285 тыс. руб. 📌Ключевые компетенции: - АБС - ЦФТ - DWH 📌 Требования: - ОПЫТ РАБОТЫ ОТ 3х ЛЕТ; - опыт работы с хранилищами данных и с отчетностью в АБС Банка; - понимание жизненного цикла разработки программного обеспечения 📌 Как преимущество: - понимание процессов формирования обязательной отчетности (ЦБ) 📌 Задачи в рамках проекта: - анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ); - реализация изменений и тестирование на стороне DWH; - взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений; - написание технических задач для развития детального и витринного уровней DWH; - анализ и контроль качества загрузки данных в DWH; - описание логической и физической модели DWH и сопровождение документации в части хранилища данных По всем вопросам обращаться:@odu_v_an