TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #210 · 3 фев.

Что делать если нужно поставить какую-то Python-библиотеку а root-прав нет? То есть в систему библиотеку никак и ничего не поставить. Есть как минимум два способа это решить правильно! 🔸 Сделать виртуальное окружение и ставить там что угодно. Это позволит создать полностью независимое исполняемое окружение для ваших приложений. Все библиотеки будут храниться в домашней директории юзера а значит доступ на запись имеется. Создать очень просто: python3 -m venv ~/venvs/myenvname Теперь активируем окружение # Linux source ~/venvs/myenvname/bin/activate # Windows %userprofile%\venvs\myenvname\Scripts\activate.bat Можно ставить любые библиотеки и запускать приложение. Это стандартный метод работы с любым проектом. Если еще не используете его, то пора начинать. Даже при наличии root доступа! 🔸 Бывает, что нет возможности запустить приложение из своего виртуального окружения. Например, его запускает какой-то сервис от вашего юзера и вставить активацию окружения вы не можете. В этом случае можно установить библиотеки для Python не глобально в систему, а только для юзера. Выполните этот код в консоли: python3 -m site Вы получите что-то такое: sys.path = [ '/home/user', '/usr/lib/python37.zip', '/usr/lib/python3.7', '/usr/lib/python3.7/lib-dynload', '/home/user/.local/lib/python3.7/site-packages', ... ] USER_BASE: '/home/user/.local' USER_SITE: '/home/user/.local/lib/python3.7/site-packages' ENABLE_USER_SITE: True Нас интересует параметр USER_SITE. Это путь к пользовательским библиотекам, которые доступны по умолчанию, если они есть. Именно сюда будут устанавливаться модули если добавить флаг --user при установке чего-либо через pip pip install --user requests Для этой команды не нужны root-права. После неё можно запускать системный интерпретатор без виртуальных окружений и установленная библиотека будет доступна для текущего юзера. Параметр USER_BASE показывает корневую директорию для хранения user-библиотек. Её можно изменить с помощью переменной окружения PYTHONUSERBASE export PYTHONUSERBASE=~/pylibs python3 -m site ... USER_BASE: '/home/user/pylibs' USER_SITE: '/home/user/pylibs/lib/python3.7/site-packages' Получается некоторое подобие виртуального окружения для бедных 😁 которое можно менять через эту переменную (не делайте так!Лучше venv!) 🔸 Дописывание пути в PYTHONPATH Этот способ не входит в список "двух правильных", но тоже рабочий. Здесь придётся сделать всё несколько сложней. Сначала ставим библиотеку в любое место указывая путь установки pip3 install -t ~/mylibs modulename Библиотека установится без привязки к какому-либо интерпретатору. То есть по умолчанию не будет видна. Теперь в нужный момент добавляем этот путь в sys.path или в PYTHONPATH. Не буду советовать так делать. Единственный раз когда этот способ мне пригодился и решил поставленную задачу, это при создании общей библиотеки для кластера компьютеров. Модули лежат в сети и подгружаются для всех из одного и того же места. То есть обновлять файлы требуется только один раз а не на всех хосты отдельно. Минусы такого подхода: ▫️Нужно всем хостам пробить нужный путь в .bashrc или ещё куда-то чтобы он сетапился на старте. ▫️Чем больше хостов тем больше нагрузка на сеть. Иногда такой способ не подходит именно по этой причине. Тогда Ansible вам в помощь. ▫️Не очень подходит если хосты с разными операционками. Некоторые библиотеки различаются для Linux и Windows (там, где есть бинарники) и приходится мудрить более сложные схемы. #tricks#basic

Резултати

Пронајдени 4 слични објави

Пребарај: #highload

当前筛选 #highload清除筛选
Data Science Jobs

@datasciencejobs · Post #2294 · 03.09.2024 г., 07:03

#вакансия#Москва#Fulltime#Senior#ML#Highload#BigData Вакансия: Senior MLOps Компания: X-Labs AI Вилка: 350 000 - 450 000 руб. X-Labs AI — это команда, которая живет машинным обучением и нейронными сетями. Мы создаем и внедряем крутые решения, которые двигают границы возможного и вдохновляют на новые свершения. У нас уже есть линейка продуктов, которые влияют на развитие генеративного ИИ. Приглашаем тебя стать частью нашей команды, где у каждого есть шанс воплотить свои идеи и создавать что-то по-настоящему важное. Давай вместе работать, придумывать новое и строить будущее ИИ! P.S. Если ты знаешь, как оптимизировать инференс LLM, то тебе точно к нам 🙂 💻 Чем предстоит заниматься: Разработкой MLOps-инфраструктуры для задач генерации текста, аудио и видео: - Оптимизацией использования ресурсов кластера; - Развертыванием моделей в продакшн; - Внедрением и поддержкой инструментов отслеживания жизненного цикла моделей и версионирования артефактов (WandB, MLFlow и др.); - Постепенным развитием MLOps-практик (эффективный инференс LLM, Diffusion Models). ✏️ Чего мы от тебя ждем: - Опыт работы в качестве DevOps/MLOps от 1 года; - Базовых навыков работы с Kubernetes (k8s) и готовности глубоко погружаться в разработку и поддержку сервисов в этой среде; - Опыта работы с микросервсной архитектурой; - Навыков работы с MLOps инструментами (ClearML/WandB/MLflow и т.п.) или готовности быстро их освоить; - Опыта работы с CI/CD инструментами. ✨ Будет плюсом: - Опыт работы с IaC; - Опыт развертывания LLM в продакшн; - Опыт оптимизации моделей. ❤️ Что мы предлагаем: - Возможность развиваться в области MLOps с современными Gen AI моделями; - Возможность поработать с большим высоконагруженным кластером; - Работа с новейшими и передовыми архитектурами моделей; - Сильную команду, с которой можно расти; - Комфортный офис в Москва-Сити или в Минске; - Гибкое начало рабочего дня; - Sick days; - ДМС; - Корпоративную технику и все необходимое для работы. Хочешь узнать подробнее? Пиши напрямую 🐭@dzherry

Data Science Jobs

@datasciencejobs · Post #2356 · 07.10.2024 г., 08:23

#ETL, #data_engineer, #ML, #Highload#BigData#работа#офис Middle Data Engineer Формат работы: Офис в Москве/Минске Компания: X-Labs ЗП (net): 150 000 – 300 000 руб. XLabs AI — это команда, которая живет машинным обучением и нейронными сетями. Мы создаем и внедряем крутые решения, которые двигают границы возможного и вдохновляют на новые свершения. У нас уже есть линейка продуктов, которые влияют на развитие генеративного ИИ. Если ты работал с BigData и знаешь, что такое шардинг, то тебе точно к нам. Стек технологий: Python, MongoDB, Redis, S3, SQL, AirFlow, Git, Docker, K8s, dvc. Чем предстоит заниматься: - Разработка собственного Data Catalog; - Разработка и проектирование хранилища данных для обучения Gen AI моделей (и не только); - Разработка и поддержка ETL процессов на Python и Spark с использованием Airflow; - Работа с различными системами хранения (MongoDB, Redis, S3). Чего мы от тебя ждем: - Высоких навыков промышленной разработки на Python; - Понимания основ ML и нейронных сетей; - Опыта сбора и фильтрации данных для ML моделей (NLP, Video, Audio); - Опыта работы с S3, AirFlow, Git, Docker; - Опыта выстраивания и оптимизации ETL-процессов; - Готовности брать инициативу; - Мотивируешься смелыми вызовами и нестандартными задачами. Будет плюсом: - Опыт работы с большими объёмами данных (>10Tb); - Опыт работы с изображениями, видео или аудио. Что мы предлагаем: - Сильную команду, с которой можно расти; - Возможность попробовать себя в разных модальностях данных (NLP, Video, Audio); - Комфортный офис в Москва-Сити или в Минске с бесплатным кофе и снеками; - Корпоративную технику и все необходимое для работы; - Гибкое начало рабочего дня; - Sick days; - ДМС. Скинуть резюме или задать вопрос можно @nika_vikitina

Data Science Jobs

@datasciencejobs · Post #2747 · 02.06.2025 г., 09:28

#vacancy #вакансия#ml#engineer#ds#pytorch#tensorflow#recsys#highload ⭐️Компания: Wisebits 🔥Позиция: Senior ML Engineer / Data Scientist (Search & Recommendations) 🏢Формат работы: full time, удаленно/relocate 💰 Зарплата: от 4500 euro net (обсуждаемо) Wisebits — международный IT-холдинг с сильной технической командой! Наш ключевой продукт — высоконагруженный видеохостинг, которым ежедневно пользуются миллионы людей по всему миру. Более чем за 15 лет на рынке мы сформировали профессиональную команду, где ценятся вовлечённость и инициативность. Если хочешь работать с high-load продуктом и иметь возможность влиять на его развитие — присоединяйся к нам! ❇️Чем предстоит заниматься: • Разрабатывать рекомендательные системы: user-item, item-item, кросс-платформенные рекомендации; • Исследовать и внедрять стратегии exploration-exploitation; • Оптимизировать выдачу на страницах категорий, каналов и тегов; • Строить text-to-video поиск: семантический поиск, embedding-модели, ранжирование; • Адаптировать и оптимизировать модели под высокую нагрузку — десятки тысяч RPS. ❇️Что мы ожидаем от тебя: • Опыт работы с рекомендательными системами, поиском или смежными задачами от 2 лет; • Уверенные знания Python и ML-фреймворков (PyTorch, LightGBM и др.); • Опыт внедрения моделей в продакшн; • Понимание принципов оффлайн- и онлайн-оценки моделей. ❇️Что мы предлагаем: • Работа над ML-продуктом с миллионами пользователей и живыми метриками; • Команда сильных инженеров, с которыми интересно дискутировать, совместно размышлять и запускать новые проекты и фичи; • Простая структура — минимум бюрократии, максимум ответственности; • Стабильная зарплата, ежегодный рейз и премии. • Бонусы: медстраховка, налоговая компенсация, обучение, техника, курсы языков; • Релокация на Кипр: визовая поддержка, оплата переезда, билеты и первый месяц жилья; • Гибкий график, комфортная атмосфера и поддержка команды. ❇️Наш стек: Языки и библиотеки: Python, PyTorch, LightGBM, Numpy, Pandas, Polars, CuDF, CuPy Инфраструктура и деплой: Kubernetes, Docker, Airflow, Triton Inference Server Хранилища данных: ClickHouse, MySQL Резюме можно направлять в лс https://t.me/Ullallaa💫

Data Science Jobs

@datasciencejobs · Post #1355 · 07.03.2023 г., 06:20

#вакансия#vacancy#devops#k8s#kubernetes#remote#relocate#Highload#fulltime#remote#relocation Всем привет!😊 В Wisebits открыта вакансия Data Engineer (GoLang Developer) в связи с ростом и целью усилить команду ML. Локация: Кипр Формат: удаленка/релокейт, 5/2 Вилка: 4000 - 4500 eur net (обсуждаемо) Wisebits - Международный ИТ - холдинг с головным офисом в солнечном Лимассоле (Кипр). Одна из наших команд создаёт высоко нагруженный продукт в области видео развлечений. Каждый месяц мы успешно обслуживаем миллиарды пользовательских визитов. Это возможно только благодаря слаженной работе в команде профессиональных, опытных и инициативных людей. 💡Новому члену команды предстоит работать над высоконагруженными сервисами и заниматься следующими задачами: ⁃ Выполнять эпизодические задачи на анализ данных; ⁃ ETL, разработка сервисов сбора, хранения и доступа к статистике и данным; ⁃ Оптимизация/создание pipeline для запуска ML решений в production; ⁃ Обработка и агрегация данных для отчетов. 💡Чего мы ждем: ⁃ Хорошие знания и опыт работы с Golang и ClickHouse; ⁃ Опыт разработки от 3-х лет; ⁃ Опыт работы с NoSql; ⁃ TCP/HTTP стек; ⁃ Хорошее знание алгоритмов и структур данных. 😉🔝Условия: ⁃ Полная занятость (удаленная работа или релокация); ⁃ Мы готовы помогать с РЕЛОКАЦИЕЙ из РФ и готовы обсуждать не только Кипр, но и другие страны🕊 ⁃ «Белая» заработная плата; ⁃ Зарплата в EUR; ⁃ ДМС ⁃ Помощь с обучением и ростом (предоставление возможностей для прохождения курсов/тренингов и тп); ⁃ Интернациональная, драйвовая команда💃🏻🕺🏼 ⁃ Продуктовый подход и четко выстроенные процессы⚖️ без лишней бюрократии ⁃ Есть возможность профессионального и финансового роста📈 ⁃ Мы всегда открыты к обсуждению идей🖊 Все вопросы и резюме, пожалуйста —> @Ullallaa