TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #183 · 23 ное.

Python + bash Если вам часто требуется запускать shell команды из Python-кода, какой способ вы используете? Самый низкоуровневый это функция os.system(), либо os.popen(). Рекомендованный способ это subprocess.call(). Но это всё еще достаточно неудобно. Советую обратить своё внимание на очень крутую библиотеку sh. Что она умеет? 🔸 удобный синтаксис вызова команд как функций # os import os os.system("tar cvf demo.tar ~/") # subprocess import subprocess subprocess.call(['tar', 'cvf', 'demo.tar', '~/']) # sh import sh sh.tar('cvf', 'demo.tar', "~/") 🔸 простое создание функции-алиаса для длинной команды fn = sh.lsof.bake('-i', '-P', '-n') output = sh.grep(fn(), 'LISTEN') в этом примере также задействован пайпинг 🔸 удобный вызов команд от sudo with sh.contrib.sudo: print(ls("/root")) Такой запрос спросит пароль. Чтобы это работало нужно соответствующим способом настроить юзера. А вот вариант с вводом пароля через код. password = "secret" sudo = sh.sudo.bake("-S", _in=password+"\n") print(sudo.ls("/root")) Это не все фишки. Больше интересных примеров смотрите в документации. Специально для Windows💀 юзеров #libs#linux

Hashtags

Резултати

Пронајдени 4 слични објави

Пребарај: #highload

当前筛选 #highload清除筛选
Data Science Jobs

@datasciencejobs · Post #2294 · 03.09.2024 г., 07:03

#вакансия#Москва#Fulltime#Senior#ML#Highload#BigData Вакансия: Senior MLOps Компания: X-Labs AI Вилка: 350 000 - 450 000 руб. X-Labs AI — это команда, которая живет машинным обучением и нейронными сетями. Мы создаем и внедряем крутые решения, которые двигают границы возможного и вдохновляют на новые свершения. У нас уже есть линейка продуктов, которые влияют на развитие генеративного ИИ. Приглашаем тебя стать частью нашей команды, где у каждого есть шанс воплотить свои идеи и создавать что-то по-настоящему важное. Давай вместе работать, придумывать новое и строить будущее ИИ! P.S. Если ты знаешь, как оптимизировать инференс LLM, то тебе точно к нам 🙂 💻 Чем предстоит заниматься: Разработкой MLOps-инфраструктуры для задач генерации текста, аудио и видео: - Оптимизацией использования ресурсов кластера; - Развертыванием моделей в продакшн; - Внедрением и поддержкой инструментов отслеживания жизненного цикла моделей и версионирования артефактов (WandB, MLFlow и др.); - Постепенным развитием MLOps-практик (эффективный инференс LLM, Diffusion Models). ✏️ Чего мы от тебя ждем: - Опыт работы в качестве DevOps/MLOps от 1 года; - Базовых навыков работы с Kubernetes (k8s) и готовности глубоко погружаться в разработку и поддержку сервисов в этой среде; - Опыта работы с микросервсной архитектурой; - Навыков работы с MLOps инструментами (ClearML/WandB/MLflow и т.п.) или готовности быстро их освоить; - Опыта работы с CI/CD инструментами. ✨ Будет плюсом: - Опыт работы с IaC; - Опыт развертывания LLM в продакшн; - Опыт оптимизации моделей. ❤️ Что мы предлагаем: - Возможность развиваться в области MLOps с современными Gen AI моделями; - Возможность поработать с большим высоконагруженным кластером; - Работа с новейшими и передовыми архитектурами моделей; - Сильную команду, с которой можно расти; - Комфортный офис в Москва-Сити или в Минске; - Гибкое начало рабочего дня; - Sick days; - ДМС; - Корпоративную технику и все необходимое для работы. Хочешь узнать подробнее? Пиши напрямую 🐭@dzherry

Data Science Jobs

@datasciencejobs · Post #2356 · 07.10.2024 г., 08:23

#ETL, #data_engineer, #ML, #Highload#BigData#работа#офис Middle Data Engineer Формат работы: Офис в Москве/Минске Компания: X-Labs ЗП (net): 150 000 – 300 000 руб. XLabs AI — это команда, которая живет машинным обучением и нейронными сетями. Мы создаем и внедряем крутые решения, которые двигают границы возможного и вдохновляют на новые свершения. У нас уже есть линейка продуктов, которые влияют на развитие генеративного ИИ. Если ты работал с BigData и знаешь, что такое шардинг, то тебе точно к нам. Стек технологий: Python, MongoDB, Redis, S3, SQL, AirFlow, Git, Docker, K8s, dvc. Чем предстоит заниматься: - Разработка собственного Data Catalog; - Разработка и проектирование хранилища данных для обучения Gen AI моделей (и не только); - Разработка и поддержка ETL процессов на Python и Spark с использованием Airflow; - Работа с различными системами хранения (MongoDB, Redis, S3). Чего мы от тебя ждем: - Высоких навыков промышленной разработки на Python; - Понимания основ ML и нейронных сетей; - Опыта сбора и фильтрации данных для ML моделей (NLP, Video, Audio); - Опыта работы с S3, AirFlow, Git, Docker; - Опыта выстраивания и оптимизации ETL-процессов; - Готовности брать инициативу; - Мотивируешься смелыми вызовами и нестандартными задачами. Будет плюсом: - Опыт работы с большими объёмами данных (>10Tb); - Опыт работы с изображениями, видео или аудио. Что мы предлагаем: - Сильную команду, с которой можно расти; - Возможность попробовать себя в разных модальностях данных (NLP, Video, Audio); - Комфортный офис в Москва-Сити или в Минске с бесплатным кофе и снеками; - Корпоративную технику и все необходимое для работы; - Гибкое начало рабочего дня; - Sick days; - ДМС. Скинуть резюме или задать вопрос можно @nika_vikitina

Data Science Jobs

@datasciencejobs · Post #2747 · 02.06.2025 г., 09:28

#vacancy #вакансия#ml#engineer#ds#pytorch#tensorflow#recsys#highload ⭐️Компания: Wisebits 🔥Позиция: Senior ML Engineer / Data Scientist (Search & Recommendations) 🏢Формат работы: full time, удаленно/relocate 💰 Зарплата: от 4500 euro net (обсуждаемо) Wisebits — международный IT-холдинг с сильной технической командой! Наш ключевой продукт — высоконагруженный видеохостинг, которым ежедневно пользуются миллионы людей по всему миру. Более чем за 15 лет на рынке мы сформировали профессиональную команду, где ценятся вовлечённость и инициативность. Если хочешь работать с high-load продуктом и иметь возможность влиять на его развитие — присоединяйся к нам! ❇️Чем предстоит заниматься: • Разрабатывать рекомендательные системы: user-item, item-item, кросс-платформенные рекомендации; • Исследовать и внедрять стратегии exploration-exploitation; • Оптимизировать выдачу на страницах категорий, каналов и тегов; • Строить text-to-video поиск: семантический поиск, embedding-модели, ранжирование; • Адаптировать и оптимизировать модели под высокую нагрузку — десятки тысяч RPS. ❇️Что мы ожидаем от тебя: • Опыт работы с рекомендательными системами, поиском или смежными задачами от 2 лет; • Уверенные знания Python и ML-фреймворков (PyTorch, LightGBM и др.); • Опыт внедрения моделей в продакшн; • Понимание принципов оффлайн- и онлайн-оценки моделей. ❇️Что мы предлагаем: • Работа над ML-продуктом с миллионами пользователей и живыми метриками; • Команда сильных инженеров, с которыми интересно дискутировать, совместно размышлять и запускать новые проекты и фичи; • Простая структура — минимум бюрократии, максимум ответственности; • Стабильная зарплата, ежегодный рейз и премии. • Бонусы: медстраховка, налоговая компенсация, обучение, техника, курсы языков; • Релокация на Кипр: визовая поддержка, оплата переезда, билеты и первый месяц жилья; • Гибкий график, комфортная атмосфера и поддержка команды. ❇️Наш стек: Языки и библиотеки: Python, PyTorch, LightGBM, Numpy, Pandas, Polars, CuDF, CuPy Инфраструктура и деплой: Kubernetes, Docker, Airflow, Triton Inference Server Хранилища данных: ClickHouse, MySQL Резюме можно направлять в лс https://t.me/Ullallaa💫

Data Science Jobs

@datasciencejobs · Post #1355 · 07.03.2023 г., 06:20

#вакансия#vacancy#devops#k8s#kubernetes#remote#relocate#Highload#fulltime#remote#relocation Всем привет!😊 В Wisebits открыта вакансия Data Engineer (GoLang Developer) в связи с ростом и целью усилить команду ML. Локация: Кипр Формат: удаленка/релокейт, 5/2 Вилка: 4000 - 4500 eur net (обсуждаемо) Wisebits - Международный ИТ - холдинг с головным офисом в солнечном Лимассоле (Кипр). Одна из наших команд создаёт высоко нагруженный продукт в области видео развлечений. Каждый месяц мы успешно обслуживаем миллиарды пользовательских визитов. Это возможно только благодаря слаженной работе в команде профессиональных, опытных и инициативных людей. 💡Новому члену команды предстоит работать над высоконагруженными сервисами и заниматься следующими задачами: ⁃ Выполнять эпизодические задачи на анализ данных; ⁃ ETL, разработка сервисов сбора, хранения и доступа к статистике и данным; ⁃ Оптимизация/создание pipeline для запуска ML решений в production; ⁃ Обработка и агрегация данных для отчетов. 💡Чего мы ждем: ⁃ Хорошие знания и опыт работы с Golang и ClickHouse; ⁃ Опыт разработки от 3-х лет; ⁃ Опыт работы с NoSql; ⁃ TCP/HTTP стек; ⁃ Хорошее знание алгоритмов и структур данных. 😉🔝Условия: ⁃ Полная занятость (удаленная работа или релокация); ⁃ Мы готовы помогать с РЕЛОКАЦИЕЙ из РФ и готовы обсуждать не только Кипр, но и другие страны🕊 ⁃ «Белая» заработная плата; ⁃ Зарплата в EUR; ⁃ ДМС ⁃ Помощь с обучением и ростом (предоставление возможностей для прохождения курсов/тренингов и тп); ⁃ Интернациональная, драйвовая команда💃🏻🕺🏼 ⁃ Продуктовый подход и четко выстроенные процессы⚖️ без лишней бюрократии ⁃ Есть возможность профессионального и финансового роста📈 ⁃ Мы всегда открыты к обсуждению идей🖊 Все вопросы и резюме, пожалуйста —> @Ullallaa