TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #396 · 9 окт.

7.09.2025 состоялся релизPithon 3.14! На фоне хайпа про NoGIL всё позабыли про другие фичи. Особенно про Multiple Interpreters, который обещает изоляцию процессов но с эффективностью потоков! На сколько действительно это будет эффективно мы узнаем позже, потому что сейчас это лишь первый релиз с ограничениями и недоработками. Но что там про NoGIL? Теперь этот режим не экспериментальный, а официально поддерживаемый, но опциональный. Чтобы запустить без GIL нужна специальная сборка. И перед стартом нужно объявить переменную PYTHON_GIL=0 Для вас я собрал готовый репозиторий где достаточно запустить скрпит, который всё сделает: ▫️ соберет релизный Python 3.14 в новый Docker-образ ▫️ запустит тесты в контейнере (GIL, NoGIL, MultiInterpreter) ▫️ распечатает результаты Тест очень простой, усложняйте сами) Вот какие результаты у меня: === Running ThreadPoolExecutor GIL ON TOTAL TIME: 45.48 seconds === Running ThreadPoolExecutor GIL OFF TOTAL TIME: 6.14 seconds === Running basic Thread GIL ON TOTAL TIME: 45.54 seconds === Running basic Thread GIL OFF TOTAL TIME: 4.74 seconds === Running with Multi Interpreter TOTAL TIME: 18.30 seconds Если сравнивать GIL и NoGIL, то на мои 32 ядра прирост х7-x10 (почему не х32? 🤷). При этом нам обещают что скорости будут расти с новыми релизами. Режим без GIL похож (визуально) на async, тоже параллельно, тоже не по порядку. Но это не IO! и от того некоторый диссонанс в голове 😵‍💫, нас учили не так! Интересно, что чистый Thread работает быстрей чем ThreadPoolExecutor без GIL. Ну и где-то плачет один адепт мульти-интерпретаторов😭 Теперь нужно искать где они могут пригодиться с такой-то скоростью. Скорее всего своя область применения найдется. Отдельно я затестил память и вот что вышло на 32 потока: ThreadPoolExecutor GIL ON 305.228 MB ThreadPoolExecutor GIL OFF 500.176 MB basic Thread GIL ON 90.668 MB basic Thread GIL OFF 472.444 MB with Multi Interpreter 1267.788 MB Пока не знаю как к этому относиться) В целом - радует направление развития! #release

Hashtags

Резултати

Пронајдени 4 слични објави

Пребарај: #highload

当前筛选 #highload清除筛选
Data Science Jobs

@datasciencejobs · Post #2294 · 03.09.2024 г., 07:03

#вакансия#Москва#Fulltime#Senior#ML#Highload#BigData Вакансия: Senior MLOps Компания: X-Labs AI Вилка: 350 000 - 450 000 руб. X-Labs AI — это команда, которая живет машинным обучением и нейронными сетями. Мы создаем и внедряем крутые решения, которые двигают границы возможного и вдохновляют на новые свершения. У нас уже есть линейка продуктов, которые влияют на развитие генеративного ИИ. Приглашаем тебя стать частью нашей команды, где у каждого есть шанс воплотить свои идеи и создавать что-то по-настоящему важное. Давай вместе работать, придумывать новое и строить будущее ИИ! P.S. Если ты знаешь, как оптимизировать инференс LLM, то тебе точно к нам 🙂 💻 Чем предстоит заниматься: Разработкой MLOps-инфраструктуры для задач генерации текста, аудио и видео: - Оптимизацией использования ресурсов кластера; - Развертыванием моделей в продакшн; - Внедрением и поддержкой инструментов отслеживания жизненного цикла моделей и версионирования артефактов (WandB, MLFlow и др.); - Постепенным развитием MLOps-практик (эффективный инференс LLM, Diffusion Models). ✏️ Чего мы от тебя ждем: - Опыт работы в качестве DevOps/MLOps от 1 года; - Базовых навыков работы с Kubernetes (k8s) и готовности глубоко погружаться в разработку и поддержку сервисов в этой среде; - Опыта работы с микросервсной архитектурой; - Навыков работы с MLOps инструментами (ClearML/WandB/MLflow и т.п.) или готовности быстро их освоить; - Опыта работы с CI/CD инструментами. ✨ Будет плюсом: - Опыт работы с IaC; - Опыт развертывания LLM в продакшн; - Опыт оптимизации моделей. ❤️ Что мы предлагаем: - Возможность развиваться в области MLOps с современными Gen AI моделями; - Возможность поработать с большим высоконагруженным кластером; - Работа с новейшими и передовыми архитектурами моделей; - Сильную команду, с которой можно расти; - Комфортный офис в Москва-Сити или в Минске; - Гибкое начало рабочего дня; - Sick days; - ДМС; - Корпоративную технику и все необходимое для работы. Хочешь узнать подробнее? Пиши напрямую 🐭@dzherry

Data Science Jobs

@datasciencejobs · Post #2356 · 07.10.2024 г., 08:23

#ETL, #data_engineer, #ML, #Highload#BigData#работа#офис Middle Data Engineer Формат работы: Офис в Москве/Минске Компания: X-Labs ЗП (net): 150 000 – 300 000 руб. XLabs AI — это команда, которая живет машинным обучением и нейронными сетями. Мы создаем и внедряем крутые решения, которые двигают границы возможного и вдохновляют на новые свершения. У нас уже есть линейка продуктов, которые влияют на развитие генеративного ИИ. Если ты работал с BigData и знаешь, что такое шардинг, то тебе точно к нам. Стек технологий: Python, MongoDB, Redis, S3, SQL, AirFlow, Git, Docker, K8s, dvc. Чем предстоит заниматься: - Разработка собственного Data Catalog; - Разработка и проектирование хранилища данных для обучения Gen AI моделей (и не только); - Разработка и поддержка ETL процессов на Python и Spark с использованием Airflow; - Работа с различными системами хранения (MongoDB, Redis, S3). Чего мы от тебя ждем: - Высоких навыков промышленной разработки на Python; - Понимания основ ML и нейронных сетей; - Опыта сбора и фильтрации данных для ML моделей (NLP, Video, Audio); - Опыта работы с S3, AirFlow, Git, Docker; - Опыта выстраивания и оптимизации ETL-процессов; - Готовности брать инициативу; - Мотивируешься смелыми вызовами и нестандартными задачами. Будет плюсом: - Опыт работы с большими объёмами данных (>10Tb); - Опыт работы с изображениями, видео или аудио. Что мы предлагаем: - Сильную команду, с которой можно расти; - Возможность попробовать себя в разных модальностях данных (NLP, Video, Audio); - Комфортный офис в Москва-Сити или в Минске с бесплатным кофе и снеками; - Корпоративную технику и все необходимое для работы; - Гибкое начало рабочего дня; - Sick days; - ДМС. Скинуть резюме или задать вопрос можно @nika_vikitina

Data Science Jobs

@datasciencejobs · Post #2747 · 02.06.2025 г., 09:28

#vacancy #вакансия#ml#engineer#ds#pytorch#tensorflow#recsys#highload ⭐️Компания: Wisebits 🔥Позиция: Senior ML Engineer / Data Scientist (Search & Recommendations) 🏢Формат работы: full time, удаленно/relocate 💰 Зарплата: от 4500 euro net (обсуждаемо) Wisebits — международный IT-холдинг с сильной технической командой! Наш ключевой продукт — высоконагруженный видеохостинг, которым ежедневно пользуются миллионы людей по всему миру. Более чем за 15 лет на рынке мы сформировали профессиональную команду, где ценятся вовлечённость и инициативность. Если хочешь работать с high-load продуктом и иметь возможность влиять на его развитие — присоединяйся к нам! ❇️Чем предстоит заниматься: • Разрабатывать рекомендательные системы: user-item, item-item, кросс-платформенные рекомендации; • Исследовать и внедрять стратегии exploration-exploitation; • Оптимизировать выдачу на страницах категорий, каналов и тегов; • Строить text-to-video поиск: семантический поиск, embedding-модели, ранжирование; • Адаптировать и оптимизировать модели под высокую нагрузку — десятки тысяч RPS. ❇️Что мы ожидаем от тебя: • Опыт работы с рекомендательными системами, поиском или смежными задачами от 2 лет; • Уверенные знания Python и ML-фреймворков (PyTorch, LightGBM и др.); • Опыт внедрения моделей в продакшн; • Понимание принципов оффлайн- и онлайн-оценки моделей. ❇️Что мы предлагаем: • Работа над ML-продуктом с миллионами пользователей и живыми метриками; • Команда сильных инженеров, с которыми интересно дискутировать, совместно размышлять и запускать новые проекты и фичи; • Простая структура — минимум бюрократии, максимум ответственности; • Стабильная зарплата, ежегодный рейз и премии. • Бонусы: медстраховка, налоговая компенсация, обучение, техника, курсы языков; • Релокация на Кипр: визовая поддержка, оплата переезда, билеты и первый месяц жилья; • Гибкий график, комфортная атмосфера и поддержка команды. ❇️Наш стек: Языки и библиотеки: Python, PyTorch, LightGBM, Numpy, Pandas, Polars, CuDF, CuPy Инфраструктура и деплой: Kubernetes, Docker, Airflow, Triton Inference Server Хранилища данных: ClickHouse, MySQL Резюме можно направлять в лс https://t.me/Ullallaa💫

Data Science Jobs

@datasciencejobs · Post #1355 · 07.03.2023 г., 06:20

#вакансия#vacancy#devops#k8s#kubernetes#remote#relocate#Highload#fulltime#remote#relocation Всем привет!😊 В Wisebits открыта вакансия Data Engineer (GoLang Developer) в связи с ростом и целью усилить команду ML. Локация: Кипр Формат: удаленка/релокейт, 5/2 Вилка: 4000 - 4500 eur net (обсуждаемо) Wisebits - Международный ИТ - холдинг с головным офисом в солнечном Лимассоле (Кипр). Одна из наших команд создаёт высоко нагруженный продукт в области видео развлечений. Каждый месяц мы успешно обслуживаем миллиарды пользовательских визитов. Это возможно только благодаря слаженной работе в команде профессиональных, опытных и инициативных людей. 💡Новому члену команды предстоит работать над высоконагруженными сервисами и заниматься следующими задачами: ⁃ Выполнять эпизодические задачи на анализ данных; ⁃ ETL, разработка сервисов сбора, хранения и доступа к статистике и данным; ⁃ Оптимизация/создание pipeline для запуска ML решений в production; ⁃ Обработка и агрегация данных для отчетов. 💡Чего мы ждем: ⁃ Хорошие знания и опыт работы с Golang и ClickHouse; ⁃ Опыт разработки от 3-х лет; ⁃ Опыт работы с NoSql; ⁃ TCP/HTTP стек; ⁃ Хорошее знание алгоритмов и структур данных. 😉🔝Условия: ⁃ Полная занятость (удаленная работа или релокация); ⁃ Мы готовы помогать с РЕЛОКАЦИЕЙ из РФ и готовы обсуждать не только Кипр, но и другие страны🕊 ⁃ «Белая» заработная плата; ⁃ Зарплата в EUR; ⁃ ДМС ⁃ Помощь с обучением и ростом (предоставление возможностей для прохождения курсов/тренингов и тп); ⁃ Интернациональная, драйвовая команда💃🏻🕺🏼 ⁃ Продуктовый подход и четко выстроенные процессы⚖️ без лишней бюрократии ⁃ Есть возможность профессионального и финансового роста📈 ⁃ Мы всегда открыты к обсуждению идей🖊 Все вопросы и резюме, пожалуйста —> @Ullallaa