TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #396 · 9 окт.

7.09.2025 состоялся релизPithon 3.14! На фоне хайпа про NoGIL всё позабыли про другие фичи. Особенно про Multiple Interpreters, который обещает изоляцию процессов но с эффективностью потоков! На сколько действительно это будет эффективно мы узнаем позже, потому что сейчас это лишь первый релиз с ограничениями и недоработками. Но что там про NoGIL? Теперь этот режим не экспериментальный, а официально поддерживаемый, но опциональный. Чтобы запустить без GIL нужна специальная сборка. И перед стартом нужно объявить переменную PYTHON_GIL=0 Для вас я собрал готовый репозиторий где достаточно запустить скрпит, который всё сделает: ▫️ соберет релизный Python 3.14 в новый Docker-образ ▫️ запустит тесты в контейнере (GIL, NoGIL, MultiInterpreter) ▫️ распечатает результаты Тест очень простой, усложняйте сами) Вот какие результаты у меня: === Running ThreadPoolExecutor GIL ON TOTAL TIME: 45.48 seconds === Running ThreadPoolExecutor GIL OFF TOTAL TIME: 6.14 seconds === Running basic Thread GIL ON TOTAL TIME: 45.54 seconds === Running basic Thread GIL OFF TOTAL TIME: 4.74 seconds === Running with Multi Interpreter TOTAL TIME: 18.30 seconds Если сравнивать GIL и NoGIL, то на мои 32 ядра прирост х7-x10 (почему не х32? 🤷). При этом нам обещают что скорости будут расти с новыми релизами. Режим без GIL похож (визуально) на async, тоже параллельно, тоже не по порядку. Но это не IO! и от того некоторый диссонанс в голове 😵‍💫, нас учили не так! Интересно, что чистый Thread работает быстрей чем ThreadPoolExecutor без GIL. Ну и где-то плачет один адепт мульти-интерпретаторов😭 Теперь нужно искать где они могут пригодиться с такой-то скоростью. Скорее всего своя область применения найдется. Отдельно я затестил память и вот что вышло на 32 потока: ThreadPoolExecutor GIL ON 305.228 MB ThreadPoolExecutor GIL OFF 500.176 MB basic Thread GIL ON 90.668 MB basic Thread GIL OFF 472.444 MB with Multi Interpreter 1267.788 MB Пока не знаю как к этому относиться) В целом - радует направление развития! #release

Hashtags

Резултати

Пронајдени 3 слични објави

Пребарај: #greenplum

当前筛选 #greenplum清除筛选
Data Science Jobs

@datasciencejobs · Post #2644 · 03.04.2025 г., 06:05

#job#вакансия#DataEngineer#Greenplum#MPP#фултайм#remote Вакансия: Data Engineer Формат работы: офис, гибрид, удаленка (можно вне РФ) Занятость: full-time с гибким началом рабочего дня Офис: г. Москва, м. Тульская, Варшавское шоссе, 9с1Б, БЦ “Даниловская Мануфактура” Зарплатная вилка: 300 - 390 тыс руб gross + ДМС + курсы англ языка и разговорная практика с европейским офисом + ежегодно повышаем ЗП + техника (Macbook или PC Dell) + отсрочка от призыва и мобилизации (аккредитованная ИТ компания) Оформление: ТК, ИП Гражданство: РФ Mokka — международная fintech компания, лидер сегмента BNPL в России и Восточной Европе (Buy Now Pay Later – покупай сейчас, плати потом). Сервисы Мокка представлены в более 7 тыс. торговых точек наших партнеров, таких как Lamoda, OneTwoTrip, OZON, М.Видео, Эльдорадо, Детский мир и др, а количество пользователей уже 15+ млн. Сервис работает в РФ, Польше, Румынии, Болгарии. Команда аналитической платформы: — Head of Data and Analytics; — Data Engineer - 3; — BI Analyst - 3; — ML Engineer - 4. Стек DE: Greenplum, S3, Apache NiFi, Apache Kafka, Apache Airflow, Python, DBT, CI\CD - Gitlab, REST API, Docker, Soda core. Проекты DE на 1 полугодие 2025: — разработка процессов обмена данных с внешними системами; — подключение двух новых источников, help desk и app metrica; — оптимизация платформы данных. Смежные команды: 7 продуктовых команд, в РФ и Европе, команда DevOps, команда саппорта и др. Зона ответственности: — проектирование, разработка и оптимизация архитектуры DWH (Greenplum, Data Vault); — разработка и поддержка ETL-процессов с использованием Nifi и Airflow, подключение новых источников данных; — написание трансформаций и моделирование данных с использованием DBT; — мониторинг и контроль работы регламентных процессов обновления данных; — решение инцидентов с качеством данных; — создание витрин данных; — поддержка CI/CD процессов для обработчиков и загрузчиков данных; — документация обработчиков данных и витрин, которые часто используются; — рефакторинг имеющихся обработчиков с целью оптимизации; — создавать решения (например, для заливки моделей / фичей) оптимизированные под запись; — наполнение базы знаний; Пожелания к опыту: — знание методологий проектирования DWH; — опыт в разработке и поддержке DWH и ETL от 3 лет; — знание SQL на хорошем уровне: оконные функции, иерархические запросы, оптимизация производительности запросов; — опыт работы с DBT; — хорошее знание Python: знать что такое virtualenv, уметь remote-development, уметь оформлять тесты и настраивать линтеры; — хорошее знание Airflow: уметь писать собственные hooks и operators, умение пользоваться внутренними возможностями airflow по хранению параметров соединений, создание и поддержание документации по дагам; — Linux: знание основных команд, умение писать bash-скрипты, умение работать с pipe; — умение работать с docker контейнерами; — опыт работы с git, настройка пайплайнов в gitlab-ci; — опыт настройки и использования Apache Kafka, знание Avro формата; — хорошее знание REST API; Nice to have: — опыт работы с S3; — опыт работы с колоночными СУБД (Greenplum, Vertica, Teradata, Clickhouse): уметь разворачивать, проектировать схемы для витрин в зависимости от назначения, настраивать мониторинг и бэкапы, анализ и оптимизация запросов; — Apache NiFi: хотя бы уверенные теоретические знания; — Soda Core; — знание Cloud concepts (Yandex Cloud, AWS); Условия: — формат работы: на выбор - офис, гибрид, удаленка (можно вне РФ); — оформление: ТК РФ, ИП; — оклад: 300-390К руб gross + ежегодное повышение ЗП; — ДМС со стоматологией; — отсрочка от призыва и мобилизации (аккредитованная ИТ компания); — гибкое начало рабочего дня (с 08:00 до 11:00 мск); — техника на выбор: MacBook Pro или PC Dell; — открытая простая коммуникация в команде; Процесс найма: Видео-звонок с HR → Техническое вью → Финальное вью → Оффер. Контакты для связи: @Shvedova1

Data Science Jobs

@datasciencejobs · Post #3174 · 10.03.2026 г., 06:04

#вакансия#dataanalyst#sql#greenplum#dwh#horeca#job#удалённо 🔍Senior Data Analyst (HoReCa / DWH) Ищем «следователя по данным» в проект общепита (сеть ресторанов/доставка). Критически важна роль: отвечаете за чистоту данных в DWH, без вас отчеты по марже и фудкосту теряют смысл. 💰Зарплата: 250-270К руб/мес.Гросс 🎯Локация/гр.: Россия 🕰Срок проекта: 6 месяцев + 📄Оформление: только ИП ✅Чем нужно заниматься: — контроль качества данных в Greenplum / ClickHouse; — разбор инцидентов: почему пропали чеки / сломался фудкост / аномалия в продажах; — взаимодействие с источниками (iiko, R-Keeper, 1С) — инициируете и проверяете исправления; — доработка витрин и ad-hoc запросы. 🎯Must-have: — SQL: продвинутый уровень (окна, CTE, подзапросы, оптимизация); — опыт с DWH (слои, ETL, качество данных); — навык поиска аномалий и расследования инцидентов; — Jira/Confluence, любой BI (Superset/Форсайт). ➕Будет плюсом: — Greenplum / PostgreSQL; — DBT, OpenMetadata; — опыт в ритейле / HoReCa. 📩 Отклик с пометкой «DataScienceJobs» в TG:@AllaDemHR Наш канал в MAX: https://max.ru/datasciencejobs

Data Science Jobs

@datasciencejobs · Post #2147 · 11.06.2024 г., 07:41

#вакансия#de#fintech#remote Привет! Мы в поиске Data Engineer (middle+) Компания: Vsemirsoft Проект: банковский проект (входит в ТОП-50 банков РФ). Стек проекта: - #Hadoop, #GreenPlum, #S3; - #Airflow, #Spark, #Kafka, #Debezium; - #ClickHouse, #Superset Часовой пояс: Москва (UTC+03:00, Europe/Moscow) Формат работы: удаленный Зп: 285 тыс. руб. 📌Ключевые компетенции: - АБС - ЦФТ - DWH 📌 Требования: - ОПЫТ РАБОТЫ ОТ 3х ЛЕТ; - опыт работы с хранилищами данных и с отчетностью в АБС Банка; - понимание жизненного цикла разработки программного обеспечения 📌 Как преимущество: - понимание процессов формирования обязательной отчетности (ЦБ) 📌 Задачи в рамках проекта: - анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ); - реализация изменений и тестирование на стороне DWH; - взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений; - написание технических задач для развития детального и витринного уровней DWH; - анализ и контроль качества загрузки данных в DWH; - описание логической и физической модели DWH и сопровождение документации в части хранилища данных По всем вопросам обращаться:@odu_v_an