TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #401 · 15 дек.

Функция asyncio.wait() это еще один способ вызвать множество асинхронных задач. Она работает в нескольких режимах. 1. Самый простой - ждем завершения всех задач async def main(): tasks = [asyncio.create_task(do_it(i)) for i in range(10)] done, pending = await asyncio.wait( tasks, return_when=asyncio.ALL_COMPLETED ) for task in done: try: print(task.result()) except Exception as e: print(e) Очень похоже на gather, но работает не так. ▫️возвращает не результаты, а два сета с объектами Task у которых можно забрать результат через task.result() если они в списке done ▫️не гарантирует порядок результатов так как оба объекта это set ▫️не выбрасывает исключение когда оно появляется, а сохраняет его в Task. Исключение появится когда попробуете забрать резултьтат. 2. Ждем завершения первой задачи, даже если там ошибка. async def main(): tasks = [asyncio.create_task(do_it(i)) for i in range(3)] done, pending = await asyncio.wait( tasks, return_when=asyncio.FIRST_COMPLETED ) # в done может быть несколько задач! for task in done: try: print(task.result()) except Exception as e: print(f"Fail: {e}") # Оставшиеся задачи в pending, как правило, нужно отменить, иначе они будут продолжать работать for task in pending: task.cancel() В сете done будут таски которые успели завершится, причем как успешно так и нет. 3. До первой ошибки. Тоже самое, но с аргументом FIRST_EXCEPTION done, pending = await asyncio.wait( tasks, return_when=asyncio.FIRST_EXCEPTION ) Функция завершается как только первая задача упадет с ошибкой. Учтите, что в любом случае done вы можете обранужить несколько задач, как с ошибками так и успешные. ↗️ Полный листинг примеров здесь #async

Hashtags

Резултати

Пронајдени 3 слични објави

Пребарај: #greenplum

当前筛选 #greenplum清除筛选
Data Science Jobs

@datasciencejobs · Post #2644 · 03.04.2025 г., 06:05

#job#вакансия#DataEngineer#Greenplum#MPP#фултайм#remote Вакансия: Data Engineer Формат работы: офис, гибрид, удаленка (можно вне РФ) Занятость: full-time с гибким началом рабочего дня Офис: г. Москва, м. Тульская, Варшавское шоссе, 9с1Б, БЦ “Даниловская Мануфактура” Зарплатная вилка: 300 - 390 тыс руб gross + ДМС + курсы англ языка и разговорная практика с европейским офисом + ежегодно повышаем ЗП + техника (Macbook или PC Dell) + отсрочка от призыва и мобилизации (аккредитованная ИТ компания) Оформление: ТК, ИП Гражданство: РФ Mokka — международная fintech компания, лидер сегмента BNPL в России и Восточной Европе (Buy Now Pay Later – покупай сейчас, плати потом). Сервисы Мокка представлены в более 7 тыс. торговых точек наших партнеров, таких как Lamoda, OneTwoTrip, OZON, М.Видео, Эльдорадо, Детский мир и др, а количество пользователей уже 15+ млн. Сервис работает в РФ, Польше, Румынии, Болгарии. Команда аналитической платформы: — Head of Data and Analytics; — Data Engineer - 3; — BI Analyst - 3; — ML Engineer - 4. Стек DE: Greenplum, S3, Apache NiFi, Apache Kafka, Apache Airflow, Python, DBT, CI\CD - Gitlab, REST API, Docker, Soda core. Проекты DE на 1 полугодие 2025: — разработка процессов обмена данных с внешними системами; — подключение двух новых источников, help desk и app metrica; — оптимизация платформы данных. Смежные команды: 7 продуктовых команд, в РФ и Европе, команда DevOps, команда саппорта и др. Зона ответственности: — проектирование, разработка и оптимизация архитектуры DWH (Greenplum, Data Vault); — разработка и поддержка ETL-процессов с использованием Nifi и Airflow, подключение новых источников данных; — написание трансформаций и моделирование данных с использованием DBT; — мониторинг и контроль работы регламентных процессов обновления данных; — решение инцидентов с качеством данных; — создание витрин данных; — поддержка CI/CD процессов для обработчиков и загрузчиков данных; — документация обработчиков данных и витрин, которые часто используются; — рефакторинг имеющихся обработчиков с целью оптимизации; — создавать решения (например, для заливки моделей / фичей) оптимизированные под запись; — наполнение базы знаний; Пожелания к опыту: — знание методологий проектирования DWH; — опыт в разработке и поддержке DWH и ETL от 3 лет; — знание SQL на хорошем уровне: оконные функции, иерархические запросы, оптимизация производительности запросов; — опыт работы с DBT; — хорошее знание Python: знать что такое virtualenv, уметь remote-development, уметь оформлять тесты и настраивать линтеры; — хорошее знание Airflow: уметь писать собственные hooks и operators, умение пользоваться внутренними возможностями airflow по хранению параметров соединений, создание и поддержание документации по дагам; — Linux: знание основных команд, умение писать bash-скрипты, умение работать с pipe; — умение работать с docker контейнерами; — опыт работы с git, настройка пайплайнов в gitlab-ci; — опыт настройки и использования Apache Kafka, знание Avro формата; — хорошее знание REST API; Nice to have: — опыт работы с S3; — опыт работы с колоночными СУБД (Greenplum, Vertica, Teradata, Clickhouse): уметь разворачивать, проектировать схемы для витрин в зависимости от назначения, настраивать мониторинг и бэкапы, анализ и оптимизация запросов; — Apache NiFi: хотя бы уверенные теоретические знания; — Soda Core; — знание Cloud concepts (Yandex Cloud, AWS); Условия: — формат работы: на выбор - офис, гибрид, удаленка (можно вне РФ); — оформление: ТК РФ, ИП; — оклад: 300-390К руб gross + ежегодное повышение ЗП; — ДМС со стоматологией; — отсрочка от призыва и мобилизации (аккредитованная ИТ компания); — гибкое начало рабочего дня (с 08:00 до 11:00 мск); — техника на выбор: MacBook Pro или PC Dell; — открытая простая коммуникация в команде; Процесс найма: Видео-звонок с HR → Техническое вью → Финальное вью → Оффер. Контакты для связи: @Shvedova1

Data Science Jobs

@datasciencejobs · Post #3174 · 10.03.2026 г., 06:04

#вакансия#dataanalyst#sql#greenplum#dwh#horeca#job#удалённо 🔍Senior Data Analyst (HoReCa / DWH) Ищем «следователя по данным» в проект общепита (сеть ресторанов/доставка). Критически важна роль: отвечаете за чистоту данных в DWH, без вас отчеты по марже и фудкосту теряют смысл. 💰Зарплата: 250-270К руб/мес.Гросс 🎯Локация/гр.: Россия 🕰Срок проекта: 6 месяцев + 📄Оформление: только ИП ✅Чем нужно заниматься: — контроль качества данных в Greenplum / ClickHouse; — разбор инцидентов: почему пропали чеки / сломался фудкост / аномалия в продажах; — взаимодействие с источниками (iiko, R-Keeper, 1С) — инициируете и проверяете исправления; — доработка витрин и ad-hoc запросы. 🎯Must-have: — SQL: продвинутый уровень (окна, CTE, подзапросы, оптимизация); — опыт с DWH (слои, ETL, качество данных); — навык поиска аномалий и расследования инцидентов; — Jira/Confluence, любой BI (Superset/Форсайт). ➕Будет плюсом: — Greenplum / PostgreSQL; — DBT, OpenMetadata; — опыт в ритейле / HoReCa. 📩 Отклик с пометкой «DataScienceJobs» в TG:@AllaDemHR Наш канал в MAX: https://max.ru/datasciencejobs

Data Science Jobs

@datasciencejobs · Post #2147 · 11.06.2024 г., 07:41

#вакансия#de#fintech#remote Привет! Мы в поиске Data Engineer (middle+) Компания: Vsemirsoft Проект: банковский проект (входит в ТОП-50 банков РФ). Стек проекта: - #Hadoop, #GreenPlum, #S3; - #Airflow, #Spark, #Kafka, #Debezium; - #ClickHouse, #Superset Часовой пояс: Москва (UTC+03:00, Europe/Moscow) Формат работы: удаленный Зп: 285 тыс. руб. 📌Ключевые компетенции: - АБС - ЦФТ - DWH 📌 Требования: - ОПЫТ РАБОТЫ ОТ 3х ЛЕТ; - опыт работы с хранилищами данных и с отчетностью в АБС Банка; - понимание жизненного цикла разработки программного обеспечения 📌 Как преимущество: - понимание процессов формирования обязательной отчетности (ЦБ) 📌 Задачи в рамках проекта: - анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ); - реализация изменений и тестирование на стороне DWH; - взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений; - написание технических задач для развития детального и витринного уровней DWH; - анализ и контроль качества загрузки данных в DWH; - описание логической и физической модели DWH и сопровождение документации в части хранилища данных По всем вопросам обращаться:@odu_v_an