Три способа выполнить множество задач с asyncio
Функция для примера:
async def do_it(n):
await asyncio.sleep(random.uniform(0.5, 1))
return n
1. Последовательный вызов
async def main():
for i in range(100):
result = await do_it(i)
Такой вызов имеет смысл только тогда, когда результат одной задачи требуется для вызова следующей.
Если они независимы, то это антипаттерн, так как аналогичен простому синхронному вызову по очереди.
2. Упорядоченный результат
async def main():
tasks = [do_it(i) for i in range(100)]
results = await asyncio.gather(*tasks)
Выполняет корутины конкурентно и возвращает результат в виде списка.
Полезен когда требуется получить результаты в том же порядке в котором задачи отправлены.
3. Результат по мере готовности
tasks = [asyncio.create_task(do_it(i)) for i in range(100)]
for cor in asyncio.as_completed(tasks):
result = await cor
Так же выполняет корутины конкурентно, но не гарантирует порядок. Результат возвращается по мере готовности, каждый отдельно.
Полезен когда нужно обработать любой ответ как можно скорее.
#async
#GitLab
Modern CI/CD with GitLab: Productivity and Workflow Boost
Your journey to the modern CI/CD with Gitlab starts here! Learn how you can boost your productivity and workflows.
🔗Link
-----
Main channel:@repo_science
Coupons: @freecoupons_reposcience
-----
🦊 Настройка автоматизация проверки качества, сборки и запуск тестов Android проекта в Gitlab
CI/CD - неотъемлемая часть любого мобильного и не только проекта! Даже если вы делаете всё один, вас стоит настроить CI/CD. GitHub, Gitlac, Jenkins и множество других решений подойдут для решения задачи.
Если вы решили использовать CI/CD от Gitlab, тогда вам может пригодиться серия статей:
1️⃣Планирование, настройка Gitlab файла, публикация в Telegram сборок
2️⃣Запуск Android-тестов: Marathon Labs, Firebase Test Lab
3️⃣Автоматизация публикации версий в Play Store с помощью Gradle Play Publisher plugin и Fastlane, а также собственного Docker образа для сборки
#andorid#ci#gitlab#автоматизация
#вакансия#инженер#engineer#DataEngineer#middle#machinelearning#Python#PostgreSQL#SQL#Redis#gitlab#работа#job#удаленно
Компания: Sever X
Формат: удаленно
Занятость: полная, 5/2
💵: от 250 000 руб.
🚀Отличная возможность для опытного Data Engineer реализовать и развить как технические компетенции, так и навыки коммуникации с бизнесом, лидерские качества, навыки формирования команды. С развитием проекта предполагается создание команды под себя, сейчас необходимо возглавить текущие задачи и реализовать их.
🗝задача: поддержка и развитие Data Lake и связанных с ним проектов
📍Основные обязанности
•Интеграция с источниками данных и построение ETL-процессов
•Разработка и поддержка аналитической отчётности системами и API
•Выявление и устранение аномалий в данных
•Взаимодействие с другими членами команды
🛠Стек:
Основной язык разработки – Python 3.8
Платформа разработки – Яндекс.Облако (Managed Services + виртуальные машины)
Хранилища данных – GreenPlum 6.2, PostgreSQL 14, Redis
Оркестратор процессов – Apache Airflow 2.0
Система управления версиями – GitLab
Контейнеризация приложений – Docker + k8s
📍Обязательные требования
•Уверенное владение SQL: базовый синтаксис, транзакции, представления, хранимые процедуры
•Опыт интеграции с различными источниками данных: файловые системы (локальные/ftp/sftp), API, SQL и NoSQL базы данных
•Понимание принципа работы распределённых баз данных
•Знание Python 3: модули pandas, pyodbc (либо другие модули, имплементирующие ODBC), paramiko, requests
•Базовые навыки использования Linux
🔥Преимуществом при отборе будет:
•Опыт работы с распределёнными хранилищами данных: Hadoop (Hive/Impala), GreenPlum, ClickHouse
•Опыт разработки пайплайнов на Apache Airflow
•Навыки оптимизации процессов SQL
•Опыт реализации RestAPI
⚖️Условия работы и что мы можем предложить взамен:
•Место работы: удаленно
•Возможны различные варианты оформления
•Рассматриваются кандидаты в часовом поясе максимум +5 часов к МСК
•Обязательно наличие гражданства РФ
•Квартальные премии в размере 30% от квартального оклада
•ДМС со стоматологией
•Профессиональная и амбициозная команда
•Открытая корпоративная культура, атмосфера доверия и сотрудничества
•Драйв, высокие скорости, непосредственное влияние на результат
📲контакт: @Oskar17