Асинхронно скачиваем файлы
Имея список ссылок на картинки, которые нужно скачать, мы можем это сделать используя простой цикл for, тем самым скачав их последовательно одна за одной.
Но в таких ситуациях как эта (скачивание огромного количества небольших файлов) распараллеливание задачи существенно ускорит процесс.
Для этого воспользуемся функцией ThreadPoolExecutor из стандартного пакета concurrent.futures. Она позволяет запустить нашу функцию, в нескольких екземплярах в параллельных потоках. В конструкторе необходимо указать максимальное количество потоков, которые будут одновременно запущены.
Далее метод .map(download, urls) создает екземпляры нашей функции для скачивания файла, и раскидывает в них элементы списка urls.
Но будьте внимательны: так как скачивание файла — это IO-операция, такой метод не ускоряет вычисления кода. Он лишь позволяет запустить скачивание следующего файла, не дождавшись пока скачается предыдущий.
#python#threading
http://www.blopig.com/blog/2016/08/processing-large-files-using-python/
Oxford Protein Informatics Group (OPIG)
Processing large files using python
In the last year or so, and with my increased focus on ribo-seq data, I have come to fully appreciate what the term #big_data means. The ribo-seq studies in their raw forms can easily reach into hundreds of GBs, which means that processing them in both a timely and efficient manner requires some thought. In this blog post, and hopefully those following, I want to detail some of the methods I have come up (read: pieced together from multiple stack exchange posts), that help me take on data of this magnitude. Specifically I will be detailing methods for #python and R, though some of the methods are transferrable to other languages.
https://docs.python.org/2/library/multiprocessing.html
#multiprocessing is a package that supports spawning processes using an #API similar to the #threading module. The multiprocessing package offers both local and remote #concurrency, effectively side-stepping the Global Interpreter Lock by using subprocesses instead of #threads. Due to this, the multiprocessing module allows the programmer to fully leverage multiple processors on a given machine. It runs on both Unix and Windows.
#Вакансия#Ищу#Работа#Удаленка#DataScientist#Python
Вакансия: Data Scientist (middle+)
Компания: ВГК
Формат: Удаленная работа, полная занятость.
Зарплата: 200 000 руб. на руки
⚡️Восточная горнорудная компания - является одним из крупнейших российских экспортеров бурого угля в страны АТР. Компания контролирует всю цепочку от добычи до отгрузки продукции в Азиатско-Тихоокеанский регион. Компания вкладывается в повышение операционной эффективности за счет цифровизации. IT отдел компании создают инструменты, которые помогают определить проблемы, решать проблемы с точки зрения операционного управления.
👨💻Обязанности:
Функциональная область: участие в разработке ML-решения с использованием данных промышленного интернета вещей (IIoT).
Предметная область включает работу: с временными рядами (телеметрия IIoT), структурированными данными (производственные операции и простои, производственные показатели и данные), геоинформационными данными (местоположение и передвижение техники).
💼Требования:
- Уверенное использование языка Python (pandas, etc) для анализа данных и построения моделей, расширенные функции SQL (Postgres / PostGis).
- Опыт работы от 5 лет в области анализа данных, математического моделирования.
- Будет большим преимуществом, опыт работы в проектах логистической, транспортной оптимизации.
🗓Ты нам подходишь, если:
- Предпочитаешь командную работу
- Тебе близка работа в области логистики, промышленности, транспортировки.
- Будет классно, если ты из ДВФО или Сибирского округа
📈Мы предлагаем:
-Работу в стабильной компании;
-Возможность влиять на процессы, реализовывать свои идеи;
-Официальное оформление по ТК РФ;
-Карьерный и профессиональный рост.
Контакт: @musit
Мы знаем, вы дуреете с этой прикормки
☺️
📣 24 марта стартует онлайн-практикум по автоматизации тестирования (#SDET: Java и Python).
😎 За 2 недели поможем тебе освоить современные инструменты и стандарты разработки кода, лучшие практики автоматизированного тестирования на #Java и #Python, а также получить опыт разработки тестовых фреймворков для Web UI и REST API.
Как принять участие?
🔹До 3 марта – зарегистрироваться на практикум и заполнить анкету.
🔹До 9 марта – качественно выполнить тестовое задание (ТЗ), которое мы вышлем на почту. Это необходимо для определения твоего уровня знаний.
🔹24 марта – старт практикума (тем, кто пройдет на практикум, сообщим точное время в приветственном письме).
👉🏻Продолжительность – 2 недели.
❗️Участие бесплатное, но количество мест ограничено.
Кому подойдет практикум?
🔸специалистам с навыками в разработке, которые хотят сменить сферу деятельности;
🔸специалистам, у которых есть опыт в тестировании IT-продукта;
🔸начинающим IT-специалистам с базовыми знаниями и навыками в разработке. Джуны, это ваш шанс!
🤩
По итогам практикума у тебя будет возможность получить приглашение на стажировку или собеседование в SDET-команду #SimbirSoft🤗
➡️Регистрируйся и заполняй анкету
⬅️
#Python#webDevelopment#Book
🐍
Django 4 for the Impatient. Learn the core concepts of Python web development with Django in one weekend
✍ G. Lim, D. Correa
📆: 2022
ISBN: 9781803245836
-----
Main channel: @repo_science
Coupons: @freecoupons_reposcience
-----