Загрузка файлов асинхронно
Если у нас есть список URL картинок для загрузки, использование простого цикла for позволит нам загрузить их последовательно, по одной за раз.
Однако, для задач, включающих загрузку большогоколичества маленьких файлов, параллелизация может заметно ускорить процесс.
Для параллелизации мы можем использовать ThreadPoolExecutor из модуля concurrent.futures. Этот инструмент позволяет выполнить функцию загрузки в нескольких параллельных потоках, где в конструкторе необходимо указать максимальное количество потоков для одновременного выполнения.
С помощью метода .map(download, urls) можно развернуть функцию загрузки на каждый URL из списка, обеспечивая их параллельнуюобработку.
Важно понимать, что так как загрузка файлов является IO-операцией, данный метод неускоряет выполнение кода в прямом смысле, а скорее позволяет начать загрузку следующего файла, не ожидая завершения предыдущего.
#python#threading
http://docs.python-guide.org/en/latest/
Greetings, Earthling! Welcome to The Hitchhiker’s Guide to Python.
This is a living, breathing guide. If you’d like to contribute, fork us on GitHub!
This handcrafted guide exists to provide both novice and expert Python developers a best practice handbook to the installation, configuration, and usage of Python on a daily basis.
This guide is opinionated in a way that is almost, but not quite, entirely unlike Python’s official documentation. You won’t find a list of every #Python web framework available here. Rather, you’ll find a nice concise list of highly recommended options.
#learn
#vacancy#вакансия#python#data engineer #remote
Компания Swift Invention ищет разработчиков:
https://www.swiftinvention.com/#/
Data Engineer (Python)
Full-time
Remote
4000-5000USD
Required skills:
- 3+ years of work experience in developing data-related solutions
- Strong background in Python for data collecting and analysis
- Experience with building and maintaining web scrapers (data mining)
- Experience with preparing data for machine learning (ETL)
- Experience with relational databases (SQLite/MySQL/PostgreSQL)
- Bachelor’s degree or higher in computer science or a related field
Desired skills:
- Understanding of data modeling concepts
- Experience with creating ML data for text classification
- Experience with cloud computing platforms (e.g., AWS, Azure, GCP)
We offer:
- Paid time off (24 working days per year)
- Equipment: MacBook Pro or Dell laptop (m1, m2, i7, 16/32GB RAM)
- Flexible working hours
About the project:
Pakira is a SaaS industry directory, chat, forum, and order tracking for businesses in the wholesale wood industry.
Contacts: [email protected]
tg @HelenSwiftInv
🔥 Learn Python for Data Analysis: Easy Self-Study Roadmap
I made 2 diagrams☝️to help beginners who want to learn Python for data analysis on their own.
_____________________________________
#DataAnalyst#DataAnalytics#DataAnalysis#data_analyst#python
If you like this type of content, hit 🔥.
Give a FREE BOOST to My Channel https://t.me/boost/thinkbroadly