TGTGInsightаналитика telegramLIVE / telegram public index
← [404] — программирование

TGINSIGHT SIMILAR POSTS

Найти похожее

Источник @procode404 · Post #3184 · 25 авг.

​​🐍Парсинг сайтов на Python Одна из самых востребованных задач на фрилансе — парсинг, представляющий из себя автоматический сбор данных с веб-сайтов. В этом плейлисте автор создал парсеры популярных сайтов, учитывая все нюансы, которые возникают про разработке. 1. Быстрый парсинг несколькими процессами с экспортом в csv [48:14] 2. Парсим объявления на Avito [47:38] 3. Парсинг Avito: собираем номера телефонов [33:08] 4. Приемы работы с библиотекой BeautifulSoup [38:54] 5. Как использовать прокси и менять User-Agent [43:31] 6. Анализ "ненормальных" сайтов [22:31] 7. Как скачивать картинки и другие файлы [27:08] 8. Работа с ошибками на примере нерабочих парсеров [38:16] #парсинг#python

Результаты

Найдено 1 похожих постов

Поиск: #parallelism

当前筛选 #parallelism清除筛选
djangoproject

@djangoproject · Post #118 · 08.08.2016, 11:44

https://docs.python.org/3/library/multiprocessing.html multiprocessing is a package that supports spawning processes using an API similar to the threading module. The multiprocessing package offers both local and remote concurrency, effectively side-stepping the Global Interpreter Lock by using subprocesses instead of threads. Due to this, the multiprocessing module allows the programmer to fully leverage multiple processors on a given machine. It runs on both Unix and Windows. The #multiprocessing module also introduces #APIs which do not have analogs in the #threading#module. A prime example of this is the Pool object which offers a convenient means of parallelizing the execution of a function across multiple input values, distributing the input data across processes (data #parallelism). The following example demonstrates the common practice of defining such functions in a module so that child processes can successfully import that module. This basic example of data parallelism using Pool,