🐍Парсинг сайтов на Python
Одна из самых востребованных задач на фрилансе — парсинг, представляющий из себя автоматический сбор данных с веб-сайтов. В этом плейлисте автор создал парсеры популярных сайтов, учитывая все нюансы, которые возникают про разработке.
1. Быстрый парсинг несколькими процессами с экспортом в csv
[48:14]
2. Парсим объявления на Avito
[47:38]
3. Парсинг Avito: собираем номера телефонов
[33:08]
4. Приемы работы с библиотекой BeautifulSoup
[38:54]
5. Как использовать прокси и менять User-Agent
[43:31]
6. Анализ "ненормальных" сайтов
[22:31]
7. Как скачивать картинки и другие файлы
[27:08]
8. Работа с ошибками на примере нерабочих парсеров
[38:16]
#парсинг#python
# The standard string repr for dicts is hard to read:
»> my_mapping = {'a': 23, 'b': 42, 'c': 0xc0ffee}
»> my_mapping
{'b': 42, 'c': 12648430. 'a': 23} # 😞
# The "#json" module can do a much better job:
»> import json
»> print(json.dumps(my_mapping, indent=4, sort_keys=True))
{
"a": 23,
"b": 42,
"c": 12648430
}
# Note this only works with dicts containing
# primitive types (check out the "pprint" module):
»> json.dumps({all: 'yup'})
TypeError: keys must be a string
История(12м) как в Альфа-Банке сокращали размер JSON файла, который передается на устройство для работы SDUI. Решением стала шаблонизация для отказа от одинаковых блоков UI с разными данными
#оптимизация#json
¿Que puede hacer este bot?
@apimaniaBot
Con éste bot puedes crear PDF a partir de páginas web, convertir texto a imágenes, convertir tablas HTML a json y mucho más
Idioma: español
(Visto en @botsgram_cu)
#pdf#web#texto#imágenes#hrml#json