🐍Парсинг сайтов на Python
Одна из самых востребованных задач на фрилансе — парсинг, представляющий из себя автоматический сбор данных с веб-сайтов. В этом плейлисте автор создал парсеры популярных сайтов, учитывая все нюансы, которые возникают про разработке.
1. Быстрый парсинг несколькими процессами с экспортом в csv
[48:14]
2. Парсим объявления на Avito
[47:38]
3. Парсинг Avito: собираем номера телефонов
[33:08]
4. Приемы работы с библиотекой BeautifulSoup
[38:54]
5. Как использовать прокси и менять User-Agent
[43:31]
6. Анализ "ненормальных" сайтов
[22:31]
7. Как скачивать картинки и другие файлы
[27:08]
8. Работа с ошибками на примере нерабочих парсеров
[38:16]
#парсинг#python
#python#ai#llm#rag#reasoning#retrieval
PageIndex is an advanced AI tool that helps you find the most relevant information in long professional documents by thinking and reasoning like a human expert, rather than just matching keywords. It organizes documents into a clear tree structure, similar to a table of contents, and searches through this structure to give precise, trustworthy answers with exact page references. This method avoids the common problems of traditional vector-based search, making it ideal for complex reports, legal texts, or financial filings. You can use it easily via cloud services or run it locally, improving your ability to analyze and understand large documents quickly and accurately.
https://github.com/VectifyAI/PageIndex
⚡️ Omni-Embed-Nemotron - новая единая модель от NVIDIA для поиска по тексту, изображениям, аудио и видео
Модель обучена на разнообразных мультимодальных данных и может объединять разные типы входных сигналов в общее векторное представление.
- Поддержка всех типов данных: текст, изображение, аудио, видео.
- Основана на архитектуре Qwen Omni (Thinker-модуль, без генерации текста).
- Контекст - до 32 768 токенов, размер embedding — 2048.
- Оптимизирована под GPU, поддерживает FlashAttention 2.
Это делает её идеальной для:
- кросс-модального поиска (поиск текста по видео или изображению);
- улучшения RAG-проектов;
- систем мультимодального понимания контента.
Просто, быстро и эффективно - всё в одном открытом решении.
🌐 Открытая модель: https://huggingface.co/nvidia/omni-embed-nemotron-3b
@ai_machinelearning_big_data
#crossmodal#retrieval#openAI#NVIDIA#OmniEmbed#multimodal#AIModels#OpenSource#Search#UnifiedEmbedding