#python#crawler#crawling#framework#hacktoberfest#python#scraping#web_scraping#web_scraping_python
Scrapy is a powerful tool for extracting data from websites. It works on many platforms and requires Python 3.9 or higher. Scrapy is free, stable, and can handle complex tasks efficiently. It allows you to manage multiple requests at once, making it fast and efficient for large-scale data extraction. Scrapy also supports various formats for storing data and has features like auto-throttling to prevent overwhelming websites. This makes it a great choice for users who need to collect data from many websites quickly and reliably.
https://github.com/scrapy/scrapy
#python#ai#llm#rag#reasoning#retrieval
PageIndex is an advanced AI tool that helps you find the most relevant information in long professional documents by thinking and reasoning like a human expert, rather than just matching keywords. It organizes documents into a clear tree structure, similar to a table of contents, and searches through this structure to give precise, trustworthy answers with exact page references. This method avoids the common problems of traditional vector-based search, making it ideal for complex reports, legal texts, or financial filings. You can use it easily via cloud services or run it locally, improving your ability to analyze and understand large documents quickly and accurately.
https://github.com/VectifyAI/PageIndex
⚡️ Omni-Embed-Nemotron - новая единая модель от NVIDIA для поиска по тексту, изображениям, аудио и видео
Модель обучена на разнообразных мультимодальных данных и может объединять разные типы входных сигналов в общее векторное представление.
- Поддержка всех типов данных: текст, изображение, аудио, видео.
- Основана на архитектуре Qwen Omni (Thinker-модуль, без генерации текста).
- Контекст - до 32 768 токенов, размер embedding — 2048.
- Оптимизирована под GPU, поддерживает FlashAttention 2.
Это делает её идеальной для:
- кросс-модального поиска (поиск текста по видео или изображению);
- улучшения RAG-проектов;
- систем мультимодального понимания контента.
Просто, быстро и эффективно - всё в одном открытом решении.
🌐 Открытая модель: https://huggingface.co/nvidia/omni-embed-nemotron-3b
@ai_machinelearning_big_data
#crossmodal#retrieval#openAI#NVIDIA#OmniEmbed#multimodal#AIModels#OpenSource#Search#UnifiedEmbedding