#cplusplus
ik_llama.cpp is an improved version of llama.cpp that runs faster on CPUs and hybrid GPU/CPU setups. It supports many new advanced quantization methods, which help models use less memory and run more efficiently. It also offers better performance for special models like DeepSeek and MoE, with faster prompt processing and token generation. You can run it on various hardware, including Android, and it has features to control where model data is stored (CPU or GPU). This means you get quicker AI responses and can handle bigger or more complex models smoothly on your computer or device[2][1][4].
https://github.com/ikawrakow/ik_llama.cpp
#python#ai#llm#rag#reasoning#retrieval
PageIndex is an advanced AI tool that helps you find the most relevant information in long professional documents by thinking and reasoning like a human expert, rather than just matching keywords. It organizes documents into a clear tree structure, similar to a table of contents, and searches through this structure to give precise, trustworthy answers with exact page references. This method avoids the common problems of traditional vector-based search, making it ideal for complex reports, legal texts, or financial filings. You can use it easily via cloud services or run it locally, improving your ability to analyze and understand large documents quickly and accurately.
https://github.com/VectifyAI/PageIndex
⚡️ Omni-Embed-Nemotron - новая единая модель от NVIDIA для поиска по тексту, изображениям, аудио и видео
Модель обучена на разнообразных мультимодальных данных и может объединять разные типы входных сигналов в общее векторное представление.
- Поддержка всех типов данных: текст, изображение, аудио, видео.
- Основана на архитектуре Qwen Omni (Thinker-модуль, без генерации текста).
- Контекст - до 32 768 токенов, размер embedding — 2048.
- Оптимизирована под GPU, поддерживает FlashAttention 2.
Это делает её идеальной для:
- кросс-модального поиска (поиск текста по видео или изображению);
- улучшения RAG-проектов;
- систем мультимодального понимания контента.
Просто, быстро и эффективно - всё в одном открытом решении.
🌐 Открытая модель: https://huggingface.co/nvidia/omni-embed-nemotron-3b
@ai_machinelearning_big_data
#crossmodal#retrieval#openAI#NVIDIA#OmniEmbed#multimodal#AIModels#OpenSource#Search#UnifiedEmbedding