Многие из тех кто активно работал с Python2 несколько удивлены, почему в Python3 удобная функция reload() переехала из builtin в imp а потом и в importlib?
Ну было же удобно! А теперь лишний импорт😖
Дело в том, что начиная с Python3.3 функция reload() переписана на Python вместо Cи.
Что это нам даёт?
🔸 Такой код проще поддерживать и развивать
🔸 Python код легче читать, изучать и понимать.
Сравните это ➡️ и это ➡️.
🔸 Как результат пункта 2, проще писать свои расширения импорта. Например, пользовательский импортёр с какой-либо хитрой логикой по аналогии с импортом из zip архивов.
А есть ли у этого решения недостатки? Да, они всегда есть.
🔹 Так как это не builtin функция, её следует импортнуть перед использованием
🔹 Скорость замедлилась примерно на 5%. Очевидно, что это совершенно не критично. К тому же от версии к версии логика импорта будет оптимизироваться и ускоряться.
В самом начале файла importlib/__init__.py мы видим такой импорт:
import _imp # Just the builtin component, NOT the full Python module
То есть часть функционала по прежнему написана на Си, но достаточно низкоуровневая.
#basic
#typescript#embedding#visualization
Embedding Atlas is a powerful tool that helps you easily visualize and explore large sets of data points called embeddings. It automatically groups and labels data, shows dense areas and outliers clearly, and lets you search for similar items in real time. It works fast even with millions of points using modern web technology and can be used in Python, Jupyter notebooks, or web apps. This means you can better understand complex data, find patterns, and make decisions faster without complicated setup or slow performance. It’s open source and privacy-friendly since your data stays on your device.
https://github.com/apple/embedding-atlas
🌟Embedding Atlas: визуализация структуры эмбедингов прямо в браузере.
Embedding Atlas — опенсорсный инструмент от Apple для интерактивной визуализации больших наборов векторных представлений, который позволяет не просто смотреть на облако точек, а полноценно с ним работать. И что самое приятное, он способен отрисовывать до нескольких миллионов точек благодаря реализации на WebGPU.
🟡Автоматическая кластеризация и разметка данных.
Embedding Atlas сам находит скопления в данных и подписывает их, позволяя мгновенно сориентироваться в общей структуре датасета. Чтобы отделить реальные кластеры от случайных выбросов, используется оценка плотности ядра с отрисовкой контуров плотности.
Решена и вечная проблема визуализаций - "каша" из перекрывающихся точек. Embedding Atlas использует технологию order-independent transparency, так что даже при большом наложении точек картинка остаётся четкой и информативной.
🟡Интерактивность.
В инструменте есть поиск в реальном времени и нахождение ближайших соседей. Можно ввести текстовый запрос или просто кликнуть на любую точку в облаке, и Embedding Atlas мгновенно подсветит наиболее похожие на нее данные.
Еще есть интерактивный фильтр по метаданным. Например, можно выбрать на гистограмме определенный класс объектов, и визуализация тут же отфильтрует эмбединги, оставив только соответствующие ему точки.
🟡Embedding Atlas поставляется в виде 2 пакетов:
🟢Python-пакет
Дает три варианта интеграции: утилиту командной строки для быстрой визуализации датафреймов, виджет для Jupyter, позволяющий встраивать атлас прямо в ноутбуки, и компонент для Streamlit, если вы создаете полноценные веб-приложения.
🟢Npm-пакет
Этот пакет для тех, кто хочет встроить визуализацию в собственные веб-приложения. Он предоставляет готовые UI-компоненты в виде API: Table, EmbeddingView, EmbeddingViewMosaic и EmbeddingAtlas.
📌Лицензирование: MIT License.
🟡Страница проекта
🟡Документация
🟡Demo
🖥GitHub
@ai_machinelearning_big_data
#AI#ML#Embedding#Visualisation#Apple
#typescript#embedding#mcp#telegram#telegram_bot
This tool helps you search through Telegram chat records using advanced technology like vector search and semantic matching. It uses OpenAI's semantic vector technology to make your searches smarter and more accurate. This means you can find messages more easily and quickly. It's beneficial because it saves time and helps you find important information in your chats. To use it, you need to install it on your computer by following some steps, and then you can access it through a local website.
https://github.com/groupultra/telegram-search
#python#deepseek#demo#easy#embedding#flask#gpt#huggingface_transformers#llm#mcp#multimodal#openai#qwen#rag#sentence_transformers#ui#vllm#vlm
UltraRAG is a lightweight framework that makes building retrieval-augmented generation (RAG) systems simple and fast. It uses a low-code approach where you write just dozens of lines of YAML configuration instead of complex code to create sophisticated AI workflows with conditional logic and loops. The framework includes a visual development environment where you can drag-and-drop to build pipelines, adjust parameters in real-time, and instantly convert your logic into interactive chat applications. This means you can deploy powerful AI systems that ground answers in your own data—reducing hallucinations and improving accuracy—without needing extensive coding expertise or lengthy development cycles.
https://github.com/OpenBMB/UltraRAG