TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #851 · 2.08

Впервые использовал нейросетку для реальной практической пользы в коммерческом заказе. У заказчика есть база данных, куда информация вносится кое-как. Представьте, что вы составляете каталог, например, книг, и в базе данных предусмотрены поля: "Автор книги", "Название книги", "Число страниц" и ещё десяток других полей с информацией. Но заполняют эту базу другие люди, которых вы не контролируете, поэтому информация может случайным образом лежать в любом произвольном поле, быть введена с ошибками, опечатками и так далее. В реальном заказе были не книги, я просто привожу пример такой же задачи. Вот как это может выглядеть: 1. В поле "Автор" написано "Лондон, Дж. Белый Клык", поле "Название" при этом пустое. 2. В поле "Название" написано "150-страничный сборник рецептов", поле "Число страниц" пустое 3. В поле "Название" написано "джеклондон мартин иден", поле с автором пустое 4. В поле "Автор" написано "150-стр.3изд,доп.перераб инструкция по пользованию подстанциями типа ТП-13, М.Васильев москва 98" ...и так далее. А нужно искать нормально по автору, названию, числу страниц, городу и году издания. Никакими прямыми алгоритмами это не берётся: регулярки, поиск по ключевым словам, морфология, нечёткая логика — всё это либо даёт много ложноположительных результатов, либо (если подкрутить пороговые значения) вообще перестаёт искать. И вот тут в какой-то момент мы решили попробовать запрашивать через API GPT. Нейросетке задаётся следующий промт: "Есть следующая информация: «150-страничный роман джеклондон мартин иден». Если здесь есть то, что похоже на имя автора книги, напиши мне его, иначе ответь null". И, надо сказать, даже 3.5 справляется с этой работой очень хорошо. Получилось сравнительно без ошибок разметить около 80% данных (остальные с ошибками даже после нейросетки). Но, важный нюанс. Сначала мы пытались поймать все данные одним запросом: "GPT, выведи мне JSON, в котором есть автор, название, число страниц...", но тесты показали, что значительно эффективнее будет отдельно спросить 5 раз про 5 разных типов данных. Да, это расходует больше токенов, но они и так сравнительно дёшевы. Кстати, API у OpenAI безбожно глючит даже на платном тарифе. Обещанных 3500 запросов в минуту нет даже приблизительно. По факту удаётся отправлять около 200-300 запросов в минуту, потом оно вываливается в таймауты или ошибку 429, нужно делать какие-то умные паузы, ждать итд. Над этим всем пришлось повозиться, зато результат вполне ощутимый. #dev

Hashtags

Резултати

Намерени 4 подобни публикации

Търсене: #embedding

当前筛选 #embedding清除筛选
GitHub Trends

@githubtrending · Post #15053 · 12.08.2025 г., 14:00

#typescript#embedding#visualization Embedding Atlas is a powerful tool that helps you easily visualize and explore large sets of data points called embeddings. It automatically groups and labels data, shows dense areas and outliers clearly, and lets you search for similar items in real time. It works fast even with millions of points using modern web technology and can be used in Python, Jupyter notebooks, or web apps. This means you can better understand complex data, find patterns, and make decisions faster without complicated setup or slow performance. It’s open source and privacy-friendly since your data stays on your device. https://github.com/apple/embedding-atlas

Machinelearning

@ai_machinelearning_big_data · Post #8262 · 13.08.2025 г., 13:04

🌟Embedding Atlas: визуализация структуры эмбедингов прямо в браузере. Embedding Atlas — опенсорсный инструмент от Apple для интерактивной визуализации больших наборов векторных представлений, который позволяет не просто смотреть на облако точек, а полноценно с ним работать. И что самое приятное, он способен отрисовывать до нескольких миллионов точек благодаря реализации на WebGPU. 🟡Автоматическая кластеризация и разметка данных. Embedding Atlas сам находит скопления в данных и подписывает их, позволяя мгновенно сориентироваться в общей структуре датасета. Чтобы отделить реальные кластеры от случайных выбросов, используется оценка плотности ядра с отрисовкой контуров плотности. Решена и вечная проблема визуализаций - "каша" из перекрывающихся точек. Embedding Atlas использует технологию order-independent transparency, так что даже при большом наложении точек картинка остаётся четкой и информативной. 🟡Интерактивность. В инструменте есть поиск в реальном времени и нахождение ближайших соседей. Можно ввести текстовый запрос или просто кликнуть на любую точку в облаке, и Embedding Atlas мгновенно подсветит наиболее похожие на нее данные. Еще есть интерактивный фильтр по метаданным. Например, можно выбрать на гистограмме определенный класс объектов, и визуализация тут же отфильтрует эмбединги, оставив только соответствующие ему точки. 🟡Embedding Atlas поставляется в виде 2 пакетов: 🟢Python-пакет Дает три варианта интеграции: утилиту командной строки для быстрой визуализации датафреймов, виджет для Jupyter, позволяющий встраивать атлас прямо в ноутбуки, и компонент для Streamlit, если вы создаете полноценные веб-приложения. 🟢Npm-пакет Этот пакет для тех, кто хочет встроить визуализацию в собственные веб-приложения. Он предоставляет готовые UI-компоненты в виде API: Table, EmbeddingView, EmbeddingViewMosaic и EmbeddingAtlas. 📌Лицензирование: MIT License. 🟡Страница проекта 🟡Документация 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI#ML#Embedding#Visualisation#Apple

GitHub Trends

@githubtrending · Post #14750 · 25.05.2025 г., 13:00

#typescript#embedding#mcp#telegram#telegram_bot This tool helps you search through Telegram chat records using advanced technology like vector search and semantic matching. It uses OpenAI's semantic vector technology to make your searches smarter and more accurate. This means you can find messages more easily and quickly. It's beneficial because it saves time and helps you find important information in your chats. To use it, you need to install it on your computer by following some steps, and then you can access it through a local website. https://github.com/groupultra/telegram-search

GitHub Trends

@githubtrending · Post #15433 · 23.01.2026 г., 14:30

#python#deepseek#demo#easy#embedding#flask#gpt#huggingface_transformers#llm#mcp#multimodal#openai#qwen#rag#sentence_transformers#ui#vllm#vlm UltraRAG is a lightweight framework that makes building retrieval-augmented generation (RAG) systems simple and fast. It uses a low-code approach where you write just dozens of lines of YAML configuration instead of complex code to create sophisticated AI workflows with conditional logic and loops. The framework includes a visual development environment where you can drag-and-drop to build pipelines, adjust parameters in real-time, and instantly convert your logic into interactive chat applications. This means you can deploy powerful AI systems that ground answers in your own data—reducing hallucinations and improving accuracy—without needing extensive coding expertise or lengthy development cycles. https://github.com/OpenBMB/UltraRAG