TGINSIGHT SIMILAR POSTS
Изходен канал @clockstackwheels · Post #851 · 2.08
Впервые использовал нейросетку для реальной практической пользы в коммерческом заказе. У заказчика есть база данных, куда информация вносится кое-как. Представьте, что вы составляете каталог, например, книг, и в базе данных предусмотрены поля: "Автор книги", "Название книги", "Число страниц" и ещё десяток других полей с информацией. Но заполняют эту базу другие люди, которых вы не контролируете, поэтому информация может случайным образом лежать в любом произвольном поле, быть введена с ошибками, опечатками и так далее. В реальном заказе были не книги, я просто привожу пример такой же задачи. Вот как это может выглядеть: 1. В поле "Автор" написано "Лондон, Дж. Белый Клык", поле "Название" при этом пустое. 2. В поле "Название" написано "150-страничный сборник рецептов", поле "Число страниц" пустое 3. В поле "Название" написано "джеклондон мартин иден", поле с автором пустое 4. В поле "Автор" написано "150-стр.3изд,доп.перераб инструкция по пользованию подстанциями типа ТП-13, М.Васильев москва 98" ...и так далее. А нужно искать нормально по автору, названию, числу страниц, городу и году издания. Никакими прямыми алгоритмами это не берётся: регулярки, поиск по ключевым словам, морфология, нечёткая логика — всё это либо даёт много ложноположительных результатов, либо (если подкрутить пороговые значения) вообще перестаёт искать. И вот тут в какой-то момент мы решили попробовать запрашивать через API GPT. Нейросетке задаётся следующий промт: "Есть следующая информация: «150-страничный роман джеклондон мартин иден». Если здесь есть то, что похоже на имя автора книги, напиши мне его, иначе ответь null". И, надо сказать, даже 3.5 справляется с этой работой очень хорошо. Получилось сравнительно без ошибок разметить около 80% данных (остальные с ошибками даже после нейросетки). Но, важный нюанс. Сначала мы пытались поймать все данные одним запросом: "GPT, выведи мне JSON, в котором есть автор, название, число страниц...", но тесты показали, что значительно эффективнее будет отдельно спросить 5 раз про 5 разных типов данных. Да, это расходует больше токенов, но они и так сравнительно дёшевы. Кстати, API у OpenAI безбожно глючит даже на платном тарифе. Обещанных 3500 запросов в минуту нет даже приблизительно. По факту удаётся отправлять около 200-300 запросов в минуту, потом оно вываливается в таймауты или ошибку 429, нужно делать какие-то умные паузы, ждать итд. Над этим всем пришлось повозиться, зато результат вполне ощутимый. #dev
Hashtags
Търсене: #filesystem
@sudo_recast · Post #484 · 02.11.2022 г., 03:09
LXC https://linuxcontainers.org/lxc/manpages//man7/lxc.7.html Overlay #Filesystem https://www.kernel.org/doc/html/latest/filesystems/overlayfs.html https://wiki.archlinux.org/title/Overlay_filesystem #til#container
Hashtags
@githubtrending · Post #14657 · 01.05.2025 г., 14:30
#c_lang#embedded#filesystem#microcontroller LittleFS is a file system designed for small devices like microcontrollers. It helps keep your data safe even if the power goes off suddenly. This is because it uses a "copy-on-write" system, which means it doesn't overwrite old data until the new data is safely stored. LittleFS also helps extend the life of your storage by spreading out writes across different areas, a process called wear leveling. This makes it very reliable and efficient for devices with limited memory and storage. https://github.com/littlefs-project/littlefs
@githubtrending · Post #14917 · 05.07.2025 г., 13:00
#rust#bigdata#cloud_native#distributed_systems#filesystem#minio#object_storage#oss#rust#s3 RustFS is a fast and safe distributed object storage system built with Rust, offering high performance and scalability for large data needs like AI and big data. It is compatible with S3, easy to use, and open source under the business-friendly Apache 2.0 license. Compared to others like MinIO, RustFS provides better memory safety, no risky data logging, and supports local cloud providers. You can quickly install it via a script or Docker, manage storage through a simple web console, and benefit from a strong community and detailed documentation. This makes RustFS a reliable, cost-effective choice for secure, scalable storage. https://github.com/rustfs/rustfs
@githubtrending · Post #15561 · 14.03.2026 г., 12:30
#python#agent#agentic_rag#ai_agents#clawbot#context_database#context_engineering#filesystem#llm#memory#openclaw#opencode#rag#skill OpenViking is a free open-source tool that acts as a context database for AI agents, using a simple file system to organize memories, resources, and skills under viking:// paths. It fixes issues like scattered data, high token costs, weak searches, and untraceable errors with tiered loading (L0 abstracts, L1 overviews, L2 details loaded on demand), recursive directory retrieval, visual traces, and auto-session memory updates. You benefit by building smarter, cheaper agents faster—like managing files—saving up to 96% on tokens while boosting task success by 50%+. https://github.com/volcengine/OpenViking