TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

Резултати

Пронајдени 2 слични објави

Пребарај: #faiss

当前筛选 #faiss清除筛选
GitHub Trends

@githubtrending · Post #15295 · 11.11.2025 г., 17:00

#python#ai#faiss#gpt_oss#langchain#llama_index#llm#localstorage#offline_first#ollama#privacy#python#rag#retrieval_augmented_generation#vector_database#vector_search#vectors LEANN is a tiny, powerful vector database that lets you turn your laptop into a personal AI assistant capable of searching millions of documents using 97% less storage than traditional systems without losing accuracy. It works by storing a compact graph and computing embeddings only when needed, saving huge space and keeping your data private on your device. You can search your files, emails, browser history, chat logs, live data from platforms like Slack and Twitter, and even codebases—all locally without cloud costs. This means fast, private, and efficient AI-powered search and retrieval on your own laptop. https://github.com/yichuan-w/LEANN

GitHub Trends

@githubtrending · Post #15168 · 25.09.2025 г., 12:30

#python#ai#context#embedded#faiss#knowledge_base#knowledge_graph#llm#machine_learning#memory#nlp#offline_first#opencv#python#rag#retrieval_augmented_generation#semantic_search#vector_database#video_processing Memvid lets you store millions of text pieces inside a single MP4 video file using QR codes, making your data 50-100 times smaller than usual databases. You can search this video instantly in under 100 milliseconds without needing servers or internet after setup. It works offline, is easy to use with simple Python code, and supports PDFs and chat with your data. The upcoming version 2 will add features like continuous memory updates, shareable capsules, fast local caching, and better video compression, making your AI memory smarter, faster, and more flexible. This means you get a powerful, portable, and efficient way to manage and search huge knowledge bases quickly and easily. https://github.com/Olow304/memvid