Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

#async

Резултати

Пронајдени 2 слични објави

Пребарај: #mlsys

当前筛选 #mlsys清除筛选

GitHub Trends

@githubtrending · Post #15091 · 24.08.2025 г., 11:30

Најди слично Погледај

#python#comfyui#diffusion#flux#genai#mlsys#quantization Nunchaku is a fast and efficient engine that runs 4-bit neural networks using a special method called SVDQuant, which compresses models to use less memory and speed up processing by 2 to 5 times compared to older methods. It supports advanced AI models for tasks like high-quality text-to-image generation and image editing, working best on modern NVIDIA GPUs. You can easily install and use it with ComfyUI, and it has active community support on Slack, Discord, and WeChat. This means you can generate or edit images quickly with less computing power, saving time and resources. It also offers tutorials and example workflows to help you get started smoothly. https://github.com/nunchaku-tech/ComfyUI-nunchaku

Hashtags

#python #comfyui #diffusion #flux #genai #mlsys #quantization

GitHub Trends

@githubtrending · Post #15539 · 05.03.2026 г., 11:30

Најди слично Погледај

#python#agent#llm#llm_agent#llm_reasoning#machine_learning_systems#mlsys#reinforcement_learning#rl AReaL is a free, open-source system for fast asynchronous reinforcement learning to train large AI models in math, coding, search, and agents. It decouples generation and training for up to 2.77x speedup, stable performance, and easy setup on single or 1000+ GPUs with algorithms like GRPO/PPO. Install via git/pip, run examples like GSM8K math instantly. You benefit by building top AI agents affordably and quickly, reproducing results with shared data/models, saving time/money vs. slow synchronous tools. https://github.com/inclusionAI/AReaL

Hashtags

#python #agent #llm #llm_agent #llm_reasoning #machine_learning_systems #mlsys #reinforcement_learning #rl