Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

#async

Резултати

Пронајдени 3 слични објави

Пребарај: #fastai

当前筛选 #fastai清除筛选

ChatGPT AI Technology News

@chatgpt_officialnews · Post #49 · 19.03.2025 г., 14:59

Најди слично Погледај

🚀Say Hello to GPT-O3 Mini – Small but Mighty!🧠💡 Need a lightweight AI that’s still smart? GPT-O3 Mini is your go-to choice! ⚡️🎯 ✨What makes it great? 🟢 Super Fast – Perfect for quick chats & short tasks! 🟢 Energy Efficient – Uses minimal resources but delivers big! 🟢 Great for Simple Tasks – Ask questions, get answers, and enjoy AI on the go! 💡How to use it? Simply type: 🔹 /model – Select GPT-O3 Mini for a fast & smooth AI experience! 🔹 Need help? @OpenAI_helpdesk 🔹 Join the discussion: https://t.me/chatgpt_officialchat 🔥 Try GPT-O3 Mini now and enjoy AI in its lightest form! ➖➖➖➖🔻 💎@Chatgpt_OfficialNews – Stay Updated! ⚡️ 🧠 BOT: @Chatgpt_OfficialBOT #️⃣#GPT#GPT-O3Mini #FastAI#LightweightAI#SmartTech ➖➖➖➖🔺

Hashtags

#gpt #fastai #lightweightai #smarttech

ChatGPT AI Technology News

@chatgpt_officialnews · Post #48 · 18.03.2025 г., 15:59

Најди слично Погледај

🚀 Meet GPT-O1 – The Fast & Reliable AI! 🤖 ⚡️ Looking for a quick, efficient AI for everyday tasks? GPT-O1 is here to help! 🧠💡 ✨What can it do? ✅ Fast & Lightweight – Get instant answers without delays! ✅ Smart & Efficient – Perfect for casual chats, summaries, and quick responses. ✅ Low-latency AI – Works seamlessly even on lower-end devices. 💡How to use it? Simply type: 🔹 /model – Select GPT-O1 for speed & efficiency! 🔹 Need help? @OpenAI_helpdesk 🔹 Join the discussion: https://t.me/chatgpt_officialchat 🔥 Try GPT-O1 now and experience smooth AI interactions! ➖➖➖➖🔻 💎@Chatgpt_OfficialNews – Stay Updated! ⚡️ 🧠 BOT: @Chatgpt_OfficialBOT #️⃣#GPT#GPT-O1 #FastAI#SmartChat#AI#NextGen ➖➖➖➖🔺

Hashtags

#gpt #fastai #smartchat #ai #nextgen

ChatGPT AI Technology News

@chatgpt_officialnews · Post #50 · 20.03.2025 г., 04:36

Најди слично Погледај

📱Google:"Hey guys, wait for us! We have an AI chatbot too… it’s just not ready yet!" 📱GPT-4 gang:Silence. Judging. Side-eyes. 📱GPT-4 gang:Unanimous rejection with the ultimate thumbs-down 📱Google:Left standing like a kid who brought a calculator to a sword fight AI wars are brutal—either you launch big or get left behind! 📇Share ➖➖➖➖🔻 💎@Chatgpt_OfficialNews – Stay Updated! ⚡️ 🧠 BOT: @Chatgpt_OfficialBOT #️⃣#GPT#Fun#FastAI#SmartTech#Meme#Joke ➖➖➖➖🔺

Hashtags

#gpt #fun #fastai #smarttech #meme #joke