Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
Через тернии к звездам
Хочу с Вами поделиться постом моего знакого из Индийского космического агенства - ISRO. Намоню, недавно они успешно совершили посадку модуля на луне.
"Переполняясь гордостью и радостью, слезы катились из моих глаз, когда #Chandrayaan3 совершил точную посадку, творя историю!
Начав со скромной перевозки ракет и спутников на велосипедах и повозках, сегодня мы присоединяемся к элитному клубу, состоящему всего из 4х стран в мире, которые осуществили мягкую посадку на Луну и стали первой страной, совершившей посадку на Южном полюсе. И наше решение в разы дешевле, по сравнению с остальными странами. Переполненный гордостью индийца и глубоко вдохновленный непоколебимой стойкостью ISRO!"
HISTORY IN THE MAKING! 🚀
Chandrayaan-3 is set to make history as the world's first mission to achieve a soft landing near the lunar south pole 🌌
#Chandrayaan3
#MoonMission
इतिहास बनने जा रहा है! 🚀
चंद्रयान-3 चंद्रमा के दक्षिणी ध्रुव के पास सॉफ्ट लैंडिंग करने वाला दुनिया का पहला मिशन बनकर इतिहास रचने के लिए तैयार है।
#Chandrayaan3
#MoonMission
Following Chandrayaan 2's setback, PM Modi commended Team ISRO's dedication, promising imminent success. Today, that promise is fulfilled as #Chandrayaan3 achieves a triumphant lunar landing.
#IndiaOnTheMoon
India soars to new heights! 🚀🌕
Chandrayaan 3 takes flight, marking another remarkable milestone in our space exploration journey. A giant leap towards unravelling the mysteries of the moon and pushing the boundaries of scientific discovery.
#ISRO#Chandrayaan3#MoonMission
Chandrayaan 3's expedition unveiled
Tracing the remarkable journey from launch to lunar exploration, a story that propels us into the cosmos ✨🚀🌑
#Chandrayaan3#ISRO
#BestWishesChandrayaan3
आत्मनिर्भर भारत की ऊंची उड़ान।। 🚀🌛
चंद्रयान 3 की सफलतम उड़ान, हमारी अंतरिक्ष अन्वेषण यात्रा में एक और उल्लेखनीय मील का पत्थर साबित हुआ। चंद्रमा के रहस्यों को जानने और वैज्ञानिक खोज की सीमाओं को आगे बढ़ाने की दिशा में एक बड़ी छलांग।
#ISROTeam
#Chandrayaan3
#MoonMission
PM Narendra Modi shared exciting facts about the #Chandrayaan3MahaQuiz during his address.
Dive into the quiz on #MyGov and join the celebration of #Chandrayaan3's historic lunar landing.
Visit: https://isroquiz.mygov.in/
#ISROQuiz
#Chandrayaan
Ready to join the
#Chandrayaan3MahaQuiz but not sure how to start?
We've got you covered. Check out our video tutorial for step-by-step instructions on how to play the quiz and win exciting prizes.
Click here to join the quiz: https://isroquiz.mygov.in/
#MyGov#Chandrayaan3#MyGovQuiz#ChandrayaanQuiz
अपने संबोधन के दौरान प्रधानमंत्री नरेन्द्र मोदी ने #Chandrayaan3MahaQuiz के बारे में रोमांचक तथ्य साझा किए।
#MyGov पर क्विज़ में भाग लें और #Chandrayaan3 की ऐतिहासिक लैंडिंग के जश्न में शामिल हों।
विजिट करें: https://isroquiz.mygov.in/
#ISROQuiz
#Chandrayaan