Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
Upgrade your skills for free:
🧑🎓Master Course : Making the Business Case for Sustainability
▪️▪️▪️▪️▪️▪️▪️▪️
🧑🎓Teaching Methods, Teaching Quality & Teaching Delivery 3.0
▪️▪️▪️▪️▪️▪️▪️▪️
⚠️ Limited time offers
🧑🎓🧑🎓🧑🎓
https://SkillDiscounts.com/
@SkillDiscounts
#Learning_for_free
#FreeCoupon
#FreeLearning
Upgrade your skills for free:
🧑🎓Master Course in Smart Cities, Urban Planning & Development
▪️▪️▪️▪️▪️▪️▪️▪️
⚠️ Limited time offers
🧑🎓🧑🎓🧑🎓
https://SkillDiscounts.com/
@SkillDiscounts
#Learning_for_free
#FreeCoupon
#FreeLearning
Upgrade your skills for free:
🧑🎓Master Course in Corporate Social Responsibility (CSR)
▪️▪️▪️▪️▪️▪️▪️▪️
⚠️ Limited time offers
🧑🎓🧑🎓🧑🎓
https://SkillDiscounts.com/
@SkillDiscounts
#Learning_for_free
#FreeCoupon
#FreeLearning
Upgrade your skills for free:
🧑🎓Master Course in Climate Change Impact on Business
▪️▪️▪️▪️▪️▪️▪️▪️
🧑🎓Multigenerational Leadership & Reskilling Your Organization
▪️▪️▪️▪️▪️▪️▪️▪️
🧑🎓Master Course in Project Management 2.0
▪️▪️▪️▪️▪️▪️▪️▪️
⚠️ Limited time offers
🧑🎓🧑🎓🧑🎓
https://SkillDiscounts.com/
@SkillDiscounts
#Learning_for_free
#FreeCoupon
#FreeLearning
Upgrade your skills for free:
🧑🎓AI-Powered Change Management for Digital Transformation
▪️▪️▪️▪️▪️▪️▪️▪️
⚠️ Limited time offers
🧑🎓🧑🎓🧑🎓
https://SkillDiscounts.com/
@SkillDiscounts
#Learning_for_free
#FreeCoupon
#FreeLearning
Upgrade your skills for free:
🧑🎓Curso Completo de Mikrotik. Configuraciones y mucha Práctica
▪️▪️▪️▪️▪️▪️▪️▪️
🧑🎓Programador Java en 37 Días Con práctica de Entrevista y más
▪️▪️▪️▪️▪️▪️▪️▪️
🧑🎓NumPy, SciPy, Matplotlib & Pandas A-Z: Machine Learning
▪️▪️▪️▪️▪️▪️▪️▪️
⚠️ Limited time offers
🧑🎓🧑🎓🧑🎓
https://SkillDiscounts.com/
@SkillDiscounts
#Learning_for_free
#FreeCoupon
#FreeLearning
Upgrade your skills for free:
🧑🎓Carbon Capture (CCUS): Governance, Policy, & Social License
▪️▪️▪️▪️▪️▪️▪️▪️
🧑🎓The Complete JavaScript Course: From Zero to Expert
▪️▪️▪️▪️▪️▪️▪️▪️
🧑🎓Certificado Profissional em Liderança e Gestão
▪️▪️▪️▪️▪️▪️▪️▪️
⚠️ Limited time offers
🧑🎓🧑🎓🧑🎓
https://SkillDiscounts.com/
@SkillDiscounts
#Learning_for_free
#FreeCoupon
#FreeLearning
Upgrade your skills for free:
🧑🎓Mastering Manus: AI Automation for Marketing & Content
▪️▪️▪️▪️▪️▪️▪️▪️
🧑🎓AI for Business Analysts
▪️▪️▪️▪️▪️▪️▪️▪️
🧑🎓Entrepreneurial Guide to AI Strategy
▪️▪️▪️▪️▪️▪️▪️▪️
⚠️ Limited time offers
🧑🎓🧑🎓🧑🎓
https://SkillDiscounts.com/
@SkillDiscounts
#Learning_for_free
#FreeCoupon
#FreeLearning
Upgrade your skills for free:
🧑🎓Emotional Intelligence in Teams and Collaboration ( EQ )
▪️▪️▪️▪️▪️▪️▪️▪️
🧑🎓Data Visualization: Advanced Storytelling for Sales Success
▪️▪️▪️▪️▪️▪️▪️▪️
🧑🎓AI-Driven Business Process Modeling
▪️▪️▪️▪️▪️▪️▪️▪️
⚠️ Limited time offers
🧑🎓🧑🎓🧑🎓
https://SkillDiscounts.com/
@SkillDiscounts
#Learning_for_free
#FreeCoupon
#FreeLearning