Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
#diqqat#hemis#talaba#YAN
❗️Barcha professor-o’qituvchilar va talabalar diqqatiga!
✅ HEMIS AT tizimining oʻqituvchi profilidagi “Yakuniy nazorat” va “Boshqa nazoratlar” menyularidagi “Reyting qaydnomalari”da oʻzgarishlar boʻlishi kutilmoqda.
⚠️ Tizimning endigi chiqariladigan yangi versiyasida (1.4.5) Reyting qaydnomasiga fan boʻyicha talabalarning oʻzlashtirish baholarini bir marta kiritib saqlash masalasi joriy qilinmoqda. Yaʼni bitta qaydnoma bir marta toʻliq toʻldirilib, bir marta saqlanishi mumkin.
🙏 Shuning uchun professor-oʻqituvchilar talabalarning YAN topshiriqlarini toʻliq baholab, barcha talabalar toʻgʻri baholanganiga ishonch hosil qilib keyin tizimning reyting qaydnomasiga kiritishini soʻraymiz.
✅ Talabalardan esa YANgacha bo’lgan barcha nazoratlardan belgilangan baholarni o’zlashtirish hamda YANga o’z vaqtida va tegishli talablarni bajargan holda kirishlari so’raladi.
☄️ Tizimga baholarni kiritish reglament boʻyicha 5 kun ichida faqat bir marta amalga oshirilishi mumkin. Baholar kiritilib saqlangandan soʻng reyting qaydnomasi toʻliq yopiladi. Yopilgan reyting qaydnomasiga qoʻshimcha kiritish va oʻzgartirishlarga ruxsat berilmaydi.
➡️ Barcha professor-oʻqituvchilar va talabalarga yetkazing.
👨💻Ps: qoʻshimcha savol, muammo va takliflar boʻyicha @registratorofis_botga murojaat qilishingiz mumkin.
✈️TerDU Registrator ofisi