Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
La vida no se rige por la voluntad o por la intención. La vida es una cuestión de nervios, de fibras, de células lentamente formadas, en las que se esconde el pensamiento, y la pasión tiene sus sueños. Puede que ahora te creas a salvo y te consideres fuerte. Pero un casual tono de color en una habitación, un cielo matinal, un perfume peculiar que hayas amado y que te trae sutiles recuerdos consigo, un verso de un poema olvidado que vuelve a tu memo- ria, una cadencia de una pieza musical que has dejado de tocar, de todo esto, Dorian, te lo digo, de todas estas cosas parecen depender nuestras vidas...
El retrato de Dorian Gray
#OscarWilde
Si usted me conoce basado en lo que yo era hace un año, usted ya no me conoce. Mi evolución es constante. Permitame presentarme de nuevo...
#OscarWilde
“¡Sí, soy un soñador! Y estoy orgulloso de ello, porque es gracias a mi ensoñación que puedo encontrar mi camino en completa oscuridad y luego ver el amanecer antes que el resto de la humanidad”.
#OscarWilde
Así que aprovecha tu juventud antes de que se acabe. No desperdicies tus días dorados escuchando a santos aburridos, no trates de corregir lo incorregible, no entregues tu vida a los ignorantes, vulgares y nulos, siguiendo las falsas ideas y aspiraciones malsanas de nuestra época. ¡Vivir! Vive la maravillosa vida que se esconde dentro de ti. ¡No te pierdas nada, busca siempre nuevas sensaciones! ¡No tengas miedo de nada!
El retrato de Dorian Gray
#OscarWilde