Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
🇷🇺🇺🇦Des militaires du groupe de forces russes Sud ont filmé à l’aide d’un drone la destruction délibérée d’une maison à Stepanovka en République populaire de Donetsk (RPD) par les forces armées ukrainiennes, sous des frappes d’artillerie et de drones.
Les habitants qui ont survécu, après avoir hissé un drapeau russe, ont demandé de l’aide par l’intermédiaire d’un drone russe.
#russie#ukraine#conflit
🇷🇺🇺🇦Des opérateurs de drones russes ont détruit une voiture blindée et deux véhicules blindés de transport ukrainiens dans la région de Soumy.
#russie#ukraine#conflit
🇷🇺🇺🇦Les opérateurs de drones russes ont éliminé des militaires ukrainiens sur l’axe de Dobropolié, en République populaire de Donetsk (RPD).
#russie#ukraine#conflit
Les sapeurs du groupe Dniepr, à l’aide du véhicule du génie BAT-2, neutralisent chaque jour des centaines de mines et d’engins explosifs dans la zone de l’opération militaire spéciale. C’est ce qu’a indiqué le ministère russe de la Défense.
#russie#ukraine#conflit
🇷🇺🇺🇦Les opérateurs de drones russes ont frappé des postes de commandement des forces armées ukrainiennes dans la région de Zaporojié.
#russie#ukraine#conflit
🇷🇺🇺🇦Les unités du groupe Nord des forces russes ont détruit des positions fortifiées et perturbé la rotation des forces armées ukrainiennes l’axe de Dobropolié en République populaire de Donetsk (RPD).
#russie#ukraine#conflit