Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
#Vertus normal quests for Vertus has become stable.
To do the Make Transfer quest, you can develop the lowest level card from card developments with tons. (Very low amount.) When this process is completed, you will have done all the quests. However, this quest takes time to complete.
You have the right to choose 4 stock exchanges.
The #Vertus App and Telegram Bot are set to launch in under 3 hours, at 16:00 UTC on April 2nd.
Don't miss the opportunity to be among the first to discover our App on Telegram.
💵 List of projects that will have #Airdrop in 2024. The list is not complete and will be constantly updated.
✔️#Gamee - 23 September 2024
✔️ Rocky Rabbit - September 23, 2024
✔️#hamsterkombat - September 26, 2024
✔️#Major - October 1, 2024
✔️#TonStation - October 6, 2024
✔️#MemeFi - October 9, 2024
✔️ X Empire - October 15, 2024
✔️#Cats - October 2024
✔️#TapCoins - October 2024
✔️#Tomarket - October 2024
✔️#SEED - November 2024
✔️#Time Farm - November 2024
✔️CEX.IO - December 2024
✔️#Blum - Q4 2024
✔️#Vertus - Q4 2024
💎 Share it
By @Airdropgoldchannel
Join Channel at once
https://t.me/addlist/W62NCEpw6WoyY2Q0