Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
Hobbs ripped as 'total disgrace' after vetoing bill limiting Chinese land ownership near military bases https://www.foxnews.com/politics/dem-governor-ripped-total-disgrace-after-vetoing-bill-limiting-chinese-land-ownership-near-military-bases#FoxNews
At least one dead after jet crashes into another plane at Scottsdale Airport in Arizona https://www.foxnews.com/us/least-one-dead-after-jet-crashes-another-plane-scottsdale-airport-arizona#FoxNews
🔻 Biden accused of ‘moving goalposts’ on percentage of Americans who need to get jab to return normal https://t.co/LzJxFI3CdG#FoxNews
September 29, 2021 at 04:45PM
via Twitter
@SenTedCruz
🔻 Border Patrol agents see 3,166% increase in convicted sex offender arrests in Del Rio Sector https://t.co/9X50ziXFYK#FoxNews
June 25, 2021 at 12:30AM
via Twitter
@SenTedCruz
#newtgingrich : RT @MariaBartiromo: Rep. Kevin McCarthy on debt ceiling talks: 'I will never give up' https://t.co/BRZg1fPCs7#FoxNews@SundayFutures@FoxBusiness
#newtgingrich : RT @MariaBartiromo: Trafalgar Group pollster Robert Cahaly predicts 'strong night' for Republicans https://t.co/Zttn6XkTOA#FoxNews@SundayFutures@FoxNews
#newtgingrich : RT @MariaBartiromo: Herschel Walker rips Warnock's lack of business experience: 'He never built anything' https://t.co/uprZBwsrTK#FoxNews@SundayFutures@FoxNews
#newtgingrich : RT @MariaBartiromo: Rep. Kevin McCarthy cites 'cost of living' as top priority for voters ahead of midterms https://t.co/0gukhkMjkr#FoxNews@SundayFutures@FoxNews
¿Lo de #RochaMoya es político? 🤔
🔴 La zar antidrogas de #EU reconoció en #FoxNews las acciones del gobierno de #Sheinbaum para combatir el narcotráfico 📺🇲🇽👏🏻
https://sinlineamx.com/eu-reconoce-eficiencia-gobierno-sheinbaum-combate-narco/