Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
Jesse Derry was taken to hospital as a precaution following his first-half substitution during today’s #PL game against Nottingham Forest.
Jesse is conscious, talking and undergoing precautionary checks. We wish him a speedy recovery and thank the medical staff for their swift response.
Steve Holland:
“Our last game, Bournemouth to Leeds, is a #PL record, I think, in terms of time between games.
“So the gap has been as big as you can have really. I think we felt it was important to get the whole group together again, and really focus on finishing the season well.
“I think this is the PERFECT venue for that, really.”
Steve Holland:
“I think the language we should be using as this club is to finish as CLOSE as we possibly can to the top [this season].
“I don’t know how possible that is, but that has to be the challenge always: to get as close as we possibly CAN to the top...” [MU]
Bruno Fernandes on matching Cristiano Ronaldo’s #PL POTM record:
“It’s always good company. We know when records are there, his name will always be around.
“It’s a HUGE honour and privilege to be close to him.” 🇵🇹❤️
[THREAD]
There are multiple Premier League games on Saturday, Sunday AND Monday. 🍿
Here are some stats you might see in GW35...
#PL | @CopyBetUKhttps://t.co/RnveqOETlK
RT @Squawka: [THREAD]
There's five Premier League games on a Sunday for the first time in 2023. 🍿
Here are some stats you might see… 👀
#PL | @CopyBetUKhttps://t.co/sMqfA3FUuS