Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
Als een lokale partij dit mobilisatievermogen heeft, kan zij een eigen militie (paramilitaire organisatie) hebben die haar idealen deelt en onafhankelijk is van het reguliere staatsleger.
地方政黨有這種動員能力,它就可以擁有自己的民兵(準軍事組織),與其有共同意識形態,並且可以獨立於正規國家軍隊。
#Hezbollah
Although there are 4 days left until the funeral and burial of Hezbollah Secretary General Seyyed Hassan Nasrallah and Seyyed Hashem Safi al-Din, the Zionist network claims that it is not known whether Seyyed Hassan has died!
Despite senior Hezbollah officials and Seyyed's children confirming that they have seen his body, the Israeli regime has periodically claimed that he is alive. Their goal is to reduce the number of people attending the ceremony.
The Zionists are actively trying to prevent people from coming, especially from abroad. They are even afraid of his body.
#Hezbollah
Nieuws :
Hezbollah plaatsvervangend leider : Vanaf nu zal Hezbollah elk punt in Israël aanvallen, inclusief Tel Aviv. Als de oorlog doorgaat, zullen onbewoonde nederzettingen in het noorden toenemen en zullen meer dan twee miljoen Israëliërs gevaar lopen.
#Hezbollah