Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
🇨🇳Pékin durcit le ton
🔴La #Chine avertit qu’elle ripostera si le projet de loi sur l’« accélération industrielle » est adopté sans modification. En cause, des règles jugées pénalisantes pour ses entreprises, notamment en ce qui concerne l’accès aux financements publics.
🔴Le texte prévoit d’imposer des critères stricts d’origine locale dans plusieurs secteurs clés comme l’automobile, les batteries, le solaire ou les matières premières critiques. Une mesure qui vise à renforcer la production sur le continent, mais que #Pékin considère comme une restriction aux investissements étrangers.
RT en français • Osez questionner !
⏺Le défilé de la Victoire, qui s'est tenu aujourd'hui à #Pékin à l'occasion du 80e anniversaire de la victoire dans la Seconde Guerre mondiale ainsi que sur le militarisme japonais, a été un événement grandiose non seulement pour la #Chine, mais aussi pour le monde entier.
Daria Vaganova, notre envoyée spéciale, était sur place et va nous partager les détails.
RT en français • Osez questionner !
La coopération entre la #Russie et la #Chine s'est activement développée, #Pékin est désormais l'un des partenaires les plus fiables de #Moscou. L'économie, la science, l'espace, la défense : ce ne sont que quelques-uns des domaines dans lesquels une interaction bilatérale productive se met en place.
Pour creuser le sujet, nous recevons Xavier Moreau, directeur de Stratpol, depuis Moscou.
RT en français • Osez questionner !
🇨🇳🚙 Le plus grand salon automobile au monde a ouvert à Pékin. Comme cela a été noté par TASS, 1.451 modèles de voitures sont présentés, dont 181 pour la première fois.
#pékin#salon#voitures
La coopération entre la #Russie et la #Chine s'est activement développée, #Pékin est désormais l'un des partenaires les plus fiables de #Moscou. L'économie, la science, l'espace, la défense : ce ne sont que quelques-uns des domaines dans lesquels une interaction bilatérale productive se met en place.
Pour creuser le sujet, nous recevons Xavier Moreau, directeur de Stratpol, depuis Moscou.
RT en français • Osez questionner !
🧧La marche du Régiment des Immortels a lieu à l’ambassade de Russie à #Pékin.
Le cortège est mené par l'ambassadeur de #Russie en #Chine, Igor #Morgoulov, et l'actrice Maria #Kojevnikova.
RT en français • Osez questionner !