Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
Il presidente della Regione Sicilia Renato #Schifani: “Oggi è un grande giorno per la Sicilia e per l'Italia intera, l'arresto di Matteo Messina Denaro è un colpo durissimo inflitto alla mafia. Tutti devono sapere che in questa Terra non ci possono essere spazi né di illegalità né d'impunità”.
@UltimoraPolitics
#Italia#Sicilia
❗️ Il centrodestra propone l'ex presidente del Senato, Renato #Schifani come candidato per la presidenza della Regione Sicilia
@UltimoraPolitics
Il vicepremier e ministro delle Infrastrutture, Matteo #Salvini ha invitato i governatori Roberto #Occhiuto e Renato #Schifani al dicastero di Porta Pia per discutere sul progetto del Ponte sullo Stretto tra Calabria e Sicilia
@UltimoraPolitics
La premier #Meloni ha detto che per dare "risposte celeri" ai territori colpiti dal maltempo "serve una filiera, non è una cosa che posso fare io da sola, il governo da solo" o "il ministro #Musumeci da solo, il presidente #Schifani da solo. Serve che ci lavoriamo tutti insieme, in buona fede, evitando le polemiche perché qui tutti quanti abbiamo la stessa responsabilità, lo stesso obiettivo che è dare risposta ai nostri cittadini" (ANSA)
@UltimoraPolitics24
#Italia#Sicilia
Manlio #Messina, parlamentare della maggioranza nel gruppo misto alla Camera, ha chiesto le dimissioni del presidente della Sicilia Renato #Schifani in seguito alla sconfitta referendaria.
@Osservatorioitaliano
#Italia#Sicilia
❗️Frana di Niscemi: indagati il ministro Nello #Musumeci (#FdI), il presidente Renato #Schifani (#FI) e gli ex presidenti Raffaele #Lombardo (#MpA) e Renato #Crocetta (sinistra).
@OsservatorioItaliano