Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
#ULTIMORA
#Sanremo2024, distribuzione completa dei voti ai cinque finalisti. Decisivi gli oltre 73,5% dei consensi della sala stampa ad Angelina Mango. Solo 1,5% a Geolier, premiato invece dal televoto con il 60% dei voti
🗞️@ultimora24
#ULTIMORA
#Sanremo2024, Amadeus: “Televoto record, mai così tanti voti prima d’ora”. Segnalati malfunzionamenti per via dell’enorme traffico.
AGGIORNAMENTO — Ufficio Rai: Il televoto sta funzionando regolarmente, c'è una valanga di voti che vengono regolarmente acquisiti, ma non arriva il messaggio di conferma
🗞@ultimora24
#ULTIMORA
#Sanremo2024, saranno addirittura 30 i cantanti in gara al festival, inclusi i tre vincitori di Sanremo Giovani. La lista dei nomi attesa oggi durante il TG1 delle 13.30
🗞️@ultimora24
#ULTIMORA
#Sanremo2024, domenica 3 dicembre al TG1 delle 13.30 verranno rivelati i nomi dei cantanti in gara.
Paola&Chiara, i noti tiktokter italiani Mattia Stanga e Daniele Cabras condurranno il Prima Festival
🗞️@ultimora24
Vi confesso che sono tra quelli che appassionatamente, ogni anno, guardano il Festival di Sanremo. Mi piace quel senso di nazional popolare che si respira e, da polemico, mi butto nella mischia.
Detto questo, colgo l'occasione per sottolineare, a proposito di canzoni, che la strumentalizzazione di "Bella ciao" ha assunto dimensioni davvero insopportabili: stanno riuscendo nell'incredibile opera di farmela diventare antipatica.
Chi, in politica, oggi la intona è responsabile di gran parte dei mali che affliggono questo Paese: una canzone storicamente urlata da chi soffre sta diventando l'inno ufficiale dell'ipocrisia.
Detto ciò, l'interpretazione di ieri di Angelina Mango era tanta tanta roba.
La mia al TG Plus di Cusano Italia TV
#sanremo#Sanremo2024#bellaciao#trattori
https://www.youtube.com/watch?v=NStWjY60IIo&ab_channel=SavinoBalzano