Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
Caro carburanti, il ministro #Lollobrigida: "Le associazioni" hanno segnalato gli aumenti ingiustificati di carburanti "alla guardia di finanza e al ministero competente che sta inviando controlli e verifiche per evitare ogni forma speculativa. Chi approfitta di queste situazioni per speculare, deve essere colpito senza alcun tipo di riguardo". (AGI)
@UltimoraPolitics24
Francesco #Lollobrigida: "L'esistenza della razza è prevista dalla Costituzione, quando afferma che non ci deve essere distinzione di razza. Voterei per abolire quella parola dalla Costituzione se l'accezione che viene data implica un elemento negativo"
@UltimoraPolitics
Il ministro #Lollobrigida: "Non esiste una razza italiana. Esiste una cultura, un'etnia italiana, quella che la Treccani definisce raggruppamento linguistico culturale, che si tende a tutelare. Perché sennò non avrebbe senso"
@UltimoraPolitics
Sostituzione etnica: il Ministro #Lollobrigida ha rilasciato un'intervista al Corriere dopo le polemiche generate, è recuperabile qui: https://t.me/ultimorapolitics24/25653
@UltimoraPolitics
Francesco #Lollobrigida: "Dobbiamo pensare anche all'Italia di dopodomani: vanno incentivate le nascite. Va costruito un welfare per consentire di lavorare a chiunque e avere una famiglia. Non possiamo arrenderci al tema della sostituzione etnica"
@UltimoraPolitics
Vinitaly, ministro #Lollobrigida: "Lavorare in agricoltura non è svilente. Lo dico a chi è sul divano mentre prende il reddito di cittadinanza. C'è bisogno di immigrazione legale e il primo nemico è quella illegale"
@UltimoraPolitics
❗️ Il Consiglio dei Ministri approva il ddl sul divieto di produzione e commercializzazione di alimenti e mangimi sintetici. #Lollobrigida: "L'Italia dice no al cibo sintetico e alla carne sintetica. La norma sancisce il divieto di produzione, commercializzazione, importazione"
@UltimoraPolitics
Il Ministro #Lollobrigida: "Noi quest'anno lavoreremo per fa entrare legalmente quasi 500mila immigrati legali. Questo può essere organizzato anche attraverso accordi multilaterali e bilaterali per sostenere l'immigrazione legale" (Ansa) @UltimoraPolitics
Il Ministro #Lollobrigida: "Noi quest'anno lavoreremo per fa entrare legalmente quasi 500mila immigrati legali. Questo può essere organizzato anche attraverso accordi multilaterali e bilaterali per sostenere l'immigrazione legale" (Ansa)
@UltimoraPolitics
Tensioni in maggioranza, Forza Italia tenta l'assalto su superbonus e giustizia. Il meloniano #Lollobrigida: "Faranno la fine di Fini"
@UltimoraPolitics
Francesco #Lollobrigida: "Se pure fosse stato un errore, sarebbe stato fatto da tutta la maggioranza. La premier non ha preso questa scelta in autonomia. Se Forza Italia riteneva prioritario l'intervento sui carburanti doveva dire dove prendere le risorse"…
Francesco #Lollobrigida: "Una persona intelligente come Berlusconi non affermerebbe mai una cosa che non ha logica. La scelta sulle accise è stata corale, di tutta la maggioranza. Trovo anomalo approvare una soluzione e poi contestarla sui giornali" @UltimoraPolitics