Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
Carlo #Calenda: “UN CAMPO CHIAMATO GIUSEPPI
Fatti. 1) le opposizioni chiedono di essere informate prontamente sulla guerra in Medio Oriente; 2) la Premier offre un tavolo di confronto in un formato più riservato a P Chigi, dopo essere stata in Parlamento; 3) Conte dice no obbligando Schlein a seguirlo. 4) Italia Viva, che ci aveva chiesto di fare una mozione insieme su Iran, manda una nota incomprensibile dicendo la pensa come il PD, che però fa ciò che decide Conte. Andate avanti con questo campo largo ma chiamatelo con il suo vero nome: Giuseppi. PS segnalo agli amici riformisti che m5S si è astenuto su una mozione di condanna alla Russia per il reclutamento di mercenari africani. Così per gradire”
@UltimoraPolitics24
Carlo #Calenda: "Gratteri è chiaramente fuori controllo. Oggi minaccia Il Foglio apertamente. Un magistrato che minaccia un giornale è da sospensione immediata. Esattamente quanto un capo di gabinetto della Ministero della giustizia che insulta i magistrati. Fateci una cortesia: mettetevi da parte entrambi. E torniamo a parlare di contenuti."
@UltimoraPolitics24
Il leader di Azione Carlo #Calenda osserva: "Il problema dell'Italia è che è un paese anarchico non liberticida" e valuta di buonsenso alcune norme del decreto sicurezza, come il fermo preventivo e la stretta sui coltelli; auspica però misure per centri per i rimpatri in ogni regione.
@UltimoraPolitics24
Carlo #Calenda ha dichiarato: "A Torino si conferma il fatto che Askatasuna altro non è che un gruppo di violenti pericolosi. Totale solidarietà di Azione alle forze dell'ordine".
@UltimoraPolitics24
Carlo #Calenda ha criticato il governo sul tema sicurezza: "non è capace di fare l’unica cosa che la destra dovrebbe saper fare, cioè mettere più Carabinieri e Polizia per Strada, avere dei centri per i rimpatri non in Albania, che costano un sacco di soldi e non c’entrano niente ed essere capaci di evitare quel fenomeno assurdo per cui se sei un immigrato irregolare che delinqui ti do il foglio di Via e tu torni a delinquere due minuti dopo".
@UltimoraPolitics24
Carlo #Calenda: “L'arresto di Hannoun dimostra che c'è una pesante infiltrazione dell'estremismo islamico nei movimenti proPal. Sostenere la nascita dello Stato Palestinese e sostenere Hamas sono due cose molto diverse. Hamas è un movimento terrorista e chi lo sostiene va arrestato e processato”.
@UltimoraPolitics24
Carlo #Calenda: "Un pezzo di Forza Italia ha voluto dare un messaggio. Se questo è l'esordio del dopo Berlusconi la maggioranza rischia il caos"
@UltimoraPolitics
Carlo #Calenda: "Esprimo le condoglianze mie e di Azione alla famiglia e alla comunità di Forza Italia, per la morte di Silvio Berlusconi. Ha lottato fino alla fine contro la malattia con un coraggio incredibile. Riposi in pace."
@UltimoraPolitics
Riforme, Carlo #Calenda: "All’incontro di martedì con il governo proporremo le priorità del nostro programma elettorale, che riprendono molti punti del referendum del 2016: più poteri al premier, monocameralismo e riordino del federalismo" @UltimoraPolitics
Riforme, Carlo #Calenda: "All’incontro di martedì con il governo proporremo le priorità del nostro programma elettorale, che riprendono molti punti del referendum del 2016: più poteri al premier, monocameralismo e riordino del federalismo"
@UltimoraPolitics
Carlo #Calenda: “Nella vita professionale non ho mai ricevuto avvisi di garanzia/rinvii a giudizio/condanne pur avendo ruoli di responsabilità. Non ho accettato soldi a titolo personale da nessuno, tanto meno da dittatori e autocrati stranieri.
Non ho preso finanziamenti per il partito da speculatori stranieri e intrallazzatori. Non ho mai incontrato un magistrato se non per ragioni di servizio. Mai sono entrato nelle lottizzazioni del CSM.”
@UltimoraPolitics