Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
Durante il soggiorno in Albania la premier #Meloni è venuta a conoscenza dal premier albanese #Rama che alcuni turisti italiani sarebbero fuggiti senza pagare dopo un cena in un ristorante di Berat. L’ambasciata d’Italia a Tirana ha diramato un comunicato…
Durante il soggiorno in Albania la premier #Meloni è venuta a conoscenza dal premier albanese #Rama che alcuni turisti italiani sarebbero fuggiti senza pagare dopo un cena in un ristorante di Berat. L’ambasciata d’Italia a Tirana ha diramato un comunicato rendendo noto di aver provveduto a saldare il conto, di circa 80 euro, su indicazioni della Presidente del Consiglio.
@UltimoraPolitics
Sky: Il premier albanese #Rama rivela che, grazie l'aiuto dei servizi segreti, l'Italia e il ministro #DiMaio hanno contrabbandato in Albania dei vaccini, per ovviare alle stringenti regole di Pfizer.
@UltimoraPolitics
Albania, attimi di tensione all'uscita della conferenza stampa congiunta tra Giorgia #Meloni ed Edi #Rama. Riccardo #Magi si è presentato fisicamente per criticare gli accordi confermati tra i due Paesi sulla gestione dei migranti. Il deputato di +Europa, contestando l'"hotspot elettorale", è stato subito bloccato dalla sicurezza albanese. Meloni è scesa dall'auto chiedendo di lasciarlo spiegando che "è un parlamentare italiano". Ma poi tra i due c'è stato un battibecco: "Pensi cosa può succedere senza telecamere qui dentro! Si vergogni!". E la premier: "La capisco. Ho fatto un sacco di campagne elettorali in cui non sapevo se avrei superato la soglia"
@UltimoraPolitics
#Italia#Albania
La Presidente del Consiglio, Giorgia #Meloni (#FdI|ECR), ha ricevuto oggi a Palazzo Chigi il Primo Ministro della Repubblica d’Albania, Edi #Rama (#PSSh|S&D).
“A cinque mesi dal Vertice Intergovernativo di Roma, il colloquio ha permesso di fare il punto sul rafforzamento del partenariato tra le due Nazioni nei settori di interesse comune, con un focus particolare su connettività, industria della difesa e collaborazione in materia migratoria”, si legge in una nota.
@OsservatorioItaliano