Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
Dirigente di #Azione all'ANSA: "La pazienza del gruppo dirigente di Azione si è esaurita. In settimana si capirà se questo nodo si potrà sciogliere. Se così non sarà il partito unico non potrà nascere"
@UltimoraPolitics
La #Camera approva la festa nazionale di San Francesco il 4 ottobre, in vigore dal 2026. Dal 2027 previsti nuovi oneri per 10,6 milioni di euro, di cui 8,7 milioni per la Sanità. Il provvedimento, votato da tutti i partiti ad eccezione di #Azione che si è astenuta, passa ora all’esame del Senato.
@UltimoraPolitics
La Camera ha definitivamente approvato, con 184 voti favorevoli e 85 contrari, il Ddl delega per la riforma fiscale. Sì anche dal gruppo #Azione e #IV.
@UltimoraPolitics
❗Terzo Polo, firmata la 'tregua' tra #IV e #Azione. Sottoscritto un documento comune, approvato all'unanimità, per avviare un percorso per una lista unitaria alle prossime elezioni europee. I gruppi parlamentari resteranno in vita con gli attuali numeri
@UltimoraPolitics
Carlo #Calenda (#Azione): "Alle Regionali correre da soli, pur con un progetto come è successo in Sardegna e in Lombardia con Letizia Moratti non è fattibile e non lo faremo più."
@UltimoraPolitics
Carlo #Calenda (#Azione): "L'arresto di Matteo Messina Denaro è una grande vittoria dello Stato che oggi dimostra tutta la sua forza. Una sfida vinta dagli uomini e dalle donne della magistratura e delle forze dell'ordine a cui va il nostro ringraziamento. Un giorno storico per l'Italia."
@UltimoraPolitics
Carlo #Calenda (#Azione): "Da domenica a venerdì sarò in Ucraina. Ho accolto l’invito del sindaco di Leopoli che era intervenuto alla nostra manifestazione. Poi andrò a Kiev"
@UltimoraPolitics
Carlo #Calenda (#Azione): "Marcello Gemmato si deve dimettere. Un sottosegretario alla Salute che non prende le distanze dai novax è decisamente nel posto sbagliato" @UltimoraPolitics