Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
“Siamo svegli dalle due del mattino ora venezuelana per seguire quanto sta accadendo. Accompagniamo il nostro popolo con la #preghiera”. Mons. Jesús González de Zárate, Arcivescovo di Valencia e presidente della Conferenza Episcopale Venezuelana, commenta così al Sir l’attacco notturno compiuto dagli Stati Uniti alle principali sedi istituzionali e militari a #Caracas. Dopo settimane di tensioni, con le forze statunitensi al largo del #Venezuela con il pretesto della lotta ai trafficanti di droga, il presidente #Trump ha deciso stanotte di attaccare il Venezuela sferrando un raid aereo sulla capitale Caracas, culminato con la cattura de presidente venezuelano Nicolas Maduro: insieme alla moglie “sono stati portati fuori dal Paese”, ha scritto Trump sul social Truth. Il risveglio del popolo venezuelano sarà probabilmente stupito e attonito ma, conferma il presidente dei vescovi, “i fatti sono in pieno sviluppo per poterli valutare”. Monsignor Azuaje ci tiene per il momento a sottolineare “fiducia in Dio e nei valori del nostro popolo”.
"Ordine e #sicurezza sono doni che costano sacrificio a chi li garantisce e che però contribuiscono notevolmente al bene di tutti. Un ambiente sicuro è infatti di grande aiuto alla #preghiera". Lo ha detto Papa #LeoneXIV ricevendo questa mattina, nella Sala Clementina del Palazzo Apostolico, in Vaticano, i dirigenti e gli agenti dell'Ispettorato di Pubblica Sicurezza "Vaticano" nella consueta udienza all'inizio dell'anno.
Presenti, in prima fila, tra gli altri, il Capo della #Polizia, Vittorio Pisani, il Questore e il Prefetto di #Roma, Roberto Massucci e Lamberto Giannini, ed il direttore dell’Ispettorato di Pubblica sicurezza “Vaticano” Antonino Messineo.
"Desidero particolarmente ringraziarvi per quanto avete fatto nel corso del #Giubileo appena concluso, come pure in occasione della morte del compianto Papa Francesco, dei suoi funerali e poi del #Conclave. In quei giorni intensi, che hanno certamente messo alla prova anche le vostre forze, avete saputo tenere il passo con eventi susseguitisi con grande rapidità, a volte programmati e altre volte imprevedibili, assicurando che tutto si svolgesse con ordine e dimostrando, come sempre, spirito di sacrificio, professionalità, duttilità e discrezione", le parole del Pontefice.
"In merito a questo, un pensiero di ringraziamento va anche ai vostri cari che, in modo indiretto, si sono trovati a loro volta coinvolti in queste dinamiche, adattandosi alle esigenze dei vostri impegni e turni straordinari di lavoro e, immagino, rinunciando spesso alla vostra presenza", ha aggiunto il Santo Padre, che ha concluso facendo sue le parole di Benedetto XVI: "Sia la vostra presenza, cari amici, una garanzia sempre più valida di quel buon ordine e di quella tranquillità, che sono fondamentali per costruire una vita sociale pacifica e composta, e che, oltre a esserci insegnati dal messaggio evangelico, sono segno di autentica civiltà. Affidandovi alla materna protezione di Maria Santissima e di San Michele Arcangelo, assicuro la mia preghiera per voi e per le vostre famiglie".