Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
Con 147 voti favorevoli e 67 contrari la #Camera approva il ddl intercettazioni, che modifica la disciplina della durata delle intercettazioni. Il provvedimento, già approvato dal Senato, è legge.
@UltimoraPolitics
La #Camera ha approvato in via definitiva il disegno di legge delega che punta a superare i test di ingresso per l'accesso ai corsi di laurea magistrale in medicina e chirurgia, in odontoiatria e protesi dentaria e in medicina veterinaria. Il testo, già approvato al Senato, ha ottenuto 149 sì e 63 no.
@UltimoraPolitics
La #Camera ha approvato il DDL Spazio. I sì sono stati 133, i no 89 e gli astenuti 2. Il provvedimento passa ora all'esame del Senato. @UltimoraPolitics
La #Camera ha approvato il DDL Spazio.
I sì sono stati 133, i no 89 e gli astenuti 2. Il provvedimento passa ora all'esame del Senato.
@UltimoraPolitics
#Camera: Noi Moderati cambia nome, si chiamerà Noi Moderati—Centro Popolare. Al gruppo asseriscono anche le ex-calendiane Gelmini, Carfagna e Versace, che lasciano il misto
@UltimoraPolitics
La #Camera approva la mozione di maggioranza che impegna il governo a "sostenere nelle opportune sedi internazionali iniziative finalizzate al riconoscimento dello Stato di Palestina", nel quadro di una "soluzione negoziata fondata sulla coesistenza di due Stati sovrani e democratici"
@UltimoraPolitics
#Camera — Il Governo ha posto la questione di fiducia sul disegno di legge recante ulteriori disposizioni urgenti per l'attuazione del PNRR.
@UltimoraPolitics
Con 132 sì, 86 no e un astenuto, la #Camera approva la proposta di legge che punta a istituire la commissione d'inchiesta "sull'operato del governo e sulle misure da esso adottate per prevenire e affrontare l'emergenza Covid-19". Il testo, già passato all'esame del Senato, diventa dunque definitivo
@UltimoraPolitics
Mes, la commissione Bilancio della Camera è convocata questa mattina alle 9.30 per esprimere il parere sulla ratifica. La discussione è attesa alla #Camera nella seduta di oggi. Il provvedimento si trova al terzo punto dell'odg dell'Aula
@UltimoraPolitics