Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
#Norvegia🇳🇴
#Parlamentari
Risultati preliminari.
🟥 Partito Laburista (#Ap|PES): 28,0%
🟦 Partito del Progresso (#FrP|Destra): 23,9%
🟦 Partito Conservatore (#H|PPE): 14,6%
🟪 Partito Socialista di Sinistra (#SV|LEFT): 5,6%
🟩 Partito di Centro (#Sp|Centro euroscettico): 5,6%
🟥 Rosso (#R|Sinistra anticapitalista): 5,3%
🟩 Partito Verde (#MDG|EGP): 4,7%
🟨 Partito Cristiano-Democratico (#KrF|PPE): 4,2%
🟩 Partito Liberale (#V|ALDE): 3,7%
Altri: 4,4%
#Norvegia🇳🇴
#Parlamentari
Risultati parziali.
🟥 Partito Laburista (#Ap|PES): 28,1%
🟦 Partito del Progresso (#FrP|Destra): 23,9%
🟦 Partito Conservatore (#H|PPE): 14,6%
🟩 Partito di Centro (#Sp|Centro euroscettico): 5,6%
🟪 Partito Socialista di Sinistra (#SV|LEFT): 5,6%
🟥 Rosso (#R|Sinistra anticapitalista): 5,3%
🟩 Partito Verde (#MDG|EGP): 4,7%
🟨 Partito Cristiano-Democratico (#KrF|PPE): 4,2%
🟩 Partito Liberale (#V|ALDE): 3,7%
@TuttoElezioni
#Norvegia🇳🇴
#Parlamentari
Risultati parziali.
Distribuzione provvisoria dei seggi.
🟥 Partito Laburista (#Ap|PES): 53
🟦 Partito del Progresso (#FrP|Destra): 48
🟦 Partito Conservatore (#H|PPE): 24
🟩 Partito di Centro (#Sp|Centro euroscettico): 9
🟪 Partito Socialista di Sinistra (#SV|LEFT): 9
🟥 Rosso (#R|Sinistra anticapitalista): 9
🟩 Partito Verde (#MDG|EGP): 7
🟨 Partito Cristiano-Democratico (#KrF|PPE): 7
🟩 Partito Liberale (#V|ALDE): 3
@TuttoElezioni
#Norvegia🇳🇴
#Parlamentari
Risultati parziali.
🟥 Partito Laburista (#Ap|PES): 28,2%
🟦 Partito del Progresso (#FrP|Destra): 23,9%
🟦 Partito Conservatore (#H|PPE): 14,6%
🟩 Partito di Centro (#Sp|Centro euroscettico): 5,7%
🟪 Partito Socialista di Sinistra (#SV|LEFT): 5,5%
🟥 Rosso (#R|Sinistra anticapitalista): 5,3%
🟩 Partito Verde (#MDG|EGP): 4,6%
🟨 Partito Cristiano-Democratico (#KrF|PPE): 4,2%
🟩 Partito Liberale (#V|ALDE): 3,6%
@TuttoElezioni
#Norvegia🇳🇴
#Parlamentari
Risultati parziali.
🟥 Partito Laburista (#Ap|PES): 28,1%
🟦 Partito del Progresso (#FrP|Destra): 24,3%
🟦 Partito Conservatore (#H|PPE): 14,5%
🟩 Partito di Centro (#Sp|Centro euroscettico): 5,8%
🟪 Partito Socialista di Sinistra (#SV|LEFT): 5,4%
🟥 Rosso (#R|Sinistra anticapitalista): 5,3%
🟩 Partito Verde (#MDG|EGP): 4,5%
🟨 Partito Cristiano-Democratico (#KrF|PPE): 4,3%
🟩 Partito Liberale (#V|ALDE): 3,5%
@TuttoElezioni