Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
🌎 In Slovenia, the Postojna Cave system stretches over 24 kilometers and features an electric railway for visitors. Completely formed by the Pivka River, its labyrinth includes massive chambers and rare olm salamanders, which can live over 100 years in total darkness. ✨
#caves⚡#geology⚡#salamander
👉subscribe Interesting Planet
👉more Channels
🌎 The lungless salamander breathes entirely through its skin and mouth lining—no lungs at all! This adaptation lets it thrive in moist forests, where constant skin moisture is key for gas exchange and silent hunting. ✨
#salamander⚡#adaptation⚡#evolution
👉subscribe Interesting Planet
🌎 Deep in the caves of Slovenia, the olm lays eggs that take up to 6 years to develop! This cave salamander lives in total darkness, using keen senses of smell and vibration to survive, and can go years without food. ✨
#salamander⚡#caves⚡#evolution
👉subscribe Interesting Planet
🌎 The Japanese giant salamander can grow over 1.5 meters long, making it one of the largest amphibians on Earth. This gentle, nocturnal creature breathes through loose skin folds which help it absorb oxygen from cold, fast-flowing streams. ✨
#salamander⚡#wildlife⚡#Japan
👉subscribe Interesting Planet
🌎 The giant salamander of China is the world’s largest amphibian, reaching 1.8 meters in length. Its ancestors appeared about 170 million years ago, and it can live over 50 years in the wild. ✨
#salamander⚡#fossil⚡#amphibian
👉subscribe Interesting Planet
👉more Channels