Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
A newly created wallet withdrew 139,557 $HYPE worth $5.49M from #Gate. Address: 0xee0a18b394ece1d7be81be15d6cec3ac7707b71c https://x.com/OnchainLens/status/2034936951275757877 Follow @onchainlens for more onchain updates
A newly created wallet withdrew 139,557 $HYPE worth $5.49M from #Gate.
Address: 0xee0a18b394ece1d7be81be15d6cec3ac7707b71c
https://x.com/OnchainLens/status/2034936951275757877
Follow @onchainlens for more onchain updates
After being dormant for 8 months, a whale deposited 2,11,343 $TRUMP worth $847.4K into #Gate, losing $1.28M.
The whale initially withdrew these $TRUMP for $2.13M from #Gate.
The whale also holds 18,787 $SOL ($1.66M), losing $1.62M.
Address - 7HqAk2h4cJZqyKdbzKEqm4JeWBnKMitVrwFMoEgqE93D
https://x.com/OnchainLens/status/2033095024649601045
Follow @onchainlens for more onchain updates
Wallet 0x011 (likely @ambergroup_io) withdrew 3M $SAFE ($6.72M) from #Gate.io at $2.25 for the first time 6 hours ago.
Notably, the $SAFE price has dropped ~36% since it became transferrable on April 23, 2024. Was this a good entry? 🤔
Follow @spotonchain and set alerts for Amber Group now via https://platform.spotonchain.ai/en/entity/80