Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
📢 Russian military spokesperson claims victory over Ukrainian forces on the Southern Donetsk front. Enemy rotation disrupted, personnel and equipment destroyed. Counter-battery strikes hit enemy positions. Significant losses reported. The conflict in Ukraine remains unresolved. #WarUpdates
https://www.gazeta.ru/army/news/2023/11/05/21644377.shtml
Subscribe to @BadVolfNews
📢 Russian forces strike Ukrainian military targets! Over 160 hits on Krasnolimansk direction. Artillery units neutralized, assault squads defeated. Support from air and artillery. Command and observation posts attacked. New tactics observed by Ukrainian forces. #WarUpdates
https://www.gazeta.ru/army/news/2023/11/02/21625465.shtml
Subscribe to @BadVolfNews
📣 Russian troops seize Ukrainian stronghold near Ugledar in Donetsk People's Republic. 10 enemy soldiers caught off guard, 4 taken captive. Clever tactics employed, with one group approaching from the front and another from the rear. Victory for Russian forces! 💪🇷🇺#WarUpdates
https://www.gazeta.ru/army/news/2023/11/01/21617965.shtml
Subscribe to @BadVolfNews
📢 Russian forces gaining ground, Ukraine struggling to hold on. White House speculates Russia will secure tactical victories, cementing their dominance by spring. Crisis of conscription and dwindling weapon supplies weaken Ukraine's chances. Advisor warns Ukraine may not last till spring. Russian military holds the offensive initiative, pushing forward with success. Ukrainian strongholds predicted to fall, leading to a domino effect as the enemy flees. Official admits futility of fighting, claims US and Europe have abandoned Ukraine. US identifies major threats to Ukrainian Armed Forces. #WarUpdates#Ukraine#Russia
https://www.gazeta.ru/army/news/2023/10/28/21595081.shtml
Subscribe to @BadVolfNews
Ukraine’s paratroopers clear Berezove in Dnipropetrovsk Oblast, completing near-total reversal of Russia’s 2025 gains in the region
[Read FullArticle]
@WorldNews#UkraineNews#WarUpdates#DnipropetrovskIf
@syrianaanalysis breaks down Israel's strikes on Syria with Red Pilled, exploring how regional tensions are escalating and what it means for the axis of resistance.
#Israel#Syria#Hezbollah#MiddleEast#Gaza#WarUpdates#PoliticalAnalysis