Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
群组介绍:
就是发我生活中遇到的比较好用的软件啊,教程啊之类的,部分含有色情内容,慎入哈。几乎每个消息都有Tag,下面会标注一下,其中 #sex 就是包含色情内容。
A
#安卓手机软件#AI#AV#Ayugram#apkcombo#阿里云盘#ASMR
B
#本子#百度网盘#哔哩哔哩#Bandizip#哔咔#比特彗星#bot#bybit
C
#磁力#插件#clash#测速
D
#第三方TG#代理软件#discord#第一版主#电报小tips
E
#Ehentai#emby
F
#flclash#翻墙#flyy
H
#Hanime1#汉化链接#汉化#黑盒闪搜#hd2a#黄油
I
#iwara
G
#规则#隔空投送
J
#机器人#脚本#解压软件#禁忌书屋#禁漫天堂#解压软件#机场#剪映国际版#解压#禁止转发的频道
K
#kemono#夸克网盘#可拓浏览器#k-lite
L
#浏览器#里番#论坛#洛雪
M
#漫画#mod#MMD#music#Meget
N
#nagramX#nhentai#nikke#奈飞#男娘#南+
O
#onlyfans#office
P
#PDF#pikpak#picacomic#pixiv#PerfectViewer#pixez#piliplus
Q
#QQ
S
#神器#sex#搜图机器人#私有频道#绅士漫画#搜狗输入法
T
#TG群#图片查看器#telegram#推特#twitter#tdl#TG小知识#TG大会员#梯子#贴纸
W
#win软件#外挂
X
#小说#X#小火箭#写真
Y
#阅读#油猴脚本#原神#益达#音乐#油管#youtube#游戏#影视
Z
#主题#资源论坛#中文#zachiver#资源管理器#正经漫画
*
#360 #64gram