Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
报道称微软终止 Win11 电话激活服务,24 年历史经典验证方式谢幕
消息源 @TheBobPony 于 12 月 21 日在 X 平台发布推文,爆料称微软已悄然终止对 Windows 及旗下所有软件产品的电话激活服务, 这一始于 Windows XP 时代的经典验证方式正式谢幕。 IT之家援引博文介绍,电话激活的机制本质上是验证软件许可条款合规性的过程。系统通过将产品密钥与设备硬件绑定,以防止同一密钥在多台设备上违规使用。
标签:#win11
Created by RocM
官方频道:@rocCHL
官方群组:@roctech
官方合作:@rocmmbot
微软全面放开,Win10/Win11 硬件合规设备获推 25H2 新版
微软已向所有兼容的 Windows 10 和 11 设备开放 Windows 11 25H2 更新。 用户现在可以通过 Windows Update 设置手动更新。 此更新保留了 Windows 11 的原始硬件要求,但高级 AI 功能可能需要更强大的处理器或 NPU。
标签:#win11
Created by RocM
官方频道:@rocCHL
官方群组:@roctech
官方合作:@rocmmbot
初探记事本 AI 流式生成:首批限 Copilot+ PC 设备,微软承诺未来将覆盖所有 Win11 设备
微软正在将包括“流式生成”在内的 AI 功能集成到 Windows 11 记事本应用程序中,允许类似 ChatGPT 的实时 AI 文本生成。目前仅限于 Copilot+ 电脑,微软计划将可用性扩展到所有 Windows 11 设备。然而,此举引发了争议,一些用户质疑在传统简单的文本编辑器中添加 AI。
标签:#win11
Created by RocM
官方频道:@rocCHL
官方群组:@roctech
官方合作:@rocmmbot