Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
⚡️Tether kompaniyasi Neuralink chiplariga o‘xshash texnologiya ustida ishlamoqda
⚡️ Tether kompaniyasi BrainOS deb nomlangan tizimni ishlab chiqayotganini e’lon qildi. Bu tizim inson aqlini sun’iy intellektning hisoblash imkoniyatlari bilan birlashtirishi mumkin.
⚡️ Kompaniyaning bashoratiga ko‘ra, yaqin 5–10 yil ichida sun’iy intellekt ko‘plab kasblarning ajralmas qismiga aylanadi va odamlar bunga moslashishga majbur bo‘ladi.
⚡️BrainOS bu muammoni hal qilish uchun taklif etilgan — texnologiyalarni to‘g‘ridan-to‘g‘ri inson miyasi bilan integratsiya qilish. Bu orqali fikrlash jarayoni tezlashadi va insoniyat sun’iy intellekt davrida yetakchilikni saqlab qolishi mumkin.
👉Bizning barcha loyihalar | #tether
CEO of #Tether warns about the possibility of mass mailing of phishing emails with the distribution of crypts
Hackers have hacked a "well-known" service provider for email newsletters (the name is not disclosed)
New investments by #Tether💵
Tether has invested $200 million in the biotech company Blackrock Neurotech, with a Brain-Computer-Interface (chipping, etc.. it looks like a Neuralink Mask)
Against the background of such investments by Blackrock Neurotech, Tether introduced its new division Tether Evo. The division will be engaged in investing in "human-oriented" technologies.
Earlier, Tether announced a new concept for the company, and also stated that they would invest in various areas of the global economy.
It is worth noting that Blackrock Neurotech has nothing to do with the Blackrock we know.
In general, biotechnology is an interesting investment direction, and Tether only confirms this + such movements pull the company beyond the framework of stablecoins.
Euro #Tether (EUR₮) and #Tether Gold (XAU₮) To Launch on BitMart Exchange
https://tether.to/en/euro-tether-eurt-and-tether-gold-xaut-to-launch-on-bitmart-exchange/
Euro #Tether (EURT) and #Tether Gold (XAUT) To Launch on SimpleSwap
https://tether.to/en/euro-tether-eurt-and-tether-gold-xaut-to-launch-on-simpleswap/