Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
⚡ Компания Lightning Labs представила инструменты LangChainBitcoin, которые позволят ИИ-разработчикам интегрировать биткоин-платежи в свои решения.
«Инструменты построены на протоколе L402, собственном механизме аутентификации Lightning Network, и Langchain, популярной библиотеке для упрощения работы с агентами ИИ», — говорится в описании.
LangChainBitcoin позволяет непосредственно взаимодействовать с биткоином, хранить баланс, отправлять и получать криптовалюту через сеть микроплатежей, а также напрямую управлять нодой LND, подчеркнули разработчики Lightning Labs.
#AI#Lightning
🌎 Lightning can sculpt glassy roots in sand! When a lightning bolt strikes the beach, it melts the grains into branching tubes called fulgurites—nature’s underground lightning “fossils.” ✨
#lightning⚡#geology⚡#minerals
👉subscribe Interesting Planet
OpenRGB
Open source #RGB#lightning control
If you have RGB devices from many different manufacturers, you will likely have many different programs installed to control all of your devices. These programs do not sync with each other, and they all compete for your system resources. OpenRGB aims to replace every single piece of proprietary RGB software with one lightweight app.
https://openrgb.org
#ChatGPT easily writes the code of a reverse proxy that allows you to open the API gate for payments #Bitcoin#Lightning and just as easily translates this code into the popular Rust programming language
Simply put, machines are capable of making transactions with other machines 😈
🌎 A bolt from the past—fossilized lightning! When a lightning strike fuses sandy soil, it creates glassy, branching tubes called fulgurites, preserving the path of electricity underground for thousands of years. ✨
#geology⚡#lightning⚡#fossils
👉subscribe Interesting Planet
🌍 A single lightning bolt can be five times hotter than the surface of the Sun. These powerful flashes quickly heat the air, causing the thunderous sound we hear soon after. ✨
#weather⚡#lightning⚡#atmosphere⚡#geography⚡#nature⚡#earth
👉subscribe Amazing Geography🌍