Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
Бүгінгі брифингтен соң Alem журналистердің сұрақтарына жауап бере отырып, өнер мен шығармашылыққа деген көзқарасын ашық айтты. Ол сахнада баға бермеуді, әр әртістің өзіндік әлемін және айтар ойын құрметтеуді үйренгенін атап өтті.
🎤 Сұхбат барысында журналистер әншінің шығармашылық шабыты, өзіндік ерекшелігінің құпиясы жайлы сұрақтарына жауап алды.
*
После сегодняшнего брифинга Alem, отвечая на вопросы журналистов, откровенно поделился своим взглядом на искусство и творчество. Он отметил, что за годы на сцене научился не давать оценок, а уважать уникальный внутренний мир и посыл каждого артиста.
🎤 В ходе интервью журналисты получили ответы на вопросы о его источниках вдохновения и секрете индивидуальности.
#silkwaystar#jibekjolytv
Закончились съемки нашей программы “Төрлетіңіз Арман & Ляйля шақырады!”Спасибо большое всем, кто готовил её, снимал и принимал участие!🙏Сморите каждую субботу в 21-00 на @jibek_joly.tv❤️ Кто помнит группу Аркас? #Казахстан#Астана#Алматы#Армандавлетяров#Armandavletyarov#jibekjolytv
Целый год я вел программу “Төрлетіңіз Арман&Ляйля шақырады” вместе с потрясающей @sultankyzy на @jibek_joly.tv. Этот проект не только позволил мне окунуться в разнообразие культуры и таланта Казахстана, но и привнести что-то новое в свою жизнь. Я хочу выразить глубокую благодарность каждому человеку, кто принимал участие в создании этой программы,команде @erkezhankuntugan и команде @galiya_baibossynova. Благодаря вашему труду, энтузиазму и преданности, мы смогли создать нечто по-настоящему великолепное. Наша программа попадала в топ 10 лучших развлекательных программ Казахстана. Вместе мы создавали моменты, которые останутся в памяти наших зрителей на долгие годы.Несмотря на то, что моя жизнь приносит новые вызовы,проекты и изменения, это программа будет особенной частью моего сердца. Благодарю вас всех за этот невероятный год, за ваши улыбки, за вашу поддержку и любовь.
Жизнь полна перемен, но наши воспоминания остаются
с нами навсегда. Спасибо вам за этот незабываемый опыт! #Россия#Москва#Казахстан#Астана#Алматы#Армандавлетяров#Armandavletyarov#всегдавашармандавлетяров#jibekjolytv