Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
VEON AdTech поздравляет всех девушек с весенним праздником Международного Женского Дня!
Этот день — это не только праздник весны, но и день, когда мы отмечаем вклад женщин не только в науку и технологии, но и в бизнес, искусство, медицину и многие другие сферы. Мы восхищаемся как они разрушают стереотипы, преодолевают барьеры и достигают выдающихся результатов, меняя представление о возможностях и границах.
В мире технологий их роль становится все более значимой — представительницы VEON AdTech управляют инновационными проектами, разрабатывают передовые решения, создают успешные продукты и определяют будущее цифровой трансформации. Они вдохновляют своим талантом, нестандартным мышлением и стремлением к новым вершинам.
Мы гордимся тем, как женщины меняют мир! Желаем неиссякаемого вдохновения, уверенности в своих силах и новых достижений!🎉🌷
#VEONAdTech#womensday#girlsinIT
VEON AdTech поздравляет всех девушек с прекрасным весенним праздником Международного Женского Дня!
Мы наблюдаем за тем, как в последние годы все больше амбициозных и целеустремленных девушек проявляют интерес к сфере информационных технологий. Их талант и креатив не только решают сложные задачи, но и меняют мир вокруг.
В VEON AdTech работают самые яркие представительницы IT-направлений: дата-аналитики, продакт оунеры и разработчики. Они вдохновляют нас своими идеями, учат смотреть на задачи с нестандартной точки зрения и стремятся к постоянному самосовершенствованию.
Желаем дальнейших успехов во всех профессиональных начинаниях. С 8 марта!🎉
– – –
VEON AdTech extends warm wishes to all ladies on International Women's Day!
We've been witnessing a growing interest from ambitious and determined ladies in the field of information technology in recent years. Their talent and creativity not only tackle complex challenges but also reshape the world around us.
At VEON AdTech, we are fortunate to have the brightest minds in IT: data analysts, product owners, and developers. They inspire us with their ideas, teach us to approach tasks from unconventional perspectives, and are committed to continuous self-improvement.
Wishing you continued success in all your professional endeavors! Happy International Women's Day! 🎉
#VEONAdTech#womensday#girlsinIT