Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

#async

Резултати

Пронајдени 1 слични објави

Пребарај: #openprojects

当前筛选 #openprojects清除筛选

Публикационная деятельность

@SPMU_Publications · Post #123 · 26.01.2021 г., 08:18

Најди слично Погледај

Проекты по открытости в России о которых часто забывают и не грех напомнить ещё раз. - Научный агрегатор открытых репозиториев openrepository.ru - создан НЭИКОН за счёт гранта от Фонда президентских грантов. Включает данные агрегированные из научных репозиториев статей российских университетов. - Открытый корпус opencorpora.org для русского языка, большой краудсорсинговый проект, морфологически, синтаксически и семантически размеченный корпус текстов на русском языке. Полностью открытый, с возможностью скачать собранные в нём данные - Firststat firststat.ru большая некоммерческая база доменов в зонах .ru, .su, .рф. Несмотря на отсутствие дампов открытых данных, у проекта есть открытый код и недокументированное API которое, например, помогает в сборе всех госдоменов для проекта govdomains - Открытые данные и API Госдумы api.duma.gov.ru документация не обновлялась около 8 лет, последние наборы данных деклараций депутатов публиковались в 2012 году. Но генератор токенов для API и само API всё ещё работает. Кроме данных по голосованию - это источник стенограмм, выступлений депутатов и ещё многих других данных Госдумы. Если Вы знаете какие-либо интересные общественные или редко упоминаемые, но интересные госпроекты по открытости данных, напишите о них. #opendata#opengov#openprojects

Hashtags

#opendata #opengov #openprojects