Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

#async

Резултати

Пронајдени 2 слични објави

Пребарај: #geoscience

当前筛选 #geoscience清除筛选

Earth&Climate Tech

@earth_climate_tech · Post #306 · 30.05.2023 г., 21:20

Најди слично Погледај

Машинное обучение в геонауках. Обзор 70 years of machine learning in geoscience in review - статья почти 3-х летней давности, но от этого не теряющя актуальности. В этой работе дается обзор развития машинного обучения в геонауках за последние 70 лет 👴, со времен когда еще и машинным обученем это никто не называл. Кригинг, деревья, метод опорных векторов и далее к сверточным сетям и генеративным моделям глубокого обучения. Отсутствует только обзор популярных в последние годы больших языковых и генерационных моделей. В общем такое краткое изложение того с чего все начиналось и к чему пришли, применяя статистику и программирование для понимания земных процессов. Ко всему прочему это еще и прекрасный обзор литературы 📚. Или идеальная вводная лекция для курса "Машинное обучение в геонауках/поиске ресурсов" #ML#AI#geoscience#paper

Hashtags

#ml #ai #geoscience #paper

Earth&Climate Tech

@earth_climate_tech · Post #347 · 13.07.2023 г., 16:00

Најди слично Погледај

Будущее геоученых и геоинженеров Что если энергетический переход состоится? Что будут делать геоученые и геоинженеры, огромная доля которых работает в нефтегазовой промышленности? На этот вопрос отвечает статья в журнале Earth Science Systems and Society. Авторы выделяют несколько ключевых областей занятости кроме "нефтянки" (которая никуда не денется): • Подземные методы и технологии декарбонизации с упором на использование энергии, ее хранение и управление отходами. • Поиски и добыча критических элементов и металлов в рамках концепции устойчивой добычи полезных ископаемых. • Междисциплинарные задачи в науках о Земле, включая отраслевую политику и практику, а также политические, экономические и социальные темы. Статья с подробностями тут. P.S. Еще у нас есть твиттер. Но пока нет Threads :). #EnergyTransition@ClimateChange#NetZero#Geoscience

Hashtags

#energytransition #netzero #geoscience