TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

Резултати

Пронајдени 1 слични објави

Пребарај: #txt2txt

当前筛选 #txt2txt清除筛选

Всем привет! Добро пожаловать в 👾 Нейро-Софт! Для навигации по каналу используйте карту тегов ⤵️: #txt2img - Нейросети для генерации изображений по текстовому описанию. #img2img - Нейросети для изменения или стилизации изображений на основе других изображений. #txt2video - Нейросети для генерации видео по текстовому описанию. #img2video - Нейросети для создания видео на основе изображений. #deepfake - Нейросети для создания дипфейков и замены лиц в видео. #music - Нейросети для генерации музыки. #voicecloning - Нейросети для клонирования голоса. #tts - Нейросети для синтеза речи из текста. #stt - Нейросети для распознавания речи и перевода её в текст. #txt2txt - Нейросети для генерации текста, анализа текста и перевода. #multimodal - Нейросети, комбинирующие текст с изображениями или видео. #style - Нейросети для стилизации и переноса стиля. #creative - Инструменты для создания визуальных эффектов и художественного творчества. #stablediffusion - Нейросети для генерации изображений на базе модели Stable Diffusion. #controlnet - Нейросети использующие принципы или модели ControlNet, например Instant ID. #fooocus - Репаки и форки Fooocus. #forge - Репаки и форки Forge. #a1111 - Репаки и форки Automatic 1111. #llm - Большие языковые модели для генерации и анализа текста. 💬Обсудить в чате | ⭐️Поддержать канал 👾НЕЙРО-СОФТ — Делаем нейросети доступнее.