Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

#async

Резултати

Пронајдени 1 слични објави

Пребарај: #sparktts

当前筛选 #sparktts清除筛选

Kun.uz AI

@kunuzai · Post #235 · 08.03.2025 г., 07:33

Најди слично Погледај

💬Sunʼiy intellekt dunyosidagi hafta dayjesti 🎓OpenAI yangi NextGenAI dasturini ishga tushirdi OpenAI taʼlim va ilmiy tadqiqotlarni sunʼiy intellekt yordamida rivojlantirish uchun 50 mln dollar ajratdi. Loyihada Garvard, Kaliforniya texnologiya instituti, MIT kabi dunyoning 15 yetakchi ilmiy markazlari ishtirok etadi. Maqsad — ilm-fan va real biznes sohalarini AI yordamida bog‘lash. 🔗Batafsil 🖥Xitoy RISC-V chiplarini qo‘llab-quvvatlashni kengaytirmoqda Xitoy yangi siyosat ishlab chiqib, ochiq kodli RISC-V chiplarini milliy miqyosda ommalashtirishni rejalashtirmoqda. Maqsad — G‘arb texnologiyalariga qaramlikni kamaytirish. Qualcomm kabi kompaniyalar ham bu arxitekturani rivojlantirishga kirishdi. 🔗Batafsil 🎧Stability AI va Arm smartfonlarga generativ audio texnologiyasini olib keldi Endi telefoningizda yuqori sifatli audio va tovush effektlarini internetga ulanmasdan yaratishingiz mumkin. Stable Audio Open texnologiyasi yordamida audio generatsiya jarayoni Armv9 protsessorlarda 30 marta tezlashdi (240 soniyadan 8 soniyagacha). 🔗Batafsil 🌐Opera brauzerida sunʼiy intellekt-agenti — Operator ishga tushmoqda Opera yangi Operator brauzerini eʼlon qildi. Brauzer o‘z ichiga AI-agentni olib, foydalanuvchi topshiriqlarini mustaqil bajaradi: xaridlarni amalga oshiradi, obunalarni boshqaradi va bank operatsiyalarini nazorat qiladi. Operator yaqin vaqt ichida foydalanishga topshiriladi. 🔗Batafsil 🤖Amazon GPT-o’ga raqobatchi yangi AI modelini tayyorlamoqda Amazon "Nova" deb nomlangan kuchli sun’iy intellekt modelini taqdim etishga hozirlanmoqda. Ushbu model dasturlash va murakkab matematik hisob-kitoblarni amalga oshirishda yuqori natijalarni ko‘rsatadi. Model iyun oyida rasman e’lon qilinadi. 🔗Batafsil #Google#Storm#RiscV#Opera#Amazon#SparkTTS

Hashtags

#google #storm #riscv #opera #amazon #sparktts