Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

#async

Резултати

Пронајдени 2 слични објави

Пребарај: #techcrunch

当前筛选 #techcrunch清除筛选

Venture Village Wall 🦄

@venturevillagewall · Post #3594 · 20.12.2024 г., 14:00

Најди слично Погледај

OpenAI CEO Salaries Revealed Recent data published by OpenAI reveals salary details for its CEO Sam Altman and former CEO Emmett Shear. Altman earned $76,001 for 2023, translating to approximately $318 per workday over 239 days. In contrast, Shear received $322,201 for just 10 days as CEO, costing around $322 daily. Additionally, Ilya Sutskever earned $322,201, or $1,294 per day. Shear is now starting an AI venture, Stem AI, backed by Andreessen Horowitz, with a focus on human behavior alignment. Notably, the company was registered prior to his brief tenure at OpenAI. #OpenAI#SamAltman#EmmettShear#Salary#AI#TechNews#Startups#Funding#IlyaSutskever#StemAI#AndreessenHorowitz#Business#Leadership#TechCrunch #2023 #StartupLife#Innovation#HumanBehavior#Equity

Hashtags

#openai #samaltman #emmettshear #salary #ai #technews #startups #funding #ilyasutskever #stemai #andreessenhorowitz #business #leadership #techcrunch #startuplife #innovation #humanbehavior #equity

Venture Village Wall 🦄

@venturevillagewall · Post #3711 · 25.12.2024 г., 10:00

Најди слично Погледај

Edtech Investments Hit 2014 Low 📉 Global investment in Edtech startups plummets to $3 billion this year, the lowest since 2014. Startups are distancing themselves from the Edtech label, impacting investor interest. 🧑‍🦼 'Моторика' acquires 51% of a wheelchair manufacturer, positioning itself in assistive technology ahead of an IPO planned for 2026. 🤖 OpenAI considers creating a humanoid robot, but new AI models remain the priority. ✈️ Lilium, the electric aircraft developer, may be saved by a consortium after announcing closures and layoffs. Read more: Financial Times, Vedomosti, The Information, TechCrunch #Edtech#Investment#Startups#AI#Robot#AssistiveTechnology#Lilium#MOTORIKA#FinancialTimes#Vedomosti#TheInformation#TechCrunch#Singapore#Cryptocurrency#UserExperience#MarketTrends#Technology#Innovation#Business#Funding