Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

#async

Резултати

Пронајдени 2 слични објави

Пребарај: #stemai

当前筛选 #stemai清除筛选

Venture Village Wall 🦄

@venturevillagewall · Post #3593 · 20.12.2024 г., 13:03

Најди слично Погледај

OpenAI CEO Salaries Revealed OpenAI released salary details for its executives. Sam Altman earned $76,001 in 2023, averaging $318 per day over 239 working days. Emmett Shear, who served as CEO for just 10 days, made $322,201, costing $322 per day. Ilya Sutskever had the highest pay at $322,201, averaging $1,294 per day. Additionally, Shear is founding a new AI startup, Stem AI, backed by Andreessen Horowitz. The startup's trademark was filed after Shear took the temporary CEO role at OpenAI. #OpenAI#SamAltman#EmmettShear#IlyaSutskever#AI#TechNews#Startup#AndreessenHorowitz#StemAI#Salary#ExecutivePay#CEO#RegulatoryFiling#VentureCapital

Hashtags

#openai #samaltman #emmettshear #ilyasutskever #ai #technews #startup #andreessenhorowitz #stemai #salary #executivepay #ceo #regulatoryfiling #venturecapital

Venture Village Wall 🦄

@venturevillagewall · Post #3594 · 20.12.2024 г., 14:00

Најди слично Погледај

OpenAI CEO Salaries Revealed Recent data published by OpenAI reveals salary details for its CEO Sam Altman and former CEO Emmett Shear. Altman earned $76,001 for 2023, translating to approximately $318 per workday over 239 days. In contrast, Shear received $322,201 for just 10 days as CEO, costing around $322 daily. Additionally, Ilya Sutskever earned $322,201, or $1,294 per day. Shear is now starting an AI venture, Stem AI, backed by Andreessen Horowitz, with a focus on human behavior alignment. Notably, the company was registered prior to his brief tenure at OpenAI. #OpenAI#SamAltman#EmmettShear#Salary#AI#TechNews#Startups#Funding#IlyaSutskever#StemAI#AndreessenHorowitz#Business#Leadership#TechCrunch #2023 #StartupLife#Innovation#HumanBehavior#Equity

Hashtags

#openai #samaltman #emmettshear #salary #ai #technews #startups #funding #ilyasutskever #stemai #andreessenhorowitz #business #leadership #techcrunch #startuplife #innovation #humanbehavior #equity