Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

#async

Резултати

Пронајдени 1 слични објави

Пребарај: #ethicsandai

当前筛选 #ethicsandai清除筛选

AI & Law

@ai_and_law · Post #56 · 14.07.2023 г., 07:04

Најди слично Погледај

Google takes steps towards responsible AI in the EU Hey there, AI and Law friends! 👋 We have an exciting update to share with you today. Google is making significant strides towards responsible AI in the EU. They are actively engaging in discussions with regulators about the AI Act, a crucial piece of legislation. Led by Thomas Kurian, Google's cloud computing division is addressing the concerns raised by the EU regarding artificial intelligence. One of the main challenges discussed is the ability to distinguish between human-generated and AI-generated content. But fear not! Google has come up with a clever solution. They have introduced a "watermarking" feature that labels AI-generated images, making it easier for users to identify them. On top of that, Google is actively working on developing innovative technologies to ensure that people can easily differentiate between content created by humans and content generated by AI. This move showcases how major tech companies like Google are taking the lead in implementing private sector-driven oversight of AI. They are not waiting for formal regulations to be in place; they are proactively working on solutions to ensure responsible and ethical AI practices. Now, here's a thought-provoking question for you all: Can technology companies and regulatory bodies effectively collaborate to ensure responsible and ethical AI practices? #AIRegulations#ResponsibleAI#TechIndustry#EthicsAndAI

Hashtags

#airegulations #responsibleai #techindustry #ethicsandai