Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

#async

Резултати

Пронајдени 2 слични објави

Пребарај: #aiconvention

当前筛选 #aiconvention清除筛选

AI & Law

@ai_and_law · Post #406 · 27.09.2024 г., 07:04

Најди слично Погледај

New Article Highlights Europe's Dual Approach to AI: Human Rights vs. Market Regulation A recent article by Virginia Dignum, Director of the AI Policy Lab at Umeå University, sheds light on the evolving landscape of AI governance in Europe. The piece compares two pivotal frameworks: the newly introduced Council of Europe's Framework Convention on AI, Human Rights, Democracy, and the Rule of Law, and the EU's AI Act. The Council of Europe convention, open for signatures as of September 2024, emphasizes the protection of human rights, transparency, and accountability in all AI sectors. In contrast, the AI Act takes a more business-focused approach, offering clear regulatory guidelines with a risk-based model, particularly for high-impact sectors like healthcare. While the AI Act fosters innovation and compliance, the Council of Europe's broader focus aims to ensure AI upholds democratic values and the rule of law, signaling Europe's comprehensive strategy for ethical AI development. #AIRegulation#AIConvention#AIAct#EthicalAI#Transparency#Innovation

Hashtags

#airegulation #aiconvention #aiact #ethicalai #transparency #innovation

AI & Law

@ai_and_law · Post #46 · 04.07.2023 г., 07:04

Најди слично Погледај

UK: Report calls for ethical AI future and robust governance The All-Party Parliamentary Group on Data Analytics in the UK has released a report titled "An Ethical AI Future: Guardrails & Catalysts to make Artificial Intelligence a Force for Good." The report aims to explore how an effective governance and regulatory framework can maximize the benefits of AI while addressing existing risks such as deep fakes and preparing for potential future risks. The report puts forth several key recommendations to shape the future of AI governance: 1️⃣ Strengthen international engagement. 2️⃣ Champion AI ethics convention. 3️⃣ Embedding 'Do No Harm' objective. 4️⃣ Establish independent regulatory authority. #EthicalAI#AIRegulation#Governance#AIConvention#Accountability

Hashtags

#ethicalai #airegulation #governance #aiconvention #accountability