TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

Резултати

Пронајдени 1 слични објави

Пребарај: #oecdinsights

当前筛选 #oecdinsights清除筛选
AI & Law

@ai_and_law · Post #75 · 04.08.2023 г., 07:04

The Complexity of Regulating Foundation Models in the AI Act Hello, AI & Law community! Kai Zenner, the Head of Office and Digital Policy Adviser at the Office of MEP Axel Voss, shared his opinion on the OECD website about regulating foundation models in the AI Act. 🔹 The Existing Gap: The proposed AI Act by the European Commission, created before foundation models gained prominence in AI, doesn't explicitly cover these versatile models. Their potential for diverse, unforeseen purposes makes it tricky to fit them into the current product safety approach. The Act's use case approach, limiting AI systems to specific risk classes, is too inflexible for the latest foundation models that can handle various tasks. This creates a regulatory gap that needs to be addressed. 🔹 Positive Progress: The European Parliament has taken a proactive step to tackle this issue by introducing Article 28b, which adds a regulatory layer specifically for foundation models. This article outlines nine essential obligations for developers, including identifying risks, testing, evaluation, and thorough documentation. These measures aim to strike a balance between ensuring safety and fostering innovation in the AI landscape. 🔹 Targeted Approach: A crucial consideration is to avoid putting too much burden on smaller providers while still effectively regulating foundation models. Zenner proposes adopting a systemic approach, targeting only a small number of highly capable and relevant foundation models under the AI Act. This strategy could be similar to how Very Large Online Platforms are designated under the Digital Services Act, ensuring a balanced and efficient regulatory framework. #AIRegulation#FoundationModels#AIAct#AIInnovation#AICommunity#TechLaw#OECDInsights