TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

Резултати

Пронајдени 2 слични објави

Пребарај: #aipolicies

当前筛选 #aipolicies清除筛选
AI & Law

@ai_and_law · Post #67 · 26.07.2023 г., 07:04

Unveiling the Future of AI: OECD's Expert Group on AI Futures Hello, AI & Law community! The Organisation for Economic Co-operation and Development (OECD) has established a brand new Expert Group on AI Futures to tackle the challenges arising from the rapid advancements in artificial intelligence systems. This initiative aims to provide valuable insights into the future of AI, empowering governments to develop proactive and effective AI policies. The group is intended to provide insights on: 1️⃣ key milestones for possible future developments in advanced AI systems; 2️⃣ various risks associated with each milestone; 3️⃣ best practices in AI safety; 4️⃣ scenarios about AI’s future; and 5️⃣ suggested policy approaches to mitigate future risks while harnessing the benefits of AI. #AI#AIInsights#FutureofAI#AIpolicies#OECD

AI & Law

@ai_and_law · Post #163 · 13.11.2023 г., 08:04

NIST Launches Consortium to Shape US AI Policies Hello, everyone! The National Institute of Standards and Technology (NIST) has initiated a consortium to address AI development and deployment challenges. The collaboration seeks to establish policies and measurements that prioritize human-centric AI safety and governance in the United States. The consortium will work on various aspects, including creating measurement and benchmarking tools, policy recommendations, red-teaming efforts, psychoanalysis, and environmental analysis. This move comes in response to an executive order issued by US President Joseph Biden, which introduced six new standards for AI safety and security. While other regions have been more proactive in regulating AI systems, the US is catching up. The AI consortium represents a significant step in shaping the future of AI policies in the United States through collaboration between government bodies, non-profits, universities, and tech companies. #NIST#AIConsortium#AIPolicies#USAIRegulation