Најди сличен содржај

Изворен канал @pythonotes · Post #425 · 20 апр.

Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках. Выглядело это примерно так: from fastapi.concurrency import run_in_threadpool async def execute(data: DataRequest) -> DataResponse: try: result = await run_in_threadpool(sync_function, data) return DataResponse(data=result) except Exception as e: return DataResponse( error=str(e), success=False, ) В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо. Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров). Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio: import anyio @asynccontextmanager async def lifespan(app: FastAPI): limiter = anyio.to_thread.current_default_thread_limiter() limiter.total_tokens = 100 yield # если вдруг нужно вернуть обратно limiter.total_tokens = 40 Зачем менять количество воркеров? - уменьшить, если оперативки мало (один тред занимает ~8мб) - увеличить чтобы выдержать нагрузку Если есть предложения получше при тех же вводных - предлагайте😉 #async

Hashtags

#async

Резултати

Пронајдени 2 слични објави

Пребарај: #ukgovernment

当前筛选 #ukgovernment清除筛选

AI & Law

@ai_and_law · Post #145 · 23.10.2023 г., 07:04

Најди слично Погледај

UK to Host Inaugural Global AI Safety Summit at Bletchley Park Hello, AI&Law community! The UK Government unveils the agenda for the first-ever global AI Safety Summit, set to take place at the historic Bletchley Park. The summit will unite digital ministers, AI companies, civil society representatives, and independent experts in crucial discussions. The spotlight is on frontier AI, the most advanced AI models, with an emphasis on responsible development to mitigate potential risks. Deliberations will address emerging AI dangers and the transformative opportunities AI offers, particularly in education and international research collaboration. Technology Secretary Michelle Donelan will lead the event, emphasizing the importance of safety and security in AI advancements. Topics will span frontier AI risks, national security threats, potential election interference, and addressing global inequalities. A major theme is international cooperation among policymakers, scientists, and researchers to manage risks and unlock AI's global potential. The summit aims to promote responsible AI development and deployment on a global scale, with the UK Government leading the way. #AISafety#UKGovernment#AIConference#GlobalAI#AIResponsibility

Hashtags

#aisafety #ukgovernment #aiconference #globalai #airesponsibility

AI & Law

@ai_and_law · Post #35 · 21.06.2023 г., 07:04

Најди слично Погледај

£54 million boost to develop secure and trustworthy AI research The UK government has announced a significant investment of £54 million to support the development of secure and trustworthy AI. The funding will be allocated to various projects and initiatives focused on enhancing the security and trustworthiness of AI systems. This includes advancing research on AI algorithms, data privacy, and cybersecurity measures. The aim is to address critical challenges such as algorithmic bias, data protection, and ethical considerations in AI development and deployment. #AIresearch#SecureAI#TrustworthyAI#UKgovernment#Innovation#EthicalAI#DataPrivacy#Cybersecurity

Hashtags

#airesearch #secureai #trustworthyai #ukgovernment #innovation #ethicalai #dataprivacy #cybersecurity