Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
⚡️Дженсен Хуанг лично подарил ИИ-суперкомпьютер Илону Маску
Глава NVIDIA сегодня вручил Маску в штаб-квартире SpaceX самый маленький в мире ИИ-суперкомпьютер.
🖥 Это устройство мощностью 1 петафлоп.
Ещё недавно такая производительность обеспечивалась целой комнатой серверов.
Теперь она помещается в коробку размером с рабочий ПК.
Такой компактный суперкомпьютер может использоваться для локального обучения и инференса нейросетей без дата-центров и облаков.
NVIDIA называет это началом новой эры персональных ИИ-ускорителей.
Мужчины честной судьбы встретились, в честь начала мировых поставок DGX Spark, которая начнется уже в эту среду.
Этот момент отсылает к истокам: в 2016 году именно Маск и его команда получили первый DGX-1 - тот самый суперкомпьютер, с которого началась эпоха ИИ-ускорителей NVIDIA.
Эх, нам бы такую коробочку)
Подробнее о первых поставках для разработчиков, исследователей, университетов в live-блоге Nvidia: https://blogs.nvidia.com/blog/live-dgx-spark-delivery/
@ai_machinelearning_big_data
#NVIDIA#JensenHuang#ElonMusk#SpaceX#AI
🖥 Глава Nvidia Дженсен Хуанг объяснил, почему инвестировал $2 млрд в компанию Илона Маска xAI - и сделал это с редкой откровенностью:
«Единственное, о чём я жалею, что не дал ему больше денег.
Когда речь идёт о проектах, в которых участвует Илон, ты хочешь быть частью этого. Он дал нам шанс инвестировать в xAI и это инвестиция в действительно великое будущее. Это не просто партнёрское финансирование, это вера в идею».
Крупнейшие компании Amazon, Microsoft и Google - управляют бизнесом на несколько триллионов долларов и тратят около сотни миллиадров на инфраструктуру дата-центров.
Но сейчас происходит тектонический сдвиг:
💡 переход от CPU-систем к генеративным AI-платформам на GPU, и этот переход только начинается.
Nvidia уже продала оборудования на сотни миллиардов долларов для этой новой эры,
но на фоне многотриллионного рынка AI-инфраструктуры и это тольео начало пути.
Мир вступает в долгосрочный цикл экспансии инвестиций в ИИ,
Nvidia - в самом центре этого колоссального рынка. 🚀
@ai_machinelearning_big_data
#Nvidia#xAI#ElonMusk#JensenHuang#AI#инвестиции#технологии#GPU
🚀 Nvidia CEO Encourages Relocation to California Amid Tax Concerns
Nvidia Corp. Chief Executive Officer Jensen Huang has encouraged individuals to consider moving to California, despite the state's high tax rates. Bloomberg posted on X, highlighting Huang's remarks, which come at a time when several billionaires have recently left California due to the potential imposition of a new tax levy. Huang's comments underscore the ongoing debate about the state's tax policies and their impact on residency decisions.
#Nvidia#JensenHuang#California#Taxes#Relocation#Billionaires#TaxPolicy#Residency