TGINSIGHT CHAT
Machinelearning
@ai_machinelearning_big_data
ТехнологииПогружаемся в машинное обучение и Data Science Показываем как запускать любые LLm на пальцах. По всем вопросам - @haarrp @itchannels_telegram -🔥best channels Реестр РКН: clck.ru/3Fmqri
Последние посты
Тег: #aiinfrastructure · 2 постов
⚡️Это гигантский дата-центр Amazon за $11 млрд в Индиане. Кампус строится под обучение и инференс ИИ и будет потреблять до 2.2 ГВт - примерно как 1 миллион домов. В состав комплекса войдут собственные электростанции, поэтому нагрузка на местную энергосеть и тарифы для жителей должна быть минимальной. @ai_machinelearning_big_data #Amazon#DataCenter#AIInfrastructure#AIFactory#CloudComputing
💡DeepSeek выложили новый open-source проект — LPLB. Это экспериментальный балансировщик нагрузки для моделей Mixture-of-Experts (MoE). В репозитории описано, как система: • динамически перераспределяет экспертов, опираясь на статистику нагрузки; • создаёт реплики с учётом топологии кластера; • решает оптимальное распределение токенов по экспертам через LP-решатель, работающий прямо на GPU (cuSolverDx + cuBLASDx); • использует метрики загрузки, полученные вручную, через torch.distributed или через буферы Deep-EP. Гайд показывает, как может выглядеть умный и точный балансировщик для больших MoE-архитектур. GitHub: https://github.com/deepseek-ai/LPLB ai_machinelearning_big_data #DeepSeek#LPLB#MoE#AIInfrastructure#OpenSource