Ұқсас мазмұн табу

💡DeepSeek выложили новый open-source проект — LPLB. Это экспериментальный балансировщик нагрузки для моделей Mixture-of-Experts (MoE). В репозитории описано, как система: • динамически перераспределяет экспертов, опираясь на статистику нагрузки; • создаёт реплики с учётом топологии кластера; • решает оптимальное распределение токенов по экспертам через LP-решатель, работающий прямо на GPU (cuSolverDx + cuBLASDx); • использует метрики загрузки, полученные вручную, через torch.distributed или через буферы Deep-EP. Гайд показывает, как может выглядеть умный и точный балансировщик для больших MoE-архитектур. GitHub: https://github.com/deepseek-ai/LPLB ai_machinelearning_big_data #DeepSeek#LPLB#MoE#AIInfrastructure#OpenSource