Post #9551

✔️Яндекс сократил затраты на обучение LLM на 4,8 млрд рублей в год без потери качества и темпов разработки Компания сообщила о масштабной оптимизации инфраструктуры обучения больших языковых моделей: качество и объёмы разработки сохранены, а годовая экономия составила 4,8 млрд ₽ (≈ 400 млн ₽ в месяц). 🟡Ключевое решение — библиотека YCCL YCCL (Yet Another Collective Communication Library) — собственная разработка Яндекса для ускорения коллективных операций и межпроцессорного взаимодействия в кластерах. С её помощью удалось: - в 2 раза ускорить обмен данными между GPU, - сократить объём передаваемой информации - перенести часть управляющей логики с GPU на CPU, снизив нагрузку на графические процессоры. Сопоставимые по уровню решения есть только у крупнейших игроков рынка (Meta, AMD и ряд китайских бигтех-компаний). 🟡Переход на FP8 Компания внедрила вычисления в формате FP8, что дало: ускорение обучения до 30%, двукратное снижение коммуникаций между GPU. 🟡Масштабирование и эффективность кластеров Размер батча увеличен до 16–32 млн токенов, что уменьшило простой GPU и повысило загрузку и эффективность использования кластеров. Дополнительно улучшили стабильность инфраструктуры и сократили затраты, связанные с перезапусками обучения. @ai_machinelearning_big_data #news#ai#ml