Post #9370

📌Андрей Карпаты нашел идеальный баланс токенов и параметров для обучения LLM. Андрей Карпаты опубликовал результаты экспериментов по оптимизации претрейна языковых моделей в условиях фиксированного бюджета. Чтобы найти наиболее эффективный способ расходования вычислительных ресурсов, он провел серию тестов на сервере с 8х GPU H100, обучив 11 моделей разного размера при одинаковых затратах на вычисления. 🟡Главный вывод: существует «золотое сечение». Карпаты обнаружил, что по мере увеличения мощностей оптимальное количество параметров и тренировочных токенов растут синхронно. Эмпирическое правило для протестированных конфигураций: на 1 параметр модели должно приходиться примерно 8 токенов обучающей выборки. Если модель слишком мала, она не усваивает достаточно информации; если слишком велика — бюджет заканчивается раньше, чем она успевает обучиться. Для инженеров этот рецепт позволяет заранее планировать архитектуру и бюджет, избегая создания заведомо неэффективных моделей. Традиционно, все эксперименты Андрея открыты и их можно повторить самостоятельно. 🔜Погрузиться в детали экспериментов @ai_machinelearning_big_data #AI#ML#LLM#Karpathy