Post #8754

🔥 Сенсей Карпаты выложил новый репозиторий - полный пайплайн обучения LLM с нуля В проекте есть всё, чтобы собрать свой ChatGPT-клон за $100 и 4 часа: > • токенизатор (написан на Rust) > • pretraining > • SFT (supervised fine-tuning) > • RL (reinforcement learning) > • оценка модели (eval) Всего 8 000 строк кода, без лишних зависимостей - идеальный учебный пример, чтобы понять, как реально устроено обучение больших языковых моделей. 💡 Это проект из его нового грядущего курса LLM101n, и отличная возможность прокачать свои ML-навыки на практике. Можно арендовать GPU в облаке и запустить всё самому - код уже готов к запуску. Если запустить обучение модели nanochat на облачном GPU-сервере (например, 8×H100), то примерно через 12 часов обучения (стоимость ~300–400 $) модель достигает уровня GPT-2 по качеству на тестовых наборах (CORE-score). А если тренировать около 40 часов (затраты ~1000 $), решает простые задачи по математике и коду, набирая: - 40+ на MMLU - 70+ на ARC-Easy - 20+ на GSM8K 🧠 Это бесплатная практика топ уровня от мастера, которую не стоит упускать. 🟠GitHub:https://github.com/karpathy/nanochat 🟠Технические детали:https://github.com/karpathy/nanochat/discussions/1 @ai_machinelearning_big_data #LLM#nanochat#MachineLearning#DeepLearning#AI#GPT