Post #2862

Перевод The Smol Training Playbook: The Secrets to Building World-Class LLMs Подписчик Сергей Долгов проделал титанический труд - перевел культовый гайд по тренировке своих языковых моделей. Вот что он пишет: На первый взгляд SMOL Playbook от HuggingFace, которым мы обязаны почти всем в AI-опенсорсе - это эссе размером в 2️⃣0️⃣0️⃣➕ страниц о том, как обучать большие модели. Но для меня это - изысканный десерт весом в полтонны, которым никак не можешь наесться. Слой за слоем я читал и находил все новые и новые инсайты, многие из которых подтверждали мои предположения и опыт, но бОльшая часть была ошеломляюще новой. Если в 2024 вы собирали простых ассистентов на GPT, этой весной освоили n8n и Комфи, а сейчас уже делаете 40-секундные ролики на Sora, то, возможно, в следующем году вы уже будете тренировать LLM для целых компаний или, как минимум, руководить теми, кто их тренирует . Спрос растет на тех, кто хорошо разбирается в принципах работы нейронок. Я занимаюсь тем, что собираю команды, обучаю и внедряю ИИ. Две недели назад я взялся за перевод SMOL Playbook от тех самых HuggingFace, которым мы обязаны почти всем в AI-опенсорсе. Это книга о том, как все устроено в мире LLM, как не растянуться на входе в него и многократно не споткнуться по ходу дела. Благодаря этому материалу всего за несколько вечеров вы сможете разложить процесс по полочкам и избежите дорогих ошибок: ▶️выбор архитектуры под вашу задачу ▶️подготовка и чистка датасета ▶️тонкости обучения и отладки ▶️ экономии вычислений. Кофаундер и ведущие исследователи HuggingFace честно (и с изрядным юмором!) пишут о всех граблях, ограничениях и компромиссах, с которыми они столкнулись, и которые 100% ждут вас (тут, видимо, нужен скрытый текст) если вы не прочитаете этот текст. Так что, если в будущем вы допускаете, что можете попасть в одну из этих когорт... 🧑‍💻 AI-инженер и ресёрчер, которому нужна компактная и быстрая модель 🙆🏻‍♂️ Стартапер с ограниченным бюджето, которому нужно протестировать гипотезу и не сжечь деньги 🧛‍♂️ Руководитель, желающий понять, почему одни LLM выстреливают, а другие нет ... прочитайте эту книгу, возможно она сэкономит вам месяцы жизни. И определенно доставит удовольствие! Спасибо Сергею за такой труд. @cgevent