Post #108

Я тут обнаружил, что с ядром flash-attn3 я могу спокойно держать обучение в 8192 max_len и не падать в ООМ на одной машине с двумя хопперами! И к тому же, теперь я могу держать GRPO обучение на одной ноде, а инференс vLLM на второй, без надобности коммуникаций друг с другом карт. И даже не нужны эти свитчи (которые блин до сих пор не могут завести на нашем ЦОДе, потому что боже, благослови импортозамещённые айти технологии) Поэтому, незамедлительно начал обучение нового ризонера. Решил, что больше не буду пихать на HF промежуточные чекпоинты между стадиями, теперь спокойно обучу и пихну только конечную модель. В планах 3 стадии, базовая модель yandex-gpt, 8B: - SFT (instruct + reasoning), на серии gromov-max и инструктивных ризонинг датасетах, которые я ещё не выкладывал - RL GSPO (math reasoning), на серии gromov (начнём с задач средней сложности, догоним PhD level (четвёртым громовым) - Alignment, SFT c небольшим LR на датасете с персонажем, возможно так же запущу вариацию DPO на датасете с предпочтениями Думаю, на всё про всё уйдёт около 2х недель, посмотрим как будет получаться