Post #111

Ну что, момент настал! AS-GPT-5 Своего рода magnum opus того, чем я последние полгода занимался. До этого момента я обучал только готовые модели, включая модель от Ruadapt с замененным токенайзером. И хоть получалось неплохо, на некоторых задачах метрики росли, мы даже смогли залететь на арену (кстати, Watari до сих пор там!). А если вспомнить про первые потуги заводить GRPO, когда ни у кого не было примеров, да и реализация trl оставляла желать лучшего... Но это всё было не то. Ощущения, что ты вносишь минимальные изменения, а основное за тебя сделали до (что, безусловно, так и есть!). Поэтому хотелось обучить что-то чисто своё, собрать свои данные, нагенерить своих синтов, сделать именно свою модель, без чужого alignment'а и защиты. И вот, могу теперь представить первую полную и стабильную версию AS-GPT-5. Модель основана на базе (претрене) от yandex/Yandex-GPT-5-Lite, дообученная полностью с нуля на своих данных (почти все есть в opensource). 2+ недели обучения, 8B параметров - и сейчас уже можно её пощупать! - Обучение производилось в полных параметрах, без LoRA - Было несколько этапов, включая инструктивный, RL и свой alignment - Поддерживает генерацию 8192 токенов - Поддерживает возможность частичного контроля reasoning (При задании соответствующего режима в системном промпте) Больше про обучение и то, что происходило за кулисами - расскажу уже после финализации, а пока: - Предстоит работа с RL для того, чтобы забрать бОльший контроль над режимами рассуждений - Хочу ещё завести GSPO на сложной математике - Нужно ещё оценить на бенчмарках бы... А так, можно пробовать, скачивать и тестить на своих задачах! Фидбеку всегда рад, если кто-нибудь найдёт проблемы - просьба написать в issues! Я, конечно, не имею большого кластера GPU, но постараюсь пособирать данные и дообучать дальше)