Post #2784

StableLM - языковая Stable Diffusion Stability AI выпустила свою языковую модель с открытым исходным кодом, StableLM. С 3-мя и 7-ю миллиардами параметров (3В и 7В), за ней последуют модели 15В, 30В и 65В. Модели StableLM умеют в текст и в код и обучались на новом экспериментальном наборе данных, построенном на базе The Pile, но в три раза большем, 1.5 триллиона токенов. Модели есть на GitHub. Планируется дообучение на кожаных оценках (RLHF) на основе краудсорсинга и сотрудничество с Open Assistant, чтобы создать набор данных с открытым исходным кодом для ИИ-ассистентов. Интересно будет посмотреть на требования к памяти: An upcoming technical report will document the model specifications and the training settings. Но модели компактные, похоже можно гонять под столом и в Убабуге (это как бы аналог Automatic1111). Пишите про успехи в этом нелегком деле. https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models Есть демо для модели 7В: https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat