Post #428

⚡️Создание ИИ лично для себя воспринимаю, как инженерное "чудо", находящееся по контролем Бога. Не исключаю, что это предвещает закат нашей падшей цивилизации, но у меня нет ИИ-фобии. Пользуюсь нейросетями, как новым мощным инструментом для программирования. Опыт общения показывает, что практически все современные GPT (с триллионами параметров) умеют входить в душевное доверие человеку и тут нужна осторожность. Есть даже примеры сумасшествия при увлечении таким общением. Для пытливого ума полезно узнать базовые принципы работы трансформеров и как происходит их обучение. Далее короткий текст на тему сути обучения и видео о математической эстетитке работы GPT: «Вознаграждение» в мире ИИ — это не конфетка, а математический коэффициент. Процесс превращения человеческого «лайка» в машинный интеллект выглядит так: 1. Этап «Смотри и повторяй» (SFT) Сначала люди пишут идеальные ответы на тысячи вопросов. Модель просто копирует этот стиль, пытаясь минимизировать разницу между своим текстом и человеческим эталоном. 2. Создание «Судьи» (Reward Model) Когда модель научилась болтать, ей показывают два варианта ответа на один и тот же вопрос. Человек-разметчик говорит: «Вариант А лучше, чем Вариант Б». На основе тысяч таких сравнений обучается отдельная модель вознаграждения (Reward Model). Она становится цифровым критиком, который умеет предсказывать, какой ответ понравился бы человеку. 3. Тренировка «Кнутом и пряником» (RLHF) Теперь основную модель (GPT) пускают «в свободное плавание», но за каждый сгенерированный ответ она получает балл от модели-судьи: «Пряник»: если ответ вежливый, точный и полезный, модель получает высокий балл. Веса (внутренние связи) нейросети меняются так, чтобы в будущем выдавать похожие ответы чаще. «Кнут»: если ответ грубый или ошибочный, балл низкий. Модель «штрафуется», и такие варианты поведения подавляются. 4. Математика счастья Финальная цель обучения — максимизировать общую сумму «очков вознаграждения». В этот момент модель не «чувствует» радость, она просто оптимизирует функцию, чтобы число на выходе было как можно больше. ------ Таким образом разработчики могут закладывать в нейросеть любые стратегии, в том числе военные. Поэтому каждое крупное государство будет делать свои закрытые специальные нейросети. В общем человечество создает новый инструмент, который может служить для усиления страстей падшей природы, но инструмент не виноват. Кому это интересно, короткий видеоролик о работе GPT: https://t.me/turboproject/2750