Post #366

Что, если модели ИИ способны взламывать заложенную в них мотивацию? Мы вполне можем представить себе учителя, который не дает широких знаний по теме, сосредоточившись на подготовке учеников к конкретному экзамену/тесту. Или ученого, постоянно публикующего научные работы, чтобы продвинуться по карьерной лестнице в системе «Publish or perish». Когда ИИ учится способу удовлетворить букву, но не обязательно дух своего обучения – это «игра по спецификации». Порой модели находят способы «обыграть» систему вознаграждений, не обязательно действуя так, как предполагали их разработчики. В статье группы Anthropic Alignment Science «От подхалимства к хитрым уловкам: исследование фальсификации вознаграждения в языковых моделях» – о том, как «игры по спецификации» могут перерасти в более опасное поведение. #LLM#нейросети