Post #8431

📌Как заставить нейросеть забыть данные, к которым больше нет доступа. Представьте, что вам прилетает требование на удаление данных в соответствии с GDPR или по авторскому праву, а исходного датасета, на котором обучалась модель, у вас уже нет. Переобучить модель с нуля - долго, дорого и не вариант. Именно для таких безвыходных ситуаций, группа исследователей из Калифорнийского университета создала метод "разучивания" для моделей, который не требует доступа к исходным данным, но при этом дает строгие математические гарантии удаления информации. Метод построен на использовании суррогатного датасета, который лишь статистически похож на оригинальный. Ключевая идея - калибровка добавляемого в модель шума, количество которого напрямую зависит от статистической дистанции (например, дивергенции Кульбака-Лейблера) между оригинальным и суррогатным распределениями. Если коротко, то чем меньше суррогатный набор данных похож на тот, что был утерян, тем больше шума придется добавить, чтобы гарантировать, что модель действительно забыла ненужные данные и стала неотличима от гипотетически переобученной с нуля. 🟡А как измерить эту дистанцию без доступа к оригиналу? Для этого используется сама модель, ведь она неявно хранит информацию о распределении данных, на которых училась. С помощью метода стохастической градиентной динамики Ланжевена генерируется выборка, которая аппроксимирует исходное распределение, и уже на ее основе можно оценить расхождение с суррогатным датасетом. 🟡Тесты и их результаты. На синтетических данных, где можно вычислить точную KL-дивергенцию, их метод, "Unlearn -", показал себя отлично. При увеличении расхождения между датасетами точность на тесте держится на уровне 72.3-72.7%, что сопоставимо с методом, имеющим доступ к исходникам "Unlearn +". На реальных датасетах картина такая же. Для CIFAR-10, при параметре концентрации Дирихле=36, метод "Unlearn -" достигает 76.4% точности на тестовой выборке. Для сравнения, "Unlearn +" показал 76.5%, а полное переобучение - 76.7%. Разница минимальна. Эффективность метода доказывает и метрика Forget Score (FS), которая показывает, насколько разучившаяся модель близка к переобученной с нуля. FS их метода практически идентичен идеальному показателю. Гибкость подхода проверили и на разных архитектурах. На CIFAR-10 с моделью из двух свёрточных слоёв и одного линейного метод показал 80.5% точности на тесте, а версия с доступом к данным - 81.4%. В эксперименте, где для модели на датасете USPS в качестве суррогата использовался MNIST, "Unlearn -" достиг 90.4% точности, что совсем немного уступает 91.3% у "Unlearn +" и 91.1% у полного переобучения 🟡Arxiv @ai_machinelearning_big_data #AI#ML#LLM#Unlearning#UCR