Post #4

Авторы статьи «Neuroplasticity in Artificial Intelligence — An Overview and Inspirations on Drop In & Out Learning» предлагают переосмыслить архитектуру нейросетей, вдохновляясь нейропластичностью мозга Современные нейросети, включая LLM, имеют статичную структуру: количество и соединения нейронов фиксированы Однако в мозге нейроны могут появляться (нейрогенез), погибать (апоптоз) и самое главное — перестраивать связи (нейропластичность) Авторы предлагают комплексно перенести эти процессы в ML, чтобы модели могли динамически адаптироваться к новым задачам и данным Dropout — давно известная техника, в рамках которой отдельные нейроны отключаются во время обучения Dropin — подход, при котором в сеть вводятся новые нейроны, имитируя нейрогенез Это позволяет модели расширять свои возможности по мере необходимости Таким образом, сеть может не только «забывать» ненужное, но и учиться новому, подобно мозгу. Менять размер своей архитектуры, оптимизируя объем памяти и вычислений В статье авторы также проанализировали другие публикации последних лет, в которых использовались сходные принципы Upd: Один из подписчиков поделился записью доклада «Нейросети с адаптивно обучаемой архитектурой через выращивание новых синапсов», который он делал на Data Fest 2024