Post #8970

💡 HierarchicalTopK — новый взгляд на интерпретируемость нейросетей На EMNLP 2025 представили метод HierarchicalTopK — подход, который позволяет обучать нейросети сразу на нескольких уровнях разреженности, не теряя интерпретируемости и качества. Разреженность обычно выбирают еще до начала обучения — изменить ее потом нельзя. Слишком маленькая — модель описывается плохо, большая — признаки теряют смысл. HierarchicalTopK, в свою очередь, решает эту проблему, обучая сеть сразу на нескольких уровнях разреженности в едином пространстве. Главное: Идея в том, чтобы уйти от классической схемы, где под каждый уровень разреженности приходится обучать отдельную модель, так как этот подход трудоемкий, дорогой и плохо масштабируется. HierarchicalTopK предлагает обучать единичное пространство, где все уровни учитываются одновременно — внутри одной модели несколько уровней представления данных от подробного до обобщенного. Благодаря этому можно динамически переключаться между уровнями разреженности без потери связи между ними. Модель остается интерпретируемой даже при высокой разреженности, потому что каждая грань пространства понимает, как соотносится с другими. Вместо десятков отдельных сетей и наборов данных достаточно одной модели, которая гибко адаптируется под нужную задачу — что снижает затраты. Метод открывает возможности для аудита и анализа моделей, помогает корректировать их поведение и ускоряет внедрение интерпретируемого ИИ в индустрии. https://huggingface.co/t-tech/flex-sae @ai_machinelearning_big_data #news#ai#ml