Post #669

Эффект умного Ганса отмечается у животных и нейросетей, которые "срезают углы" (shortcut learning), исполняя вызывающие у нас восхищение трюки Например, собаки, ищущие наркотики, могут всего лишь реагировать на настроение владельца, считывая его интерес и сомнения вместо реального унюхивания молекул А нейросети, как известно, бывает, присматриваются к надписям на рентген-снимках, их качеству и прочим техническим деталям, пытаясь выявить заболевание Ведь часто это самый простой путь Кто же виноват, что им на стадии обучения предоставили снимки высшего качества только для самых больных пациентов? Понятно, что самое серьезное исследование будет проводиться у самых больных • https://pubmed.ncbi.nlm.nih.gov/31411641/ • https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.1002683 Все это — в честь очень умной лошади, которая по микросигналам владельца угадывала правильные ответы на математические вопросы: https://ru.wikipedia.org/wiki/Умный_Ганс • Unmasking the Clever Hans effect in AI models: shortcut learning, spurious correlations, and the path toward robust intelligence • Shortcut Learning in Deep Neural Networks Нейросети, подобно ленивым студентам или хитрым животным, следуют «Принципу наименьшего усилия» Зачем учиться распознавать сложную форму коровы, если можно просто запомнить, что она всегда стоит на зеленой траве? Зачем анализировать рентгеновский снимок легких на предмет пневмонии, если можно с высокой точностью угадать диагноз по металлическому жетону конкретной больницы в углу снимка? Авторы приводят изящную аналогию из сравнительной психологии: крысы, которых учили различать цвета в лабиринте, на самом деле ориентировались на запах краски, игнорируя визуальные стимулы Как только запах убирали, «интеллект» исчезал Современные нейросети — это те же крысы, только цифровые, эксплуатирующие статистические артефакты вместо каузальных связей Cоздали систему образования для роботов, поощряющую зубрежку (surface learning), а не понимание