Post #8963

⚠️Побочный эффект автоматизации: «доверяй, не проверяй» Люди склонны безоговорочно доверять автоматизированным системам, даже когда те явно ошибаются. Этот феномен — «предвзятость автоматизации» — с развитием технологий становится всё более опасным. Дело Horizon В 1999 году британская Почтовая служба внедрила систему Horizon для автоматизации учёта. Вскоре система начала выдавать ошибки, показывая несуществующие недостачи. Руководство, доверяя компьютеру, обвинило в хищениях около 1000 субпочтмейстеров. Сотни из них были осуждены, многие разорились, а некоторые покончили с собой. Лишь спустя годы выяснилось: Horizon ошибалась, а жалобы сотрудников игнорировались. Почему мы так доверяем машинам? - Снижение когнитивной нагрузки. Автоматизация избавляет от рутины, и человек расслабляется, перестаёт перепроверять данные. - Авторитет машины. Мы воспринимаем алгоритмы как «экспертов», а иногда даже как «социальных партнёров» (особенно с развитием ИИ-ассистентов). - Эффект якоря. Первая информация от системы становится точкой отсчёта, и мы неохотно меняем мнение, даже если появляются новые данные. К чему это приводит? - В медицине рентгенологи чаще ошибаются, если ИИ-помощник даёт неверный диагноз. - В промышленности и на транспорте аварии случаются из-за того, что операторы доверяют ложным показаниям автоматики. - В финансах и праве ошибки алгоритмов приводят к многомиллионным убыткам и судебным ошибкам.