Post #15196

Как человек, занимающийся "социальным влиянием ИИ-революции", не смог пройти мимо. На одном из бесчисленных конкурсов сегодняшнего дня произошла прекрасная история. Конкурсант представил работу. Эксперты оценили её очень высоко – оценка позволяла рассчитывать на "место в десятке". Потом работу дисквалифицировали — якобы за использование ИИ, так решила иностранная система ИИ, для которой разработчики заявляют 40% ошибки. При написании ИИ действительно использовался для оформления, но это не было запрещено условиями конкурса, да и хорошо, что конкурсанты им владеют. Конкурсант попытался получить объяснения, его проигнорировали. Когда тот же вопрос задал авторитетный человек (не за человека, а просто попросив объяснить логику), организаторы прислали скрин того самого детектора. Традиционная несправедливость работала честно: тебя обокрали, ты знаешь кто и зачем, можешь сопротивляться или хотя бы злиться. Апелляция существовала, в конце концов. Теперь появляется новая технология "неравенство чёрного ящика" (НЧЯ), я бы ее назвал. Алгоритм сказал "нет", дискуссия закрыта. "Детектор показал", "система приняла решение", "вероятность 78%". Методология? Не раскрывается. Данные? Конфиденциальны. Дайте доступ? Алгоритм – частная собственность. Не израильский Lavender, конечно, но жизнь порушить тоже может. Студент использовал ИИ. Не может сказать "я невиновен". "Но это не было запрещено" и "все так делают" звучит как увиливание. Рождается травмирующая неопределённость: в чём вина? Использовал слишком много? Недостаточно переработал? Есть какие-то невидимые правила, о которых забыли сообщить? НЧЯ превращает жертву в невротика, бесконечно сомневающегося в себе. Впрочем, эта история - милая провинциальная зарисовка на фоне того, как НЧЯ работает в других сегментах. В Штатах страховые компании используют алгоритмы, например, для определения длительности пребывания пациентов в стационаре или покрытия времени анастезии. Алгоритм систематически занижает необходимое время лечения в обоих случаях. Врач говорит "нужно продолжать", история болезни требует терапии — но модель решила иначе. Осложнения во время вмешательства, индивидуальные особенности организма — неважно. Время вышло, счёт пациенту. Алгоритм предсказал час, операция заняла полтора — ваши проблемы. Почему это работает? НЧЯ - не баг системы, а её апгрейд. Старая несправедливость оставляла следы, новая - непогрешима как Папа Римский. ▪️Избирательность без следов. Все используют ИИ, но одних награждают, других дисквалифицируют. Критерий отбора невидим. Можно убрать кого угодно "за ИИ", наградить кого угодно, не заметив ИИ в работе. Добрый старый патронаж с фиговым листком технологий. ▪️Распыление ответственности. Раньше человек решал и отвечал. Теперь "система показала". Кого винить? Программистов? Они следовали спецификации. Менеджмент? Они доверяют технологиям. Алгоритм? Он объективен. Ответственность испаряется. ▪️Деморализация вместо мобилизации. Когда тебя открыто грабят, ты сопротивляешься. Когда непонятная система объявляет тебя неправильным — ты начинаешь сомневаться в себе. "Может в этом и есть великая сермяжная правда? Алгоритм же обучен на миллионах случаев". Газлайтинг, масштабированный до промышленных объёмов Алгоритмизация классовой сортировки. Кто проходит через чёрные ящики? Те, у кого есть культурный капитал, доступ к экспертизе, знакомый "авторитетный человек". Пациент без ресурсов получает отказ. С ресурсами – от денег на адвоката до связей – получает то, в чем нуждается. Адепты ИИ обещали объективность и справедливость алгоритмов. Получили маскировку произвола под технологическую нейтральность. НЧЯ эффективнее прежних методов именно непрозрачностью: жертва не может сформулировать претензию, угнетатель не несёт ответственности, система воспроизводится автоматически. Стоит спросить "почему?" тому, кто может добиться ответа, - конструкция рассыпается. Но те, кто могут спросить, как правило не только "в теме", но и "в доле" - сами обладают алгоритмизированными привилегиями. Модель выглядит чудесно устойчивой.