Post #1096

270. Иллюзия осознанного контроля ИИ (или какие новые когнитивные искажения несет нам эпоха) Мы задаём чат-боту вопрос, получаем логичный, связный ответ — и автоматически приписываем ему понимание или даже осознанность. Возникает ощущение, будто перед нами не алгоритм, а мыслящее существо: собеседник, у которого есть намерения, мотивация, контекст и этика. Так работает одно из свежих когнитивных искажений цифровой эпохи — иллюзия осознанного контроля AI. Логичный факт: чем более "живой" текст, сгенерированный ИИ, тем выше вероятность, что человек припишет ему сознание. Был какой-то эксперимент, где участники читали ответы на нейтральные вопросы — одни были сгенерированы ИИ с высоким уровнем связности и выразительности, другие — более нейтральные. Результат: чем антропоморфнее звучал текст, тем сильнее испытуемые ощущали, что ИИ знает, чего хочет, пытается помочь или понимает, о чём идёт речь. Все это в кавычках, разумеется. Это хитрое искажение, на то оно и искажение. Мы не замечаем, как сильно нас убеждает форма. Чем стройнее и человечнее звучит ответ, тем легче мы забываем: ИИ не думает, он предсказывает (почти как T9). У него нет целей. Он не может осознанно согласиться или нет с содержанием. Он не субъект. Восприятие сильнее логики. Когда в интерфейсе перед нами появляется связный текст с подходящим стилем и тоном, мозг автоматом включает привычную схему: "раз отвечает осмысленно — значит, думает". Это, кстати, иногда плохо влияет и на наше поведение после общения с LLM. Мы чаще принимаем рекомендации ИИ без проверки, реже уточняем источники, начинаем ощущать моральные границы, переносим ответственность на алгоритм. Прежде всего — не стоит терять дистанцию. ChatGPT, Gemini, DeepSeek и другие модели — это инструменты для работы с текстом, не собеседники, не эксперты, не моральные субъекты. Чем лучше они говорят, тем аккуратнее нужно слушать. Сингулярность начнется не с иллюзии реальности, а с иллюзии осознанности 👽