Post #5249

О, дивный новый мир! **************** Сергей Карелов 4 дн. · Эпистемическое головокружение: как ИИ-рои лишают нас чувства реальности Пока мы ждем восстания машин, автономные агенты тихо уничтожают фундамент демократии – нашу способность договариваться о фактах. Два месяца назад я писал [1], как физика новостей и мемов объясняет, почему ленты новостей и соцсетей сходят с ума … и будут продолжать сходить дальше. Виной тому всего 6% аккаунтов, управляющих нашей реальностью. Теперь, в подтверждение сказанного, в Science опубликован [2] манифест междисциплинарной группы 22-х известных ученых (от Ника Бострома до Николаса Христакиса). Манифест предупреждает: социальные сети захватывают самообучающиеся «цифровые личности». Слияние больших языковых моделей (LLM) и автономных агентов создает вредоносные ИИ-рои (malicious AI swarms) – оружие, против которого у человечества еще не придумана защита. В чем сила «роя» Это не просто боты. Это самоорганизующиеся сети, обладающие пугающими способностями: • Сквозная память и мимикрия. Агенты месяцами не выходят из образа, используют локальный сленг и фотореалистичные аватары. Отличить их от реальных людей по «шаблонному» поведению уже нельзя. • Автономная координация. Рой не ждет команды. Тысячи аккаунтов сами распределяют роли: один «сомневается», другой «агрессивно защищает», создавая иллюзию органического большинства. • LLM-груминг. ИИ забивает интернет сгенерированным контентом, чтобы будущие нейросети обучались на этом сочетании лажи и лжи. Так фальшивка становится «фактом» на уровне машинных алгоритмов. Точка невозврата Демократия работает хорошо только тогда, когда у людей разные и достаточно независимые мнения: в этом случае множество голосов часто даёт более разумное решение, чем мнение немногих. Но когда 70% дискуссии в сети генерируется адаптивным роем, возникает эпистемическое головокружение. Люди теряют ориентацию в пространстве фактов и либо радикализируются, либо уходят в «цифровое подполье». Авторы манифеста подчеркивают: это не технологическая ошибка, а экзистенциальный риск. Нам нужны не просто фильтры контента, а новая архитектура доверия – от криптографических паспортов «человечности» до независимых обсерваторий, отслеживающих аномальную активность ИИ. Мы привыкли бояться момента, когда ИИ обретет сознание. Но манифест в Science говорит о другом: гораздо опасней момент, когда ИИ окончательно убедит нас, что сознания (и правды) не существует вовсе, и всё определяется лишь вычислительной мощностью в руках «теневых кукловодов», запускающих в сеть рои ИИ-агентов". https://www.facebook.com/sergey.karelov.5/posts/pfbid0VqqRqSkH9vRXsdVmotoZkMA7CuNS9RmqsELuqUFVcsDkmoH9p3UX2oPJSPc3ArA7l