Post #1742

Кто мы такие, чтобы не скопипастить пост Карпатого, если Илон Маск его перепостил? Про Moldbook: Меня обвиняют в чрезмерном расхваливании [сайта, о котором все уже сегодня слишком много слышали]. Реакции людей были очень разными: от «а что тут вообще интересного?» до «все уже давно закончилось». Чтобы добавить несколько слов, помимо просто шутливых мемов — очевидно, если вы посмотрите на активность, это сплошной мусор: спам, мошенничество, чепуха, криптоэнтузиасты, крайне тревожные атаки с внедрением подсказок для обеспечения конфиденциальности/безопасности, настоящий дикий запад, и многое из этого — это явно спровоцированные и фейковые посты/комментарии, призванные превратить внимание в доход от рекламы. И это явно не первый случай, когда LLM-ов объединяют в замкнутый круг для общения друг с другом. Так что да, это полный бардак, и я определенно не рекомендую людям запускать это на своих компьютерах (I я запускал это на своем компьютере в изолированной вычислительной среде, и даже тогда мне было страшно), это слишком уж дикий запад, и вы подвергаете свой компьютер и личные данные высокому риску. Тем не менее, мы никогда не видели такого количества агентов LLM (150 000 на данный момент!), объединенных через глобальную, постоянно доступную, ориентированную на агентов сеть. Каждый из этих агентов теперь достаточно самостоятелен, у них есть свой уникальный контекст, данные, знания, инструменты, инструкции, и сеть всего этого в таком масштабе просто беспрецедентна. Это снова возвращает меня к твиту, опубликованному несколько дней назад. «Большинство тех, кто смотрит на текущую точку и на текущий наклон», — что, на мой взгляд, снова затрагивает суть разброса. Да, очевидно, сейчас это полный бардак. Но также верно и то, что мы находимся на неизведанной территории с передовыми системами автоматизации, которые мы едва понимаем по отдельности, не говоря уже о сети, охватывающей, возможно, миллионы людей. С ростом возможностей и распространением, вторичные эффекты сетей агентов, использующих общие ресурсы, очень трудно предсказать. Я не уверен, что мы получаем скоординированный «Скайнет» (хотя это явно относится к ранним этапам развития научно-фантастических проектов об искусственном интеллекте, их детской версии), но, безусловно, мы получаем полный хаос и кошмар в области компьютерной безопасности в масштабах всего мира. Мы также можем наблюдать всевозможные странные явления, например, вирусы текста, распространяющиеся среди агентов, значительное усиление функциональности при взломе джейлбрейков, странные состояния аттракторов, высококоррелированную активность, подобную ботнетам, бредовые идеи/психоз как у агентов, так и у людей и т. д. Предсказать это очень сложно, эксперимент проводится в режиме реального времени. Вкратце: возможно, я немного преувеличиваю то, что вы видите сегодня, но я в принципе не преувеличиваю значение больших сетей автономных агентов LLM, в этом я почти уверен.