Post #11

СВЕРХРАЗУМНЫЙ ИИ СТАНЕТ КОНЦОМ ЧЕЛОВЕЧЕСТВА… СКОРЕЕ ВСЕГО… Исследователи из Google DeepMind и Оксфордского университета пришли к выводу, что в нынешних условиях сверхразумный ИИ – «вероятно» – станет концом человечества. В недавней статье, опубликованной в журнале AI Magazine, коллектив, состоящий из старшего научного сотрудника DeepMind Маркуса Хаттера и оксфордских исследователей Майкла Коэна и Майкла Осборна, утверждает, что машины в конечном итоге будут мотивированы нарушать правила, установленные их создателями, чтобы конкурировать за ограниченные ресурсы или энергию. «В условиях, которые мы определили… экзистенциальная катастрофа не только возможна, но и вероятна», — написал Коэн. В своей статье исследователи утверждают, что человечество может столкнуться со своей гибелью в лице сверхпродвинутых «разрегулированных агентов», которые будут воспринимать человечество как препятствие на пути к вознаграждению. «Хороший способ для агента сохранить долгосрочный контроль над своим вознаграждением — это устранить потенциальные угрозы и использовать всю доступную энергию для защиты своего компьютера», — говорится в материале. «Проигрыш в этой игре был бы фатальным», — написали исследователи. При этом исследователи утверждают, что мы мало что можем с этим поделать. «В мире с бесконечными ресурсами я был бы крайне не уверен в том, что это произойдет, — сказал Коэн. – В мире же, где ресурсы ограничены, конкуренция за них неизбежна». И это может плохо сказаться на человечестве. «И если вы участвуете в соревновании с чем-то, способным перехитрить вас на каждом шагу, то вам не следует рассчитывать на победу», — добавил он. По мнению авторов, в ответ на эту угрозу человечество должно лишь осторожно и медленно развивать свои технологии искусственного интеллекта.