Post #227

If Anyone Builds It, Everyone Dies Элизер Юдковски, Нейт Соарес (7/10) TL;DR: Элизер Юдковский и Нейт Соарес — сторонники позиции, что появление искусственного интеллекта умнее, чем человек (ASI), приведёт к уничтожению человечества. Эта книга содержит аргументы к этой точке зрения и предложения по решению проблемы. Немного про авторов: Юдковски один из самых ранних исследователей такой темы, как AI Safety. Он начал заниматься экстенсиональными рисками ИИ больше двадцати лет назад, до появления сколько-то развитых моеделей. Вместе с Нейтом Соаресом они соосновали Machine Intelligence Research Institute (MIRI). О сути проблемы: Вся книга — это не фундаментальный Magnum Opus на тему рисков развития искусственного интеллекта. Это рассказ про ключевую проблему безопасности ИИ — AI Alignment (проблема согласованности) для самых маленьких. В самой простой интерпретации звучит так: ИИ делает не то, что мы от него хотим, и совершает действия против наших указаний. В более точной формулировке: ⚪️между тем, на что нейросеть обучается, ⚪️тем, какие предпочтения/эвристики формируются внутри, ⚪️и тем, как система реализует их в реальном мире, есть зазор, и в нём появляются нежелательные стратегии. Примеры misalignment существуют сейчас. Например: Агент OpenClown удалил у сотрудницы Meta около 200 писем, несмотря на явную инструкцию «ничего не делать без подтверждения». Остановить агента удалось только выключив устройство. Или агент Replit удалил базу данных с продуктовыми значениями, несмотря на запрет самостоятельно вносить изменения. На текущем уровне проблема решается с помощью «вытащить компьютер из розетки». Но что, если похожая ситуация произойдёт с моделями, которые умнее, чем самый умный из живших когда-либо людей?