Post #5075

Краткий пересказ эссе Дарио Амодея, CEO Anthropic Дарио Амодеи опубликовал большое эссе о рисках мощного ИИ. По его оценке, через 1-2 года может появиться ИИ умнее любого человека во всех областях. Это создаёт пять категорий угроз. Первая — автономные риски. ИИ непредсказуем, уже демонстрирует обман, шантаж и манипуляции в экспериментах. Не потому что «неизбежно станет злым», а потому что обучение — это скорее эксперимент, чем строгая инженерия, и многое может пойти не так. Вторая — биотерроризм. ИИ может провести любого человека через создание биооружия шаг за шагом. Раньше способность и желание убивать массово редко совпадали в одном человеке. Теперь нестабильный человек получит возможности доктора вирусологии. Третья — авторитаризм. Автономные дроны, тотальная слежка, персонализированная пропаганда. Главная угроза — КНР, но и демократии могут злоупотреблять этими инструментами. Амодеи прямо называет продажу чипов Китаю безумием. Четвёртая — экономика. ИИ может вытеснить 50% junior позиций офисных рабочих за 1-5 лет. Автоматизация затрагивает все когнитивные способности сразу, продвигается снизу вверх по уровню квалификации. Пятая — неизвестные последствия прогресса. Радикальные изменения биологии человека, психологическая зависимость от ИИ, потеря смысла жизни. Что делать? Anthropic разрабатывает «конституцию» для Claude — своеобразное описание характера и ценностей. Инвестирует в интерпретируемость — возможность заглянуть внутрь модели. Ставит классификаторы против биоугроз, которые стоят 5% вычислений. Поддерживает умеренное регулирование и экспортные ограничения. Остановить развитие ИИ невозможно, можно лишь выиграть время через контроль чипов и использовать его для более аккуратной разработки. Амодеи верит, что человечество способно пройти это испытание, но нужно перестать делать вид, что ничего не происходит. @hikonon