Post #6769

#товарищ_Кун_цзы #постцифра 23 Продолжение. Начало выше. VII Но некоторым кажется, что есть выход из лабиринта или свет в конце тунеля гонки создания сверхразума или сверхтоталитаризма. Тут уж как повезёт. Решение по Сутскеверу. Заключается международное соглашение по типу договора о нераспространении ядерного оружия, создаётсянекое агентство по типу МАГАТе. Осуществляются взаимные инспекции лабораторий по ИИ, общие мощности для независимого тестирования безопасности, аппаратные аварийные выключатели. VIII В дополнение создаётся некоммерческих партнёрство Safe Superintelligence Inc. Что там необычно? Нет никакого коммерчесеого продукта до достижения безопасного сверхинтеллекта. Миллиард долларов от инвесторов вкладываться в Superintelligence Inc с условием: возврат только после создания безопасного сверхинтеллекта. Проблемой занимается маленькая команда (меньше 40 человек против 1500 в OpenAI). Почти весь бюджет идет на аренду вычислительных мощностей для экспериментов. Сутскевер хочет восстановить модель бизнес-исседований применяемый когда-то в Bell Labs - фундаментальные исследования без давления ежеквартальных отчетов о прибылях. IX Почему Сутскевер ушел из OpenAI? В ноябре 2023 совет директоров уволил Сэма Альтмана. Сутскевер поддержал это из-за конфликта между коммерциализацией и безопасностью. Альтман вернулся через несколько дней, Но Сутскевер потерял влияние на решения по безопасности, а команда по обеспечению безопасности была распущена. (Но Альтман тут не причём... естественно) Ведь когда ты компания с инвесторами, ты не можешь сказать: «Мы остановимся на 3 года для дополнительных исследований безопасности». X Три технических прогноза по ИИ 1. Предварительное обучени LLM как основная модель создания ИИ, умрёт. Вместо «собрал данные, обучил месяцами, заморозил верлятнлсти сочетания токенов, развернул - пользуйтесь» будет: начальное обучение на базовых данных, основное обучение в режиме онлайн во время работы, постоянные обновления и постоянное обучение. постоянная корректировка. 2. Параметры перестанут быть основной метрикой мощи ИИ Вместо размера моделей (70 миллиардов, 405 миллиардов параметров) важнее станут: эффективность использования примеров, широта обобщения, скорость обновления. 3. Аппаратные механизмы безопасности Предполагается встроить функции безопасности прямо в чипы: криптографически подписанный идентификатор каждого ускорителя, Встроенный безопасный анклав для отслеживания использования, аппаратный аварийный выключатель, который нельзя обойти программно. XI Сроки и риски У человечества 3-7 лет до момента, когда несколько лабораторий будут близки к сверхинтеллекту. За это время нужно технически решить проблему согласования с человеческими ценностями, разработать способы проверки систем умнее нас, создать инструменты понимания того, что думает модель. Заключить институционально - международные соглашения. Создать независимые учреждения для тестирования. Разработать и принять нормативные рамки. Если не успеем, мы можем получить развертывание систем уровня сверхинтеллекта без адекватного тестирования безопасности. Полное интервью на YouTube-канале Dwarkesh Podcast, выпуск от 25 ноября 2025 года, длительность около 2 часов..