Post #6767

#товарищ_Кун_цзы #постцифра 21 Эпоха «просто добавь мощности» кончилась. Что дальше? I Илья Сутскевер, сооснователь OpenAI, который ушел и запустил компанию Safe Superintelligence Inc, дал большое интервью Dwarkesh Podcast. Главный посыл: старая модель масштабирования исчерпала себя. II Почему предварительное обучение перестало работать? Как было раньше (2020-2024)? Прогресс шел по простой формуле: увеличил мощности в 10 раз, получил улучшение качества в 2 раза. Это умно называлось законом масштабирования. Закон законом, но не забываем о маркетинге фондовом рынке и жадности. Однако все хорошее заканчивается. это известно всем. Три причины, почему это закончилось. Данные закончились. кпк это не странно, нл весь качественный текст из интернета уже выкачать и использован. гениальные, да просто стоящие внимания тескты Когда модель генерирует данныеЕ рождаются в процессе нон-нон-стоп. И для обучения другой, принципиально новой модели тот мусор что плодить интернет помогает слабо. Стоимость затрат растёт экспотанционально. Следующее поколение суперкомпьютеров требует более 100 миллиардов долларов, Но не ясно, даст ли это скачок или просто небольшое улучшение. Или хоть какоое-то улучшение. Убывающая отдача на уровне архитектуры. Модели на основе Transformer упираются в ограничения по способности к обобщению. III Главная проблема - способность к обобщению Современные модели отлично работают внутри обучающих их данных, но плохо переносят знания на новые ситуации. Возьмём максимально формализированную область- математику. Дай модели олимпиадную задачу, и она ее решит. Но попроси проверить чужое решение той же задачи - результаты значительно ухудшатся. Почему? Модель видела много примеров решений, но мало примеров проверки решений. Она не построила внутреннюю модель мира для гибкого применения знаний. Другой пример из сильно формализовпнной области - программирование. Модель может написать код, который компилируется и проходит базовые тесты. Но в нем будут логические ошибки в пограничных случаях, проблемы с архитектурой при масштабировании, неочевидные ошибки в обработке состояний. Модель не строит ментальную модель программы, она осуществляет сложное сопоставление шаблонов. Шаблоны, уже решённые задачи, перебор примеров... IV Выход видитмя в сочетании вычисления во время работы и непрерывного обучения. Вместо того чтобы вкладывать все ресурсы в предварительное обучение новой модели, нужнен принципиально иной подход: модель обучается во время выполнения и постоянно обновляется на основе обратной связи в течении времени. V Как это работает? Запускаются миллионы копий модели в изолированных средах. Каждая копия получает задачу, пробует разные подходы, получает сигнал вознаграждения, лучшие стратегии передаются обратно в основную модель. Есть пример AlphaGo AlphaZero не обучали на человеческих партиях игры в Го. Его просто заставили играть с собой миллионы раз. Результат: кроме повторения тгго что мы знали ранее были откоыты стратегии, которые люди никогда не использовали, но которые объективно сильнее существующих. VI Многоагентное обучение как источник сигнала. Когда много агентов взаимодействуют в общей среде, они естественным образом создают сложные структуры стимулов. Пример. Да очередной. В игре Diplomacy, где нужно вести переговоры и заключать альянсы, агенты научились долгосрочному планированию на 5-10 ходов вперед, моделированию намерений других агентов, управлению репутацией. Эти модели поведения не были явно заложены, они возникли естественным образом из взаимодействия. VII Однако не все радужно и светло на горизонте ИИ. И тут проблема не ИИ, а человека. И заключается она в том, что идёт гонка к созданию сверхинтеллекта. Не доказано, что сверхИИ теоретически возможен, но жадность... Несколько лабораторий (OpenAI, Anthropic, Google DeepMind, китайские компании) примерно одновременно приближаются к якобы сверхинтеллекту. Продолжение ниже.