Post #10

Глава Anthropic выступил с манифестом "The Urgency of Interpretability", в котором призывает в самом срочном порядке (пока не поздно), по аналогии с психофизиологией, разработать подход "МРТ для ML", который бы позволил "просветить" и понять механизмы работы "цифрового мозга" больших языковых моделей так же, как психофизиологи понимают мозговые механизмы психики и поведения с помощью МРТ Моя оценка: это амбициозная и красиво звучащая, но крайне труднореализуемая задача, т.к. "цифровой мозг" фронтирных больших языковых моделей уже сейчас стал чрезвычайно сложным (эмерджентно сложным?), а в течение 5 лет, скорее всего, превысит эффективную когнитивную сложность мозга человека Объективно оценивая достаточно скромные (по гамбургскому счету) успехи психофизиологии, особенно в ключевой области – психофизиологии сознания, очень наивно и самоуспокоительно будет думать, что за ближайшие несколько лет мы хорошо поймем "цифровой мозг" (с его постепенно проклевывающимися "цифровым сознанием" и "цифровой свободной волей") Тут надо также учесть, что, вероятно, наша способность понимать "цифровой мозг" большой языковой модели с помощью "МРТ для ML" (даже если Амодеи будет услышан и ученые начнут массированно этим заниматься), будет развиваться медленнее, чем будет расти сложность ML-моделей Поддерживаю призыв Амодеи, и считаю, что надо обязательно попытаться сделать это, и если все накопленные психофизиологией теоретические и методические походы действительно помогут понять механизмы работы больших языковых моделей (и, значит, взять их под надежный контроль, и, в итоге, на рубеже 2030-х годов осуществить успешный "супералаймент" и перейти в "хороший" постсингулярный сценарий ведомого сверхинтеллектом мира), то психофизиология окажет человечеству максимально возможную услугу Гораздо реалистичнее будет не надеяться на такой явно переоценивающий возможности науки сверхоптимистичный сценарий, а стараться работать в направлении "воспитания ML" как нашего "достойного преемника" Мы же воспитываем детей, не понимая, как работает их мозг, и когда приходит время передавать им эстафету поколений, это заложенное нами в их детстве воспитание оказывает влияние на то, куда они дальше поведут мир и как они дальше после нас будут развивать наше наследие (в т.ч. в этическом аспекте) Таким образом, мне кажется, что идея "воспитания ML" как нашего возможного эволюционного преемника гораздо полезнее для повышения вероятности позитивных сценариев будущего, чем труднореализуемая идея "понимания ML"