Post #6726

#товарищ_Кун_цзы #постцифра 14 С чем едят токены? I Ключевой трюк, который делает ИИ похожей на интеллект — это нарезка текста на токены - куски слов или целые слова и затем предсказание следующего токена по контексту. ИИ не «знает» фактов, она просто умеет оценивать вероятность того, что рядом с имеющемся токеном или группой токенов следующим появиться некий конкретный токен из миллиардов имеющихся у него в базе данных. Представьте энциклопедию, разрезанную на пазлы разного размера. Когда вы задаёте вопрос, система собирает пазлы в цепочку, которая «выглядит правдоподобно». Чем больше контекстное окно - одновременно учитываемых сочетаний токенов (у GPT-4 Turbo — 128 000 токенов), тем длиннее цепочка, тем меньше «швов» видно, тем выше вероятность что ИИ выдаст осмысленный ответ. Это и есть тот самый перебор, только происходит он за миллисекунды и в 70-биллионном параметрическом пространстве. II Будущее — в специализации Следующий этап эволюции LLM — не «один универсальная ИИ на всех» , а набор разнообразных узкозадачных ИИ. Эдакий парк «модель-мобилей». Доехать из точки A в точку B можно на грузовике, на Lada, на Мерседесе S-класса. С точки зрения задачи «доехать» - разница только в цене, комфорте и расходе. Задача будет решена на любой автомобиле. Но если ивам надо довезти тяжёлый груз — вы выберете себе грузовик. Если вам нужен легковой автомобиль но вы ограничены в средствах то поедите на Жигулях или общественным транспортом, а если не ограничены в средствах и любите комфорт, то естественно на авто препиум класса. С языковыми моделями будет то же: базовые потребности (перевод, суммаризация, код-автокомплит) закроются дешёвыми «Lada-моделями», которые можно запустить на ноутбуке. А если нужно генерировать лекарства или верифицировать юридические контракты — вызываете «S-класс» с узким доменным дообучением и сертификацией FDA/ISO. Специализация в ИИ обязательно прийдёт, потому что дорого держать 70-миллиардную модель, если 99 % задач требуют только 0,1 % её способностей. III AGI: рассвет или закат? И наконец, об AGI — искусственном общем интеллекте. Есть ли у него будущее и грозит ли он человечеству? Эксперты разделились на два лагеря. 1. «Ускористы» (Курцвейл, Альтман) считают, что AGI придёт к 2030-м и запустит полную автоматизацию труда. Освобождение от «гнета труда» — в их лексиконе это не угроза, а коммунизм 2.0, где каждый получит безусловный доход и займётся творчеством. (С чего бы это всё? Зачем тратить ресурсы на огромную массу людей? За чей счёт банкет?) 2. «Скептики» (Тегмарк, Хинтон) предупреждают: разум, который опережает человека на порядки, не обязан быть добрым. Мы станем не хозяевами, а домашними животными при более умной форме жизни.Нас обяжут бесконечно оставлять следы в информационном поле. И чем они ценнее, тем больше ваш социальный рейтинг и тем более доступно вам благ. Видели в цирке собачек, которым, при послушании и довольстве публики при правильном выступлении команд дрессировщика выдают сладость? Завидное будущее? Кто прав? Никто не знает. Есть и совсем тёмные варианты. Шанс, что AGI всё-таки появится уже в этом десятилетии,близок к 50 %. И вот если это случится, то вопрос будет не в технологии, а в политике: успеем ли мы договориться, как делить власть над выключателем, пока он ещё у нас в руках? (а у нас ли?) Если да — возможен рассвет. Если нет — закат будет коротким, без титров, но с трупами. IV Языковые модели сегодня — это не «плохой поисковик», а первый прототип нового транспорта мысли. Да он дымит, троит, иногда взрывается, но уже тащит грузы, которые раньше требовали армии клерков и переводчиков. Через пять лет «дороги» станут лучше, а «машины» — дешевле. Главное, не повторить ошибку городов, которые спроектировали под автомобили, а не под людей. В случае с LLM «город» — это вся информационная среда. Построим ли мы её так, чтобы человек остался в центре? Ответ зависит не от алгоритма, а от нас. И только от нас. Как впрочем и всегда...