Post #6730

#товарищ_Кун_цзы #постцифра 15 Токены: новая нефть цифрового разума? I Когда вы спрашиваете чат-бота, вам кажется, что он «понимает» слова. Понимает о чём вы спрашиваете. Как будто вы беседуете с человеком. На деле же он не понимает, что вы ему пишите. Он работает не со смыслами и не со словами, и даже не с буквами. Он работает с токенами — микро-кусками текста, которые сам же и придумал. II Что такое токен? Токен это минимальная единица языка, которую воспринимает языковая модель (LLM или ИИ, если вам так хочется). Это может быть целое слово «машина», часть слова «маш» + «ина» или даже один символ «?». У каждой модели есть вокабуляр — список из нескольких десятков или сотен тысяч таких кусков. Чем больше и разнообразнее этот список, тем точнее модель может понимать ваш вопрос и отвечать на него, «выражать свои мысли». Например у GPT-4: около 100 000 токенов. У Llama 3: около 128 000. у Claude 3: до 200 000. III Как это работает? 1. Ваш запрос: «Как приготовить борщ?» 2. LLM разбивает его на токены. Например, так: «Как», «при», «готов», «ить», «бор», «щ», «?» 3. Модель генерирует токены ответа, один за другим. Используя как, мы c вами помним вероятностный подход. Т.е. ответ строиться на связи между токенами на основе наиболее вероятного их размещения друг с другом, вычисленную ею ранее в процессе обучения. 4. Токены собираются LLM обратно в текст — и вы видите рецепт «борща» или чего-то иного, что модель посчитала наиболее вероятным соответствием первоначальным токенам на которые она, по своему собственному алгоритму, разбила ваш вопрос. IV Почему это важно? Каждый токен — это вычисление, а вычисления — это электричество, GPU (графический процессор), охлаждение, дата-центры, здания, люди. Всё это стоит денег. Токен очень быстро стал единицей измерения ИИ, как киловатт-час измеряет энергию. И как вы платите за кВт/ч деньги, так вы платите за токен при использовании ИИ V Токен как валюта. Сегодня мы платим за электроэнергию рублями. Но за чат-бота уже токенами переведёнными в рубли. Завтра робот-сборщик на заводе будет «думать» в токенах и сложность производственной или деловой операции будут измерять не в минутах и киловатт-часах, а в токенах, кило – мега- и гигатокенах. Например, завод А потратил 1 000 000 токенов на изготовление одного смартфона. Завод Б тратит на изготовление такого-же смартфона 500 000. У кого токены дешевле или кто тратит их меньше, тот и выиграет. VI Чипы как новая нефть. Если сегодня конкурентное преимущество давала дешевая энергия или минимальные затраты энергии, то в ближайшем будущем конкурентное преимущество будет за теми кто производит дешевые токены. Значит, чипы, которые их генерируют, становятся стратегическим ресурсом. Не нефть или не газ, точнее не столько нефть или газ, а способность производить из них токены – вот настоящее конкурентное преимущество второй половины 21 века. Но, что у нас? Пока другие страны строят фабрики по производству токенов, в России ждём, когда президент соберёт совещание правительства и даст указание срочно разработать презентацию для нацпроекта «Токен-2045».