Post #7818

Потребление энергии ChatGPT при ответе на один запрос за последний год снизилось в 33 раза — до 0,0003 кВт·ч, что примерно соответствует энергии, необходимой для просмотра Netflix в течение 8–10 секунд или выполнения одного запроса в Google в 2008 году. Общее потребление воды в центрах обработки данных, использующих ИИ, сегодня примерно равно 3% воды, используемой всеми полями для гольфа в США. https://andymasley.substack.com/p/i-cant-find-any-instances-of-data Из статьи «Как думает ИИ» Приходилось ли вам слышать такое “экспертное мнение”: искусственный интеллект — это «стохастический попугай», «простая вычислительная машина, выдающая банальные ответы на основе расчёта вероятностей»? Понятно, что речь про большие языковые модели (LLMs). Большая человеческая просьба: когда вам это в очередной раз скажут, смейтесь. Вот суперкороткие объяснение работы LLMs: нейросеть получила практически все тексты, написанные человечеством, плюс огромное количество информации, публично доступной онлайн, включая содержание сайтов и форумов. Тексты разложены на токены (короткие слова или части слов), а токены сгруппированы в многомерном пространстве по семантическому сходству. Самые продвинутые современные модели хранят свои сотни миллиардов токенов в пространстве из более чем 3000 измерений. Это пространство принято называть латентным пространством (latent space), внутренней «картой концепций», которая создаётся, когда системы AI учатся у людей. В этом пространстве нейросеть и будет подбирать следующее слово фразы, исходя из всех предыдущих слов переписки, и подбирая одно из ближайших по смысловому расстоянию. Ученый, изобретатель и предприниматель Стивен Вольфрам (создатель программного пакета Mathematica, WolframAlpha и компании Wolfram Research, состояние оценивается в 2-3 миллиарда долларов) в 2023 году опубликовал две замечательные статьи, подробно описывающие «процесс мышления» моделей генеративного AI: «Что делает ChatGPT и почему это работает?» ("What Is ChatGPT Doing and Why Does It Work?", февраль 2023) и «Пространство генеративного AI и ментальные образы чужеродных разумов» ("Generative AI Space and the Mental Imagery of Alien Minds", июль 2023). Вольфрам обнаружил, что человеческие концепции (concepts) — такие как «кошка» или «собака» — занимают лишь крошечные островки в латентном пространстве. Между этими островками лежит то, что он называет «межконцептуальным пространством» (interconcept space). Островки человеческих концепций удивительно малы. Как объясняет Вольфрам, каждый островок названных концепций составляет примерно «10 в -600 степени от объёма всего латентного пространства». Остальное состоит из паттернов и структур, которые статистически валидны, но не имеют названий в человеческом языке. Словами Стивена Вольфрама: «развивая нашу цивилизацию и наш человеческий язык, мы открыли лишь небольшие островки в пространстве всех возможных концепций, оставив огромные пространства межконцептуального мира неисследованными». Эта неисследованная территория — не случайный шум. Она содержит подлинные паттерны и закономерности, извлеченные из человеческого опыта, но эти паттерны никогда не были достаточно важны, чтобы мы создали для них слова. Межконцептуальное пространство (interconcept space) представляет концептуальные возможности, которые лежат между нашими устоявшимися категориями — валидные комбинации, для которых нашему языку и культуре просто не понадобилось создавать названия… https://telegra.ph/Kak-dumaet-II-12-24 Иллюстрация Shaun Tan