Post #6762

#товарищ_Кун_цзы #постцифра 20 Почему языковые модели галлюцинируют: математика и реальность I Математика языковых моделей В основе работы LLM лежит простая формула: LLM(x) = argmax P(y|x), где x — входные данные (независимая переменная) y — выходные данные (зависимая переменная) P(y|x) — условная вероятность получения результата Y при заданном Х argmax — оператор, который находит такое значение аргумента Х, при котором функция LLM (х) достигает максимума Если перевести на простой язык, то модель выбирает в своих «рассуждениях» тот токен (слово или его часть) который встречался ей в обучении чаше всего в сочетании с условиями задачи. Главная проблема тут в том, что LLM работает только с вероятностью, не обращая внимание на истинность. Модель задаётся вопросом: «То, что вероятно, это правда или лож?» Она спрашивает: «Как часто такое встречалось ранее в моих данных?» Отметим, что данные взяты ИИ не из практического опыта или от уважаемых и проверенных источников, а из массива данных в котором вся информация, с точки зрения ИИ, есть истинная, но просто встречается с разной частотой. II Три причины галлюцинаций: 1. Несовпадение данных и реальности Обучающие данные могут содержать: - Противоречивую информацию - Устаревшие факты - Ошибки и вымыслы - Мифы и городские легенды Модель усредняет всю эту статистику. Если ложная информация встречается часто, модель именно её будет принимать за норму. 2. Заполнение пробелов Когда контекст не вполне однозначен и информация не полна или запрос не вполне определён, модель начинает «додумывать» на основе имеющихся у неё статистических закономерностей, а не фактов. Факты вообще в современном ИИ не отличимы от вымысла. 3. Нет механизма проверки истины У модели нет доступа к «базе истинных фактов». Она не умеет: - Проверять информацию в реальном времени - Отличить факт от популярного заблуждения - Понять, что что-то физически невозможно III Можно ли исправить? Современные решения: RAG (Retrieval-Augmented Generation) Модель сначала ищет информацию во внешних источниках, затем отвечает на основе найденного. Использование инструментов Модель обращается к калькуляторам, базам данных, поисковикам для проверки фактов. RLHF (обучение с подкреплением) Модель получает обратную связь от людей и учится избегать ошибок. IV Это увы не панацея: - Внешние источники тоже могут ошибаться. Причём в некоторых областях человеческой деятельности источники преднамеренно выводят в заблуждения. - Знания о мире неполны и постоянно меняются. Собственно, это основание научного метода познания истины. Например, даже такая отрасль математики как геометрия может радикально меняется в зависимости от внешних обстоятельств или решаемых задач (эвклидово и неевклидовое пространство). В этом случае одна задача будет иметь два и более совершенно истинных, но абсолютно различных решения. - При генерации текста всегда остаётся вероятность выбрать неверный токен, ибо вероятность это такое дело… V Таким образом галлюцинации ИИ — следствие архитектуры: модели работают на вероятностях, а не на истине. Это практически неизбежно: пока обучающие данные несовершенны, а проверка фактов не встроена в саму модель. А поскольку данные всегда будут несовершенны, а по-настоящему проверить факты обычно невозможно, то ИИ будет галлюцинировать всегда. Но галюцинации можно смягчить: через внешние инструменты, постоянный поиск информации, верификацию и качественные данные Вывод однозначный: не доверяйте LLM слепо в вопросах, где важна фактическая точность. Всегда проверяйте критически важную информацию!