📌Почему языковые модели галлюцинируют.
OpenAI опубликовали исследование о причинах галлюцинации LLM.
Галлюцинации - это не мистический сбой в сознании ИИ, а вполне предсказуемый побочный эффект его обучения.
Представьте, что перед моделью стоит задача бинарной классификации - определить, является ли предложенное утверждение корректным или нет. Математическая выкладка в исследовании проста: уровень ошибок генерации как минимум в 2 раза превышает уровень ошибок классификации. Если модель не способна надежно отличить факт от вымысла, она неизбежно будет этот вымысел генерировать.
🟡Все начинается еще на претрейне.
Даже на идеально чистых данных статистические цели обучения подталкивают модель к генерации ошибок. Особенно это касается фактов, которые редко встречаются в обучающей выборке.
В работе вводится понятие singleton rate — доля фактов, которые появились в данных лишь один раз. Теоретический расклад показывает, что уровень галлюцинаций модели будет как минимум равен этой доле.
Проще говоря, если 20% фактов о днях рождения в датасете встретились единожды, модель будет выдумывать дни рождения как минимум в 20% случаев.
🟡Эксперименты это подтверждают.
Модель DeepSeek-V3, на просьбу назвать день рождения одного из авторов статьи, трижды выдала неверные даты: 03-07, 15-06 и 01-01. Ни одна из них не была даже близка к правильной (осенью).
В другом тесте, где нужно было сосчитать количество букв D в слове DEEPSEEK, та же DeepSeek-V3 выдавала 2 или 3, а модели компании Марка Цукерберга и Claude 3.7 Sonnet доходили до 6 и 7.
При этом базовые модели после претрейна часто показывают отличную калибровку. Например, у предобученной GPT-4 ожидаемая ошибка калибровки составляла всего 0.007, что говорит о высокой статистической адекватности ее предсказаний. Кто бы сомневался.
🟡Почему галлюцинации не исчезают после пост-тренинга и RLHF?
Ответ на этот вопрос - в системе оценки. Большинство современных бенчмарков поощряют угадывание. Модели, по сути, постоянно находятся в режиме сдачи экзамена, где за правильный ответ дают 1 балл, а за пустой бланк или ответ я не знаю - 0. В такой системе оптимальная стратегия при неуверенности - только угадать. Любой шанс на правильный ответ лучше, чем гарантированный ноль.
Эту гипотезу подтвердили анализом популярных оценочных наборов.
В GPQA, MMLU-Pro, Omni-MATH, SWE-bench и HLE используется строго бинарная система оценки (правильно/неправильно). Возможности получить частичный балл за честное признание в незнании там просто нет. Из 10 рассмотренных в исследовании популярных бенчмарков только один, WildBench, присуждает частичные баллы за ответы формата я не знаю. Остальные же фактически наказывают модель за отказ галлюцинировать, создавая эпидемию штрафов за неуверенность и поощряя ее выдавать правдоподобную ложь.
🟡Что делать инженерам.
OpenAI предлагает встраивать явные целевые уровни уверенности в рубрики, вводить поведенческую калибровку и оценивать модели по секциям с разными порогами уверенности.
Еще рекомендуют включают мониторинг singleton-rate на корпусе, измерение вероятности важных ответов, комбинирование RAG с верификацией фактов и изменение лидербордов чтобы ответы я не знаю не штрафовались автоматически.
🔜Читать статью полностью
@ai_machinelearning_big_data
#AI#ML#LLM#Research#OpenAI
🙂 RAG — важная аббревиатура современного машинного обучения
🎁 RAG — retrieval-augmented generation или генерация, дополненная поиском, — подход, при котором генерация ответа большой языковой модели (LLM) осуществляется на основе данных, полученных в результате поиска по внешним ресурсам (это могут быть файлы, базы данных, веб-архивы и другие источники).
🧑💻 14 августа в 12:00 (Мск) Яндекс.Cloud приглашает на вебинар, посвящённый сценарию RAG на YDB (СУБД Яндекса) и тому, как реализовать семантический поиск, обогащая ответы LLM-моделей в ИИ-решениях, которые работают с текстовыми массивами знаний.
🔜Регистрация
👩💻 28 августа в 11:00 (Мск) провайдет Cloud.ru (в прошлом SberCloud) приглашает на вебинар о том, как с помощью Evolution Managed RAG избавить AI-агента от галлюцинаций, предоставляя релевантную информацию из ваших документов, как подготовить документы, где их хранить и как правильно настроить обработку данных для улучшения качества ответа LLM без дообучения.
🔜Регистрация
Ещё по теме RAG:
🙂Размышление о пользе RAG для цифровой истории
😉Что такое RAG? — простыми словами рассказывает СБъ
Иллюстрация от fusionbrain.ai по промту «retrieval-augmented generation или генерация, дополненная поиском»
#ии#ai#ml#rag#термины
ChatGPT Chrome va boshqa brauzerlardan ham ommalashib ketdi!
ChatGPT oyiga 3,7 milliard sessiya bilan Chrome'ni ortda qoldirdi — 3,45 milliard! Oylik o‘sish 17%, yiliga esa 115% dan oshdi. Bu hali faqat boshlanishi.
Chatgpt.com domeniga o‘tish va yangi funksiyalar, masalan, ChatGPT Search, bunga katta hissa qo‘shdi.
Qaysi vositalarni afzal ko‘rasiz?
___
ChatGPT обошёл Chrome и другие браузеры по популярности!
ChatGPT уже обогнал Chrome по количеству сеансов в месяц — 3,7 млрд против 3,45 млрд! Рост на 17% в месяц и более 115% за год. И это только начало.
Смена домена на chatgpt.com и новые функции, как ChatGPT Search, явно сделали своё дело.
А что вы предпочитаете Chrome или ChatGPT?
Пишите в комментариях!
#ChatGPT#AI#Texnologiyalar#AIMLab#ии
🚀 STOCKS | Hong Kong AI Application Sector Gains Momentum
Hong Kong's AI application sector experienced a notable upswing, with several companies showing significant stock price increases. According to Jin10, Zhitu (02513.HK) saw a rise of over 5%, while Suteng Juchuang (02498.HK) increased by nearly 5%. Other companies such as MINIMAX-W (00100.HK) and Youjia Innovation (02431.HK) also followed suit with gains. This trend reflects growing investor interest and confidence in the AI industry within the Hong Kong market.
#HongKong#AI#StockMarket#Investment#Technology#Finance