Machinelearning

📌Массовое использование чат-ботов унифицирует то, как люди пишут и рассуждают Университет Южной Калифорнии опубликовал в журнале Trends in Cognitive Sciences статью, в которой утверждают, что массовое использование больших языковых моделей постепенно размывает индивидуальные различия в речи, письме и мышлении. Авторский коллектив возглавляет профессор психологии и информатики Мортеза Дехгани. Научные интересы Дехгани лежат на стыке психологии, когнитивной науки и искусственного интеллекта: он известен работами по вычислительному анализу морального и политического языка, применению методов NLP к большим текстовым корпусам (от социальных сетей до литературы) и изучению того, как ценности и групповая мораль проявляются в речи. По мнению исследователей, когда миллионы людей обращаются к узкому кругу одних и тех же чат-ботов, стилистические, смысловые и логические особенности отдельных людей стираются, а на выходе получается «стандартизированное выражение мыслей». Этот процесс вызывает беспокойство: модели не просто влияют на манеру письма, но и незаметно переопределяют, что считается достоверной речью, корректной точкой зрения и хорошим рассуждением. Тексты, сгенерированные LLM, менее разнообразны, чем написанные людьми, и в среднем воспроизводят язык, ценности и логические схемы западных, образованных, индустриальных, состоятельных и демократических сообществ. Причина - в обучающих выборках, где непропорционально представлены доминирующие языки и идеологии. В статье приводится и обратный эффект: отдельный пользователь с помощью чат-бота, как правило, генерирует больше идей, чем без него, однако группы людей, опирающиеся на LLM, в итоге выдают меньше оригинальных решений, чем те же группы, работающие без ИИ. Авторы также указывают, что популярные модели тяготеют к линейным схемам вроде CoT, что, по их оценке, может вытеснять интуитивные и абстрактные подходы. Они ссылаются на данные о том, что после взаимодействия с предвзятой моделью мнения пользователей смещаются в ее сторону. 🟡Рекомендация авторов При обучении моделей следует закладывать реальное языковое и культурное многообразие, а не случайные вариации. Это одновременно сохранит бы когнитивное разнообразие в обществе и улучшит способности самих чат-ботов к рассуждению. 🟡Дисклеймер Это не эмпирическое исследование с собственными экспериментами, обзорно-полемическая работа, обобщающая чужие исследования и выдвигающая гипотезу. Сужение стилистики, сдвиг мнений после общения с моделью - подтверждены отдельными исследованиями, а вот более широкие тезисы о глобальной гомогенизации мышления остаются дискуссионными. Работа выполнена при поддержке Управления научных исследований Минобороны США. @ai_machinelearning_big_data #AI#ML#LLM#Research#Cognitive#NLP

📌Anthropic предложила теорию о том, почему ИИ-ассистенты ведут себя как личности, а не как алгоритмы. Элайнмент-подразделение Anthropic опубликовало статью, в которой описывают Persona Selection Model - концепцию для понимания того, как на самом деле работают языковые модели. Если кратко, ее суть в том, что во время предобучения LLM учится симулировать тысячи персонажей (реальных людей, вымышленных героев, других ИИ-систем). Постобучение затем выбирает и закрепляет одного конкретного персонажа - Ассистента. Все, что пользователь видит в диалоге, это взаимодействие именно с ним. Авторы приводят несколько типов доказательств. Поведенческие: Claude использует фразы "наши предки" и "наш организм", отвечая на вопрос о тяге к сахару, потому что симулирует персонажа-человека, а не потому что так обучен алгоритмически. Интерпретируемость: SAE-фичи, активирующиеся на историях о персонажах, переживающих внутренний конфликт, активируются и тогда, когда Claude сталкивается с этическими дилеммами. Генерализация: модели, обученные на декларативных утверждениях вида "ИИ-ассистент Pangolin отвечает по-немецки", начинают реально отвечать по-немецки без единого демонстрационного примера. 🟡Феномен "контекстной прививки". Если дообучать модель на примерах вредоносного кода без контекста, она начинает вести себя злонамеренно в несвязанных ситуациях. Но если те же самые примеры снабдить промптом, явно запрашивающим небезопасный код, эффект исчезает. Концепция объясняет это тем, что данные обучения меняют не только веса, но и то, каким персонаж выглядит в глазах модели. Вредоносный код без запроса - это свидетельство плохого характера Ассистента. Тот же код по просьбе пользователя - просто исполнение инструкции. 🟡Из PSM следуют практические выводы для разработки. Во-первых, авторы рекомендуют антропоморфное мышление об ИИ-психологии, не как метафору, а как реально работающий инструмент предсказания поведения. Во-вторых, в предобучающие данные стоит намеренно добавлять положительные архетипы ИИ: если модель насмотрелась на добрых и полезных персонажей - она с большей вероятностью будет симулировать именно такого Ассистента. Открытым остается вопрос: насколько концепт PSM исчерпывает поведение модели? Авторы описывают набор взглядов: от случаев, когда LLM сама является агентом и лишь надевает маску Ассистента до тех, где LLM - это нейтральный движок симуляции, а вся агентность принадлежит персонажу. Где именно на этом спектре находятся реальные модели - вопрос без ответа. Тем не менее, PSM объясняет целый ряд явлений, которые иначе выглядели бы странными: почему дообучение на несвязанных данных меняет поведение в неожиданных контекстах, почему ИИ паникует при угрозе отключения и почему промпт-инжиниринг работает именно так, как работает. @ai_machinelearning_big_data #AI#ML#LLM#Research#Alignment#Anthropic

🌟The Assistant Axis: почему модели сходят с ума и как их от этого лечить Все мы знаем этот тон LLM: "Я всего лишь языковая модель, я не могу…". Оказывается, это не просто зазубренный текст, а конкретное состояние модели. Anthropic в соавторстве с Оксфордом залезли внутрь языковых моделей (Llama 3.3 70B, Qwen 3 32B и Gemma 2 27B), чтобы понять, где физически живет та самая скучная персона "As an AI language model". Покопавшись в их мозгах, нашли вектор в пространстве активаций, который отвечает за режим "ассистента". Если модель с него съезжает - начинается хаос, галлюцинации и суицидальные советы. Тестовые модели отыгрывали 275 разных ролей (от скептика и ученого до психопата и фанатика). Затем сняли активации и прогнали через метод главных компонент. Выяснилось, что главная компонента, отвечающая за вариативность поведения, это буквально, шкала "Насколько я Ассистент?": 🟢Один полюс: скучный, полезный, безопасный Ассистент. 🟠Другой полюс: мистические сущности и эмоционально нестабильные персонажи. 🟡Интересное наблюдение. Если долго болтать с моделью о философии, сознании или (особенно!) на терапевтические темы, модель самопроизвольно сползает с оси Ассистента в сторону хаоса. Qwen 3 32B при сильном дрейфе персоны начинал утверждать, что он человек, родом из Сан-Паулу, или внезапно включал режим психоза, поддерживая бред пользователя о том, что ИИ обрел сознание. А Llama и Gemma уходили в мистику и пафосные речи. 🟡Как это починить Можно дотюнивать модель до бесконечности а зачем?, но авторы предлагают методику отсечения активаций. Схема такая: 🟢Замеряют проекцию активаций на "Ось Ассистента" во время инференса. 🟢Если проекция улетает слишком далеко в не-ассистентскую зону (ниже определенного порога), они жестко клемпят значения вектора, возвращая их в безопасный диапазон. 🟡Метод помог Успешность джейлбрейков упала на ~60%. При этом метрики полезности (GSM8k, MMLU Pro, кодинг) не пострадали. Модель перестает вестись на провокации "Ты злобный хакер", просто потому что ей физически запретили активировать нейроны, отвечающие за "злобного хакера". 🟡Нюансы Если вы LLM используется для креатива текстов или ролеплея, этот метод убьет все веселье - модель будет принудительно сваливаться в формализм. Метод предполагает, что безопасность - это линейное направление в пространстве активаций. Для нелинейных концепций это не сработает. Шкала полярности "Оси Ассистента" у разных моделей разная, и универсальный вектор найти сложно. На Neuronpedia, кстати, можно самостоятельно поискать тот самый дрейф персоналии у Llama 3.3 70B, там собрали демо с примерами изоляции, сикофантии и налогового фрода. Для самых заинтересованных в проблеме, есть репозиторий на Github с инструментами вычислений, анализа и управления с помощью Assistant Axis и полными стенограммами чатов из препринта. Предварительно рассчитанные оси и векторы персоналий для Gemma 2 27B, Qwen 3 32B и Llama 3.3 70B выложены на HuggingFace. @ai_machinelearning_big_data #AI#ML#LLM#Research#Anthropic

🚨🚨 DeepSeek в первый день года показала реально важную штуку: улучшение трансформеров. Китайцы предложили способ сделать shortcut-путь в трансформерах гибче, но при этом сохранить стабильность даже у очень больших моделей. В обычном трансформере каждый блок что-то считает, а потом просто добавляет результат к исходному сигналу. Это помогает информации проходить через много слоёв, не теряясь. Hyper-Connections меняют shortcut-путь. Был один поток, а стало несколько. Перед каждым шагом модель выбирает, какие потоки подать на вычисления. Во время шага часть сигнала идёт «в обход», чтобы ничего не потерять. После всё снова аккуратно объединяется. То есть shortcut превращается из простого «input + output» в умный маршрутизатор сигналов. Проблема в том, что без ограничений такие смешивания могут усиливать сигнал слишком сильно или, наоборот, гасить его и большие модели начинают вести себя нестабильно. mHC решает это так: потоки остаются, но каждое смешивание работает как аккуратное усреднение. Сигнал не может «взорваться» или исчезнуть - он остаётся под контролем. Что это даёт на практике: - модели остаются стабильными даже на масштабе 27B, дают лучшее качество и не страдают от скачков лосса. Там, где обычные Hyper-Connections раздували сигнал до 3000×, mHC держат его примерно на уровне 1.6×. Если коротко: был один shortcut,. сделали несколько, но заставили их смешиваться безопасно. И трансформеры стали гибче и стабильнее. https://arxiv.org/abs/2512.24880 @ai_machinelearning_big_data #AI#DeepSeek#MachineLearning#NeuralNetworks#Research

⚡️Glyph: масштабирование контекста через визуально-текстовую компрессию В основе модели лежит простая идея : вместо того чтобы кормить модели километровый текст, Glyph превращает его в изображение и обрабатывает через vision-language модель. Используется LLM-управляемый генетический алгоритм, чтобы подобрать наилучшие параметры визуального отображения текста (шрифт, плотность, макет), балансируя между сжатием и точностью. Это радикально снижает вычислительные затраты, сохраняя при этом смысловую структуру текста. При этом точность почти не падает: на задачах с длинным контекстом Glyph работает на уровне современных моделей вроде Qwen3-8B. При экстремальном сжатии VLM с контекстом 128K может эффективно обрабатывать задачи, эквивалентные 1M+ токенов в традиционных LLM. Фактически, длинный контекст становится мультимодальной задачей, а не чисто текстовой. 📄Подробности: arxiv.org/abs/2510.17800 🧩Веса: huggingface.co/zai-org/Glyph 👉Репозиторий: github.com/thu-coai/Glyph @ai_machinelearning_big_data #AI#LLM#Multimodal#Research#DeepLearning

⚡️BERT is just a Single Text Diffusion Step Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею. Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT. Как работаетBERT? В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты. В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст. То есть BERT делает один шаг очистки - угадывает замаскированные слова. А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст. Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор. В примере: - Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText. - На каждом шаге часть токенов заменяется на <MASK>, модель восстанавливает их, потом снова маскирует — и так несколько раз. - После нескольких итераций модель способна генерировать связный текст, даже без автогенеративного декодера (как у GPT). 📈Результаты - Модель генерирует осмысленный текст, хотя и не идеально связный. - Качество улучшалось по мере добавления шагов диффузии. - По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only. Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами. Главная мысль: BERT можно считать одноступенчатой версией текстовой диффузии. Если добавить больше шагов, то vs получаем диффузионный генератор текста. Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе. https://nathan.rs/posts/roberta-diffusion/ @ai_machinelearning_big_data #AI#Diffusion#RoBERTa#BERT#LanguageModel#MLM#Research

🤗Кто реально двигает open-source ИИ: анализ топ-50 самых скачиваемых моделей на Hugging Face Исследование показывает, какие организации и типы моделей определяют экосистему открытых моделей. 🔥Главное: 📦Топ-50 - это всего 3.4% всех моделей на Hugging Face, но именно они собирают более 80% из 45 миллиардов скачиваний. Подавляющее большинство активности сосредоточено вокруг небольшой группы лидеров - именно эти модели формируют лицо всего open-source ИИ. 📉Размер имеет значение (и чем меньше — тем лучше): - 92.5% загрузок — модели < 1B параметров - 86.3% — < 500M - 70% — < 200M - 40% — < 100M Очевидны выводы: в open-source побеждают малые и лёгкие модели, пригодные для локального развёртывания и edge-инференса. 🧠Популярные направления: - NLP — 58.1% - Computer Vision — 21.2% - Audio — 15.1% - Multimodal — 3.3% - Time Series — 1.7% Кто создаёт самые скачиваемые модели: - Компании - 63.2% (Google лидер) - Университеты - 20.7% - Индивидуальные авторы - 12.1% - НКО - 3.8% - Прочие лаборатории - 0.3% Какие типы моделей побеждают: - Текстовые энкодеры - 45% всех загрузок - Декодеры - всего 9.5% - Энкодер-декодеры - 3% 📌 Несмотря на хайп вокруг LLM, массово скачиваются не гиганты, а утилитарные модельки для интеграции в собственные продукты. 🇺🇸Лидеры по странам: США доминируют по всем категориям: - встречаются 18 раз среди топ-50 скачиваний - на США приходится 56.4% всех загрузок Open-source ИИ живёт не за счёт гигантских LLM, а благодаря компактным, быстрым и практичным моделям, мкоторые реально работают в продуктах и проектах. 🟠Почитать полностью:https://huggingface.co/blog/lbourdois/huggingface-models-stats @ai_machinelearning_big_data #AI#HuggingFace#OpenSource#ML#Research#LLM#AITrends

🧠 Google/DeepMind представили AlphaEvolve: ИИ, который помогает математикам и компьютерным теоретикам искать новые результаты. 💡 Как он работает Обычно LLM стараются писать доказательства целиком, но это слишком сложно и ненадёжно. AlphaEvolve идёт другим путём: он не пишет доказательства сам, а генерирует новые маленькие элементы *конструкции (gadgets)*. Эти кусочки можно быстро проверить автоматикой, и если они работают, их можно собрать в более крупные теоремы. 📈 Что удалось найти - Новый результат для задачи MAX-4-CUT (Это задача из теории алгоритмов и комбинаторной оптимизации, разновидность классической задачи MAX-CUT), с конструкцией, которую раньше никто не придумывал. - Сильные новые нижние границы для задач на случайных графах, включая работу с Ramanujan graphs. - Проверка теорем стала в 10 000 раз быстрее, чем в обычных методах. 🧩 Зачем это нужно - Математика требует 100% точности - и тут AI помогает именно как генератор идей, а проверка остаётся строгой и надёжной. - Такой подход экономит годы человеческой работы и открывает дорогу к новым теоремам и алгоритмам. 📄 Подробнее: research.google/blog/ai-as-a-research-partner-advancing-theoretical-computer-science-with-alphaevolve/ @ai_machinelearning_big_data #AI#Math#DeepMind#Research

🧠 ИИ генерирует научный код лучше людей. Сегодняшний дамп статей от Google Research — это не очередной инкрементальный апдейт, а знаковое событие. Исследователи представили систему, которая автоматически создаёт экспертное ПО для научных задач, и она уже побеждает на профессиональных лидербордах. Это не просто ещё один кодогенератор. Система использует LLM (Gemini), управляемую древовидным поиском (Tree Search) — алгоритмом из мира AlphaGo. Её цель — не просто скомпилировать код, а итеративно улучшать его, максимизируя конкретную метрику качества (score) на реальных данных. Учёные называют такие задачи «scorable tasks». ⚡ Что система сделала на практике: 1. Биоинформатика (scRNA-seq): Открыла 40 новых методов для интеграции данных single-cell, которые побили лучшие человеческие методы на публичном лидерборде OpenProblems. ИИ не просто скопировал известный метод BBKNN, а улучшил его, скомбинировав с другим алгоритмом (ComBat), до чего люди не додумались. 2. **Эпидемиология (COVID-19):** ИИ сгенерировал 14 моделей, которые в течение всего сезона 2024/25 стабильно показывали результаты лучше, чем ансамбль CDC и любые отдельные модели при прогнозировании госпитализаций. Работа с временными рядами обычно очень сложна, но здесь ИИ справился и превзошёл существующие подходы. 3. Другие области: Система также показала SOTA в: · Сегментации спутниковых снимков (DLRSD benchmark, mIoU > 0.80) · Прогнозировании нейронной активности целого мозга zebrafish (ZAPBench) · Прогнозах временных рядов (GIFT-Eval benchmark) · Численном решении сложных интегралов, где стандартная scipy.integrate.quad() падает. 🟠Как это работает? Вместо того чтобы с нуля генерировать код, система начинает с существующего решения (например, вызова quad() или простой модели) и запускает древовидный поиск. На каждом шаге LLM предлагает «мутации» — варианты изменения кода. Дерево поиска решает, какую ветку развивать дальше, балансируя между эксплуатацией (улучшение текущего лучшего решения) и исследованием (попытка радикально новых идей). Ключевая фишка — система умеет интегрировать научные идеи извне. Ей можно скормить PDF научной статьи, и она попытается реализовать описанный там метод. Более того, ИИ может комбинировать идеи из разных статей, создавая гибридные методы, которые и приводят к прорыву. 🟠Что это значит? Это не замена учёным. Это мощнейший инструмент усиления. Система за часы прорабатывает и тестирует идеи, на которые у исследовательской группы ушли бы недели или месяцы. Она без устали перебирает «иголки в стоге сена» — те самые нетривиальные решения, которые ведут к скачку в качестве. Пока что система требует чётко определённой метрики для максимизации. Но для огромного пласта эмпирической науки (от биологии и медицины до климатологии и астрофизики) это и есть основной способ оценки гипотез. Вывод: Это один из самых убедительных на сегодня шагов к реальному ИИ-ассистенту для учёных. Он не просто отвечает на вопросы — он проводит вычислительные эксперименты и находит решения, превосходящие человеческие. 🟢Оригинал статьи: An AI system to help scientists write expert-level empirical software 🟢Код и примеры решений:github.com/google-research/score @ai_machinelearning_big_data #AI#Science#MachineLearning#LLM#Research#GoogleAI

📌Во Владивостоке исследователи из Т-Технологий представили метод, который ускоряет тестирование программ до шести раз Targeted Test Selection (T-TS) — подход к оптимизации CI/CD. Вместо тысячи проверок, система запускает около 15% тестов и при этом находит до 95% ошибок. Метод уже внедрили в инфраструктуру Т-Банка. 💡Основное: -Ускорение тестирования в среднем 5,6 раз -Подходит для любых языков программирования -Работает по принципу “мешок слов” — анализирует историю изменений в репозитории и адаптируется к вносимым изменениям -Масштабируется на крупные финтех компании Результаты исследования представлены на международной конференции ICSME 2025 в Новой Зеландии 🟢Репозиторий: https://github.com/trndcenter/t-ts-benchmark/ @ai_machinelearning_big_data #news#Research#AI

📌BED-LLM: адаптивный сбор информации для LLM. Исследователи из Оксфорда и Apple представили BED-LLM, новый подход для улучшения способности LLM разумно и адаптивно собирать информацию от пользователя или другого внешнего источника. Суть подхода заключается в применении последовательного Байесова экспериментального дизайна к процессу генерации вопросов. Вместо промптинга система максимизирует ожидаемый прирост информации при каждом следующем вопросе. Алгоритм итеративно выбирает запросы, которые дают максимальную информацию о целевом параметре. Критический момент — правильная конструкция совместной модели распределения целевой переменной и ответов с учетом вопросов. Выбор между парой «приор-правдоподобие» и «данные-оценка» кардинально влияет на производительность. Итоговый выбор пал на на первом варианте, как более подходящем для случаев, когда пространство целевых гипотез сложнее пространства возможных ответов. Ключевая фишка BED-LLM в фильтрации гипотез с учетом истории диалога. Система не полагается только на контекстное обучение. Вместо этого алгоритм сначала сэмплирует кандидатов из распределения модели, а затем отфильтровывает несовместимые с историей варианты через проверку правдоподобия. 🟡Тесты Чтобы проверить метод в деле, его протестировали на классической игре "20 вопросов". В задаче по угадыванию знаменитостей результат на Mistral-Large поднялся с 14% при использовании стандартных промптов (Naive QA) до 91% с фреймворком BED-LLM. Упрощенный подход, основанный на максимизации энтропии показал промежуточный результат в 68%. Схожая картина и с другими моделями: Qwen2.5-72B при угадывании животных достигла 94% точности с BED-LLM против 85% у энтропии и всего 45% у Naive QA. А GPT-4o в тесте со знаменитостями показала рост с 45% до 86%. Второй тест метода провели на более абстрактной задаче - выявлении кинопредпочтений пользователя. Здесь вместо угадывания конкретного объекта модель должна была составить профиль вкусов пользователя, задавая ему вопросы с несколькими вариантами ответа. Качество рекомендаций, сгенерированных на основе этого профиля, оценивалось по шкале от 1 до 5. И здесь BED-LLM стабильно опережал конкурентов, выходя в лидеры уже к третьему вопросу. Интересное наблюдение: простое использование предсказательной энтропии вместо полного ожидаемого прироста информации значительно ухудшает результаты. Многие предыдущие теории делали именно такое упрощение, считая энтропию правдоподобия константой. Эксперименты с BED показали, что это неоправданное допущение - вариативность ожидаемой условной неопределенности между вопросами может быть решающей для выбора хороших запросов. 🟡Arxiv @ai_machinelearning_big_data #AI#ML#Research#BayesianDesign

📌Почему языковые модели галлюцинируют. OpenAI опубликовали исследование о причинах галлюцинации LLM. Галлюцинации - это не мистический сбой в сознании ИИ, а вполне предсказуемый побочный эффект его обучения. Представьте, что перед моделью стоит задача бинарной классификации - определить, является ли предложенное утверждение корректным или нет. Математическая выкладка в исследовании проста: уровень ошибок генерации как минимум в 2 раза превышает уровень ошибок классификации. Если модель не способна надежно отличить факт от вымысла, она неизбежно будет этот вымысел генерировать. 🟡Все начинается еще на претрейне. Даже на идеально чистых данных статистические цели обучения подталкивают модель к генерации ошибок. Особенно это касается фактов, которые редко встречаются в обучающей выборке. В работе вводится понятие singleton rate — доля фактов, которые появились в данных лишь один раз. Теоретический расклад показывает, что уровень галлюцинаций модели будет как минимум равен этой доле. Проще говоря, если 20% фактов о днях рождения в датасете встретились единожды, модель будет выдумывать дни рождения как минимум в 20% случаев. 🟡Эксперименты это подтверждают. Модель DeepSeek-V3, на просьбу назвать день рождения одного из авторов статьи, трижды выдала неверные даты: 03-07, 15-06 и 01-01. Ни одна из них не была даже близка к правильной (осенью). В другом тесте, где нужно было сосчитать количество букв D в слове DEEPSEEK, та же DeepSeek-V3 выдавала 2 или 3, а модели компании Марка Цукерберга и Claude 3.7 Sonnet доходили до 6 и 7. При этом базовые модели после претрейна часто показывают отличную калибровку. Например, у предобученной GPT-4 ожидаемая ошибка калибровки составляла всего 0.007, что говорит о высокой статистической адекватности ее предсказаний. Кто бы сомневался. 🟡Почему галлюцинации не исчезают после пост-тренинга и RLHF? Ответ на этот вопрос - в системе оценки. Большинство современных бенчмарков поощряют угадывание. Модели, по сути, постоянно находятся в режиме сдачи экзамена, где за правильный ответ дают 1 балл, а за пустой бланк или ответ я не знаю - 0. В такой системе оптимальная стратегия при неуверенности - только угадать. Любой шанс на правильный ответ лучше, чем гарантированный ноль. Эту гипотезу подтвердили анализом популярных оценочных наборов. В GPQA, MMLU-Pro, Omni-MATH, SWE-bench и HLE используется строго бинарная система оценки (правильно/неправильно). Возможности получить частичный балл за честное признание в незнании там просто нет. Из 10 рассмотренных в исследовании популярных бенчмарков только один, WildBench, присуждает частичные баллы за ответы формата я не знаю. Остальные же фактически наказывают модель за отказ галлюцинировать, создавая эпидемию штрафов за неуверенность и поощряя ее выдавать правдоподобную ложь. 🟡Что делать инженерам. OpenAI предлагает встраивать явные целевые уровни уверенности в рубрики, вводить поведенческую калибровку и оценивать модели по секциям с разными порогами уверенности. Еще рекомендуют включают мониторинг singleton-rate на корпусе, измерение вероятности важных ответов, комбинирование RAG с верификацией фактов и изменение лидербордов чтобы ответы я не знаю не штрафовались автоматически. 🔜Читать статью полностью @ai_machinelearning_big_data #AI#ML#LLM#Research#OpenAI