Post #1530

Почему ИИ предпочитает отвечать правду (даже если его учили на лжи)? Несмотря на прошлый пост про % ошибок Гугл в поиске, все же все модели ИИ стремятся выдавать правду в ответах. Секрет не в морали, а в физике данных. Нейросеть — это «компрессор» мира. "Правда" хороша тем, что она согласована: 2+2=4 везде и всегда. Это легко запомнить. "Ложь" — как правило, хаотична. Десять разных теорий заговора противоречат друг другу, их невозможно «упаковать» в веса модели без потерь. Поэтому даже если 90% данных — мусор, ИИ всё равно выучивает объективную реальность. Она просто компактнее. Но есть нюанс: если ложь сделать систематической (например, «все ответы с нечётным числом — ноль»), модель с радостью выучит и её. Для компрессора координированная дезинформация неотличима от истины. 📌Вывод: модель тяготеет не к правде, а к сжимаемой картине мира. Истина выигрывает только там, где у лжи нет единого правила. Пост основан на материалах Уставшего техдира и наблюдениях Константина Крестникова. Хорошо читать умных людей) #LLM#исследования#компрессия https://t.me/semasci