Post #8043

Представьте, что ChatGPT создан мудрецами древности. Они закладывают в него весь корпус текстов, известных человечеству: Гермес Трисмегист, халдейские мудрецы, Земля неподвижна в центре мироздания — иначе мы бы чувствовали движение. Сердце — орган мышления, мозг — охладитель крови. Болезни вызываются дисбалансом четырех гуморов: крови, флегмы, желтой и черной желчи. Женщины — неполноценные мужчины, у них меньше зубов. У каждой вещи есть «природная цель» — телос, к которому она стремится. Всяк, имеющий мудрость, сочтет число Зверя и т.д. Представьте, какие ответы выдавала бы такая система. Любой эксперимент, противоречащий аристотелевской физике, она интерпретировал бы как ошибку, исключение или погрешность наблюдателя. Луна светит, а значит она светит сама. А теперь перенесемся в наше время. Оглядываясь назад, мы видим, как быстро меняются наши представления о мире. Забегая вперед не сложно догадаться, что многое из того, что мы сегодня воспринимает как безусловно правильное, завтра будет признано ошибкой. ChatGPT обучают на всех текстах, созданных человечеством. Страшно даже представить себе, каким количеством глупсотей набиты наши тексты. Около половины психологических экспериментов не воспроизводятся при повторении. Диетология за последние 50 лет несколько раз радикально меняла позиции по жирам, углеводам, холестерину. Значительная часть психиатрических диагнозов DSM строится на консенсусе комитета, а не на биологических маркерах. Начинается глобальное потепление, а нет, глобальное похолодание, нет, все-таки потепление. Про крах экономических моделей даже говорить ничего не буду. В истории и социальных науках — системная предвзятость корпуса очевидна: историю пишут победители, мужчины, грамотные элиты, жители Запада. Огромные пласты человеческого опыта либо не представлены, либо представлены через чужой фильтр. В физике квантовая механика и общая теория относительности блестяще работают в своих областях и при этом фундаментально несовместимы. Стандартная модель не объясняет темную материю и темную энергию, составляющие 95% вселенной. Наша система мира неполная, противоречивая, идеологически окрашенная, исторически ограниченная, а иногда и просто ошибочная. Поэтому ключевой вопрос создания ИИ состоит в том, как построить систему, которая понимает, что она может ошибаться. Нужна система, которая умеет различать уровни достоверности, умеет работать с вероятностями, честно показывает границы наших знаний, умеет сравнивать конкурирующие модели и постоянно обновляется. Система должна быть направлена на постоянный поиск дыр в себе. А в случае неопределенности, подсказывать, какие эксперименты надо провести, чтобы заполнить эти дыры. Самое страшное — это не ошибки, а уверенность в том, что ошибок нет и не может быть.