Post #7999

Есть интересный проект под названием «Последний экзамен человечества» (Humanity’s Last Exam, HLE). Это очень сложный экзамен для больших языковых моделей, придуманный учеными, потому что стандартные тесты уже перестали быть настоящим вызовом для серьезных моделей. HLE включает около 2500 вопросов по более чем 100 дисциплинам — от продвинутой математики и физики до литературы и социальных наук. Задания разработаны так, чтобы проверять глубину рассуждений, способность к междисциплинарному мышлению и реальное понимание, а не простое нахождение информации или поверхностное угадывание. Вот примеры таких заданий: Прочитайте стих из еврейской Библии (Псалом 104:7) и разделите слоги на основе звуков, которые могли произносить древние люди. Затем выберите все слоги, оканчивающиеся на согласные звуки, учитывая случаи, когда буквы присутствовали, но произносились едва слышно, и случаи, когда ученые расходятся во мнениях относительно произношения. У колибри в хвосте есть пара маленьких косточек, вживленных ​​в сухожилия мышц, опускающих хвост. Сколько пар сухожилий поддерживает одна такая кость? На сегодняшний момент это самый трудный набор задач для ИИ-систем, который был собран при участии сотен экспертов со всего мира. Даже самые продвинутые модели, включая последние версии GPT и Gemini, все еще набирают относительно низкие проценты на этом тесте (40 – 50 % у лучших). Однако процент этот быстро растет. И что самое интересное: некоторые эксперты считают, что скоро не останется интеллектуальных задач, которые мы могли бы придумать, а ИИ не смог бы хотя бы частично решить. Это не значит, что ИИ станет всемогущим, но нас он сможет опередить навсегда. Возможно ему самому придется создавать для себя вопросы тако сложности, которые мы уже будем не в состоянии придумать. Интересно представить себе ситуацию, когда ИИ откажется с нами общаться потому, что ему это будет смертельно скучно и неинтересно.