Post #110

Диаграмма показывает прогресс LLM ровно за 2 года с появления оригинальной модели GPT-4 в июне 2023 по сегодня (июнь 2025) Прогресс показан для двух основных показателей: – стоимость использования модели (в расчете на 1.000.000 токенов (каждый токен это единица текста от буквы до короткого слова); – интеллектуальная способность модели, подтверждаемая её показателем прохождения тестов GPQA Diamond Score (показатель того, насколько успешно ML справляется с решением самых сложных, требующих экспертных рассуждений задач, которые ставят в тупик даже эрудированных людей с доступом к поисковикам) Посмотрите в левый нижний угол диаграммы на способности и стоимость оригинальной модели GPT-4 в июне 2023 и сравните с показателями сегодняшних моделей: • Рост интеллектуальных способностей +106% (с уровня студента-старшекурсника университета (знает основы, но далеко не эксперт) до уровня, превышающего средний среди обладателей профильных PhD • Снижение стоимости использования модели, примерно – 100% N.B. GPQA — это набор очень сложных вопросов уровня аспирантуры в таких областях, как биология, физика и химия Его главная особенность в том, что вопросы "защищены от поиска в Google" Это означает, что для ответа на них недостаточно просто найти информацию в Интернете Требуется глубокое понимание темы, умение рассуждать и связывать воедино сложные концепции Это и есть суть GPQA, а Diamond score — это оценка за самую сложную часть этого экзамена Какой вывод можно сделать из диаграммы? • Пока нет никаких признаков прекращения быстрого роста возможностей ML при постоянно снижающихся затратах • За следующие 2 года возможности ML вполне могут превысить уровень PhD не менее, чем уровень PhD выше студента-старшекурсника Как называть таких «ML-сверхумников» будет уже не важно Важно, что их будет много, и каждый из них будет обладать несопоставимыми с людьми возможностями И это будет, хотите вы этого или нет