Post #6830

начало выше VI Результаты, в которые трудно поверить На задачах судоку точность решения выросла с жалких 7% до впечатляющих 90%, просто потому что модель начала заполнять клетки в умном порядке, а не случайном! Никакого переобучения, никаких дополнительных данных. Более того, маленькая модель с методом маскированной диффузии (6 миллионов параметров) обыграла авторегрессивную модель в 42 миллиона параметров (в 7 раз больше!), которую специально учили решать судоку в правильном порядке. Это, как если бы школьник средних способностей, но с хорошей стратегией, обыграл гораздо более эрудированного, но действующего наугад. Ещё интереснее результаты на сложных судоку, которых модель никогда не видела при обучении. Авторегрессивный метод справлялся в 33% случаев, а метод маскированной диффузии с умной стратегией в 50%. Они не просто запомнили решения, а научились думать. VII Реальные задачи: код и математика Исследователи протестировали подход на языковой модели LLaDA размером 8 миллиардов параметров. Вот где новый метод действительно сияет: Заполнение пропусков в коде. Программисты часто пишут так: сначала набрасывают структуру функции, потом заполняют детали. Когда нужно было заполнить несколько строк кода подряд, традиционный метод справлялся в 16,5% случаев, а адаптивная маскированная диффузия в 25,4%. Рост на 54%! Математические задачи. Чтобы решить "Если яблоко стоит X рублей, а груша на 10 рублей дороже, сколько стоят 3 яблока и 2 груши?", нужно сначала понять связи, потом составить уравнение. Умная стратегия подняла точность с 28,5% до 34,3%. Логические головоломки Zebra (те самые, где "англичанин живёт в красном доме, швед держит собак..."). Точность выросла с 91% до 98,5%. На первый взгляд небольшой рост, но это разница между "часто ошибается" и "почти всегда прав". VIII Почему это важно для обычных людей Это исследование объясняет, почему ChatGPT иногда "тупит" на задачах, которые кажутся простыми человеку. Возьмём реальный пример: Вы спрашиваете: "Придумай функцию на Python для сортировки списка студентов по среднему баллу, но сначала напиши tests для неё." ChatGPT начинает писать слева направо: " для сортировки списка студентов...", хотя вы просили сначала тесты! Он не может "прыгнуть" к концу программы. Или судоку: человек видит, что в правом нижнем углу не хватает только цифры 7, заполняет её за секунду. ChatGPT же начнёт методично с левого верхнего угла, где может быть 5 вариантов, застрянет и собьётся. Метод маскированной диффузии с адаптивной стратегией работает ближе к человеческому мышлению: сначала очевидное, потом сложное. Это особенно важно для задач, где нет "правильного" порядка действий: • Планирование маршрута поездки (иногда логичнее сначала выбрать отель, иногда достопримечательности) • Написание научной статьи (часто методы описывают раньше, чем появляются все результаты) • Отладка кода (ищешь ошибку там, где она вероятнее всего, а не читаешь программу построчно) • Помощь в юридических вопросах (собираешь доказательства в порядке важности, а не хронологии) IX Сравним эти два метода: когда что лучше? Авторегрессивный метод (ChatGPT, GPT-4, Claude) побеждает, когда: • Нужно генерировать естественный текст (статьи, письма, рассказы) • Задача имеет явную последовательность (описание событий по порядку) • Важна скорость генерации • Есть огромные базы текста для обучения Метод маскированной диффузии побеждает, когда: • Нужно заполнить пропуски в коде • Решаются логические головоломки без фиксированного порядка • Требуется планирование с гибким порядком действий • Задача допускает несколько "правильных" путей решения продолжение ниже