Post #2332

Как качество агентского кода деградирует на дистанции Свежее исследование и связанный с ним бенчмарк, которые показывают, насколько хорошо агенты справляются не просто с написанием кода, а с его расширением в связи с изменяющимися бизнесовыми требованиями. Короче, все как в жизни. Для того, чтобы оценить качество результата, в бенчмарке смотрят на два показателя – количество лишнего или дублированного кода и нечто под названием structural erosion, что можно приблизительно представить как излишнюю сложность решения. И все довольно плохо. В 80% случаев сложность растет, в 90% случаев растет количество лишнего кода. Что еще интересно – в коде, написанном человеком, эти метрики со временем остаются на одном уровне, а в агентском ухудшаются от итерации к итерации.