Содержимое
В качестве теста я использовал видеокодек, который я сейчас реализую, ~2 тыс. строк кода C++23. Я дал всем инструментам 3 попытки, чтобы сделать это правильно. Первая задача: Внедрить дополнительный блок сжатия Я отметил позицию в коде и вставил спецификацию. Сложность: средняя Близнецы: Было очень быстро, реализация выглядела хорошо, но видео было искажено. Я мог бы загрузить фотографию видео, чтобы указать, что не так. К сожалению, Gemini не смогли это исправить. Клод: Первая попытка сделала полную ерунду. Вторая попытка, сделал что-то, что выглядело нормально, но видео снова было искажено. Также не удалось исправить это с третьей попробой. Кодекс: Увлекательный, он выполнил множество странных команд (while true; do sleep 1; ls build/CMakeFiles/shared_lib.dir 2>/dev/null || true; done), но он сделал это в первую попытку. Вторая задача: Рефакторинг двух функций и их объединение Сложность: простая Близнецы: Сначала попросили меня указать на файл, затем застряли и отказались что-либо редактировать. Вторая попытка что-то сделала, но забыла обновить тесты и не смогла сделать это после того, как я попросил. Рефакторинг также был только наполовину. Разочаровывает. Клод: Также сделал только половину работы с первой стороны, но, по крайней мере, запустил и исправил тесты. Когда я указал, чего не хватает, он добавил серьезную ошибку. Когда я указал на это, он нашел гениальное исправление, которое не только исправило ошибку, но и значительно улучшило код. Лучше, чем я мог бы это сделать. Шапо! Кодекс: Аналогично, с первой попробой выполнил только половину работы. Закончил работу второй попробой. Однако качество кода было хуже, чем у Клода. Третья задача: Оптимизация производительности Сложность: средняя/сложная Gemini: Переписал много кода, добавил синтаксическую ошибку, которая смогла исправить вторую попытку. Сгенерированное видео было повреждено, и производительность не улучшилась. Плохо. Клод: Первая попытка, ускорил код в 4 раза, но видео было невоспроизведимо. Вторая попытка в 3 раза ускоряется, но видео было только оранжевым. Третья попытка снова сломана, 3x ускоряется. Кодекс: Закончился на удивление быстро, но видео было сломано, и на самом деле оно было МЕДЛЕННЕЕ, чем раньше. Потом стало смешно, когда я сказал это, это решило проблемы, но он также настаивал на том, что я ошибался, и код действительно был быстрее. Мне пришлось показать результаты теста, чтобы поверить мне. Затем он попробовал снова, но только допустился до первоначального времени. https://www.reddit.com/r/ClaudeAI/comments/1k3uh42/agentic_showdown_claude_code_vs_codex_vs_cursor/