Post #9643

🤖Google создаёт бенчмарк для оценки ИИ-моделей в Android-разработке С каждым месяцем всё больше кода для Android пишется с помощью ИИ, но текущие модели далеко не всегда способны качественно решать реальные задачи Android-проектов. Теперь Google готовит новый набор задач для обучения и оценки LLM-моделей, специально под Android. 🎯 Цель — создать эталон (“north star”) качественной Android-разработки и помочь создателям ИИ-моделей адаптировать их под реальные сценарии мобильной разработки. 📂 Бенчмарк основан на реальных pull-request’ах из публичных Android-репозиториев GitHub. Методика простая: 1️⃣ Каждая модель должна сделать PR с решением задачи. 2️⃣ Результат проверяется автотестами, написанными людьми. Так бенчмарк сможет объективно измерить, насколько ИИ умеет ориентироваться в больших кодовых базах и решать практические задачи Android-разработки. 🗓 Сейчас команда финализирует набор задач, а результаты планируют опубликовать в конце 2025 — начале 2026 года. Остаётся дождаться, чтобы увидеть, какие модели действительно умеют писать Android-код — и насколько они приближаются к уровню живых разработчиков. Главное, чтобы тесты не подгоняли под Gemini, а сообществу дали возможность контрибьютить в бенчмарк 😉 #ии#ai#android#benchmark#google