Android Broadcast

🤖 GPT 5.5 и 5.4 лучше подходят для Android разработки, чем модели Claude. РАУНД! Данные официального бенчмарка Google #AI#Benchmark

🤯 Неожиданно по всем бенчмаркам побеждает Gemini модель. В тесте надо разбираться и понимать какая настройка давалась моделям, но почему-то сразу ощущается подкручивание результатов в пользу своих моделей. 💬 Как вы оцениваете результаты? #Android#AndroidDev#Benchmark#AI#ИИ

🚀Появился Android бенчмарк LLM от Google Давно пора было, чтобы кто-то взялся за оценку LLM системно. Вопрос "какая модель лучше пишет Android-код" висел в воздухе, и каждый отвечал на него субъективно или на основе личных впечатлений и умений. Общие тесты, публикуемые при выходе модели, не говорят ничего про то, умеет ли модель разобраться в реальных задачах Android разработки. Android Bench закрывает именно этот пробел. Задачи взяты из реальных публичных Android-репозиториев на GitHub — никакой синтетики, разного уровня сложности. Модель должна самостоятельно починить проблему, а результат проверяется через unit или instrumentation-тесты. Никакой субъективщины — только прогон тестов. Модели справились только с 16–72% задач. Разброс огромный и показывает, где пропасть между разными моделями. 🔗 Подробности про Android Bench 🐱 GitHub репо Android Bench 🔗 Источник - блог Android Developers #Android#AndroidDev#Benchmark#AI#ИИ

🤖Google создаёт бенчмарк для оценки ИИ-моделей в Android-разработке С каждым месяцем всё больше кода для Android пишется с помощью ИИ, но текущие модели далеко не всегда способны качественно решать реальные задачи Android-проектов. Теперь Google готовит новый набор задач для обучения и оценки LLM-моделей, специально под Android. 🎯 Цель — создать эталон (“north star”) качественной Android-разработки и помочь создателям ИИ-моделей адаптировать их под реальные сценарии мобильной разработки. 📂 Бенчмарк основан на реальных pull-request’ах из публичных Android-репозиториев GitHub. Методика простая: 1️⃣ Каждая модель должна сделать PR с решением задачи. 2️⃣ Результат проверяется автотестами, написанными людьми. Так бенчмарк сможет объективно измерить, насколько ИИ умеет ориентироваться в больших кодовых базах и решать практические задачи Android-разработки. 🗓 Сейчас команда финализирует набор задач, а результаты планируют опубликовать в конце 2025 — начале 2026 года. Остаётся дождаться, чтобы увидеть, какие модели действительно умеют писать Android-код — и насколько они приближаются к уровню живых разработчиков. Главное, чтобы тесты не подгоняли под Gemini, а сообществу дали возможность контрибьютить в бенчмарк 😉 #ии#ai#android#benchmark#google