Post #609

👀 Исследователи Google Researchразработали ИИ-модель Spotlight, способную одновременно решать несколько задач пользовательского интерфейса (UI). Система базируется на нейросетях-трансформерах для распознавания изображений ViT и преобразования «текста в текст» T5. Входные данные алгоритма могут включать три элемента: скриншот, определенную область на экране и текстовый запрос. В результате модель выдаст словесное описание или ответ на интересующий вопрос. ⚙️ По словам разработчиков, Spotlight существенно повышает точность выполнения UI-задач, включая создание подписей к виджетам, сводок экранов, привязки команд и прогнозирование нажатий. #Google