TGTGInsightаналитика telegramLIVE / telegram public index
← Machinelearning

TGINSIGHT SIMILAR POSTS

Найти похожее

Источник @ai_machinelearning_big_data · Post #9605 · 2 мар.

🌟GUI-Libra: фреймворк обучения VLM-агентов задачам управления интерфейсами. Microsoft, UIUC и UNC-Chapel Hill разработали систему дообучения VL-моделей для автономного управления графическими интерфейсами. Авторы обнаружили 2 системных изъяна в существующих пайплайнах обучения GUI-агентов: Cтандартный SFT с длинными CoT ухудшает визуальную локализацию (чем длиннее рассуждение, тем хуже модель попадает в нужный элемент интерфейса). Пошаговое RLVR-обучение нестабильно, потому что GUI-среда частично верифицируема. На каждом шаге существует несколько корректных действий, но датасет фиксирует только одно. Как результат - за альтернативные, но правильные действия модель получает штраф. 🟡Для решения первой проблемы предложили Action-Aware SFT Метод смешивает данные с рассуждениями и без них, а затем перевзвешивает токены: action- и grounding-токены получают больший вес в лосс-функции, чем токены рассуждений. Это позволяет сохранить способность к CoT, не жертвуя точностью клика. 🟡Для второй - Conservative RL на базе GRPO с двумя дополнениями. KL-регуляризация ограничивает дрейф политики относительно референсной модели, что улучшает корреляцию между офлайн- и онлайн-метриками. Success-Adaptive Negative Gradient Scaling динамически снижает вес отрицательных градиентов в зависимости от доли успешных действий в группе GRPO-сэмплов. Это защищает от штрафования валидных, но не задокументированных действий. 🟡Для трейна собрали датасет GUI-Libra-81K. Он содержит больше токенов на рассуждение: в среднем 210 на шаг против 85 у AGUVIS Stage 2 L3 и 0 у большинства остальных. Внутри - существующие открытые наборы, к которым GPT-4.1 дописывал подробные ризонинг-трассы. Фильтровали в два этапа: отсев шагов с точностью воспроизведения ниже 0.3 через Qwen3-VL-8B и верификация координат через bounding-box от Qwen3-VL-32B. 🟡Результаты Тестовая GUI-Libra-3B улучшила базовую Qwen2.5-VL-3B на +15.6% по Pass@1 на AndroidControl-v2 и с 3.5 до 25.2 на AndroidWorld. GUI-Libra-4B/8B на AndroidWorld выбила 42.6 (это столько же, сколько GPT-4o + UGround при использовании двух отдельных VLM-модулей. Веса всех моделей размерностью 3, 4, 7 и 8 млрд. параметров, целевой датасет и код обучения выложены в открытый доступ. 📌Лицензирование: Apache 2.0 License. 🟡Страница проекта 🟡Набор моделей 🟡Arxiv 🟡Набор датасетов 🖥GitHub @ai_machinelearning_big_data #AI#ML#VLM#GUILibra#Microsoft

Результаты

Найдено 10 похожих постов

Илья AGI TV 🤖

@ilia_plasma · Post #625 · 22.02.2025, 08:19

🎞 Новый квантовый процессор с топологическим ядром от #Microsoft, тех разбор

Hashtags

Earth&Climate Tech

@earth_climate_tech · Post #401 · 19.10.2023, 16:00

​​Polymathic - междисциплинарный ИИ Ох, какая классная межуниверситетская инициатива - Polymathic🔥. Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п. В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков. На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI. #AI#ML

Hashtags

DOFH - DevOps from hell

@dofh_ru · Post #3720 · 20.05.2025, 10:26

Microsoft открыла исходный код подсистемы Windows для Linux (WSL) под лицензией MIT, включая инструменты командной строки (wsl.exe и wslg.exe), фоновые службы (wslservice.exe) и демоны на стороне Linux, используемые для запуска сети, запуска других демонов и настройки переадресации портов. Сторонние разработчики смогут загрузить код WSL и собрать его из исходного кода, чтобы помочь с исправлениями для решения или новыми функциями. #Microsoft

Hashtags

🖼Microsoft Bingначал показывать «истории, созданные искусственным интеллектом» для некоторых поисковых запросов. Мини-презентации предоставляют пользователям текстовую информацию об исследуемой теме вместе со связанными фото и видео. Система также может озвучить слайды под фоновую музыку. По данным компании, ИИ-истории будут доступны при поиске информации на английском, арабском, голландском, итальянском, испанском, немецком, португальском, польском, русском, французском и японском языках. 🏷 Также Microsoft расширила разнообразие «карточек знаний», которые отображаются справа от результатов выдачи, с помощью генеративного ИИ. #Microsoft

Hashtags

🆙 В предварительной версии браузера Microsoft Edge Canaryпоявилась функция масштабирования видео VSR на базе искусственного интеллекта. Технология совместима с ускорителями Nvidia RTX и Radeon RX 5700-7800. Функция работает с видео в разрешении до 720p без DRM-защиты. Это значит, что VSR не сможет улучшить качество контента на Netflix и других потоковых сервисах. 🔌 Еще одно условие — питание устройства от сети. Апскейл изображения не доступен на устройствах, работающих от батареи. #Microsoft

Hashtags

🎨Microsoftдобавит нейрохудожника Image Creator в поисковик Bing и браузер Edge. ИИ-генератор изображений по текстовому описанию построен на базе DALL-E 2. Результаты работы алгоритма будут отображаться в боковом меню браузера, а вызвать функцию можно из контекстного меню. 📝 По словам разработчиков, Image Creator лучше всего работает, если в описании указать контекст изображения, вроде стиль или местоположение. Также они подчеркнули, что инструмент будет фильтровать текстовые запросы для предотвращения выдачи «этически неприемлемых результатов». #Microsoft

Hashtags

⚙️Microsoftвыпустила устройство для разработчиков Windows Dev Kit 2023 на базе ARM-процессора. Компьютер оснащен чипом Snapdragon 8cx Gen 3, 32 ГБ оперативной памяти, 512 ГБ SSD-накопителем, а также выделенным ИИ-ускорителем Hexagon. С его помощью разработчики могут создавать ARM-приложения, основанные на машинном обучении. 💳 Windows Dev Kit 2023 доступен в восьми странах по цене $599. #Microsoft

Hashtags

🛒 Microsoft купила разработчика технологий распознавания речи Nuance за $19,7 млрд. Nuance наиболее известна своим программным обеспечением Dragon, которое использует глубокое обучение для расшифровки речи и повышения точности ее распознавания за счет адаптации к голосу пользователя. Компания лицензировала эту технологию для многих сервисов и приложений, в том числе, для цифрового помощника Apple Siri. 💸 Приобретение Nuance является второй крупнейшей покупкой софтверного гиганта после приобретения LinkedIn в 2016 году за $26,2 млрд. #Microsoft

Hashtags

👾 Microsoft выпустила инструмент для симуляции кибератак CyberBattleSim, с помощью которого специалисты по безопасности могут воссоздавать вычислительные среды, чтобы отрабатывать возможные киберугрозы. Исходный код проекта компания выложила на Github. Инструмент создан с помощью открытой платформы для тренировки искусственного интеллекта Open AI Gym. Симулятор моделирует распространение вредоносного кода внутри сети, который пытается перехватить определенные ее участки, используя заложенные уязвимости. В симуляции участвуют два типа агентов: злоумышленники и защитники. Задача злоумышленников — украсть информацию из сети, в то время как защитники пытаются заблокировать атаку или смягчить ее последствия. #Microsoft

Hashtags