Machinelearning

🌟GUI-Libra: фреймворк обучения VLM-агентов задачам управления интерфейсами. Microsoft, UIUC и UNC-Chapel Hill разработали систему дообучения VL-моделей для автономного управления графическими интерфейсами. Авторы обнаружили 2 системных изъяна в существующих пайплайнах обучения GUI-агентов: Cтандартный SFT с длинными CoT ухудшает визуальную локализацию (чем длиннее рассуждение, тем хуже модель попадает в нужный элемент интерфейса). Пошаговое RLVR-обучение нестабильно, потому что GUI-среда частично верифицируема. На каждом шаге существует несколько корректных действий, но датасет фиксирует только одно. Как результат - за альтернативные, но правильные действия модель получает штраф. 🟡Для решения первой проблемы предложили Action-Aware SFT Метод смешивает данные с рассуждениями и без них, а затем перевзвешивает токены: action- и grounding-токены получают больший вес в лосс-функции, чем токены рассуждений. Это позволяет сохранить способность к CoT, не жертвуя точностью клика. 🟡Для второй - Conservative RL на базе GRPO с двумя дополнениями. KL-регуляризация ограничивает дрейф политики относительно референсной модели, что улучшает корреляцию между офлайн- и онлайн-метриками. Success-Adaptive Negative Gradient Scaling динамически снижает вес отрицательных градиентов в зависимости от доли успешных действий в группе GRPO-сэмплов. Это защищает от штрафования валидных, но не задокументированных действий. 🟡Для трейна собрали датасет GUI-Libra-81K. Он содержит больше токенов на рассуждение: в среднем 210 на шаг против 85 у AGUVIS Stage 2 L3 и 0 у большинства остальных. Внутри - существующие открытые наборы, к которым GPT-4.1 дописывал подробные ризонинг-трассы. Фильтровали в два этапа: отсев шагов с точностью воспроизведения ниже 0.3 через Qwen3-VL-8B и верификация координат через bounding-box от Qwen3-VL-32B. 🟡Результаты Тестовая GUI-Libra-3B улучшила базовую Qwen2.5-VL-3B на +15.6% по Pass@1 на AndroidControl-v2 и с 3.5 до 25.2 на AndroidWorld. GUI-Libra-4B/8B на AndroidWorld выбила 42.6 (это столько же, сколько GPT-4o + UGround при использовании двух отдельных VLM-модулей. Веса всех моделей размерностью 3, 4, 7 и 8 млрд. параметров, целевой датасет и код обучения выложены в открытый доступ. 📌Лицензирование: Apache 2.0 License. 🟡Страница проекта 🟡Набор моделей 🟡Arxiv 🟡Набор датасетов 🖥GitHub @ai_machinelearning_big_data #AI#ML#VLM#GUILibra#Microsoft

⚡️Microsoft хочет избавиться от всего C и C++ к 2030 году и переписать код на Rust В Microsoft поставили радикальную цель - полностью убрать C и C++ из своих кодовых баз к 2030 году и заменить их Rust. Причем делать это собираются не вручную, а с помощью ИИ и алгоритмов, на скоростях, которые раньше казались фантастикой. Новая «North Star» метрика Microsoft звучит так: - 1 инженер - 1 месяц - 1 миллион строк кода Об этом рассказал Galen Hunt, Distinguished Engineer в Microsoft, в своем посте на LinkedIn. В чем идея Microsoft строит инфраструктуру, которая объединяет: - алгоритмический анализ кода - графы зависимостей на масштабе миллионов строк - AI-агентов для понимания и переписывания кода По сути, компания хочет автоматизировать массовое переписывание самых больших и старых кодовых баз. Как это будет работать - алгоритмы строят масштабируемый граф исходного кода - AI-системы анализируют и изучают код - затем эти же системы модифицируют и переписывают его - инфраструктура уже используется для задач понимания старого кода Почему это звучит рискованно - переписываются десятилетиями отлаженные системы - Rust не избавляет от логических ошибок - массовый rewrite - один из самых опасных процессов в инженерии - высокая скорость повышает риск регрессий Почему Microsoft все равно идет на это: - большая часть критических уязвимостей исторически связана с C и C++ - Rust реально сокращает классы memory-багов - ИИ впервые делает такой масштаб переписывания кода технически возможным Источник: linkedin.com/posts/galenh_principal-software-engineer-coreai-microsoft-activity-7407863239289729024-WTzf/ @ai_machinelearning_big_data #Microsoft#Rust#AI

🧾 Microsoft раскрыла цифры, которые показывают масштабы расходов OpenAI. В отчёте для SEC видно: OpenAI потеряла около $11.5 млрд за один квартал. Это считается по методу учёта доли — Microsoft владеет примерно 27% OpenAI и списала у себя $3.1 млрд. Если 27% = $3.1 млрд убытка, то общий минус - около $11.5 млрд. Ещё один факт: Microsoft уже перечислила $11.6 млрд из обещанных $13 млрд - почти всё финансирование уже пришло в OpenAI. И при этом Microsoft за тот же период заработала $27.7 млрд чистой прибыли, так что такой минус она спокойно выдерживает. Гонка за лидерство в ИИ - это игра, где даже крупнейшие компании готовы сжигать гигантские суммы. Интересно посмотреть, сколько она ещё продлится и кто выдержит дольше? theregister.com/2025/10/29/microsoft_earnings_q1_26_openai_loss @ai_machinelearning_big_data #opanai#Microsoft#money

💰Microsoft объявила, что достигла соглашения с OpenAI по поводу своей доли владения. Основные детали: • Microsoft теперь владеет 27% акций OpenAI, что оценивается в 135 млрд долларов. • OpenAI обязалась закупить услуг Azure на сумму 250 млрд долларов. До тех пор, пока OpenAI официально не объявит о создании AGI, Microsoft остаётся её эксклюзивным облачным и API-партнёром с полными правами на текущие модели и интеграции. После того как AGI будет подтверждён независимой комиссией, эксклюзивность прекращается, однако Microsoft сохранит права собственности и использования всех технологий, разработанных до появления AGI. https://openai.com/index/next-chapter-of-microsoft-openai-partnership/ @ai_machinelearning_big_data #OpenAI#Microsoft#agi#llm

⏱️Speedrun Science: как ИИ-команды Кремниевой долины работают по 100 часов в неделю Ведущие AI-команды Кремниевой долины работают по 80–100 часов в неделю, стараясь выпускать модели и функции быстрее конкурентов. Речь идёт об Anthropic, Microsoft, Google, Meta, Apple и OpenAI, где взят темп «прорыв → релиз» измеряется уже месяцами, а не годами. Основная тяжесть ложится на узкий круг инженеров и исследователей, которые буквально живут между тестами и деплоями, в то время как остальная организация работает в нормальном режиме. Руководители называют это «уникальным окном возможностей» - и многие принимают нагрузку ради влияния на сферу, любопытства и доли в успехе. В стартапах даже встречаются контракты с ожидаемыми 80+ часами работы, хотя чаще культура компаний сама к этому подталкивает. Чтобы поддерживать ритм, компании внедряют ротацию “captains” - инженеров, следящих за работой над моделями 24×7. Разрыв между «исследованием и внедрением» сжался до «разницы между четвергом и пятницей». Исследователи говорят, что обучение по-прежнему непредсказуемо, поэтому графики постоянно меняются по итогам реальных результатов. Атмосфера -«speedrun-науки». Один из фаундеров пошутил: «Если 9-9-6 — это график с 9 утра до 9 вечера, 6 дней в неделю, то у нас – 0-0-2: с полуночи до полуночи, с 2-часовым перерывом на выходных». Источник: wsj.com/tech/ai/ai-race-tech-workers-schedule-1ea9a116 @ai_machinelearning_big_data #AI#Tech#Startups#SiliconValley#OpenAI#Anthropic#Microsoft#Google

🚀 Microsoft представила MAI-Image-1 - новую модель генерации изображений, которая уже вошла в топ-10 на LMArena MAI-Image-1 создаётся с упором на реализм, разнообразие и художественную точность, а не шаблонные стили. Она особенно сильна в фотореалистичных сценах - свет, тени, отражения и текстуры выглядят максимально естественно. Microsoft отмечает, что обучение велось на тщательно отобранных данных с участием художников и дизайнеров, чтобы улучшить восприятие и применимость модели в реальных проектах. Главное преимущество модельки - скорость и качество: можно мгновенно визуализировать идею, а затем доработать её в привычных инструментах. 💡 В ближайшее время модель появится в Copilot и Bing Image Creator. Сейчас MAI-Image-1 доступна для тестирования на LMArena, где можно посмотреть, как ведёт себя модель. 🔗Подробнее здесь:https://microsoft.ai/news/introducing-mai-image-1-debuting-in-the-top-10-on-lmarena/ @ai_machinelearning_big_data #Microsoft

⚡Agent Lightning — ускоритель обучения для ИИ-агентов от Microsoft Agent Lightning — это фреймворк для обучения и оптимизации LLM-агентов с помощью Reinforcement Learning без изменения их кода. 🧠 Поддерживает: • LangChain • AutoGen • OpenAI Agents SDK • и другие фреймворки на Python 🔧 Как он работает: • Агент не нужно переписывать — он подключается как есть • Вся его работа разбивается на отдельные шаги (эпизоды), которые можно анализировать • Специальный алгоритм LightningRL оценивает, какие действия были полезны, а какие — нет • Система может учитывать не только финальный результат, но и промежуточные сигналы (награды) • Эти данные автоматически собираются и используются для дообучения агента 🔥 Преимущества: • Не требует модификации логики агента • Можно легко подключить к существующим пайплайнам • Улучшает точность и устойчивость в сложных задачах: от генерации кода до Text-to-SQL Отличный инструмент для всех, кто хочет сделать своих LLM-агентов. 🟠Проект: https://microsoft.com/en-us/research/project/agent-lightning/ 🟠Статья: https://arxiv.org/abs/2508.03680 🟠Github: https://github.com/microsoft/agent-lightning @ai_machinelearning_big_data #agent#reinforcementlearning#mlops#llm#Microsoft

💰 Microsoft — стала второй компанией в истории с капитализацией $4 триллиона Microsoft выросла до $4 трлн не за счёт Windows, а благодаря облакам и ИИ. ☁️ Azure строили 10 лет. Сегодня она: — на втором месте после AWS — обгоняет Google Cloud по выручке — питает всё: от Office и Xbox до Copilot и генеративных моделей Каждый продукт — это ещё один повод платить за облако. Всё работает на одной инфраструктуре. 🚀 Satya Nadella (генеральный директор (CEO) компании Microsoft уже выделил $80 млрд на новые дата-центры. Ставка очевидна: весь Microsoft переезжает в облако. @ai_machinelearning_big_data #ai#ml#news#microsoft

🔥 Microsoft снова доказывает силу синтетических данных для задач компьютерного зрения! Современные модели компьютерного зрения с фокусом на человека (Human-centric CV) требуют миллиардов параметров, гигантских датасетов и дорогостоящего инференса. Но можно ли добиться такой же точности, не тратя миллионы? Исследователи показали: модели можно обучать только на синтетических данных высокого качества — и при этом достигать тех же результатов. Microsoft представили DAViD — open-source фреймворк, позволяющий создавать цифровых людей с точной геометрией лиц и текстурами. Проект демонстрирует, как можно использовать синтетические датасеты для: 🟠 Предсказания глубины изображения (Depth Prediction) 🟠 Оценки поверхностей (Normal Estimation) 🟠 Сегментации фона и людей на фото/видео (Background & Human Segmentation) Почему это круто: 🟢 Синтетические данные = пиксельная точность разметки 🟢 Почти бесконечное разнообразие сцен, ракурсов, освещения и поз 🟢 Прекрасно масштабируются для обучения моделей с нуля или дообучения Самое приятное, что Microsoft выложили всё в опенсорс: ✔️ 300 000 сэмплов ✔️ Предобученные модели ✔️ Исходный код фреймворка 🟢Проект: https://microsoft.github.io/DAViD/ 🟢Статья: https://arxiv.org/abs/2507.15365 🟢Github: https://github.com/microsoft/DAViD @ai_machinelearning_big_data Если ты работаешь с human-centric CV — это мощный старт. Даже без реальных данных. #cv#microsoft#opensource