🌟WildDet3D: открытая модель монокулярной 3D-детекции по одному снимку.
Институт Аллена представил модель WildDet3D, которая по одному изображению строит 3D-рамки объектов: оценивает их положение, размер и ориентацию в метрических координатах.
Модель принимает сразу несколько типов промптов: текстовый запрос, клик по точке или готовый 2D-бокс от внешнего детектора.
🟡Архитектура состоит из 3 блоков
2D-детектор построен на SAM3 и обрабатывает все типы запросов.
Геометрическая ветка использует энкодер DINOv2 с обучаемым декодером глубины, учитывающим геометрию обзора: направления лучей камеры зашиваются через сферические гармоники, что снимает необходимость в отдельной калибровке.
Третий компонент, 3D-head, объединяет через кросс-внимание 2D-детекции с признаками глубины и поднимает их в полноценные 3D-боксы.
Если на инференсе доступны данные с LiDAR, ToF или стереокамеры, они подмешиваются в ту же геометрическую ветку без переобучения.
🟡Тесты
На бенчмарке Omni3D модель показывает 34,2 AP с текстовыми промптами (это +5,8 пункта к прежнему лидеру 3D-MOOD).
На zero-shot переносе на Argoverse 2 WildDet3D практически удваивает прежний результат: 40,3 ODS против 23,8.
На редких категориях из собственного бенчмарка WildDet3D-Bench успехи, разумеется, еще лучше - 47,4 AP против 2,4 у 3D-MOOD.
🟡Вместе с моделью вышло демо-приложение для iOS.
Оно использует видеопоток с камеры iPhone и данные LiDAR-сенсора, чтобы в реальном времени отрисовывать 3D-боксы поверх сцены как AR-оверлей.
Это наглядная демонстрация того, как монокулярная модель усиливается, когда устройство умеет отдавать дополнительный сигнал глубины.
🟡Третья часть релиза - датасет WildDet3D-Data.
Более 1 млн. изображений и 3,7 млн. верифицированных 3D-аннотаций, охватывающих свыше 13 тыс. категорий объектов. По сценам распределение получилось такое: 52% помещений, 32% городской среды и 15% природы.
Он собран на основе 2D-наборов (COCO, LVIS, Objects365, V3Det): кандидаты в 3D-боксы генерировались 5 независимыми методами оценки геометрии, затем фильтровались, проверялись VLM и дополнительно отбирались людьми.
🟡Статья
🟡Модель
🟡Техотчет
🟡Demo
🖥GitHub
@ai_machinelearning_big_data
#AI#ML#CV#Detection#WildDet3D#Ai2
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML
#cv#cases
В мобильном приложении Excel появился ИИ –– он распознает таблицы по фото
Microsoft анонсировала функцию (пока доступна только на Android), с помощью которой пользователи могут фотографировать печатную таблицу и преобразовывать ее в цифровую версию в Excel. Пользоваться фичей могут только владельцы подписки Office 365.
Почему важно: Недавно мы рассказывали, как Adobe использует machine learning для улучшения качества снимков. Теперь настало время Microsoft: тут пока нет ML, но применить классический computer vision компания уже смогла –– в Excel. Отказавшись от нейросеток, разработчики тем самым обеспечили пользователям мгновенный результат.
Правда, говорить о глобальных победах рано: с таблицами сложнее 3х5 инструмент не справляется, превращая данные в кашу. Почему? Основная сложность –– сделать результат устойчивым к условиям съемки. Вероятно, в будущем, когда компания соберет многомиллионные примеры наших таблиц, алгоритм заработает лучше.
Увы, крупные корпорации редко думают о проблемах простых людей –– пользоваться продуктом будут и так. Но раз Microsoft озаботился созданием функционала для комфортной работы в Excel, от лица всех страждущих предложим пару идей для будущих разработок: добавить автоматическое форматирование текста (шрифты, размер, расположение) и научиться предсказывать наше следующее действие в таблице на базовом уровне. Мелочи, а приятно.
#cv#cases
ИИ пока не в силах искоренить запрещённый контент в YouTube
СМИ рассказали, как алгоритм видеохостинга проворонил целое сообщество педофилов. Под детскими роликами с соревнований по гимнастике и плаванию пользователи оставляли таймкоды с «пикантными моментами» и комментарии с сексуальным подтекстом. На протяжении месяцев алгоритм не банил педофилов, а рекомендовал им похожий контент. После публикациив СМИ YouTube оперативно закрыл комментарии к видео с детьми.
Почему важно: Отойдем от социальной повестки и остановимся на технической –– почему YouTube допустил подобную ошибку, и что можно сделать, чтобы не повторить ее в будущем?
Не будем думать, что YouTube, как плохой маркетолог, привлекает пользователей запрещенным контентом. Да, задача алгоритма –– удержать зрителя на платформе, но точно не при помощи nudity –– она давно запрещена. Видя интерес пользователя, казалось бы, к невинным видео, он не задумываясь формирует рекомендации. В своей работе ИИ опирается не только на название и категории, а также разбирает каждый кадр и содержание. Танцы детей он блокировать не обучен.
Как это исправить: Сейчас YouTube просто закрыл комментарии ко всем видео с детьми –– это решение, принятое на скорую руку, чтобы охладить возмущение общественности.
В долгосрочной перспективе у YouTube есть несколько вариантов. Во-первых, помимо nudity распознавать кадры, хотя бы отчасти напоминающие детскую эротику, и создать для нее отдельные правила. Во-вторых, что более вероятно, –– собрать для алгоритма общий шаблон поведения педофилов и за пару просмотренных видео, перемоток и комментариев начать банить их на уровне устройства. Наше мнение –– давно пора.
#cv#cases
Аэропорт Хитроу задействует ИИ для посадки самолетов в непогоду
Национальная служба воздушного движения Великобритании (NATS) запустила тестовую систему, работающую на основе искусственного интеллекта, которая поможет диспетчерам контролировать самолеты в условиях плохой видимости.
Почему важно: В плохую погоду видимость с 87-метровой вышки в Хитроу минимальная –– авиадиспетчеры вынуждены полагаться только на радар, дабы убедиться, что приземлившийся самолет успел очистить посадочную полосу для следующего рейса. Все это отнимает время –– вот здесь и пригодится AI. Англичане установили на вышке 20 камер и начали испытание системы машинного зрения Aimee, разработанной канадским поставщиком Searidge Technologies.
Натренированная Aimee должна отслеживать самолеты с момента их посадки через камеры и сообщать живым коллегам, когда полоса готова принимать следующее воздушное судно. Главное, алгоритм не принимает решение, а только подсказывает диспетчерам, как поступить. И это правильно –– ИИ по-прежнему очень тяжело использовать в задачах, где нужна стопроцентная точность. Как вы понимаете, посадить 95 из 100 самолетов –– не лучшая статистика. AI, вероятно, будет играть важную роль в управлении воздушным движением в будущем, а пока ждем результатов испытаний –– их объявят в марте следующего года.
#cv#cases
Adobe добавил функцию улучшения фотографий на основе ИИ
Компания Adobe анонсировала новую фичу для редактирования фотографий под названием Enhance Details –– с помощью машинного обучения она улучшает разрешение и качество на увеличенных снимках до 30%.
Как это было: Adobe собрал миллиарды фотографий из интернета, ухудшил разрешение всех снимков и поставил перед нейросетью задачу –– вернуть исходное качество. В итоге алгоритм хорошо работает, например, на фотографиях со зданиями, но провернуть подобный фокус со снимком звезды с телескопа не выйдет –– просто потому, что в Сети нет столько исходных данных.
Почему важно: Помните, как в культовом сериале «CSI» сотрудники криминальной лаборатории приближали изображение на снимках без потери качества? Раньше зритель закатывал глаза от подобной небылицы, но теперь это почти реально. Почти –– потому что улучшить изображение можно, но пока только на 30%.
Технология по улучшению качества изображения (super-resolution imaging) существует уже несколько лет –– здесь ничего нового. Другое дело, что компания Adobe первая, кто интегрирует подобное решение в свои массовые продукты. На радость пользователям инструмент появится в Adobe Camera Raw, Lightroom Classic CC и Lightroom CC для Mac и Windows.
#cases#cv
Робота научили играть в Дженгу –– объясняем, почему от этого выиграют все
Исследователи из Массачусетского технологического университета собрали робота, который умеет играть в Дженгу. Получив от создателей только способность к анализу и прогнозированию, робот научился самостоятельно перекладывать деревяшки, не разрушая башню.
Как это было: Вместо рук разработчики прикрутили робоигроку два подвижных блока –– их устойчивость даст фору самому аккуратному человеку. На роботизированных конечностях установили тактильный датчик и внешнюю камеру, благодаря чему компьютер получает визуальную и тактильную обратную связь и сравнивает эти измерения с движениями, которые уже делал. Делая предположения, робот корректирует поведение в режиме реального времени и стратегию в целом. К примеру, за несколько партий машина догадалась, что двигать деревяшку, плотно застрявшую между другими деталями, плохая идея, –– согласитесь, многие из нас шли к этой мысли годами, а некоторые и до сих пор не оставляют надежды.
Почему важно: Интересно не то, что робот научился играть в Дженгу, а сама технология, которую вскоре можно будет внедрить в производство. Например, запустить манипуляторы на конвейерных линиях и модули для сервисных роботов.
Многие крупные робототехнические корпорации пока не могут решить задачу качественной обработки продукции на конвейере, где каждый элемент отличается от другого. Робот может запросто собрать детали одного размера и веса, но нарезать овощи, которые по природе своей сильно отличаются по форме, он, увы, не сможет. ИИ, натренированный на Дженге, –– первый шажок к решению этой проблемы. Те же деревяшки, только за совсем другие деньги.
#AI
Немного ИИ-теории
❗️В недавнем иске против компании OpenAI Илон Маск утверждал, что GPT-4 является ранним AGI, по сути равным человеческому интеллекту.
Что же такое AGI и когда он появится?
👤Сэм Альтман, CEO Open AI определяет AGI (artificial general intelligence) как интеллект, равный уровню обычного человека, который можно было бы принять в команду как сотрудника. Также популярно определение AGI как «системы, способной выполнить любую когнитивную задачу, доступную человеку».
📎Для справки: существует несколько видов (уровней развития) ИИ, а именно узкий ИИ (narrow, ANI), общий ИИ (genreal, AGI) и супер ИИ (super AI, ASI).
⏲Исследователи никак не могут прийти к консенсусу относительно даты появления AGI. По результатам Expert Survey on Progress in AI, существует 50% шанс того, что AGI появится до 2059 года. Тем не менее, поле ИИ изменяется постоянно и становится сложным оставаться в курсе событий.
⭐️Для этого мы нашли крупнейшее русскоязычное AGI-сообщество agirussia.org — у них есть канал и группа в Telegram.
🌐еще проходят еженедельные онлайн-семинары по тематике AGI на русском языке, записи семинаров за последние несколько лет доступны на YouTube и их сообществе в ВК.
Держим руку на пульсе ИИ⭐
⭐️Автор, Анна, @qcuqueen
Хакатончик от Xeek
Two Birds, One Neural Network - так называется новый хакатон от Xeek в области Generative AI. Звучит как-будто нужно сделать свой Dalle-E2, но на самом деле, задача выглядит немного иначе. По условиям хакатона, участникам нужно сделать нейронную сеть, которая максимизирует разнообразие генерируемых результатов, отвечающих двум условиям. Авторы хакатона проводят параллели с добавлением двух геофизических измерений для ограничения сценариев геологических моделей. Буквально, нужно построить нейронную сеть, которая генерирует разнообразные значения x0, x1, сохраняя при этом их природу в виде нисходящих или восходящих прямых линий, удовлетворяющих заданным функциям y1, y2, как показано на картинке.
Более подробное описание - тут. Призовой фонд $40К (первое место $19.5K).
#hackathon#AI#ML