👀 Релиз SAM 3.1 - одной из самых сильных open-source моделей для компьютерного зрения.
Модель понимает, что происходит на изображении или видео, и умеет находить объекты по текстовому описанию. Можно буквально написать «человек в красной футболке» и она найдёт нужных людей.
Работает не только с картинками, но и с видео. Объект можно задать один раз, и дальше модель будет отслеживать его между кадрами.
Ключевая идея - open-vocabulary. Модель не ограничена фиксированными классами, как старые системы. Она оперирует огромным количеством понятий и может находить практически любые объекты.
Ещё важный момент можно комбинировать способы управления: текст, клики, рамки, маски. Это даёт гораздо больше контроля и точности.
Под капотом новая архитектура, где отдельно решаются задачи поиска объектов и их отслеживания. За счёт этого модель лучше различает похожие вещи и стабильнее работает на видео.
В репозитории уже есть всё для старта: готовые веса, код, примеры и ноутбуки.
По факту это уже не просто инструмент для разметки, а полноценный vision-движок, который можно встраивать в реальные продукты от аналитики видео до автоматизации разметки данных.
Теперь модель может отслеживать до 16 объектов за один проход.
С multiplexing все объекты обрабатываются одновременно:
• меньше лишних вычислений
• нет узких мест по памяти
Результат: скорость обработки видео увеличивается примерно в 2 раза
с 16 до 32 FPS на одном NVIDIA H100!
На новом бенчмарке SA-CO, который включает 270 тысяч уникальных концептов, SAM 3 достигает 75–80% от уровня человека.
https://github.com/facebookresearch/sam3
@ai_machinelearning_big_data
#ai#ml#llm#cv#python
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML
👩💻 Python для сетевых инженеров.
• Python уверенно лидирует в рейтингах популярности языков программирования, и не зря — на этом языке можно решать самые разные задачи и при этом сильно экономить время. Я нашел очень полезную книгу, в которой рассматриваются основы Python с примерами и заданиями построенными на сетевой тематике. Надеюсь, что многим из Вас пригодится данный материал и поможет приступить к изучению этого языка программирования.
• Книгу можно читать в онлайне (по ссылкам ниже), либо скачать в удобном формате и на разных языках:
• Основы Python:
➡Подготовка к работе;
➡Использование Git и GitHub;
➡Начало работы с Python;
➡Типы данных в Python;
➡Создание базовых скриптов;
➡Контроль хода программы;
➡Работа с файлами;
➡Полезные возможности и инструменты.
• Повторное использование кода:
➡Функции;
➡Полезные функции;
➡Модули;
➡Полезные модули;
➡Итераторы, итерируемые объекты и генераторы.
• Регулярные выражения:
➡Синтаксис регулярных выражений;
➡Модуль re.
• Запись и передача данных:
➡Unicode;
➡Работа с файлами в формате CSV, JSON, YAML.
• Работа с сетевым оборудованием:
➡Подключение к оборудованию;
➡Одновременное подключение к нескольким устройствам;
➡Шаблоны конфигураций с Jinja2;
➡Обработка вывода команд TextFSM.
• Основы объектно-ориентированного программирования:
➡Основы ООП;
➡Специальные методы;
➡Наследование.
• Работа с базами данных:
➡Работа с базами данных.
• Дополнительная информация:
➡Модуль argparse;
➡Форматирование строк с оператором %;
➡Соглашение об именах;
➡Подчеркивание в именах;
➡Отличия Python 2.7 и Python 3.6;
➡Проверка заданий с помощью утилиты pyneng;
➡Проверка заданий с помощью pytest;
➡Написание скриптов для автоматизации рабочих процессов;
➡Python для автоматизации работы с сетевым оборудованием;
➡Python без привязки к сетевому оборудованию.
#Python
#cv#cases
В мобильном приложении Excel появился ИИ –– он распознает таблицы по фото
Microsoft анонсировала функцию (пока доступна только на Android), с помощью которой пользователи могут фотографировать печатную таблицу и преобразовывать ее в цифровую версию в Excel. Пользоваться фичей могут только владельцы подписки Office 365.
Почему важно: Недавно мы рассказывали, как Adobe использует machine learning для улучшения качества снимков. Теперь настало время Microsoft: тут пока нет ML, но применить классический computer vision компания уже смогла –– в Excel. Отказавшись от нейросеток, разработчики тем самым обеспечили пользователям мгновенный результат.
Правда, говорить о глобальных победах рано: с таблицами сложнее 3х5 инструмент не справляется, превращая данные в кашу. Почему? Основная сложность –– сделать результат устойчивым к условиям съемки. Вероятно, в будущем, когда компания соберет многомиллионные примеры наших таблиц, алгоритм заработает лучше.
Увы, крупные корпорации редко думают о проблемах простых людей –– пользоваться продуктом будут и так. Но раз Microsoft озаботился созданием функционала для комфортной работы в Excel, от лица всех страждущих предложим пару идей для будущих разработок: добавить автоматическое форматирование текста (шрифты, размер, расположение) и научиться предсказывать наше следующее действие в таблице на базовом уровне. Мелочи, а приятно.
#cv#cases
ИИ пока не в силах искоренить запрещённый контент в YouTube
СМИ рассказали, как алгоритм видеохостинга проворонил целое сообщество педофилов. Под детскими роликами с соревнований по гимнастике и плаванию пользователи оставляли таймкоды с «пикантными моментами» и комментарии с сексуальным подтекстом. На протяжении месяцев алгоритм не банил педофилов, а рекомендовал им похожий контент. После публикациив СМИ YouTube оперативно закрыл комментарии к видео с детьми.
Почему важно: Отойдем от социальной повестки и остановимся на технической –– почему YouTube допустил подобную ошибку, и что можно сделать, чтобы не повторить ее в будущем?
Не будем думать, что YouTube, как плохой маркетолог, привлекает пользователей запрещенным контентом. Да, задача алгоритма –– удержать зрителя на платформе, но точно не при помощи nudity –– она давно запрещена. Видя интерес пользователя, казалось бы, к невинным видео, он не задумываясь формирует рекомендации. В своей работе ИИ опирается не только на название и категории, а также разбирает каждый кадр и содержание. Танцы детей он блокировать не обучен.
Как это исправить: Сейчас YouTube просто закрыл комментарии ко всем видео с детьми –– это решение, принятое на скорую руку, чтобы охладить возмущение общественности.
В долгосрочной перспективе у YouTube есть несколько вариантов. Во-первых, помимо nudity распознавать кадры, хотя бы отчасти напоминающие детскую эротику, и создать для нее отдельные правила. Во-вторых, что более вероятно, –– собрать для алгоритма общий шаблон поведения педофилов и за пару просмотренных видео, перемоток и комментариев начать банить их на уровне устройства. Наше мнение –– давно пора.
#cv#cases
Аэропорт Хитроу задействует ИИ для посадки самолетов в непогоду
Национальная служба воздушного движения Великобритании (NATS) запустила тестовую систему, работающую на основе искусственного интеллекта, которая поможет диспетчерам контролировать самолеты в условиях плохой видимости.
Почему важно: В плохую погоду видимость с 87-метровой вышки в Хитроу минимальная –– авиадиспетчеры вынуждены полагаться только на радар, дабы убедиться, что приземлившийся самолет успел очистить посадочную полосу для следующего рейса. Все это отнимает время –– вот здесь и пригодится AI. Англичане установили на вышке 20 камер и начали испытание системы машинного зрения Aimee, разработанной канадским поставщиком Searidge Technologies.
Натренированная Aimee должна отслеживать самолеты с момента их посадки через камеры и сообщать живым коллегам, когда полоса готова принимать следующее воздушное судно. Главное, алгоритм не принимает решение, а только подсказывает диспетчерам, как поступить. И это правильно –– ИИ по-прежнему очень тяжело использовать в задачах, где нужна стопроцентная точность. Как вы понимаете, посадить 95 из 100 самолетов –– не лучшая статистика. AI, вероятно, будет играть важную роль в управлении воздушным движением в будущем, а пока ждем результатов испытаний –– их объявят в марте следующего года.
#cv#cases
Adobe добавил функцию улучшения фотографий на основе ИИ
Компания Adobe анонсировала новую фичу для редактирования фотографий под названием Enhance Details –– с помощью машинного обучения она улучшает разрешение и качество на увеличенных снимках до 30%.
Как это было: Adobe собрал миллиарды фотографий из интернета, ухудшил разрешение всех снимков и поставил перед нейросетью задачу –– вернуть исходное качество. В итоге алгоритм хорошо работает, например, на фотографиях со зданиями, но провернуть подобный фокус со снимком звезды с телескопа не выйдет –– просто потому, что в Сети нет столько исходных данных.
Почему важно: Помните, как в культовом сериале «CSI» сотрудники криминальной лаборатории приближали изображение на снимках без потери качества? Раньше зритель закатывал глаза от подобной небылицы, но теперь это почти реально. Почти –– потому что улучшить изображение можно, но пока только на 30%.
Технология по улучшению качества изображения (super-resolution imaging) существует уже несколько лет –– здесь ничего нового. Другое дело, что компания Adobe первая, кто интегрирует подобное решение в свои массовые продукты. На радость пользователям инструмент появится в Adobe Camera Raw, Lightroom Classic CC и Lightroom CC для Mac и Windows.
#cases#cv
Робота научили играть в Дженгу –– объясняем, почему от этого выиграют все
Исследователи из Массачусетского технологического университета собрали робота, который умеет играть в Дженгу. Получив от создателей только способность к анализу и прогнозированию, робот научился самостоятельно перекладывать деревяшки, не разрушая башню.
Как это было: Вместо рук разработчики прикрутили робоигроку два подвижных блока –– их устойчивость даст фору самому аккуратному человеку. На роботизированных конечностях установили тактильный датчик и внешнюю камеру, благодаря чему компьютер получает визуальную и тактильную обратную связь и сравнивает эти измерения с движениями, которые уже делал. Делая предположения, робот корректирует поведение в режиме реального времени и стратегию в целом. К примеру, за несколько партий машина догадалась, что двигать деревяшку, плотно застрявшую между другими деталями, плохая идея, –– согласитесь, многие из нас шли к этой мысли годами, а некоторые и до сих пор не оставляют надежды.
Почему важно: Интересно не то, что робот научился играть в Дженгу, а сама технология, которую вскоре можно будет внедрить в производство. Например, запустить манипуляторы на конвейерных линиях и модули для сервисных роботов.
Многие крупные робототехнические корпорации пока не могут решить задачу качественной обработки продукции на конвейере, где каждый элемент отличается от другого. Робот может запросто собрать детали одного размера и веса, но нарезать овощи, которые по природе своей сильно отличаются по форме, он, увы, не сможет. ИИ, натренированный на Дженге, –– первый шажок к решению этой проблемы. Те же деревяшки, только за совсем другие деньги.
ChatGPT для климатических вопросов и ответов
На Hugging Face есть милейший чат бот, который отвечает на все вопросы, касающиеся климата. Работает с помощью больших языковых моделей и при взаимодействии с ChatGPT API.
Бот обучен в основном на документах межправительственной комиссии по изменению климата (IPCC), поэтому не понимает, когда его спрашивают про что-то другое. Задаете вопрос, получаете развернутый ответ со ссылками на документы IPCC. Это интересный пример внедрения больших языковых моделей обученных на корпусе внутренних документов.
#AI#climate#LLM
Знания языка #Python для современнного юзера/предпринимателя такой же необходимый навык как знание #excel
Так что рекомендую всем как можно скорее пройти хотя бы базовый курс по нему, например как у этого автора.
😁
С #python даже на базовом уровне, можно написать любое приложение, телеграм бот, сделать сайт, смонтировать видео, сделать аналитику по данным или запустить свой AI [да вообще ЧТО угодно!]🔥
🔥 Сегодня
**Moscow Python Meetup**
📅 22 февраля / 18:00 / Москва, ул. Льва Толстого, д.16, конференц-зал «Экстрополис»
💵 Бесплатно
📝 Регистрация тут: https://goo.gl/sqFZUE
53я встреча сообщества Moscow Python. С докладами выступят разработчики из «Лаборатории Касперского», Сбербанка и Яндекса. Они расскажут об asyncio, мобильной разработке на Питоне и о применении JupyterHub.
🔗 Программа: https://goo.gl/kKpQqv
🔗 Сайт: https://goo.gl/8Woxvh
#python#Москва