Скачиваем видео с YouTube
Пакет pytube предоставляет всю небходимую функциональность для скачивания видео с YouTube, а также для сбора всей информации о нем.
Для работы нам необходимо создать объект класса YouTube. Помимо ссылки на видео в конструктор можно передать в качестве параметров функции для обработки прогресса загрузки и завершения.
Большинство видео на ютубе не имеют аудиодорожки на потоках с высоким разрешением, свыше 720p — это связано с технологией передачи DASH, которую использует YouTube.
На картинке мы показали как отфильтровать потоки с прогрессивной передачей и выбрать из полученного списка с максимальным доступным разрешением до 720p.
Для загрузки выбранного потока используем функцию download(), в функцию можно передать в качестве параметров путь до директории для сохранения и имя файла.
#python#youtube
GeoAI: Искусственный интеллект для пространственных данных
GeoAI — пакет Python для применения методов искусственного интеллекта в анализе и визуализации пространственных данных.
🤖 GeoAI содержит инструменты для обработки, анализа и визуализации пространственных данных с помощью передовых методов машинного обучения. Как сказано в документации: “Независимо от того, работаете ли вы со спутниковыми снимками, облаками точек лидара или векторными данными, GeoAI предлагает интуитивно понятные интерфейс для применения передовых моделей ИИ.”
📖Документация GeoAI
Среди возможностей GeoAI:
📊 Визуализация пространственных данных
● Интерактивная многослойная визуализация векторных, растровых и облачных данных
● Настраиваемые стили и символика
● Возможности визуализации временных рядов данных
🛠 Подготовка и обработка данных
● Упрощенный доступ к спутниковым и аэрофотоснимкам Sentinel, Landsat, NAIP и другим открытым данных
● Инструменты для загрузки, создания мозаик и предварительной обработки данных дистанционного зондирования
● Автоматизированная генерация обучающих датасетов с чипами изображений (image chips) и соответствующими метками
● Утилиты преобразования векторных данных в растровые и наоборот, оптимизированные для рабочих процессов ИИ
● Методы дополнения (augmentation) данных, специфичные для пространственных данных
● Поддержка интеграции данных Overture Maps и других открытых данных для обучения и проверки
🖼 Сегментация изображений
● Интеграция с моделью Segment Anything Model (SAM) компании Meta для автоматического извлечения признаков
● Специализированные алгоритмы сегментации, оптимизированные для спутниковых и аэрофотоснимков
● Оптимизированные рабочие процессы для сегментации зданий, дорог, растительности и водных объектов
● Возможность экспорта в стандартные форматы геоданных: GeoJSON, Shapefile, GeoPackage, GeoParquet
🔍 Классификация изображений
● Предварительно обученные модели для классификации земного покрова и землепользования (land cover & land use)
● Утилиты трансферного обучения (transfer learning) для тонкой настройки моделей на основе собственных данных
● Поддержка разновременной классификации для обнаружения изменений (change detection)
● Инструменты оценки точности и валидации
🌍 Дополнительные возможности
● Анализ рельефа с извлечением признаков при помощи ИИ
● Классификация и сегментация облаков точек
● Обнаружение объектов на авиационных и спутниковых снимках
● Утилиты геопривязки для результатов ИИ-моделей
Пакет разработан профессором Q. Wu. Для него мы завели на канале именной хештег: #wu
📹Руководства по GeoAI на YouTube
#python#wu#софт#ИИ
The New York Times: у этой 84-летней бабушки-геймера - более 900 000 «внуков»
Ширли Карри прожила долгую, плодотворную жизнь, родила и воспитала четверых детей, но после выхода на пенсию в 1991 году столкнулась с тем, что ей абсолютно нечем заняться. Беседы в клубе пенсионеров о квилтинге показались ей скучными, и вот тогда на помощь пришли компьютерные игры и youtube. Сегодня "Skyrim-бабушка" - один из самых известных игровых блогеров, её видео смотрят сотни тысяч подписчиков, она посещает игровые конвенты и даже собирается появиться в качестве персонажа в продолжении любимой франшизы. И всё это - в возрасте 84 лет!
«В экосистеме инфлюенсеров, в которой предпочтение обычно отдаётся молодежи, Карри обнаружила, что есть место как минимум для одной бабушки. Следовательно, ей приходилось сталкиваться с некоторыми тяготами интернет-славы – например, отвечать восхищенным фанатам и подшучивать над ответами хейтеров. «Я старалась отвечать на все комментарии и электронные письма. Чувствовала, что они нашли время, чтобы посмотреть мое видео и написать что-то, на что они заслуживают ответа. Но потом комментариев и писем стало слишком много. Я просто сидела весь день и отвечала людям. Пришлось от этого отказаться. Так что теперь я просто просматриваю комментарии и отвечаю только давним подписчикам. На все фразы вроде «Привет!» я не могу отвечать»
https://theidealist.ru/skyrimgrandma/
#NYTimes#общество#игры#skyrim#youtube#соцсети
🚀Сегодня добавили новую killer feature в нашего AI бота @Plasma_GPt_AI_bot о которой давно просили пользователи - AI перевод #видео на любой язык с синхронизацией губ и оригинальным голосом!
Просто отправьте видео боту и выберите язык перевода – и ваш контент станет понятным для миллионов пользователей по всему миру. Больше никаких языковых барьеров!
🤑Как можно монетизировать новые возможности:
- расширять свою аудиторию в соц.сетях, запуская новые языковые каналы
- выходить на новые рынки с вашим продуктом и услугой
- перевести инструкции ваших продуктов для иностранных клиентов
- записать образовательный курс и запустить его на международную аудиторию в Индии, Китае и США (через Udemy)
- переводить иностранные контент/новости/шоу на локальный язык (огромная экономия на дикторах + защита от fake news)
- узнать о чем на самом деле говорит Джейсон Стетхем в каждом интервью и т.д
🔥Бонусом сделали возможность переводить видео кружки в телеграмме и форвардить видео сообщения из личных сообщений и групп. Попробуйте на видео сообщениях ваших друзей.
🤖LifeHack: можно быстро переводить видео из любых reels в #instagram, shorts #youtube, #tiktok. Например, в инстаграм нажимаете поделится reels и выбираете в телеграмме бота @SaveAsBot, бот отдает вам сообщение с видео, вы его пересылаете в наш бот для перевода, готово! Можно постить в своих группах и соц.сетях.
Напоминаю, помимо новой классной фичи в Plasma AIботе есть:
- 77 LLM text-to-text моделей (chatGPT 4, Claude, Google Gemini, Sber GigaChat и тд.)
- 24 text-to-image модели (Midjourney 6, Dalle 3 и тд.)
• На хабре опубликован хороший материал с описанием auditd и Python-скрипта, благодаря которым мы можем автоматизировать сбор данных всех действий пользователя на сервере linux и настроить алерты в Telegram.
• Проблемы, которые помогает решить auditd:
➡Несанкционированный доступ (кто и когда использовал, например, sudo);
➡Подозрительные команды (rm -rf, изменение прав, доступ к каким-либо файлам);
➡Расследование инцидентов (кто что натыкал перед падением сервера);
➡Соответствие корпоративным стандартам (логирование действий и контроль).
➡️https://habr.com/ru/articles/925962/
• Напомню, что auditd (сокращение от Linux Audit Daemon) — это нативная тулза, которая предназначена для мониторинга событий ОС и записи их в журналы событий, разрабатываемый и поддерживаемый компанией RedHat. Был создан для тесного взаимодействия с ядром операционной системы — во время своей работы наблюдает за системными вызовами и может записывать события — чтение, запись, выполнение, изменение прав - связанные с файлами ОС. Таким образом, с его помощью можно отслеживать практически любые события, происходящие в операционной системе.
• По итогу имеем мощный инструмент, который, при грамотной настройке, может стать отличным дополнением в обеспечении информационной безопасности инфраструктуры.
#Linux#auditd#DevOps#Python
Shopping for Henoa le Kitten again! 😍
Unplanned but I found item that I didn't know exist before that I think Henoa & I needs and I read lots of reviews saying that this shop sells a lot cheaper than other stores so why not? 😂
Will be making a video of unboxing these + review once they arrived and tested 🥰💞
Stay tuned for this video upload in my channel 🥰
#marcegetaway#youtube#kitten#Henoa
@quietworld🍃
#vacancy#dataengineer#de#python
Вакансия: Senior Data Engineer
Формат: офис/гибрид (Ереван), удалённый
Локация: любая
Занятость: полная
Оплата: до 350 000 рублей
Обязанности:
- Проектирование и реализация систем для сбора и обработки данных.
- Трансформация бизнес-требований в модели данных.
- Обеспечение поддержки бизнес-требований через архитектуру данных.
- Обеспечение безопасности данных.
Требования:
- 4+ лет опыта работы в области инженерии данных, ETL-процессов и управления сложными решениями по хранению данных
- Подтвержденный коммерческий опыт создания и развертывания приложений с использованием Python и Apache Airflow
- Практический опыт работы с облачной инфраструктурой AWS и управлением решениями для хранения и передачи данных в облачной среде
- Продвинутое владение SQL (особенно PostgreSQL) и глубокое понимание различных решений по хранению данных, включая структурированные и неструктурированные данные
- Желание изучать и экспериментировать с агентами ИИ совместно с командой Data Science, интегрировать ИИ-логику в архитектуру конвейеров данных
- Отличные навыки решения проблем, способность справляться с неопределенностью и предлагать решения в сложных ситуациях
- Уровень английского B2 или выше
Технологии и языки:
- Python
- SQL
- Облачная платформа AWS
- Git
- Pandas
- Airflow
- CI/CD, Jenkins
Предпочтительно:
- Опыт работы с векторными хранилищами и графовыми базами данных
- Опыт работы с облачными платформами машинного обучения
- Знание эффективных форматов данных (например, Parquet, Avro) для пакетной обработки в озерах данных или хранилищах данных, опыт работы с Apache Spark
- Snowflake Data Warehouse
- Docker
- Linux + bash, ssh
- Jupyter
- Параллельные вычисления
Будет плюсом:
- Опыт работы с командами Data Science
- Сертификация AWS
Мы предлагаем:
- Работу в динамичной международной команде
- Возможность сотрудничества через ИП/самозанятость для коллег, находящихся за пределами РФ
- Участие в иностранных и российских проектах
- Оформление по ТК РФ, 100% оплата больничного и отпуска
- ДМС со стоматологией
- Необходимую для работы технику
- Корпоративные обучающие программы
- Широкие возможности для самореализации, профессионального и карьерного роста
- Демократичный подход к процессам и плавающее начало рабочего дня
- Опцию перемещения между нашими зарубежными офисами
По всем вопросам и с резюме: @ananyancat