Установление SSH-соединения с сервером
Библиотека paramiko предоставляет возможность подключения к серверам через протокол SSH2, позволяя выполнять те же действия, что и при использовании стандартной утилиты ssh в Linux.
Модуль paramiko отличается простотой в использовании, и вы можете ознакомиться с примерами его основных методов на представленном изображении. В качестве любопытного факта, название Paramiko происходит от слияния слов "параноик" и "друг" на языке эсперанто.
Для установки пакета используйте менеджер пакетов pip в привычном порядке. Подробную документацию можно найти здесь.
#python#paramiko#ssh
GeoAI: Искусственный интеллект для пространственных данных
GeoAI — пакет Python для применения методов искусственного интеллекта в анализе и визуализации пространственных данных.
🤖 GeoAI содержит инструменты для обработки, анализа и визуализации пространственных данных с помощью передовых методов машинного обучения. Как сказано в документации: “Независимо от того, работаете ли вы со спутниковыми снимками, облаками точек лидара или векторными данными, GeoAI предлагает интуитивно понятные интерфейс для применения передовых моделей ИИ.”
📖Документация GeoAI
Среди возможностей GeoAI:
📊 Визуализация пространственных данных
● Интерактивная многослойная визуализация векторных, растровых и облачных данных
● Настраиваемые стили и символика
● Возможности визуализации временных рядов данных
🛠 Подготовка и обработка данных
● Упрощенный доступ к спутниковым и аэрофотоснимкам Sentinel, Landsat, NAIP и другим открытым данных
● Инструменты для загрузки, создания мозаик и предварительной обработки данных дистанционного зондирования
● Автоматизированная генерация обучающих датасетов с чипами изображений (image chips) и соответствующими метками
● Утилиты преобразования векторных данных в растровые и наоборот, оптимизированные для рабочих процессов ИИ
● Методы дополнения (augmentation) данных, специфичные для пространственных данных
● Поддержка интеграции данных Overture Maps и других открытых данных для обучения и проверки
🖼 Сегментация изображений
● Интеграция с моделью Segment Anything Model (SAM) компании Meta для автоматического извлечения признаков
● Специализированные алгоритмы сегментации, оптимизированные для спутниковых и аэрофотоснимков
● Оптимизированные рабочие процессы для сегментации зданий, дорог, растительности и водных объектов
● Возможность экспорта в стандартные форматы геоданных: GeoJSON, Shapefile, GeoPackage, GeoParquet
🔍 Классификация изображений
● Предварительно обученные модели для классификации земного покрова и землепользования (land cover & land use)
● Утилиты трансферного обучения (transfer learning) для тонкой настройки моделей на основе собственных данных
● Поддержка разновременной классификации для обнаружения изменений (change detection)
● Инструменты оценки точности и валидации
🌍 Дополнительные возможности
● Анализ рельефа с извлечением признаков при помощи ИИ
● Классификация и сегментация облаков точек
● Обнаружение объектов на авиационных и спутниковых снимках
● Утилиты геопривязки для результатов ИИ-моделей
Пакет разработан профессором Q. Wu. Для него мы завели на канале именной хештег: #wu
📹Руководства по GeoAI на YouTube
#python#wu#софт#ИИ
• На хабре опубликован хороший материал с описанием auditd и Python-скрипта, благодаря которым мы можем автоматизировать сбор данных всех действий пользователя на сервере linux и настроить алерты в Telegram.
• Проблемы, которые помогает решить auditd:
➡Несанкционированный доступ (кто и когда использовал, например, sudo);
➡Подозрительные команды (rm -rf, изменение прав, доступ к каким-либо файлам);
➡Расследование инцидентов (кто что натыкал перед падением сервера);
➡Соответствие корпоративным стандартам (логирование действий и контроль).
➡️https://habr.com/ru/articles/925962/
• Напомню, что auditd (сокращение от Linux Audit Daemon) — это нативная тулза, которая предназначена для мониторинга событий ОС и записи их в журналы событий, разрабатываемый и поддерживаемый компанией RedHat. Был создан для тесного взаимодействия с ядром операционной системы — во время своей работы наблюдает за системными вызовами и может записывать события — чтение, запись, выполнение, изменение прав - связанные с файлами ОС. Таким образом, с его помощью можно отслеживать практически любые события, происходящие в операционной системе.
• По итогу имеем мощный инструмент, который, при грамотной настройке, может стать отличным дополнением в обеспечении информационной безопасности инфраструктуры.
#Linux#auditd#DevOps#Python
#vacancy#dataengineer#de#python
Вакансия: Senior Data Engineer
Формат: офис/гибрид (Ереван), удалённый
Локация: любая
Занятость: полная
Оплата: до 350 000 рублей
Обязанности:
- Проектирование и реализация систем для сбора и обработки данных.
- Трансформация бизнес-требований в модели данных.
- Обеспечение поддержки бизнес-требований через архитектуру данных.
- Обеспечение безопасности данных.
Требования:
- 4+ лет опыта работы в области инженерии данных, ETL-процессов и управления сложными решениями по хранению данных
- Подтвержденный коммерческий опыт создания и развертывания приложений с использованием Python и Apache Airflow
- Практический опыт работы с облачной инфраструктурой AWS и управлением решениями для хранения и передачи данных в облачной среде
- Продвинутое владение SQL (особенно PostgreSQL) и глубокое понимание различных решений по хранению данных, включая структурированные и неструктурированные данные
- Желание изучать и экспериментировать с агентами ИИ совместно с командой Data Science, интегрировать ИИ-логику в архитектуру конвейеров данных
- Отличные навыки решения проблем, способность справляться с неопределенностью и предлагать решения в сложных ситуациях
- Уровень английского B2 или выше
Технологии и языки:
- Python
- SQL
- Облачная платформа AWS
- Git
- Pandas
- Airflow
- CI/CD, Jenkins
Предпочтительно:
- Опыт работы с векторными хранилищами и графовыми базами данных
- Опыт работы с облачными платформами машинного обучения
- Знание эффективных форматов данных (например, Parquet, Avro) для пакетной обработки в озерах данных или хранилищах данных, опыт работы с Apache Spark
- Snowflake Data Warehouse
- Docker
- Linux + bash, ssh
- Jupyter
- Параллельные вычисления
Будет плюсом:
- Опыт работы с командами Data Science
- Сертификация AWS
Мы предлагаем:
- Работу в динамичной международной команде
- Возможность сотрудничества через ИП/самозанятость для коллег, находящихся за пределами РФ
- Участие в иностранных и российских проектах
- Оформление по ТК РФ, 100% оплата больничного и отпуска
- ДМС со стоматологией
- Необходимую для работы технику
- Корпоративные обучающие программы
- Широкие возможности для самореализации, профессионального и карьерного роста
- Демократичный подход к процессам и плавающее начало рабочего дня
- Опцию перемещения между нашими зарубежными офисами
По всем вопросам и с резюме: @ananyancat
#python#aporte
🐍
Complete Python Bootcamp For Everyone From Zero to Hero 2023
Master Python Programming by building 100+ REAL PROJECTS . Learn OOP, Automation,GUI,REST and more to create your APPs.
🔗Link
-----
Main channel:@repo_science
Coupons: @freecoupons_reposcience
-----
winslow:
Name: Python爬虫高级开发工程师5期
Size: NGB
Python高级开发工程师五期是一门专为有一定Python编程基础的学员设计的进阶课程。课程内容包括高级爬虫技术、数据解析与处理、反爬虫策略、分布式爬虫等方面的知识。通过本课程的学习,学员将能够掌握更加复杂和实用的爬虫技术,提升数据采集和处理能力,并了解如何应对各种反爬虫策略。同时,还将学习分布式爬虫的原理和应用,提高爬取效率。该课程注重实践操作,通过案例实战来巩固所学知识,培养学员独立解决问题的能力。建议先收藏保存,不定时失效。
Link: 👉Press me and click START to get the hidden link
#学习#资源#课程#python#爬虫#Quark#求转存
♾@gdsharing♾资源分享不易:欢迎点赞支持分享者
[$] Disabling Python's lazy imports from the command line
Python 3.15 将于今年十月引入“显式惰性导入”功能,旨在提升性能,仅在需要时加载模块。然而,并非所有场景都适合此行为。社区曾因此前相关提案被拒而展开讨论,近期焦点转向了如何通过命令行接口来控制或禁用这一特性。
原文链接:https://lwn.net/Articles/1061112/
#Python#编程#性能优化
#AIGC
Read more
#python#fstring#dasturlash_hayoti
🧑💻Python’da f-string — eng qulay formatlash usuli
Ko‘pchilik dasturchilar matn ichida o‘zgaruvchi qo‘shish uchun + yoki .format() dan foydalanadi.
Lekin f-string bilan buni juda oson qilish mumkin 👇
ism = "Ali"
yosh = 20
print(f"Mening ismim {ism}, yoshim {yosh} da.")
✅Natija:
Mening ismim Ali, yoshim 20 da.
F-string afzalliklari:
◾️Sodda va tez yoziladi
◾️O‘qilishi ancha qulay
◾️To‘g‘ridan-to‘g‘ri ifoda ham yozsa bo‘ladi
print(f"5 + 3 = {5+3}")
✅Natija:
5 + 3 = 8
😅 Endi + bilan stringlarni qo‘shib, matematika darsida o‘tirgandek qiynalmaysiz.
❓ Siz kodda qaysi usuldan foydalanasiz: +, .format() yoki f-string? Izohlarda yozib qoldiring 👇
💻@dasturlash_hayoti — kichik sirlar, katta foyda!😉