Делаем планировщик задач
К моему удивлению, далеко не все знают про пакет schedule, который позволяет планировать задачи и повторять их через промежуток времени.
Основной его плюс в том, что он максимально интуитивный и имеет гибкий функционал. А еще schedule не требует внешних зависимостей и сам в целом легковесный.
Здесь на самом деле даже объяснять особо нечего, логика методов в этом пакете понятна на примерах.
#python#schedule
#вакансии#job#работа#datascience#python
Позиция: Senior Prompt Engineer
🦔Компания: Smart Education
🏢Формат работы: part time/full time, удаленно
💰 Зарплатная вилка 2000-2500$(part time) 3500-4000$(full time)
Smart Education – инновационная образовательная компания, которая с помощью AI-помощников предоставляет онлайн-обучение на платформе с LMS. Наша миссия – использовать силу искусственного интеллекта для создания интуитивно понятных и эффективных образовательных инструментов.
📍Основные обязанности:
- Разработка и оптимизация промптов для интеграции с языковыми моделями, такими как GPT-3 и GPT-4, для генерации образовательного контента.
- Работа с текстовыми данными, включая индексацию, анализ и обработку информации из различных источников.
- Разработка и внедрение решений для автоматической обработки и анализа документов PDF, используемых в образовательных материалах.
- Сотрудничество с командами разработчиков и контент-менеджеров для создания персонализированного образовательного контента.
- Руководство проектами по интеграции AI-технологий в LMS, включая автоматизацию контента и разработку интеллектуальных помощников для студентов и преподавателей.
📍Требования:
- Более 3 лет опыта работы в области разработки и оптимизации промптов, желательно с опытом работы в образовательной сфере.
- Знание и опыт работы с языковыми моделями, включая GPT-3 и GPT-4.
- Опыт работы с текстовыми данными, включая индексацию и обработку документов PDF.
- Опыт работы с NLP-библиоткеками
- Опыт подготовки и индексации текстовых материалов для взаимодействия с LLM
- Опыт работы с различными LLM(Claude, Gemini,..)
- Навыки программирования на Python и знание соответствующих библиотек (например, PyPDF2, PDFMiner).
- Высшее образование в области компьютерных наук, информатики или смежных дисциплин.
- Способность к самостоятельной работе и ведению проектов, а также отличные коммуникативные навыки.
📍Мы предлагаем:
- Конкурентоспособную заработную плату.
- Гибкий график работы, удаленная работа
- Работу в динамично развивающейся компании на переднем крае образовательных технологий.
- Возможности для профессионального роста и развития.
✅ Для отклика отправьте резюме на @cyberabraham
Не забудьте уточнить, что вы из @datasciencejobs
GeoAI: Искусственный интеллект для пространственных данных
GeoAI — пакет Python для применения методов искусственного интеллекта в анализе и визуализации пространственных данных.
🤖 GeoAI содержит инструменты для обработки, анализа и визуализации пространственных данных с помощью передовых методов машинного обучения. Как сказано в документации: “Независимо от того, работаете ли вы со спутниковыми снимками, облаками точек лидара или векторными данными, GeoAI предлагает интуитивно понятные интерфейс для применения передовых моделей ИИ.”
📖Документация GeoAI
Среди возможностей GeoAI:
📊 Визуализация пространственных данных
● Интерактивная многослойная визуализация векторных, растровых и облачных данных
● Настраиваемые стили и символика
● Возможности визуализации временных рядов данных
🛠 Подготовка и обработка данных
● Упрощенный доступ к спутниковым и аэрофотоснимкам Sentinel, Landsat, NAIP и другим открытым данных
● Инструменты для загрузки, создания мозаик и предварительной обработки данных дистанционного зондирования
● Автоматизированная генерация обучающих датасетов с чипами изображений (image chips) и соответствующими метками
● Утилиты преобразования векторных данных в растровые и наоборот, оптимизированные для рабочих процессов ИИ
● Методы дополнения (augmentation) данных, специфичные для пространственных данных
● Поддержка интеграции данных Overture Maps и других открытых данных для обучения и проверки
🖼 Сегментация изображений
● Интеграция с моделью Segment Anything Model (SAM) компании Meta для автоматического извлечения признаков
● Специализированные алгоритмы сегментации, оптимизированные для спутниковых и аэрофотоснимков
● Оптимизированные рабочие процессы для сегментации зданий, дорог, растительности и водных объектов
● Возможность экспорта в стандартные форматы геоданных: GeoJSON, Shapefile, GeoPackage, GeoParquet
🔍 Классификация изображений
● Предварительно обученные модели для классификации земного покрова и землепользования (land cover & land use)
● Утилиты трансферного обучения (transfer learning) для тонкой настройки моделей на основе собственных данных
● Поддержка разновременной классификации для обнаружения изменений (change detection)
● Инструменты оценки точности и валидации
🌍 Дополнительные возможности
● Анализ рельефа с извлечением признаков при помощи ИИ
● Классификация и сегментация облаков точек
● Обнаружение объектов на авиационных и спутниковых снимках
● Утилиты геопривязки для результатов ИИ-моделей
Пакет разработан профессором Q. Wu. Для него мы завели на канале именной хештег: #wu
📹Руководства по GeoAI на YouTube
#python#wu#софт#ИИ
• На хабре опубликован хороший материал с описанием auditd и Python-скрипта, благодаря которым мы можем автоматизировать сбор данных всех действий пользователя на сервере linux и настроить алерты в Telegram.
• Проблемы, которые помогает решить auditd:
➡Несанкционированный доступ (кто и когда использовал, например, sudo);
➡Подозрительные команды (rm -rf, изменение прав, доступ к каким-либо файлам);
➡Расследование инцидентов (кто что натыкал перед падением сервера);
➡Соответствие корпоративным стандартам (логирование действий и контроль).
➡️https://habr.com/ru/articles/925962/
• Напомню, что auditd (сокращение от Linux Audit Daemon) — это нативная тулза, которая предназначена для мониторинга событий ОС и записи их в журналы событий, разрабатываемый и поддерживаемый компанией RedHat. Был создан для тесного взаимодействия с ядром операционной системы — во время своей работы наблюдает за системными вызовами и может записывать события — чтение, запись, выполнение, изменение прав - связанные с файлами ОС. Таким образом, с его помощью можно отслеживать практически любые события, происходящие в операционной системе.
• По итогу имеем мощный инструмент, который, при грамотной настройке, может стать отличным дополнением в обеспечении информационной безопасности инфраструктуры.
#Linux#auditd#DevOps#Python
#vacancy#dataengineer#de#python
Вакансия: Senior Data Engineer
Формат: офис/гибрид (Ереван), удалённый
Локация: любая
Занятость: полная
Оплата: до 350 000 рублей
Обязанности:
- Проектирование и реализация систем для сбора и обработки данных.
- Трансформация бизнес-требований в модели данных.
- Обеспечение поддержки бизнес-требований через архитектуру данных.
- Обеспечение безопасности данных.
Требования:
- 4+ лет опыта работы в области инженерии данных, ETL-процессов и управления сложными решениями по хранению данных
- Подтвержденный коммерческий опыт создания и развертывания приложений с использованием Python и Apache Airflow
- Практический опыт работы с облачной инфраструктурой AWS и управлением решениями для хранения и передачи данных в облачной среде
- Продвинутое владение SQL (особенно PostgreSQL) и глубокое понимание различных решений по хранению данных, включая структурированные и неструктурированные данные
- Желание изучать и экспериментировать с агентами ИИ совместно с командой Data Science, интегрировать ИИ-логику в архитектуру конвейеров данных
- Отличные навыки решения проблем, способность справляться с неопределенностью и предлагать решения в сложных ситуациях
- Уровень английского B2 или выше
Технологии и языки:
- Python
- SQL
- Облачная платформа AWS
- Git
- Pandas
- Airflow
- CI/CD, Jenkins
Предпочтительно:
- Опыт работы с векторными хранилищами и графовыми базами данных
- Опыт работы с облачными платформами машинного обучения
- Знание эффективных форматов данных (например, Parquet, Avro) для пакетной обработки в озерах данных или хранилищах данных, опыт работы с Apache Spark
- Snowflake Data Warehouse
- Docker
- Linux + bash, ssh
- Jupyter
- Параллельные вычисления
Будет плюсом:
- Опыт работы с командами Data Science
- Сертификация AWS
Мы предлагаем:
- Работу в динамичной международной команде
- Возможность сотрудничества через ИП/самозанятость для коллег, находящихся за пределами РФ
- Участие в иностранных и российских проектах
- Оформление по ТК РФ, 100% оплата больничного и отпуска
- ДМС со стоматологией
- Необходимую для работы технику
- Корпоративные обучающие программы
- Широкие возможности для самореализации, профессионального и карьерного роста
- Демократичный подход к процессам и плавающее начало рабочего дня
- Опцию перемещения между нашими зарубежными офисами
По всем вопросам и с резюме: @ananyancat
#python#aporte
🐍
Complete Python Bootcamp For Everyone From Zero to Hero 2023
Master Python Programming by building 100+ REAL PROJECTS . Learn OOP, Automation,GUI,REST and more to create your APPs.
🔗Link
-----
Main channel:@repo_science
Coupons: @freecoupons_reposcience
-----
winslow:
Name: Python爬虫高级开发工程师5期
Size: NGB
Python高级开发工程师五期是一门专为有一定Python编程基础的学员设计的进阶课程。课程内容包括高级爬虫技术、数据解析与处理、反爬虫策略、分布式爬虫等方面的知识。通过本课程的学习，学员将能够掌握更加复杂和实用的爬虫技术，提升数据采集和处理能力，并了解如何应对各种反爬虫策略。同时，还将学习分布式爬虫的原理和应用，提高爬取效率。该课程注重实践操作，通过案例实战来巩固所学知识，培养学员独立解决问题的能力。建议先收藏保存，不定时失效。
Link: 👉Press me and click START to get the hidden link
#学习#资源#课程#python#爬虫#Quark#求转存
♾@gdsharing♾资源分享不易：欢迎点赞支持分享者
[$] Disabling Python's lazy imports from the command line
Python 3.15 将于今年十月引入“显式惰性导入”功能，旨在提升性能，仅在需要时加载模块。然而，并非所有场景都适合此行为。社区曾因此前相关提案被拒而展开讨论，近期焦点转向了如何通过命令行接口来控制或禁用这一特性。
原文链接：https://lwn.net/Articles/1061112/
#Python#编程#性能优化
#AIGC
Read more