TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #336 · 22 мај

Популярность имеет свои минусы. Чем популярней язык программирования, тем выше его распространённость, а значит найдутся те кто поспешит воспользоваться этим. С ростом популярности Python всё больше на PyPi появляется вредоносных пакетов. Трояны, стиллеры и доставщики более опасных вредоносов. Команда PyPi постоянно мониторит подобные случаи но и их возможности достигли предела. В результате сервис временно закрывает возможность заливки новых пакетов и регистрации юзеров. PyPI new user and new project registrations temporarily suspended Возможно одной из причин большого наплыва вредоносов является резко возросшая доступность их создания. Сегодня любой, даже не программист, может попросить у ChatGPT написать необходимый код и все инструкции для атаки. Основной тип атаки - рассчёт на опечатку в названии пакета. Если невнимательный программист случайно установит pilow или djangoo, считай что вредонос уже в системе. Чтобы избежать подобных факапов я рекомендую: ▫️ Всегда работайте в виртуальном окружении, неизвестные проекты устанавливайте внутри контейнеров. ▫️ Используйте файл requirements.txt вместо ручной установки пакетов ▫️ Очень внимательно пишите названия пакетов, а после написания проверьте еще раз. Сверьте с названием из документации. ▫️ После успешных тестов всегда фиксируйте версию пакета. Бывали случаи когда опасный код добавляли в новые версии. К тому же и без этой опасности не рекомендуется ставить по умолчанию последнюю версию. ▫️ Используйте вспомогательные инструменты для проверки безопасности, например https://pyup.io/safety или https://github.com/PyCQA/bandit. Они помогут не только найти опасный код в чужих пакетах, но и ваш код проверит на уязвимости. Будем надеяться что PyPi переосмыслит методы борьбы с вредоносами, например внедрит ИИ для проверки как симметричный шаг. #offtop

Hashtags

Резултати

Пронајдени 3 слични објави

Пребарај: #greenplum

当前筛选 #greenplum清除筛选
Data Science Jobs

@datasciencejobs · Post #2644 · 03.04.2025 г., 06:05

#job#вакансия#DataEngineer#Greenplum#MPP#фултайм#remote Вакансия: Data Engineer Формат работы: офис, гибрид, удаленка (можно вне РФ) Занятость: full-time с гибким началом рабочего дня Офис: г. Москва, м. Тульская, Варшавское шоссе, 9с1Б, БЦ “Даниловская Мануфактура” Зарплатная вилка: 300 - 390 тыс руб gross + ДМС + курсы англ языка и разговорная практика с европейским офисом + ежегодно повышаем ЗП + техника (Macbook или PC Dell) + отсрочка от призыва и мобилизации (аккредитованная ИТ компания) Оформление: ТК, ИП Гражданство: РФ Mokka — международная fintech компания, лидер сегмента BNPL в России и Восточной Европе (Buy Now Pay Later – покупай сейчас, плати потом). Сервисы Мокка представлены в более 7 тыс. торговых точек наших партнеров, таких как Lamoda, OneTwoTrip, OZON, М.Видео, Эльдорадо, Детский мир и др, а количество пользователей уже 15+ млн. Сервис работает в РФ, Польше, Румынии, Болгарии. Команда аналитической платформы: — Head of Data and Analytics; — Data Engineer - 3; — BI Analyst - 3; — ML Engineer - 4. Стек DE: Greenplum, S3, Apache NiFi, Apache Kafka, Apache Airflow, Python, DBT, CI\CD - Gitlab, REST API, Docker, Soda core. Проекты DE на 1 полугодие 2025: — разработка процессов обмена данных с внешними системами; — подключение двух новых источников, help desk и app metrica; — оптимизация платформы данных. Смежные команды: 7 продуктовых команд, в РФ и Европе, команда DevOps, команда саппорта и др. Зона ответственности: — проектирование, разработка и оптимизация архитектуры DWH (Greenplum, Data Vault); — разработка и поддержка ETL-процессов с использованием Nifi и Airflow, подключение новых источников данных; — написание трансформаций и моделирование данных с использованием DBT; — мониторинг и контроль работы регламентных процессов обновления данных; — решение инцидентов с качеством данных; — создание витрин данных; — поддержка CI/CD процессов для обработчиков и загрузчиков данных; — документация обработчиков данных и витрин, которые часто используются; — рефакторинг имеющихся обработчиков с целью оптимизации; — создавать решения (например, для заливки моделей / фичей) оптимизированные под запись; — наполнение базы знаний; Пожелания к опыту: — знание методологий проектирования DWH; — опыт в разработке и поддержке DWH и ETL от 3 лет; — знание SQL на хорошем уровне: оконные функции, иерархические запросы, оптимизация производительности запросов; — опыт работы с DBT; — хорошее знание Python: знать что такое virtualenv, уметь remote-development, уметь оформлять тесты и настраивать линтеры; — хорошее знание Airflow: уметь писать собственные hooks и operators, умение пользоваться внутренними возможностями airflow по хранению параметров соединений, создание и поддержание документации по дагам; — Linux: знание основных команд, умение писать bash-скрипты, умение работать с pipe; — умение работать с docker контейнерами; — опыт работы с git, настройка пайплайнов в gitlab-ci; — опыт настройки и использования Apache Kafka, знание Avro формата; — хорошее знание REST API; Nice to have: — опыт работы с S3; — опыт работы с колоночными СУБД (Greenplum, Vertica, Teradata, Clickhouse): уметь разворачивать, проектировать схемы для витрин в зависимости от назначения, настраивать мониторинг и бэкапы, анализ и оптимизация запросов; — Apache NiFi: хотя бы уверенные теоретические знания; — Soda Core; — знание Cloud concepts (Yandex Cloud, AWS); Условия: — формат работы: на выбор - офис, гибрид, удаленка (можно вне РФ); — оформление: ТК РФ, ИП; — оклад: 300-390К руб gross + ежегодное повышение ЗП; — ДМС со стоматологией; — отсрочка от призыва и мобилизации (аккредитованная ИТ компания); — гибкое начало рабочего дня (с 08:00 до 11:00 мск); — техника на выбор: MacBook Pro или PC Dell; — открытая простая коммуникация в команде; Процесс найма: Видео-звонок с HR → Техническое вью → Финальное вью → Оффер. Контакты для связи: @Shvedova1

Data Science Jobs

@datasciencejobs · Post #3174 · 10.03.2026 г., 06:04

#вакансия#dataanalyst#sql#greenplum#dwh#horeca#job#удалённо 🔍Senior Data Analyst (HoReCa / DWH) Ищем «следователя по данным» в проект общепита (сеть ресторанов/доставка). Критически важна роль: отвечаете за чистоту данных в DWH, без вас отчеты по марже и фудкосту теряют смысл. 💰Зарплата: 250-270К руб/мес.Гросс 🎯Локация/гр.: Россия 🕰Срок проекта: 6 месяцев + 📄Оформление: только ИП ✅Чем нужно заниматься: — контроль качества данных в Greenplum / ClickHouse; — разбор инцидентов: почему пропали чеки / сломался фудкост / аномалия в продажах; — взаимодействие с источниками (iiko, R-Keeper, 1С) — инициируете и проверяете исправления; — доработка витрин и ad-hoc запросы. 🎯Must-have: — SQL: продвинутый уровень (окна, CTE, подзапросы, оптимизация); — опыт с DWH (слои, ETL, качество данных); — навык поиска аномалий и расследования инцидентов; — Jira/Confluence, любой BI (Superset/Форсайт). ➕Будет плюсом: — Greenplum / PostgreSQL; — DBT, OpenMetadata; — опыт в ритейле / HoReCa. 📩 Отклик с пометкой «DataScienceJobs» в TG:@AllaDemHR Наш канал в MAX: https://max.ru/datasciencejobs

Data Science Jobs

@datasciencejobs · Post #2147 · 11.06.2024 г., 07:41

#вакансия#de#fintech#remote Привет! Мы в поиске Data Engineer (middle+) Компания: Vsemirsoft Проект: банковский проект (входит в ТОП-50 банков РФ). Стек проекта: - #Hadoop, #GreenPlum, #S3; - #Airflow, #Spark, #Kafka, #Debezium; - #ClickHouse, #Superset Часовой пояс: Москва (UTC+03:00, Europe/Moscow) Формат работы: удаленный Зп: 285 тыс. руб. 📌Ключевые компетенции: - АБС - ЦФТ - DWH 📌 Требования: - ОПЫТ РАБОТЫ ОТ 3х ЛЕТ; - опыт работы с хранилищами данных и с отчетностью в АБС Банка; - понимание жизненного цикла разработки программного обеспечения 📌 Как преимущество: - понимание процессов формирования обязательной отчетности (ЦБ) 📌 Задачи в рамках проекта: - анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ); - реализация изменений и тестирование на стороне DWH; - взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений; - написание технических задач для развития детального и витринного уровней DWH; - анализ и контроль качества загрузки данных в DWH; - описание логической и физической модели DWH и сопровождение документации в части хранилища данных По всем вопросам обращаться:@odu_v_an