Post #2322

#Dataengineer#вакансия#middle#Москва Всем добрый день! Вакансия: Data engineer Компания: Инновационный центр "Безопасный Транспорт" Big Data подразделение внутри Департамента Транспорта Москвы Формат работы: гибрид (1 день из офиса) Адрес офиса: Москва, м Белорусская (кольцевая) Уровень заработной платы: до 250 000 руб. на руки О компании: Инновационный центр "Безопасный Транспорт" —ключевой источник и поставщикBigData для всего Транспортного комплекса города Москвы, разрабатывает цифровые продукты, оказывающие влияние на транспортную безопасность дорог Москвы. Мы гарантируем будущему коллеге: • Оформление по ТК с первого рабочего дня; • Гибридный формат (1 день из офиса на Белорусской); • Белая заработная плата, обсуждается индивидуально, в зависимости от опыта кандидата (до 250 на руки); • Отпуск 42 дня; • Бесплатный проезд в метро; • Полугодовое ревью, по итогам которого можно повысить уровень дохода или роль в команде. Чем предстоит заниматься: • Поддержка работоспособности и дальнейшее развитие платформы данных; • Интеграция Х Д с различными источниками (FTP, API, сайты) с помощью Python; • Преобразование данных из различных форматов (xml, json) к табличному виду с помощью Python; • Разработка витрин данных с использованием SQL, Python, PySpark; • Разработка и доработка batch и real-time процессов загрузки данных в различные слои ХД в Hive, Vertica, PostgreSQL, ClickHouse, DB2; • Развитие системы мониторинга качества данных; • Совершенствование и разработка новых внутренних процессов команды; • Декомпозиция и оценка трудозатрат по своим задачам; • Code-review; • Поддержка в актуальном состоянии базы знаний и технической документации ХД. Мы ожидаем от кандидата: • Законченное высшее образование! • Наш стэк: Apache Spark, Spark streaming, Kafka, Apache Hive, Airflow, Linux, Git, Bash, Vertica, Grafana+Zabbix, PostgreSql, ClickHouse, DB2 • Понимание теории и практики построения Хранилищ Данных на уровне data-инженера; • Уверенное владение SQL, опыт написания сложных запросов с подзапросами, оконными функциями и регулярными выражениями, навыки оптимизации запросов; • Уверенные навыки программирования, умение читать и понимать код на Python; • Понимание принципов работы Git-систем и систем оркестрации; • Заинтересованность в личном развитии и развитии города. Контакт: @ElinaPankratova