Post #2139

#вакансия Data Engineer в VK Adtech, Москва Департамент создаёт рекламные продукты и инструменты для бизнеса. Это myTarget, рекламный кабинет ВКонтакте и платформа VK Реклама. Наши разработки также интегрированы в другие продукты VK: Одноклассники, Портал и Почту Mail․ru. Всё это открывает бизнесу доступ к 95% мобильной аудитории рунета. В команде минимум бюрократии и максимум возможностей влиять на продукт — воплощение фич от идеи до релиза может занимать всего пару недель. Ищем опытного и самостоятельного дата-инженера, который будет участвовать в создании ML-инструментов. Предстоит разрабатывать и поддерживать код на Scala/Spark (UDF/UDAF, Spark ML Transformers, etc.) и Python (платформа ML/ETL). А ещё помогать команде следить за качеством генерируемых данных. У нас вы будете работать с данными популярных соцсетей (ВК, ОК, Дзен) и других проектов экосистемы VK. Также надеемся, что вам понравится наш кластер Hadoop на примерно 100 петабайтов. Задачи: • Проектировать, разрабатывать и поддерживать инструменты для создания надёжных пайплайнов обработки данных; • участвовать в развитии системы для создания и использования ML-моделей; • исследовать и интегрировать в продукт новые источники данных; • создавать витрины признаков для ML-моделей. Требования: • Знание алгоритмов и структур данных; • умение писать качественный, поддерживаемый код на Scala, Python, SQL; • опыт использования Hadoop, знание механизмов распределённого хранения и обработки данных (HDFS, Spark, Hive); • знакомство с Bash, Git, Linux, Docker; • опыт работы с терминалом по SSH. Будет плюсом: • Умение использовать Luigi, Airflow, Kafka; • опыт написания Spark UDF/UDAF на Catalyst API и трансформеров spark.ml; • знание Java и нюансов JVM; • понимание классических ML-моделей, задач и методов DS. ✍️ Отправить CV и по всем вопросам: https://t.me/olkony #de#ml#engineer#mailru#adtech#spark#python#hadoop#kafka#гибрид#remote#middle#senior