Data Science Jobs

Ищем Data Engineer (Middle/Middle+/Senior) в аутстафф-компанию Top Selection для работы над зарубежным ритейл-проектом. Грейд: Senior Название компании: Top Selection Локация: Не важно Часовой пояс: МСК Предметные области: ритейл Формат работы: Удалёнка Мы ищем Data Platform Engineer с опытом работы в Microsoft Fabric или Databricks для построения и оптимизации дата-платформы в ритейле. Основная задача – разработка облачной платформы обработки данных, интеграция с различными источниками и аналитика в реальном времени. Работа в ритейле требует глубокого понимания данных о продажах, цепочке поставок, потребительском поведении и управлении товарными запасами. Обязанности: Ключевые обязанности (MS Fabric): - Проектирование архитектуры данных на Microsoft Fabric (OneLake, Lakehouses, Synapse Data Warehouse, Power BI). - Разработка и внедрение ETL/ELT-конвейеров данных (Fabric Data Pipelines, Azure Data Factory). - Оптимизация хранения и обработки данных в OneLake и Lakehouses. - Настройка Real-Time Analytics (анализ транзакций, логистика, продажи в режиме реального времени). - Интеграция с Power BI и построение семантических моделей. - Оптимизация SQL-запросов для больших объемов данных в Synapse Data Warehouse. - Автоматизация CI/CD-конвейеров (Azure GitOps). - Обеспечение безопасности данных и соответствие стандартам работы с персональными и коммерческими данными. Технологии, с которыми предстоит работать: - Microsoft Fabric: - OneLake (облачное lakehouse-хранилище данных) - Lakehouses (совмещение Data Lake и традиционных DWH) - Data Pipelines (аналог Azure Data Factory) - Synapse Data Warehouse (облачный аналитический движок) - Real-Time Analytics (потоковая обработка данных) - Power BI & Semantic Models (бизнес-аналитика) - KQL (Kusto Query Language) для анализа событий и логов - DevOps & CI/CD: - Azure GitOps, YAML-пайплайны - Автоматизированное развертывание и управление инфраструктурой данных Требования: - Практический опыт работы с Microsoft Fabric или Databricks (или другим релевантным облачным стеком). - От 2 лет опыта в data engineering и облачных хранилищах данных. - Глубокие знания SQL, Python, Spark/PySpark, T-SQL. - Опыт оптимизации SQL-запросов и работы с большими объемами данных. - Понимание архитектуры баз данных и lakehouse-концепции. - Опыт работы с ETL/ELT-процессами, DataOps, CI/CD для данных. Пожелания: Будет плюсом: - Опыт работы с потоковыми данными (Kafka, Event Hubs, Stream Analytics). - Знание ритейл-данных (ценообразование, товарные запасы, программы лояльности). - Опыт работы с Delta Lake, Databricks ML. - Оптимизация SQL-запросов и настройка кластера Spark. Сертификации (желательно): - Microsoft Certified: Fabric Analytics Engineer Associate - Microsoft Certified: Azure Data Engineer Associate - Databricks Certified Data Engineer Associate/Professional Контактные данные: @mherchopurian / @datasciencejobs #вакансия#DataEngineer#Middle#MSFabric#Databricks#Удаленно

#вакансия#удаленно#dataengineer#de#spark#databricks#kafka # Ищем Data Engineer на проектную занятость в Dodo Engineering (возможен неполный рабочий день) Компания: Dodo Engineering Локация: Remote Должность: Data Engineer (middle+/senior/lead) Занятость: проектная, на 3-6 месяцев, возможен вариант на неполный рабочий день (4 часа). Вилка: 350 000 - 500 000 р Формат: ГПХ\ИП О команде Мы разрабатываем платформу данных для it команд в Dodo. На данный момент перед нами стоит амбициозная задача по оптимизации затрат на дата платформу, поэтому в усиление нашей команде ищем на проектную занятость data engineer. Срок проекта - 3-6 месяцев. Мы ищем коллегу с бэкграундом в разработке, уверенным знанием Spark, Spark SQL. Если работали с databricks — будет большой плюс. Наш стек технологий: У нас современная платформа, которая базируется на облачных сервисах Azure Databricks. Данные загружаем с помощью debezium или принимаем события в Event Hub (Kafka). Храним в Delta Lake, всё раскладываем по слоям и Data Vault. Витрины храним в Kusto, а визуализация в Superset. Основной язык — python. Чем предстоит заниматься: - Оптимизация витрин, помощь другим командам в работе с данными и нашим инструментом - Оптимизация процессов в databricks для снижения затрат на compute и storage - Развертывание и обслуживание data сервисов Требования: - Уверенное владение одним из языков программирования: Python, Scala, Java. - Построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов. - Spark, Spark Streaming (у нас Structured Streaming) - Желателен опыт оптимизации аналитического кода Отправить резюме и задать вопросы можно тут: @AKoronnova 👉 Не забудьте уточнить, что вы из @datasciencejobs