TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #421 · 23 мар.

Мы используем Makefile думая, что нет альтернатив, что это стандарт и всё такое. Но make это не запускалка команд, а система сборки. Мы фактически используем его не по назначению. И на самом деле альтернатива есть! Некоторое время назад я открыл для себя прекрасный инструмент - just. Он решает все проблемы make. just - это не система сборки как make, это именно исполнитель команд! Больше никаких Phony Targets и табуляций, привет нормальный синтаксис и передача аргументов!!! 😎 ⭐️Что умеет just: ✅ Автодокументирование команд Не нужно делать отдельную команду с докой, просто добавь комментарий # команда сборки build: ... $ just --list Available recipes: build # команда сборки Команда с именем default запускается по умолчанию если не указано другое, так что я обычно делаю так: default: just --list Теперь просто выполняем just и получаем доку из текущего файла. ✅ Удобная работа с переменными окружения # загрузить из .env set dotenv-load # глобальная переменная export PYTHONPATH := "./src" # переменная для команды test $TESTUNG="true": pytest ✅ Передача аргументов build target: @echo 'Build {{target}}...' команда запуска $ just build dev # Build dev... ✅ Выбор интерпретатора прямо в команде Пример с инлайн-скриптом на python: system: #!/usr/bin/env python3 import platform print(platform.system()) Эта же функция позволит выполнить скрипт как одну команду вместо перезапуска шела для каждой строки foo: #!/usr/bin/env sh for file in ls .; do echo $file done ✅ Выполнение команды в определенной директории. Можно указать как релятивный путь так и абсолютный [working-directory: 'backend'] build: docker compose build Также можно задать рабочую директорию глобально Там еще много интересного: - поддержка функций - автокомплиты и интеграции - экспрешены - алиасы команд - группировка команд - альтернативы команды под разные ОС - импорт других just-файлов - цветной вывод - ... и другие штуковины! Так что вперёд - ➡️ читать доку! Репозиторий: ➡️https://github.com/casey/just Статья: ➡️https://www.chicks.net/reference/file_formats/just/ ЗЫ. Кажется, на Makefile я уже не вернусь) #tools

Hashtags

Резултати

Пронајдени 3 слични објави

Пребарај: #greenplum

当前筛选 #greenplum清除筛选
Data Science Jobs

@datasciencejobs · Post #2644 · 03.04.2025 г., 06:05

#job#вакансия#DataEngineer#Greenplum#MPP#фултайм#remote Вакансия: Data Engineer Формат работы: офис, гибрид, удаленка (можно вне РФ) Занятость: full-time с гибким началом рабочего дня Офис: г. Москва, м. Тульская, Варшавское шоссе, 9с1Б, БЦ “Даниловская Мануфактура” Зарплатная вилка: 300 - 390 тыс руб gross + ДМС + курсы англ языка и разговорная практика с европейским офисом + ежегодно повышаем ЗП + техника (Macbook или PC Dell) + отсрочка от призыва и мобилизации (аккредитованная ИТ компания) Оформление: ТК, ИП Гражданство: РФ Mokka — международная fintech компания, лидер сегмента BNPL в России и Восточной Европе (Buy Now Pay Later – покупай сейчас, плати потом). Сервисы Мокка представлены в более 7 тыс. торговых точек наших партнеров, таких как Lamoda, OneTwoTrip, OZON, М.Видео, Эльдорадо, Детский мир и др, а количество пользователей уже 15+ млн. Сервис работает в РФ, Польше, Румынии, Болгарии. Команда аналитической платформы: — Head of Data and Analytics; — Data Engineer - 3; — BI Analyst - 3; — ML Engineer - 4. Стек DE: Greenplum, S3, Apache NiFi, Apache Kafka, Apache Airflow, Python, DBT, CI\CD - Gitlab, REST API, Docker, Soda core. Проекты DE на 1 полугодие 2025: — разработка процессов обмена данных с внешними системами; — подключение двух новых источников, help desk и app metrica; — оптимизация платформы данных. Смежные команды: 7 продуктовых команд, в РФ и Европе, команда DevOps, команда саппорта и др. Зона ответственности: — проектирование, разработка и оптимизация архитектуры DWH (Greenplum, Data Vault); — разработка и поддержка ETL-процессов с использованием Nifi и Airflow, подключение новых источников данных; — написание трансформаций и моделирование данных с использованием DBT; — мониторинг и контроль работы регламентных процессов обновления данных; — решение инцидентов с качеством данных; — создание витрин данных; — поддержка CI/CD процессов для обработчиков и загрузчиков данных; — документация обработчиков данных и витрин, которые часто используются; — рефакторинг имеющихся обработчиков с целью оптимизации; — создавать решения (например, для заливки моделей / фичей) оптимизированные под запись; — наполнение базы знаний; Пожелания к опыту: — знание методологий проектирования DWH; — опыт в разработке и поддержке DWH и ETL от 3 лет; — знание SQL на хорошем уровне: оконные функции, иерархические запросы, оптимизация производительности запросов; — опыт работы с DBT; — хорошее знание Python: знать что такое virtualenv, уметь remote-development, уметь оформлять тесты и настраивать линтеры; — хорошее знание Airflow: уметь писать собственные hooks и operators, умение пользоваться внутренними возможностями airflow по хранению параметров соединений, создание и поддержание документации по дагам; — Linux: знание основных команд, умение писать bash-скрипты, умение работать с pipe; — умение работать с docker контейнерами; — опыт работы с git, настройка пайплайнов в gitlab-ci; — опыт настройки и использования Apache Kafka, знание Avro формата; — хорошее знание REST API; Nice to have: — опыт работы с S3; — опыт работы с колоночными СУБД (Greenplum, Vertica, Teradata, Clickhouse): уметь разворачивать, проектировать схемы для витрин в зависимости от назначения, настраивать мониторинг и бэкапы, анализ и оптимизация запросов; — Apache NiFi: хотя бы уверенные теоретические знания; — Soda Core; — знание Cloud concepts (Yandex Cloud, AWS); Условия: — формат работы: на выбор - офис, гибрид, удаленка (можно вне РФ); — оформление: ТК РФ, ИП; — оклад: 300-390К руб gross + ежегодное повышение ЗП; — ДМС со стоматологией; — отсрочка от призыва и мобилизации (аккредитованная ИТ компания); — гибкое начало рабочего дня (с 08:00 до 11:00 мск); — техника на выбор: MacBook Pro или PC Dell; — открытая простая коммуникация в команде; Процесс найма: Видео-звонок с HR → Техническое вью → Финальное вью → Оффер. Контакты для связи: @Shvedova1

Data Science Jobs

@datasciencejobs · Post #3174 · 10.03.2026 г., 06:04

#вакансия#dataanalyst#sql#greenplum#dwh#horeca#job#удалённо 🔍Senior Data Analyst (HoReCa / DWH) Ищем «следователя по данным» в проект общепита (сеть ресторанов/доставка). Критически важна роль: отвечаете за чистоту данных в DWH, без вас отчеты по марже и фудкосту теряют смысл. 💰Зарплата: 250-270К руб/мес.Гросс 🎯Локация/гр.: Россия 🕰Срок проекта: 6 месяцев + 📄Оформление: только ИП ✅Чем нужно заниматься: — контроль качества данных в Greenplum / ClickHouse; — разбор инцидентов: почему пропали чеки / сломался фудкост / аномалия в продажах; — взаимодействие с источниками (iiko, R-Keeper, 1С) — инициируете и проверяете исправления; — доработка витрин и ad-hoc запросы. 🎯Must-have: — SQL: продвинутый уровень (окна, CTE, подзапросы, оптимизация); — опыт с DWH (слои, ETL, качество данных); — навык поиска аномалий и расследования инцидентов; — Jira/Confluence, любой BI (Superset/Форсайт). ➕Будет плюсом: — Greenplum / PostgreSQL; — DBT, OpenMetadata; — опыт в ритейле / HoReCa. 📩 Отклик с пометкой «DataScienceJobs» в TG:@AllaDemHR Наш канал в MAX: https://max.ru/datasciencejobs

Data Science Jobs

@datasciencejobs · Post #2147 · 11.06.2024 г., 07:41

#вакансия#de#fintech#remote Привет! Мы в поиске Data Engineer (middle+) Компания: Vsemirsoft Проект: банковский проект (входит в ТОП-50 банков РФ). Стек проекта: - #Hadoop, #GreenPlum, #S3; - #Airflow, #Spark, #Kafka, #Debezium; - #ClickHouse, #Superset Часовой пояс: Москва (UTC+03:00, Europe/Moscow) Формат работы: удаленный Зп: 285 тыс. руб. 📌Ключевые компетенции: - АБС - ЦФТ - DWH 📌 Требования: - ОПЫТ РАБОТЫ ОТ 3х ЛЕТ; - опыт работы с хранилищами данных и с отчетностью в АБС Банка; - понимание жизненного цикла разработки программного обеспечения 📌 Как преимущество: - понимание процессов формирования обязательной отчетности (ЦБ) 📌 Задачи в рамках проекта: - анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ); - реализация изменений и тестирование на стороне DWH; - взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений; - написание технических задач для развития детального и витринного уровней DWH; - анализ и контроль качества загрузки данных в DWH; - описание логической и физической модели DWH и сопровождение документации в части хранилища данных По всем вопросам обращаться:@odu_v_an