TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #721 · 26.12

Почему я люблю языки с сильной системой типов, проверяемой статическим анализом кода — хорошо написанная программа является своей собственной спецификацией и позволяет выражать через язык программирования законы существования предметной области. Когда-то давно я писал на ActionScript. Там была система типов, но вот десериализация JSON'ов по-умолчанию была в какой-то общий Object, к полям которого нужно было обращаться ["по_строковому_имени"]. В один момент мне потребовалось написать что-то на C#, который я совсем не знал, я стал гуглить, как десериализовать JSON, и с удивлением обнаружил кучу советов заранее объявить класс со всеми нужными полями и десериализовать в него. "Какой ужас!", — подумал я тогда, — "Это же дико неудобно! А если я не знаю полей JSON? А если их много? Отвратительный язык!" Теперь то я прекрасно понимаю, что JSON это контракт, и что правильная десериализация только такая и должна быть, и что в хорошем API в одном поле никогда не бывает данных принципиально разных типов, и так далее. Нет, если вы набиваете вечерами пет-проект или сидите бессонную ночь на хакатоне, нет ничего плохого в том, чтобы взять простой язык с динамическими типами вроде JavaScript или Python, не требующий описывать данные. Но вот в энтерпрайзе, особенно когда над одним проектом работает много людей (а бывает это очень часто) — хорошее использование системы типов убережёт разработчиков от огромного количества ошибок, будет бить их по рукам, когда они пытаются сделать что-то не то, и будет подсказывать, когда они не уверены в чём-то. С помощью статической типизации можно на уровне кода обозначить правила, по которым ведёт себя предметная область вашей программы в реальном мире. Разработчику не только будет сложно их нарушить, но он ещё и станет узнавать какие-то вещи, которые мог не знать раньше. Например, если мы делаем медицинскую CRM, и больница заводит новых пациентов только тогда, когда знает их группу крови, мы можем объявить тип "Пациент" (или, если точнее, "Карта пациента") и запретить создавать экземпляры этого типа, не передав в конструктор группу крови (которая, в свою очередь, тоже является типом, вероятнее всего ValueObject'ом). Если новый программист пришёл в проект, он, во-первых, не сможет записать в БД некорректную карту пациента. Понятно, мы не учитываем случаи, когда новый программист переделывает модели предметной области — это будет хорошо видно на кодревью. А, во-вторых, даже если ему никто не сказал, что пациенты должны быть с группой крови, он узнает это из кода. И уже будет понимать, что в тех процессах реальной жизни, которые он описывает кодом, карта пациента создаётся только при наличии группы крови. А, значит, нужно искать какой-то способ сначала эту группу крови получить, и только потом создавать карту. Программирование моделирует реальный процесс. В настоящей работе даже на языках с типами, конечно, без должного контроля можно написать что угодно. Нужна управленческая воля, компетентность руководства, понимание опасности техдолга, в идеале отдельные должности для архитекторов, опытные лиды и старшие разработчики. Но когда всё это есть, можно отсекать много проблем ещё на старте и проще погружать новичков. #dev

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #meltano

当前筛选 #meltano清除筛选
Data Science Jobs

@datasciencejobs · Post #2660 · 11.04.2025 г., 09:35

#ВакансияData Engineer #Meltano#PostgreSQL#Mongodb#Elasticsearch Формат: Удаленный / Гибрид Вилка: от 180 000 рублей до 250 000 рублей net Локация: РФ Привет! 🙂 Меня зовут Евгения и я HR бизнес-партнер в компании Aplaut. Мы - продуктовая MarTech компания для eCommerce, лидер на Российском рынке среди сервисов по управлению UGC. Наши клиенты входят в топ-100 отечественного eCommerce: Спортмастер, Лемана Про (Леруа Мерлен), Эльдорадо, Ситилинк и т.д. Сейчас ищем крутого Data Engineer для нашей продуктовой команды. Твоя задача – совместно с DevOps и аналитиком развивать и совершенствовать архитектуру Data Lake и DWH, создавать и оптимизировать ETL/ELT пайплайны и обеспечивать корректную интеграцию данных из различных источников. Ты активно будешь взаимодействовать с разработчиками, менеджером продукта и своим главным боссом - Техническим директором. Мы работаем по Scrum — у нас короткие спринты, четкие приоритеты и минимум встреч. Задачи: - Разрабатывать, оптимизировать и поддерживать ETL/ELT-процессы на базе Meltano. - Интегрировать данные из REST API, баз данных, файловых хранилищ. - Разрабатывать и поддерживать кастомные Meltano taps и targets. - Работать с PostgreSQL, Mongodb, Elasticsearch и другими хранилищами. - Автоматизировать обработку данных с использованием Dagster. - Оптимизировать производительность data pipelines. - Обеспечивать контроль качества данных, работать с метриками и мониторингом. Мы ждем, что у тебя: - Опыт работы Data Engineer от 2 лет. - Уверенные знания Python и его экосистемы для работы с данными (pandas, SQLAlchemy, requests). - Опыт работы с Meltano (настройка, разработка кастомных taps/targets, интеграция). - Опыт работы с dbt. - Знание SQL и реляционных баз данных (PostgreSQL, MySQL). - Опыт работы с облачными платформами. - Опыт работы с Dagster (настройка и оркестрация data pipelines). - Опыт работы с форматами данных (JSON/Parquet/ Avro/CSV). - Уверенные знания Docker. Как плюс: - Опыт работы с Kafka. - Опыт построения data lake и dwh архитектур. Почему мы? - Мы работаем над собственными продуктами небольшой командой и являемся лидером рынка в сегменте UGC. - У нас прозрачные бизнес-процессы, отсутствие микроменеджмента, минимум бюрократии и свобода в принятии решений. - Ты быстро увидишь результаты своей работы, в отличии от корпораций. - Стремимся к достижению амбициозных целей. Что мы предлагаем: - Аккредитованная ИТ компания. - Официальное оформление по ТК с первого дня, есть возможность оформления как самозанятый. - Гибкий график работы. - Удаленный формат работы для сотрудников из регионов и гибрид для сотрудников из Москвы. - Уютный лофт-офис в 5 минутах пешком от метро Электрозаводская. - Финансирование обучения для сотрудников и профессиональная литература за счет компании. - Возможность использовать sick day вместо больничного 5 дней в году. - Лучшая команда, которая всегда придет на помощь. - Насыщенная корпоративная жизнь. Для связи: @Evgenika_hr