TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #721 · 26.12

Почему я люблю языки с сильной системой типов, проверяемой статическим анализом кода — хорошо написанная программа является своей собственной спецификацией и позволяет выражать через язык программирования законы существования предметной области. Когда-то давно я писал на ActionScript. Там была система типов, но вот десериализация JSON'ов по-умолчанию была в какой-то общий Object, к полям которого нужно было обращаться ["по_строковому_имени"]. В один момент мне потребовалось написать что-то на C#, который я совсем не знал, я стал гуглить, как десериализовать JSON, и с удивлением обнаружил кучу советов заранее объявить класс со всеми нужными полями и десериализовать в него. "Какой ужас!", — подумал я тогда, — "Это же дико неудобно! А если я не знаю полей JSON? А если их много? Отвратительный язык!" Теперь то я прекрасно понимаю, что JSON это контракт, и что правильная десериализация только такая и должна быть, и что в хорошем API в одном поле никогда не бывает данных принципиально разных типов, и так далее. Нет, если вы набиваете вечерами пет-проект или сидите бессонную ночь на хакатоне, нет ничего плохого в том, чтобы взять простой язык с динамическими типами вроде JavaScript или Python, не требующий описывать данные. Но вот в энтерпрайзе, особенно когда над одним проектом работает много людей (а бывает это очень часто) — хорошее использование системы типов убережёт разработчиков от огромного количества ошибок, будет бить их по рукам, когда они пытаются сделать что-то не то, и будет подсказывать, когда они не уверены в чём-то. С помощью статической типизации можно на уровне кода обозначить правила, по которым ведёт себя предметная область вашей программы в реальном мире. Разработчику не только будет сложно их нарушить, но он ещё и станет узнавать какие-то вещи, которые мог не знать раньше. Например, если мы делаем медицинскую CRM, и больница заводит новых пациентов только тогда, когда знает их группу крови, мы можем объявить тип "Пациент" (или, если точнее, "Карта пациента") и запретить создавать экземпляры этого типа, не передав в конструктор группу крови (которая, в свою очередь, тоже является типом, вероятнее всего ValueObject'ом). Если новый программист пришёл в проект, он, во-первых, не сможет записать в БД некорректную карту пациента. Понятно, мы не учитываем случаи, когда новый программист переделывает модели предметной области — это будет хорошо видно на кодревью. А, во-вторых, даже если ему никто не сказал, что пациенты должны быть с группой крови, он узнает это из кода. И уже будет понимать, что в тех процессах реальной жизни, которые он описывает кодом, карта пациента создаётся только при наличии группы крови. А, значит, нужно искать какой-то способ сначала эту группу крови получить, и только потом создавать карту. Программирование моделирует реальный процесс. В настоящей работе даже на языках с типами, конечно, без должного контроля можно написать что угодно. Нужна управленческая воля, компетентность руководства, понимание опасности техдолга, в идеале отдельные должности для архитекторов, опытные лиды и старшие разработчики. Но когда всё это есть, можно отсекать много проблем ещё на старте и проще погружать новичков. #dev

Hashtags

Резултати

Намерени 7 подобни публикации

Търсене: #clickhouse

当前筛选 #clickhouse清除筛选
Data Science Jobs

@datasciencejobs · Post #1908 · 13.02.2024 г., 06:02

#вакансия#DataAnalyst#Python#SQL#Clickhouse#ABtest#удаленка#fulltime 🔹Анабар – система аналитики и управления продажами для продавцов на маркетплейсах. Продукт запустили Петр Марков (ex-Яндекс, ex-Циан) и Павел Тарасов (ex-Альфа-Банк, ex-Циан) в июле 2020. У нас есть довольные клиенты, выручка и мы удваиваемся по всем ключевым бизнес-метрикам каждый квартал. Сейчас мы ищем Data аналитика в нашу команду. 📌 Стек: Python, SQL, Superset, Clickhouse, Trino, plotly dash. 📌 Какие будут задачи: - Аналитика бизнес-проблем поставщиков маркетплейсов и придумывание решения с использованием данных - Анализ данных (как данные маркетплейсов, так и поведение пользователей у нас на сайте) - Помощь разработчикам в создании (или даже самостоятельная разработка) дашбордов для пользователей - Работа с большими и шумными данными - Построение дашбордов в superset и дописывание etl-задачи на Presto/Athena 📌 Что нужно знать: - SQL - отличное знание - Методы проведения A/B экспериментов - Python - базовый уровень ❗️Обязательный пункт: Первое высшее математическое образование (специалитет/бакалавриат) 📌 Будет плюсом: - Хорошее знание Python и опыт работы с Git - Базовые навыки в машинном обучении 📌 Что предлагаем мы: - 31 день отпуска: у нас официальный ненормированный рабочий день и, если случаются овертаймы, мы их записываем и отгуливаем. Важно помнить, что овертаймы - не систематическая и регулярная история - Работа удаленная (можно работать из любой точки мира и оформиться к нам удобным способом, кстати, заработная плата полностью белая) - Уровень дохода от 300 000 на руки - Гибкий график (важно быть на связи по московскому часовому поясу) - Настоящие возможности роста и развития - Участие в создании большой истории про любовь продавцов к цифрам и анализу данных 💫 Ждем ваше резюме! Контакты: Светлана ТГ: @yuz59 WA: +7 9194822190 email: [email protected] Не забудьте уточнить, что вы из @datasciencejobs

Data Science Jobs

@datasciencejobs · Post #2107 · 22.05.2024 г., 12:32

#vacancy#SQL#Python#ClickHouse#DWH#Lead 🤟 Должность: Data Team Lead Формат работы: удаленный (из любой точки мира) Занятость:#полная, #fulltime Зарплатная вилка: до 500 000 руб. на руки 🧙‍♀️Компания создает высоконагруженное решение на базе Golang с микросервисной архитектурой и множеством интеграций. Команда воплощает в жизнь самые амбициозные проекты, используя передовые методы и инструменты разработки. В компании нет места для бюрократии и лишних апруверов - только крутые специалисты, готовые воплощать свои идеи в жизнь и изменять мир вместе с нами. Присоединяйтесь к компании, чтобы вместе создавать инновационные решения и участвовать в увлекательных проектах! 🤕Что компания гарантирует потенциальному коллеге: — Конкурентоспособный уровень заработной платы; — Комфортное трудоустройство по ИП; — Постоянная индексация дохода; — Удобный гибкий график работы 5/2 с плавающим началом дня; — Специальные бенефиты: компенсация спортивного зала, проведение корпоративных мероприятий для команды, питание в офисе; — Перспективы карьерного роста - обрети новые возможности; — Минимум бюрократии и прозрачное взаимодействие - открытость и понимание для каждого сотрудника; — Тесное общение с профессионалами отрасли - работай с лучшими, достигай больших результатов. ⬆️Чем предстоит заниматься: — Участвовать в проектировании и управлении платформой данных в компании; — Организовывать взаимодействие DWH с источниками данных и поддержкой ETL процессов; — Проектировать оптимальные модели данных для бизнес-требований; — Разрабатывать процедуры формирования детального слоя данных и слоя витрин. 🌟Компания ожидает от кандидата: — Опыт от 3 лет в построении или управлении DWH; — Опыт работы с колоночными базами данных (ClickHouse). — Опыт участия в проектировании/внедрении хранилища данных с применением практик и технологий Data management, DWH/BI, Big Data и Data streaming; — Владение языками программирования (SQL и Python на уровне не ниже Middle); ⭐️Пиши! Я всегда на связи - @recruiter_it_24

Data Science Jobs

@datasciencejobs · Post #2128 · 30.05.2024 г., 09:24

#вакансия#remote#middle#de#da#etl#postgresql#clickhouse#dbt Компания Excdev в поиске Middle Data Engineer/Data Analyst Удаленный график работы из любой точки мира,зарплатная плата 200-250 тысяч рублей на руки. Задачи: - Разработка хранилищ данных, витрин данных; - Проектирование, разработка и поддержка ETL-процессов; - Разработка визуализации данных и отчетности; - Контроль качества загружаемых данных; - Интеграция новых источников; Вы идеальны, если: - Высшее математическое или техническое образование (компьютерные науки, инженерия, статистика, математика или смежные области) - Минимум 3 года опыта работы в управлении данными, инжиниринге данных или анализе данных в сфере веб и/или мобильных продуктов - Практические знания в областях хранения данных, моделирования, управления и визуализации данных, опыт работы со следующими инструментами Airflow, DBT, Clickhouse, Superset, Postgre - Успешный опыт работы с извлечением и обработкой данных из разных источников для коммерческой ценности - Опыт работы(настройка и интеграция) с трекерами типа Google Analytics, Branch, AppMetrica, Adjust, AppsFlyer, Binom (поп-ап реклама) и т.п. Будет огромным плюсом: - Опыт работы со SkadNetwork iOS и понимание принципов работы с агрегированными данными. - Опыт настройки и ведения рекламных кампаний в источниках типа Meta, Google Ads, Tiktok и т.п. - Опыт работы с Tableau, Google Looker или подобных им. Контакт для связи в тг: @valenti_sh

Data Science Jobs

@datasciencejobs · Post #2470 · 06.12.2024 г., 18:32

#вакансия#lead#DataEngineer#DWH#hadoop#spark#airflow#clickhouse#SODA#remote Ищу к себе в команду DWH в AliExpress Lead Data Engineer Стек: Hadoop, Spark, Airflow, ClickHouse, SODA (DQ). Удаленка, возможность оформления вне РФ. Зона ответственности команды DWH - качественные и своевременные данные в удобном для аналитики виде. За платформу данных и подключение источников к озеру данных отвечает отдельная платформенная команда. Объемы данных в компании исчисляются петабайтами. Чем предстоит заниматься: - Оптимизация производительности сложных процессов загрузки данных (Spark); - Развитие используемых в команде практик и подходов (доработки CI/CD, мониторингов, внутренних библиотек) - Разработка NRT пайплайнов (Kafka, Spark Structured Streaming, CH); - Разработка витрин данных (Spark); - Менторинг разработчиков и контроль за соблюдением стандартов. Мы ожидаем от Вас: - Опыт работы со Spark и глубокое понимание его устройства; - Опыт работы с Python или Java от 3-х лет; - Опыт работы c ClickHouse; - Опыт написания дата пайплайнов, опыт работы с Airflow; - Понимание подходов к организации разработки (CI/CD, DevOps). Будет плюсом: - Опыт разработки потоковой обработки данных; - Опыт работы с форматом iceberg; - Опыт управления небольшой командой. По вопросам и с резюме: @shh1_01

Data Science Jobs

@datasciencejobs · Post #2589 · 03.03.2025 г., 12:02

#вакансия#DE#dataengineer#DWH#pandas#clickhouse#SQL#BigQuery#AirFlow#DBT#parttime#fulltime#remote Всем привет! Ищу к себе в команду middle/senior-специалиста по data-инжинирингу. Я аналитик, строю аналитические DWH для бизнеса, внедряю сквозную аналитику и создаю дашборды (подробнее в лс). У меня небольшая команда - один специалист на full-time и несколько на фри-лансе. Объем работы по клиентам растет, поэтому ищу еще одного специалиста на part/full-time (от 20 ч в неделю). Необходимый стек: - минимум Python (ООП, Pandas), AirFlow - желательный Python (ООП, Pandas), SQL (ClickHouse/Google BigQuery), AirFlow, DBT Оплата сдельная - от 80 тыс. руб. Формат работы: удаленно Для связи: @isrustam

Data Science Jobs

@datasciencejobs · Post #2147 · 11.06.2024 г., 07:41

#вакансия#de#fintech#remote Привет! Мы в поиске Data Engineer (middle+) Компания: Vsemirsoft Проект: банковский проект (входит в ТОП-50 банков РФ). Стек проекта: - #Hadoop, #GreenPlum, #S3; - #Airflow, #Spark, #Kafka, #Debezium; - #ClickHouse, #Superset Часовой пояс: Москва (UTC+03:00, Europe/Moscow) Формат работы: удаленный Зп: 285 тыс. руб. 📌Ключевые компетенции: - АБС - ЦФТ - DWH 📌 Требования: - ОПЫТ РАБОТЫ ОТ 3х ЛЕТ; - опыт работы с хранилищами данных и с отчетностью в АБС Банка; - понимание жизненного цикла разработки программного обеспечения 📌 Как преимущество: - понимание процессов формирования обязательной отчетности (ЦБ) 📌 Задачи в рамках проекта: - анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ); - реализация изменений и тестирование на стороне DWH; - взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений; - написание технических задач для развития детального и витринного уровней DWH; - анализ и контроль качества загрузки данных в DWH; - описание логической и физической модели DWH и сопровождение документации в части хранилища данных По всем вопросам обращаться:@odu_v_an

Data Science Jobs

@datasciencejobs · Post #2140 · 04.06.2024 г., 12:04

#вакансия Data analyst / Data scientist, Москва VK Реклама — одно из ключевых подразделений в VK. Ежедневно наши сервисы охватывают более 140 млн пользователей в России и странах СНГ. Более 100 тыс. рекламодателей каждый день запускают рекламные кампании у нас и находят своих клиентов. Мы — команда ML внутри VK Рекламы, отвечаем за её качество, чтобы пользователи могли увидеть наиболее подходящую им рекламу, а рекламодатели потратить свои бюджеты наиболее эффективно. Основная задача нашего направления — проверять гипотезы, искать инсайты и точки роста эффективности и впоследствии внедрять их в прод. У нас идёт полный ML-цикл от проработки гипотезы до проведения экспериментов и внедрения фич в продакшен. Результаты нашей работы напрямую влияют на эффективность такого большого продукта, как VK Реклама. Команда ad hoc аналитики занимается проверкой гипотез и поиском точек роста. Тестирует гипотезы в реальных экспериментах и оценивает изменения. Мы ищем в команду сильных аналитиков, совместными усилиями будем проводить различные аналитические исследования для повышения эффективности нашего продукта. Задачи: • Анализ больших данных для поиска потенциальных точек роста и выдвижения гипотез; • ad hoc аналитика, поиски зависимостей в данных; • проверка гипотез, поиск узких мест, донесение результатов до прода; • оптимизация моделей рекламного аукциона и моделей ранжирования пользователей; • проведение и статоценка экспериментов; • разработка и автоматизация отчётности; • сбор, обработка и дальнейшее использование больших данных. Требования: • Хорошее знание SQL (сложные запросы, порядок выполнения операций) — нужно написать не просто запрос, а оптимальный запрос, который сможет отработать на действительно больших данных; • знание Python для анализа данных; библиотеки Pandas, Numpy — нужно будет сделать анализ данных, проработать гипотезы и правильно их визуализировать. Недостаточно просто найти какой-то паттерн — нужно его правильно представить наружу; • работа с системами больших данных будет большим плюсом (Hadoop, PySpark); • хорошее понимание матстатистики; • анализ данных с учётом сезонности, поиски аномалий и выбросов в данных. Будет плюсом: • Опыт работы с ClickHouse, Hadoop, Git, Jenkins; • работа с инструментами BI-отчётности, понимание ETL-инструментов (делаем автоматические отчёты, готовим для них данные, настраиваем выгрузки и другое). ✍️ Отправить CV и по всем вопросам: https://t.me/olkony #ds#adhoc#analytics#ml#mailru#vk#adtech#sql#python#pandas#numpy#pysprak#hadoop#mathstat#clickhouse#гибрид#remote#middle#senior