@repo_science · Post #3709 · 13.11.2023 г., 02:37
#ETL#book#Airflow 📓 Data Pipelines with Apache Airflow 🔗Link ----- Main channel: @repo_science Coupons: @freecoupons_reposcience -----
TGINSIGHT SIMILAR POSTS
Изходен канал @clockstackwheels · Post #68 · 3.08
Теперь статья попала в "Лучшие материалы за неделю". Приятно. Очень крутой экспириенс от VC в итоге. Но, как некоторые заметили, у меня довольно кликбейтная тема, не думаю что там зашла бы статья с обзором колонки или личным мнением в сфере урбанистики. Тем временем, продолжаю поиски формата для себя. Отбросил вариант с Instagram Reels — я полистал пару недель и надоело. Очень однообразные вещи там, с одинаковой музыкой, некоторые повторяются. Видно, что алгоритмы работают топорно: 90% контента это просто популярные ролики из небольшого количества заданных категорий, а 10% это попытка вмешать случайные непопулярные ролики из тех же категорий. Качество проваливается мгновенно. Снимают, например, на крутом популярном видео вид на горы: там и цветкор, и чистота картинки, и динамика, и композиция. На непопулярном видео тоже вид на горы: скучный однообразный с телефона, без смены ракурса, без синхронизации с музыкой итд. Всё-таки не просто так популярные вещи таковыми становятся. Ну и вертикальность, опять же. Многие стали считать, что это якобы удобно, и тут я бы сказал про конспирологическое смещение "Окна Овертона", но на самом деле Стокгольмский Синдром, конечно же. У нас нет выбора в современном интернете, и мы пытаемся убеждать себя, что вертикальное видео это нормально, раз его записывают и смотрят на телефоне. Пожалуй, всерьёз я не попробовал только подкасты и дорогие ютубные видео. Я уверен, что последние оправдают мои ожидания: и система рекомендаций и качество контента на ютубе пока что выше, чем на всех остальных UGC-порталах. Ладно, на VC и Хабре ещё выше, но уж очень узкоспециализировано. Текстовые же порталы широкого профиля или помойка (Дзен) или мертвы и заброшены своими владельцами (ЖЖ, Teletype). Но у меня совершенно нет времени на такой продакшен, которого требует ютуб. Ни по вечерам, ни по выходным, ни в отпуске. Я смогу выпускать 1 видео в полгода, в таком ритме каналы не выживают. С подкастами другое дело — помимо понятной проблемы (невозможно рассказывать ни о чём, что требует визуала) — даже если у меня получится говорить интересно и записывать это качественно, никакой единой экосистемы для них так и не появилось. Кто-то слушает в Apple, кто-то в Яндекс.Музыке, кто-то даже ВКонтакте. Учитывая, что мне, как автору, интереснее всего обратная связь — собирать её с 10 площадок будет крайне муторно. Но одно ясно — Телеграм идёт сильно ниже ожиданий, так что этот канал рано или поздно будет закрыт, простите. Наверное, глупо было игнорировать тот факт, что я сам не читаю другие каналы, а значит мне или неудобно, или скучно, или и то и другое. #web
Hashtags
Търсене: #airflow
@repo_science · Post #3709 · 13.11.2023 г., 02:37
#ETL#book#Airflow 📓 Data Pipelines with Apache Airflow 🔗Link ----- Main channel: @repo_science Coupons: @freecoupons_reposcience -----
@ckbga · Post #209 · 03.09.2025 г., 14:41
🦷Как ухаживать за зубами: советы врача ЦКБ ГА Врач-стоматолог ЦКБ ГА Мударисова Айнара Владимировна — о базовых правилах домашней и профессиональной гигиены. 🏠Домашняя гигиена 🦷 Чистим зубы 2× в день по 3 мин: утром после еды, вечером — перед сном. 🧵 Межзубная чистка — зубная нить (по необходимости ёршики). 👅 Очищаем язык щёткой или скребком. 🔁 Меняем щётку каждые 2–3 мес. 🧴 Дополняем уход: ополаскиватель, ирригатор, ёршики. ⚡️ Электрические щётки часто эффективнее обычных. 🛡 Паста с фтором — укрепляет эмаль. 🍭➖ Меньше сахара и кислого, больше кальция и фосфора. 💧 Пьём больше воды — естественная очистка полости рта. 📅 Даже при хорошем уходе — профчистка 2× в год обязательна. 🧑⚕️Профессиональная гигиена 📆 Каждые 6 месяцев (по показаниям — чаще). 🛡 Безопасно для эмали и дёсен при работе специалиста. 😌 При чувствительности возможно обезболивание. ✨ Ультразвук и Air-Flow удаляют камень и пигментированный налёт, в т.ч. под десной. 🦷 Полировка эмали — поверхность гладкая, налёт скапливается медленнее. 🌟 Результат: здоровая, гладкая и чуть светлее эмаль. 🔎 Регулярные осмотры помогают вовремя выявить кариес и воспаление. #стоматология#гигиенаполостиРта#профессиональнаячистка#ультразвук#AirFlow#советыврача#ЦКБГА#МударисоваАйнараВладимировна
@datasciencejobs · Post #1269 · 05.01.2023 г., 06:31
#работа#вакансия#job#vacancy#fulltime#удаленка#офис#remote#SQL#DE#Python#PySpark#Airflow#Data Data engineer в Aston на проект платформы, которая распределяет работу между сотнями исполнителей. Требования: -Опыт работы в роли Data Engineer от 2\3-х лет; -Хорошее знание Python и SQL -Практический опыт решения алгоритмических задач Будет плюсом: -Знание PySpark -Опыт работы с Databricks из Airflow -Опыт работы с Airflow -Знание Bash, Docker -Высшее математическое или физико-математическое образование Условия: - работа удаленно или в офисе, фултайм - система менторства и адаптации (куратор, четкий план роста, своя школа архитекторов, а также корпоративный обучающий портал для любого стека вашей специализации) - возможность выбора/смены проекта - медицинское страхование (+стоматология) - возможность доп заработка через участие в активностях компании - компенсация спорта и англ языка - помощь в отсрочке (входим в РФ реестр ИТ-компаний) - ЗП на руки 150-240к ₽ и более Контакт для связи Ян @job_accelerator
@datasciencejobs · Post #2470 · 06.12.2024 г., 18:32
#вакансия#lead#DataEngineer#DWH#hadoop#spark#airflow#clickhouse#SODA#remote Ищу к себе в команду DWH в AliExpress Lead Data Engineer Стек: Hadoop, Spark, Airflow, ClickHouse, SODA (DQ). Удаленка, возможность оформления вне РФ. Зона ответственности команды DWH - качественные и своевременные данные в удобном для аналитики виде. За платформу данных и подключение источников к озеру данных отвечает отдельная платформенная команда. Объемы данных в компании исчисляются петабайтами. Чем предстоит заниматься: - Оптимизация производительности сложных процессов загрузки данных (Spark); - Развитие используемых в команде практик и подходов (доработки CI/CD, мониторингов, внутренних библиотек) - Разработка NRT пайплайнов (Kafka, Spark Structured Streaming, CH); - Разработка витрин данных (Spark); - Менторинг разработчиков и контроль за соблюдением стандартов. Мы ожидаем от Вас: - Опыт работы со Spark и глубокое понимание его устройства; - Опыт работы с Python или Java от 3-х лет; - Опыт работы c ClickHouse; - Опыт написания дата пайплайнов, опыт работы с Airflow; - Понимание подходов к организации разработки (CI/CD, DevOps). Будет плюсом: - Опыт разработки потоковой обработки данных; - Опыт работы с форматом iceberg; - Опыт управления небольшой командой. По вопросам и с резюме: @shh1_01
@datasciencejobs · Post #2310 · 11.09.2024 г., 13:04
#DataEngineer#ContractPosition#Remote#GCP#Snowflake#dbt#Fintech#API#Airflow#GitHub Разыскивается Data Engineer на работу по контракту с крупной американской венчурной компанией. Контракт на 6 месяцев с возможностью перезаключения договора. Предпочтительна возможность работать в их часовых поясах, минимальное время пересечения – 4 часа. Стек технологий: GCP, Snowflake, dbt, Airflow, GitHub, API/SFTP, Python, SQL. Английский B2 и выше – условие обязательное. Опыт работы в финтех/банковском секторе - условие обязательное. Работать за пределами России и Беларуси - условие обязательное. Зарплата: $5000 – 7000 NET. Для самых внимательных, кто действительно читает описание вакансии: • Пожалуйста, откликайтесь только в том случае, если у вас есть необходимый опыт по всему стеку (GCP, Snowflake, dbt, Airflow, GitHub, Python and SQL, API/SFTP), а также опыт работы в финтех/банковском секторе. • Присылайте резюме в формате Word. Спасибо! Для связи: https://t.me/Tary_bird ____________________________________ Description of the Data Engineer contract position: Location: Preferably Pacific Time Zone, with at least 4 hours overlap with working hours. Company: A large venture company with assets of over $11 billion and employees in Austin, London, Menlo Park, and San Francisco. What to expect: Your role as a data engineer involves reporting to the head of the data and analytics department and participating in the creation of the entire structure and infrastructure necessary to support operations in the fintech/banking sector. Responsibilities: • Developing, creating, and maintaining data infrastructure for optimal extraction, transformation, and loading of data from various sources using SQL, and big data technologies. • Creating and implementing data collection systems that integrate various sources, including company proprietary data and external sources. • Automating the process of collecting and visualizing user engagement data. • Developing and supporting data processes on the Google Cloud platform and in the Snowflake system for efficient data processing. • Extracting data via API/SFTP and ensuring its correctness and relevance. What we are looking for: Qualifications: • Fintech/Bank working experience (must have). • Minimum 6 years of professional experience as a data engineer/data analyst in the fintech/banking sector. • Deep knowledge of GCP, Snowflake, dbt, Airflow, and GitHub. • Strong proficiency in Python and SQL. • Experience in data intake via API/SFTP. • Attention to detail and strong communication skills, both orally and in writing. Nice to have: • Bachelor's or master's degree in computer science, database management, etc. Please send the completed application form together with your CV. • How many years of experience do you have with Google Cloud Platform (GCP)? • How many years of experience do you have with Snowflake? • How many years of experience do you have with dbt? • How many years of experience do you have with Airflow? • How many years of experience do you have with GitHub? • Do you have experience working with data intake through API/SFTP? If yes, please describe. • How many years of experience do you have with Python? • How many years of experience do you have with SQL? • What salary USD is expected?
@datasciencejobs · Post #2589 · 03.03.2025 г., 12:02
#вакансия#DE#dataengineer#DWH#pandas#clickhouse#SQL#BigQuery#AirFlow#DBT#parttime#fulltime#remote Всем привет! Ищу к себе в команду middle/senior-специалиста по data-инжинирингу. Я аналитик, строю аналитические DWH для бизнеса, внедряю сквозную аналитику и создаю дашборды (подробнее в лс). У меня небольшая команда - один специалист на full-time и несколько на фри-лансе. Объем работы по клиентам растет, поэтому ищу еще одного специалиста на part/full-time (от 20 ч в неделю). Необходимый стек: - минимум Python (ООП, Pandas), AirFlow - желательный Python (ООП, Pandas), SQL (ClickHouse/Google BigQuery), AirFlow, DBT Оплата сдельная - от 80 тыс. руб. Формат работы: удаленно Для связи: @isrustam
@datasciencejobs · Post #2147 · 11.06.2024 г., 07:41
#вакансия#de#fintech#remote Привет! Мы в поиске Data Engineer (middle+) Компания: Vsemirsoft Проект: банковский проект (входит в ТОП-50 банков РФ). Стек проекта: - #Hadoop, #GreenPlum, #S3; - #Airflow, #Spark, #Kafka, #Debezium; - #ClickHouse, #Superset Часовой пояс: Москва (UTC+03:00, Europe/Moscow) Формат работы: удаленный Зп: 285 тыс. руб. 📌Ключевые компетенции: - АБС - ЦФТ - DWH 📌 Требования: - ОПЫТ РАБОТЫ ОТ 3х ЛЕТ; - опыт работы с хранилищами данных и с отчетностью в АБС Банка; - понимание жизненного цикла разработки программного обеспечения 📌 Как преимущество: - понимание процессов формирования обязательной отчетности (ЦБ) 📌 Задачи в рамках проекта: - анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ); - реализация изменений и тестирование на стороне DWH; - взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений; - написание технических задач для развития детального и витринного уровней DWH; - анализ и контроль качества загрузки данных в DWH; - описание логической и физической модели DWH и сопровождение документации в части хранилища данных По всем вопросам обращаться:@odu_v_an
@datasciencejobs · Post #2226 · 22.07.2024 г., 18:04
#вакансия#ds Мы в Циан 🏘 ищем сильного Senior Data Scientist-а в команду CRM. Локация - Полная удаленка внутри РФ. Если есть желание ходить в офис, у нас есть замечательные современные офисы в Москве, Питере и Новосибе. Вилка - от 350 до 500 гросс, готовы обсуждать О нас В Циан большая команда ML. В команде настроены процессы перфоманс ревью, регулярного обмена опытом, выделяем время на исследовательскую работу! Команда CRM занимается прямыми коммуникациями с клиентами (пуши, емейлы, смски и тд) Наш стек ● Python (Numpy, SciPy, Pandas, sklearn, PyTorch); ● Экосистема Hadoop (PySpark, Hive, Kafka); ● Airflow; Задачи: ● Повышение эффективности пуш-уведомлений, емейлов и других каналов прямых коммуникаций с клиентами; ● Оптимизация коммуникационной нагрузки, выбор оптимального канала коммуникации, выбор оптимального времени отправки; Требования к кандидату ● Опыт: Не менее 3х лет релевантного опыта на позиции DS в продуктовой компании ● Python: пишет легко читаемый и поддерживаемый код ● SQL (оконные функции, оптимизация запросов) ● Apache стек: HDFS/Kafka/Spark (DF API) ● Классический ML: бустинги, линейные модели. ● Базовые знания в NLP и CV: трансформеры, TF-IDF ● DL: PyTorch. Плюшки: ДМС с первого дня (стоматология, госпитализация, полис ВЗР), Кафетерий льгот Benefactory, 5 day off в год, помимо основного отпуска. Пишите в ЛС рекрутеру / мне (@DANAlina95 / @kgavrilchik) или скидывайте свои резюме на [email protected] #Python#Numpy#SciPy#Pandas#sklearn#PyTorch#Hadoop#PySpark#Hive#Kafka#Airflow