@airdropgoldchannel · Post #157261 · 24.07.2024 г., 08:21
Today #RockyRabbit#Superset
Hashtags
TGINSIGHT SIMILAR POSTS
Изворен канал @pythonotes · Post #269 · 7 јул.
Возможно, стоит пояснить разницу между синхронизацией из thread/process-safe и синхронизацией с помощью Lock🤔 Наша задача — заставить разные процессы и потоки обращаться к базе данных (или любым другим ресурсам) последовательно. Чтобы не случилось так называемого race condition, то есть состояние гонки. Это когда разные потоки или процессы пытаются одновременно что-то сделать с одним и тем же ресурсом. В этом случае нам нужна какая-то логика ограничения. Пока один процесс не завершил своё действие, другие не могут получить доступ к ресурсу. Так вот, thread-safe и process-safe означает что отдельно взятые операции записи в БД гарантированно будут последовательны. Запросы из разных процессов или потоков выстроятся в очередь и не будут мешать друг другу. Лучше всего когда этот блок реализован на уровне БД в виде атомарных операций или ещё как-то. Но зачем нам тогда еще дополнительный Lock? Этот способ синхронизации используется когда процесс никак не укладывается в одно действие и должен сделать множество операций прежде чем дать доступ следующему. В этом случае процесс ставит некий глобальный Lock на ресурс и никто другой, даже получив законное право на доступ, не может ничего сделать. Все ждут пока этот Lock не будет снят. Это решается на уровне приложения и правильность реализации полностью в вашей ответственности. Например, если забыли разблокировать или сделали перекрёстный Lock (Deadlock как на картинке), то всё зависнет в бесконечном ожидании. #basic
Hashtags
Пребарај: #superset
@airdropgoldchannel · Post #157261 · 24.07.2024 г., 08:21
Today #RockyRabbit#Superset
Hashtags
@airdropgoldchannel · Post #157257 · 23.07.2024 г., 11:02
Today #RockyRabbit#Superset
Hashtags
@detective_data · Post #244 · 19.08.2024 г., 10:29
💰Вычисляем "Вес в приросте" в Superset #оченьдлиннопост#sql#superset Сегодня я продолжу знакомить вас с нестандартными задачами, которые появляются в моей работе, и способами их решения, а заодно протестирую инструмент для написания длинных постов Уверен, что статья будет полезна не только пользователям Superset, но и всем аналитикам 🕵♂️, которые используют SQL в своей работе, учёбе. Больше трёх недель на поиск оптимального решения, ошибки, костыли и элегантный финал. Ставьте лайки, пишите комментарии. Буду рад репостам. Надеюсь данный материал будет вам полезен. https://telegra.ph/Vychislyaem-Ves-v-priroste-v-Superset-08-17
Hashtags
@datasciencejobs · Post #2147 · 11.06.2024 г., 07:41
#вакансия#de#fintech#remote Привет! Мы в поиске Data Engineer (middle+) Компания: Vsemirsoft Проект: банковский проект (входит в ТОП-50 банков РФ). Стек проекта: - #Hadoop, #GreenPlum, #S3; - #Airflow, #Spark, #Kafka, #Debezium; - #ClickHouse, #Superset Часовой пояс: Москва (UTC+03:00, Europe/Moscow) Формат работы: удаленный Зп: 285 тыс. руб. 📌Ключевые компетенции: - АБС - ЦФТ - DWH 📌 Требования: - ОПЫТ РАБОТЫ ОТ 3х ЛЕТ; - опыт работы с хранилищами данных и с отчетностью в АБС Банка; - понимание жизненного цикла разработки программного обеспечения 📌 Как преимущество: - понимание процессов формирования обязательной отчетности (ЦБ) 📌 Задачи в рамках проекта: - анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ); - реализация изменений и тестирование на стороне DWH; - взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений; - написание технических задач для развития детального и витринного уровней DWH; - анализ и контроль качества загрузки данных в DWH; - описание логической и физической модели DWH и сопровождение документации в части хранилища данных По всем вопросам обращаться:@odu_v_an