TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #269 · 7 јул.

­Возможно, стоит пояснить разницу между синхронизацией из thread/process-safe и синхронизацией с помощью Lock🤔 Наша задача — заставить разные процессы и потоки обращаться к базе данных (или любым другим ресурсам) последовательно. Чтобы не случилось так называемого race condition, то есть состояние гонки. Это когда разные потоки или процессы пытаются одновременно что-то сделать с одним и тем же ресурсом. В этом случае нам нужна какая-то логика ограничения. Пока один процесс не завершил своё действие, другие не могут получить доступ к ресурсу. Так вот, thread-safe и process-safe означает что отдельно взятые операции записи в БД гарантированно будут последовательны. Запросы из разных процессов или потоков выстроятся в очередь и не будут мешать друг другу. Лучше всего когда этот блок реализован на уровне БД в виде атомарных операций или ещё как-то. Но зачем нам тогда еще дополнительный Lock? Этот способ синхронизации используется когда процесс никак не укладывается в одно действие и должен сделать множество операций прежде чем дать доступ следующему. В этом случае процесс ставит некий глобальный Lock на ресурс и никто другой, даже получив законное право на доступ, не может ничего сделать. Все ждут пока этот Lock не будет снят. Это решается на уровне приложения и правильность реализации полностью в вашей ответственности. Например, если забыли разблокировать или сделали перекрёстный Lock (Deadlock как на картинке), то всё зависнет в бесконечном ожидании. #basic

Hashtags

Резултати

Пронајдени 5 слични објави

Пребарај: #scala3

当前筛选 #scala3清除筛选
Data Science Jobs

@datasciencejobs · Post #2847 · 05.08.2025 г., 12:04

#вакансии#dataengineer#Spark#Scala3#Jenkins Ищем Инженера по инфраструктуре на курс по Spark для действующих Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Задача: Собрать Jupyter Notebook с ядром Scala, который может: • запускать код прямо из тетрадки, • обращаться к реальному Hadoop-кластеру (чтение, запись, обработка данных). Курс ведётся в формате: преподаватель идёт по тетрадке, рассказывает теорию и показывает практику на реальных данных в кластере. Формат занятости: проектная работа (один проект) Оплата: 50 000 ₽ Резюме и рекомендации можно кидать сюда: @KaterinkaGl

Data Science Jobs

@datasciencejobs · Post #2991 · 20.10.2025 г., 13:16

#вакансии#dataengineer#Spark#Scala3#Jenkins#Senior Друзья, всем привет! Ищем Преподавателя для уроков и проверки задач на практический курс по разработке на Spark для действующих Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Кого ищем: Преподавателя, которому интересно поучаствовать в качественном образовательном проекте. Что нужно делать: • Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа. • Общаться в чате и отвечать на вопросы слушателей курса. • Проверять домашние задания и давать развернутую обратную связь слушателям. Что мы ждем от кандидата: • От 3 - 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов; • Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn. Что мы предлагаем: • Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования. • За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта. • За проверку ДЗ и итогового проекта – до 60т.р. в зависимости от количества человек в группе. Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: @Kate_HR_IT _____ За успешную рекомендацию по традиции бонус! Суммарно 15т.р.: при прохождении тестового 5 т.р., еще 10 т.р. после 2 месяцев хорошей работы. Если у Вас классный кандидат с большим опытом, то пишите в ЛС, согласуем другой бонус!

Data Science Jobs

@datasciencejobs · Post #2789 · 26.06.2025 г., 16:01

#вакансии#dataengineer#Spark#Scala3#Jenkins#Senior Друзья, всем привет! Ищем Преподавателя уроков и задач на практический курс по разработке на Spark для действующих Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Кого ищем: Преподавателя, которому интересно поучаствовать в качественном образовательном проекте. Что нужно делать: • Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа. • Общаться в чате и отвечать на вопросы слушателей курса. Что мы ждем от кандидата: • более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов; • Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn. Что мы предлагаем: • Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования. • За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта. Если у Вас классный кандидат с большим опытом, то пишите в ЛС, согласуем другой бонус! Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl

Data Science Jobs

@datasciencejobs · Post #2695 · 25.04.2025 г., 07:51

#вакансии#dataengineer#Spark#Scala3#Jenkins#Senior Друзья, всем привет! Ищем авторов уроков и задач на практический курс по разработке на Spark для продвинутых Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Кого ищем: Авторов уроков и задач, которым интересно сделать качественный образовательный продукт, решающий задачи нашей аудитории) Мы ожидаем от вас опыт работы со Spark для решения рабочих задач от 5 лет. Что нужно делать: • Разработка материалов: лекции, семинары, ДЗ, проекты по следующим темам: - Structured Streaming - Чтение потоков данных (Kafka, сокеты), - Реализация операций: трансформация потоков, фильтрация, агрегация и использование оконных функций. - Запись обработанных данных в разные целевые хранилища (файлы, базы данных). - Оптимизации: Checkpoints. Caching. Performance tuning. • Проводить занятия, по выбранным темам. Занятия в формате онлайн вебинаров 2 раза в неделю по 2 часа. Что мы ждем от кандидата: • более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов; • Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn. Будет большим плюсом: Опыт в DevOps (Jenkins) и знание пакета MLib в Spark. Что мы предлагаем: • За разработку комплекта материалов к одной теме: лекция, семинар, тест, ДЗ – 30т.р.-50т.р. • Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования. • За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта. Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl

Data Science Jobs

@datasciencejobs · Post #2541 · 05.02.2025 г., 07:46

#вакансии#dataengineer#Spark#Scala3#Jenkins#Senior Друзья, всем привет! Ищем авторов уроков и задач на практический курс по разработке на Spark для продвинутых Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Кого ищем: Авторов уроков и задач, которым интересно сделать качественный образовательный продукт, решающий задачи нашей аудитории! Мы ожидаем от вас опыт работы со Spark для решения рабочих задач от 5 лет. Кроме того, важна готовность работать в команде, быть на связи и регулярно уделять 10+ часов в неделю. Что нужно делать: • Разработка материалов: лекции, семинары, ДЗ, проекты. • Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа. • Прямо сейчас мы на стадии старта разработки курса, поэтому наиболее актуальна именно разработка материалов. Далее, примерно через 3 месяца уже проведение занятий (и далее продолжаем развивать этот курс). Что мы ждем от кандидата: • более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов; • Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn. Будет большим плюсом: Опыт в DevOps (Jenkins) и знание пакета MLib в Spark. Что мы предлагаем: • За разработку комплекта материалов к одной теме: лекция, семинар, тест, ДЗ – 30т.р.-50т.р. • Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования. • За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта. Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl