TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #396 · 9 окт.

7.09.2025 состоялся релизPithon 3.14! На фоне хайпа про NoGIL всё позабыли про другие фичи. Особенно про Multiple Interpreters, который обещает изоляцию процессов но с эффективностью потоков! На сколько действительно это будет эффективно мы узнаем позже, потому что сейчас это лишь первый релиз с ограничениями и недоработками. Но что там про NoGIL? Теперь этот режим не экспериментальный, а официально поддерживаемый, но опциональный. Чтобы запустить без GIL нужна специальная сборка. И перед стартом нужно объявить переменную PYTHON_GIL=0 Для вас я собрал готовый репозиторий где достаточно запустить скрпит, который всё сделает: ▫️ соберет релизный Python 3.14 в новый Docker-образ ▫️ запустит тесты в контейнере (GIL, NoGIL, MultiInterpreter) ▫️ распечатает результаты Тест очень простой, усложняйте сами) Вот какие результаты у меня: === Running ThreadPoolExecutor GIL ON TOTAL TIME: 45.48 seconds === Running ThreadPoolExecutor GIL OFF TOTAL TIME: 6.14 seconds === Running basic Thread GIL ON TOTAL TIME: 45.54 seconds === Running basic Thread GIL OFF TOTAL TIME: 4.74 seconds === Running with Multi Interpreter TOTAL TIME: 18.30 seconds Если сравнивать GIL и NoGIL, то на мои 32 ядра прирост х7-x10 (почему не х32? 🤷). При этом нам обещают что скорости будут расти с новыми релизами. Режим без GIL похож (визуально) на async, тоже параллельно, тоже не по порядку. Но это не IO! и от того некоторый диссонанс в голове 😵‍💫, нас учили не так! Интересно, что чистый Thread работает быстрей чем ThreadPoolExecutor без GIL. Ну и где-то плачет один адепт мульти-интерпретаторов😭 Теперь нужно искать где они могут пригодиться с такой-то скоростью. Скорее всего своя область применения найдется. Отдельно я затестил память и вот что вышло на 32 потока: ThreadPoolExecutor GIL ON 305.228 MB ThreadPoolExecutor GIL OFF 500.176 MB basic Thread GIL ON 90.668 MB basic Thread GIL OFF 472.444 MB with Multi Interpreter 1267.788 MB Пока не знаю как к этому относиться) В целом - радует направление развития! #release

Hashtags

Резултати

Пронајдени 5 слични објави

Пребарај: #scala3

当前筛选 #scala3清除筛选
Data Science Jobs

@datasciencejobs · Post #2847 · 05.08.2025 г., 12:04

#вакансии#dataengineer#Spark#Scala3#Jenkins Ищем Инженера по инфраструктуре на курс по Spark для действующих Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Задача: Собрать Jupyter Notebook с ядром Scala, который может: • запускать код прямо из тетрадки, • обращаться к реальному Hadoop-кластеру (чтение, запись, обработка данных). Курс ведётся в формате: преподаватель идёт по тетрадке, рассказывает теорию и показывает практику на реальных данных в кластере. Формат занятости: проектная работа (один проект) Оплата: 50 000 ₽ Резюме и рекомендации можно кидать сюда: @KaterinkaGl

Data Science Jobs

@datasciencejobs · Post #2991 · 20.10.2025 г., 13:16

#вакансии#dataengineer#Spark#Scala3#Jenkins#Senior Друзья, всем привет! Ищем Преподавателя для уроков и проверки задач на практический курс по разработке на Spark для действующих Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Кого ищем: Преподавателя, которому интересно поучаствовать в качественном образовательном проекте. Что нужно делать: • Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа. • Общаться в чате и отвечать на вопросы слушателей курса. • Проверять домашние задания и давать развернутую обратную связь слушателям. Что мы ждем от кандидата: • От 3 - 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов; • Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn. Что мы предлагаем: • Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования. • За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта. • За проверку ДЗ и итогового проекта – до 60т.р. в зависимости от количества человек в группе. Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: @Kate_HR_IT _____ За успешную рекомендацию по традиции бонус! Суммарно 15т.р.: при прохождении тестового 5 т.р., еще 10 т.р. после 2 месяцев хорошей работы. Если у Вас классный кандидат с большим опытом, то пишите в ЛС, согласуем другой бонус!

Data Science Jobs

@datasciencejobs · Post #2789 · 26.06.2025 г., 16:01

#вакансии#dataengineer#Spark#Scala3#Jenkins#Senior Друзья, всем привет! Ищем Преподавателя уроков и задач на практический курс по разработке на Spark для действующих Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Кого ищем: Преподавателя, которому интересно поучаствовать в качественном образовательном проекте. Что нужно делать: • Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа. • Общаться в чате и отвечать на вопросы слушателей курса. Что мы ждем от кандидата: • более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов; • Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn. Что мы предлагаем: • Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования. • За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта. Если у Вас классный кандидат с большим опытом, то пишите в ЛС, согласуем другой бонус! Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl

Data Science Jobs

@datasciencejobs · Post #2695 · 25.04.2025 г., 07:51

#вакансии#dataengineer#Spark#Scala3#Jenkins#Senior Друзья, всем привет! Ищем авторов уроков и задач на практический курс по разработке на Spark для продвинутых Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Кого ищем: Авторов уроков и задач, которым интересно сделать качественный образовательный продукт, решающий задачи нашей аудитории) Мы ожидаем от вас опыт работы со Spark для решения рабочих задач от 5 лет. Что нужно делать: • Разработка материалов: лекции, семинары, ДЗ, проекты по следующим темам: - Structured Streaming - Чтение потоков данных (Kafka, сокеты), - Реализация операций: трансформация потоков, фильтрация, агрегация и использование оконных функций. - Запись обработанных данных в разные целевые хранилища (файлы, базы данных). - Оптимизации: Checkpoints. Caching. Performance tuning. • Проводить занятия, по выбранным темам. Занятия в формате онлайн вебинаров 2 раза в неделю по 2 часа. Что мы ждем от кандидата: • более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов; • Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn. Будет большим плюсом: Опыт в DevOps (Jenkins) и знание пакета MLib в Spark. Что мы предлагаем: • За разработку комплекта материалов к одной теме: лекция, семинар, тест, ДЗ – 30т.р.-50т.р. • Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования. • За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта. Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl

Data Science Jobs

@datasciencejobs · Post #2541 · 05.02.2025 г., 07:46

#вакансии#dataengineer#Spark#Scala3#Jenkins#Senior Друзья, всем привет! Ищем авторов уроков и задач на практический курс по разработке на Spark для продвинутых Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Кого ищем: Авторов уроков и задач, которым интересно сделать качественный образовательный продукт, решающий задачи нашей аудитории! Мы ожидаем от вас опыт работы со Spark для решения рабочих задач от 5 лет. Кроме того, важна готовность работать в команде, быть на связи и регулярно уделять 10+ часов в неделю. Что нужно делать: • Разработка материалов: лекции, семинары, ДЗ, проекты. • Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа. • Прямо сейчас мы на стадии старта разработки курса, поэтому наиболее актуальна именно разработка материалов. Далее, примерно через 3 месяца уже проведение занятий (и далее продолжаем развивать этот курс). Что мы ждем от кандидата: • более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов; • Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn. Будет большим плюсом: Опыт в DevOps (Jenkins) и знание пакета MLib в Spark. Что мы предлагаем: • За разработку комплекта материалов к одной теме: лекция, семинар, тест, ДЗ – 30т.р.-50т.р. • Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования. • За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта. Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl