DataSciencePRO

Exploratory Data Analysis with Python Cookbook Автор: Ayodele Oluleye Год издания: 2023 #python#en Скачать книгу

🐼 Pandas тормозит на больших данных? NVIDIA показала, как ускорить его в 40 раз — без переписывания кода. Команда NVIDIA провела эксперимент с 18 миллионами строк данных с фондовых рынков: они выполнили типичный анализ данных с помощью pandas на CPU, а затем тоже самое — на GPU, используя cudf.pandas. Для примеры были взяты: 📉 Скользящие средние (50D и 200D) 📅 Недельная статистика закрытия рынков 🧊 В общей сложности ~18M строк Результат впечатляет : удалось добиться**ускорения обработки данных в 20–40 раз Код скрипта не менялся вообще — тот же pandas, но на GPU. Это один из примеров, где ускорение достигается без переписывания логики кода. 🟡 Потестить самому можно в Colab 🟡 Другие примеры с кодом — здесь @ai_machinelearning_big_data #datasckience#ml#nvidia#gpu#pandas#python

✔️ СuML от NVIDIA: Scikit-learn на скорости GPU – без единой строчки нового кода! Все мы любим scikit-learn за его простоту и мощь. Но что если ваши модели обучаются слишком долго на больших данных? 🤔 NVIDIA предлагает решение! Вы берете свой обычный скрипт cо scikit-learn, добавляете всего две строки в начало, и он начинает работать в 10, 50, а то и 100+ раз быстрее на NVIDIA GPU! 🔥 ✨ Как это работает? Библиотека cuml от NVIDIA содержит супероптимизированные для GPU версии многих алгоритмов машинного обучения. С помощью простого вызова cuml.patch.apply() вы "патчите" установленный у вас scikit-learn прямо в памяти. Теперь, когда вы вызываете, например, KNeighborsClassifier или PCA из sklearn: ▶️Патч проверяет, есть ли у вас GPU NVIDIA. ▶️Проверяет, есть ли в cuml быстрая GPU-версия этого алгоритма. ▶️Если да – запускает ускоренную версию на GPU! 🏎️ ▶️Если нет (нет GPU или алгоритм не поддерживается) – спокойно запускает обычную CPU-версию scikit-learn. Ключевые преимущества: ✔️ Нулевые изменения кода: Ваш scikit-learn код остается прежним. Добавляете только2 строчки: import cuml.patch и cuml.patch.apply(). ✔️ Колоссальное ускорение: Получите прирост производительности на порядки для поддерживаемых алгоритмов (KNN, PCA, линейные модели, Random Forest (инференс), UMAP, DBSCAN, KMeans и др.) за счет мощи GPU. ✔️Автоматическое переключение между GPU и CPU. Ваш скрипт будет работать в любом случае. Топ инструмент для всех, кто работает с scikit-learn на задачах, требующих значительных вычислений, и у кого есть GPU от NVIDIA. 👇 Как использовать: Установите RAPIDS cuml (лучше через conda, см. сайт RAPIDS): python conda install -c rapidsai -c conda-forge -c nvidia cuml rapids-build-backend Добавьте в начало скрипта: import cuml.patch cuml.patch.apply() Используйте scikit-learn как обычно! Попробуйте и почувствуйте разницу! 😉 ▪Блог-пост ▪Colab ▪Github ▪Ускоряем Pandas @ai_machinelearning_big_data #python#datascience#machinelearning#scikitlearn#rapids#cuml#gpu#nvidia#ускорение#машинноеобучение#анализданных

🐼Pandas умирает медленной и мучительной смертью. Это самая популярная в мире библиотека обработки данных, но она медленная, и многие библиотеки значительно превзошли ее. Проблема альтернатив Pandas в том, что никто не хочет изучать новый API. Давайте посмотрим правде в глаза: люди не будут переносить свои проекты, га другие фреймворки, без особой причины. Я уже давно работаю с FireDucks🦆 Эта библиотека в разы быстрее Pandas, и вам не придется менять код старых проектов для перехода на нее. Вы можете изменить *одну* строку кода и весь остальной код будет работать на FireDucks : import fireducks.pandas as pd Вы также можете запустить свой код *не* изменяя ни одной строки, используя хук: python $ python -mfireducks.imhook yourfile[.]py FireDucks — это многопоточная библиотека с ускорением компилятора и полностью совместимым с pandasAPI. Она быстрее, чем Polars. Ниже приведена ссылка на некоторые бенчмарки, сравнивающие Pandas, Polars и FireDucks. FireDucks побеждает с отрывом. ⛓️Здесь находится репозиторий FireDucks на GitHub: https://github.com/fireducks-dev/fireducks ⛓️Если вы хотите пощупать либу, откройте этот пример: https://github.com/fireducks-dev/fireducks/tree/main/notebooks/nyc_demo ⛓️Если вы хотите сравнить FireDucks с Polars и Pandas, вот еще один блокнот: https://github.com/fireducks-dev/fireducks/blob/main/notebooks/FireDucks_vs_Pandas_vs_Polars.ipynb ⛓️И наконец, бенчмарки, с которыми стоит ознакомиться: https://fireducks-dev.github.io/docs/benchmarks/ ⭐️Подписаться: @data_analysis_ml #fireducks#Pandas#dataanalysis#datascience#python#opensource

PandasGUI — графический интерфейс для работы с DataFrame PandasGUI — это удобный инструмент, который предоставляет графический интерфейс для работы с Pandas DataFrame. Он позволяет визуализировать, фильтровать и редактировать данные прямо в интерактивном окне, что делает анализ данных более интуитивным и быстрым. Python Education | #Python

#вакансия#remote#удаленка#fulltime#backend#python#senior#pyspark Компания: Rubbles Вакансия: Middle / Senior Data Scientist Формат работы: remote из любой точки мира / Офис МСК Занятость: полная Зарплатная вилка: 250 000 - 400 000 rub NET 📌 О компании: Компания Rubbles (SBDA Group) занимается анализом данных и машинным обучением. Решаем много задач из разных индустрий: системы таргетирования персональных коммуникаций в банках, ритейле и телекоме, системы предсказания спроса на товары в ритейле, поисковые системы по товарам в онлайн-магазинах, системы предсказания поломок оборудования для промышленности и многое другое. Сейчас в поиске Дата Сайнтиста на проект для крупного ритейла. 📌 Основные задачи: • Моделирование и обработка данных на Python для извлечения бизнес-ценности из данных; • Обучение ML моделей • Проработка гипотез. При этом учитываем: Гало/Каннибализация, Сезонность продаж, Эластичность по характеристикам; • Деплой моделей в продуктивное окружение и мониторинг качества • Анализ данных, выявление зависимостей и потенциала для развития моделей • Построение воспроизводимых и переиспользуемых решений для работы с данными и моделями; • Работа по улучшению метрик качества. 📌 Основные требования: • Опыт работы на позиции DS от 2-х лет; • Опыт работы с pySpark, SQL, стек Hadoop от 1 года; • Опыт использования ml библиотек на Python (бустинг, нейронные сети); • Опыт автоматизации пайплайнов работы с данными (Airflow); • Большим плюсом будет знание Docker и Kubernetes ; • Опыт работы на позиции, связанной с промышленной разработкой как плюс; • Понимание методов машинного обучения с точки зрения математики и умение адаптировать их под конкретные задачи; • Опыт проработки задачи от бизнес-постановки до математической формулировки и реализации в коде. 📌 Наше предложение: • Возможность работы удаленно, за пределами РФ; • Участие в быстром росте компании, работающей на перспективном AI рынке; • Поддержка кандидата в профессиональном и карьерном росте; • Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами; • ДМС по всей России со стоматологией (РФ). cv можно направить сюда @morevaliddevelopers

PandasAI С появлением ChatGPT многие задачи были автоматизированы в удобных утилитах. Для датасайентистов тоже появился такой лакомый кусочек: PandasAI. Эта библиотека-расширение pandas, в которую добавлена возможность выполнять задачи обработки данных без явного написания кода. Пишешь промпт – и поехали. Можно даже рисовать графики и работать с файлами. 😻#python

#вакансия#remote#удаленка#fulltime#backend#python#senior#spark Компания: Rubbles Вакансия: Senior Data Scientist Формат работы: remote из любой точки мира / Офис МСК Занятость: полная Зарплатная вилка: 250 000 - 400 000 NET 📌 О компании: Компания Rubbles (SBDA Group) занимается анализом данных и машинным обучением. Решаем много задач из разных индустрий: системы таргетирования персональных коммуникаций в банках, ритейле и телекоме, системы предсказания спроса на товары в ритейле, поисковые системы по товарам в онлайн-магазинах, системы предсказания поломок оборудования для промышленности и многое другое. Сейчас в поиске Дата Сайнтиста на проект для крупного ритейла. 📌 Основные задачи: • Моделирование и обработка данных на Python для извлечения бизнес-ценности из данных; • Глубокое обсуждение задач и методов их решения совместно с коллегами и бизнес-заказчиками; • Построение воспроизводимых и переиспользуемых решений для работы с данными и моделями; • Если будет хватать опыта — курирование или руководство командой. 📌 Основные требования: • Опыт автоматизации пайплайнов работы с данными (Airflow и др.) и навыки devops (Docker, Kubernetes и др.). • Опыт работы с Spark, Pyspark, Pandas, SQL, Hive и др.; • Опыт использования ml библиотек на Python (бустинг, нейронные сети и др.) и понимание особенностей реализации различных аспектов алгоритмов в коде; • Опыт работы на позиции, связанной с промышленной разработкой; • Понимание методов машинного обучения с точки зрения математики и умение адаптировать их под конкретные задачи; • Опыт проработки задачи от бизнес-постановки до математической формулировки и реализации в коде; 📌 Наше предложение: • Возможность работы удаленно, за пределами РФ; • Участие в быстром росте компании, работающей на перспективном AI рынке; • Поддержка кандидата в профессиональном и карьерном росте; • Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами; • ДМС по всей России со стоматологией (РФ). cv можно направить сюда @morevaliddevelopers c пометкой "DS"

#вакансия#remote#удаленка#fulltime#backend#python#middle#senior#spark Компания: Rubbles Вакансия: Senior/Middle Data Scientist Формат работы: remote из любой точки мира / Офис МСК Занятость: полная Зарплатная вилка: 250 000 - 400 000 rub 📌 О компании: Компания Rubbles (SBDA Group) занимается анализом данных и машинным обучением. Решаем много задач из разных индустрий: системы таргетирования персональных коммуникаций в банках, ритейле и телекоме, системы предсказания спроса на товары в ритейле, поисковые системы по товарам в онлайн-магазинах, системы предсказания поломок оборудования для промышленности и многое другое. Сейчас в поиске Дата Сайнтиста на проект для крупного ритейла. 📌 Основные задачи: • Моделирование и обработка данных на Python для извлечения бизнес-ценности из данных; • Глубокое обсуждение задач и методов их решения совместно с коллегами и бизнес-заказчиками; • Построение воспроизводимых и переиспользуемых решений для работы с данными и моделями; • Если будет хватать опыта — курирование или руководство командой. 📌 Основные требования: • Опыт автоматизации пайплайнов работы с данными (Airflow и др.) и навыки devops (Docker, Kubernetes и др.). • Опыт работы с Spark, Pyspark, Pandas, SQL, Hive и др.; • Опыт использования ml библиотек на Python (бустинг, нейронные сети и др.) и понимание особенностей реализации различных аспектов алгоритмов в коде; • Опыт работы на позиции, связанной с промышленной разработкой; • Понимание методов машинного обучения с точки зрения математики и умение адаптировать их под конкретные задачи; • Опыт проработки задачи от бизнес-постановки до математической формулировки и реализации в коде; 📌 Наше предложение: • Возможность работы удаленно, за пределами РФ; • Участие в быстром росте компании, работающей на перспективном AI рынке; • Поддержка кандидата в профессиональном и карьерном росте; • Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами; • ДМС по всей России со стоматологией (РФ). cv можно направить сюда @morevaliddevelopers

Hands-On Data Analysis with Pandas Автор: Stefanie Molin Год издания: 2019 Рецензия на книгу: Книга научит вас анализировать данные и извлекать из них ценные сведения, а также познакомит с основами машинного обучения. Плюсы: 1. Читателям предлагается использовать реальные наборы данных 2. Вы научитесь пользоваться библиотками Python для data science, такими как pandas, NumPy, matplotlib, seaborn и scikit-learn. Минусы: не замечено. #data_science#python#pandas#english Скачать книгу

📕 Python. Визуализация данных. Matplotlib. Seaborn. Mayavi Автор: Абдрахманов М. И, 2020 Описание: В этой книге будут рассмотрены вопросы визуализации данных, а именно построение линейных и ступенчатых графиков, диаграмм рассеяния, столбчатых и круговых диаграмм, гистограмм и 3D графиков. Большое внимание уделено настройке внешнего вида графиков, их элементам и компоновке. • Скачать книгу из архива • Стоимость в магазине 📚Книжный клад | #Python

​✏️Визуализация данных с помощью фреймворка Dash Привет, Хабр! Я расскажу о трех опциональных, но довольно полезных инструментах фреймворка dash, которые сделают ваш dashbord показательным и интерактивным. ⤷ Читать статью на сайте #Python