DataSciencePRO

🐼 Pandas тормозит на больших данных? NVIDIA показала, как ускорить его в 40 раз — без переписывания кода. Команда NVIDIA провела эксперимент с 18 миллионами строк данных с фондовых рынков: они выполнили типичный анализ данных с помощью pandas на CPU, а затем тоже самое — на GPU, используя cudf.pandas. Для примеры были взяты: 📉 Скользящие средние (50D и 200D) 📅 Недельная статистика закрытия рынков 🧊 В общей сложности ~18M строк Результат впечатляет : удалось добиться**ускорения обработки данных в 20–40 раз Код скрипта не менялся вообще — тот же pandas, но на GPU. Это один из примеров, где ускорение достигается без переписывания логики кода. 🟡 Потестить самому можно в Colab 🟡 Другие примеры с кодом — здесь @ai_machinelearning_big_data #datasckience#ml#nvidia#gpu#pandas#python

✔️ СuML от NVIDIA: Scikit-learn на скорости GPU – без единой строчки нового кода! Все мы любим scikit-learn за его простоту и мощь. Но что если ваши модели обучаются слишком долго на больших данных? 🤔 NVIDIA предлагает решение! Вы берете свой обычный скрипт cо scikit-learn, добавляете всего две строки в начало, и он начинает работать в 10, 50, а то и 100+ раз быстрее на NVIDIA GPU! 🔥 ✨ Как это работает? Библиотека cuml от NVIDIA содержит супероптимизированные для GPU версии многих алгоритмов машинного обучения. С помощью простого вызова cuml.patch.apply() вы "патчите" установленный у вас scikit-learn прямо в памяти. Теперь, когда вы вызываете, например, KNeighborsClassifier или PCA из sklearn: ▶️Патч проверяет, есть ли у вас GPU NVIDIA. ▶️Проверяет, есть ли в cuml быстрая GPU-версия этого алгоритма. ▶️Если да – запускает ускоренную версию на GPU! 🏎️ ▶️Если нет (нет GPU или алгоритм не поддерживается) – спокойно запускает обычную CPU-версию scikit-learn. Ключевые преимущества: ✔️ Нулевые изменения кода: Ваш scikit-learn код остается прежним. Добавляете только2 строчки: import cuml.patch и cuml.patch.apply(). ✔️ Колоссальное ускорение: Получите прирост производительности на порядки для поддерживаемых алгоритмов (KNN, PCA, линейные модели, Random Forest (инференс), UMAP, DBSCAN, KMeans и др.) за счет мощи GPU. ✔️Автоматическое переключение между GPU и CPU. Ваш скрипт будет работать в любом случае. Топ инструмент для всех, кто работает с scikit-learn на задачах, требующих значительных вычислений, и у кого есть GPU от NVIDIA. 👇 Как использовать: Установите RAPIDS cuml (лучше через conda, см. сайт RAPIDS): python conda install -c rapidsai -c conda-forge -c nvidia cuml rapids-build-backend Добавьте в начало скрипта: import cuml.patch cuml.patch.apply() Используйте scikit-learn как обычно! Попробуйте и почувствуйте разницу! 😉 ▪Блог-пост ▪Colab ▪Github ▪Ускоряем Pandas @ai_machinelearning_big_data #python#datascience#machinelearning#scikitlearn#rapids#cuml#gpu#nvidia#ускорение#машинноеобучение#анализданных