DataSciencePRO

🐼 Pandas тормозит на больших данных? NVIDIA показала, как ускорить его в 40 раз — без переписывания кода. Команда NVIDIA провела эксперимент с 18 миллионами строк данных с фондовых рынков: они выполнили типичный анализ данных с помощью pandas на CPU, а затем тоже самое — на GPU, используя cudf.pandas. Для примеры были взяты: 📉 Скользящие средние (50D и 200D) 📅 Недельная статистика закрытия рынков 🧊 В общей сложности ~18M строк Результат впечатляет : удалось добиться**ускорения обработки данных в 20–40 раз Код скрипта не менялся вообще — тот же pandas, но на GPU. Это один из примеров, где ускорение достигается без переписывания логики кода. 🟡 Потестить самому можно в Colab 🟡 Другие примеры с кодом — здесь @ai_machinelearning_big_data #datasckience#ml#nvidia#gpu#pandas#python

Книга Kaggle Автор: Конрад Банахевич Год издания: 2024 #ml#ru Скачать книгу

Раскол OpenDataScience и Singularis как победивший форк #ml#community#career OpenDataScience – моя основная соцсеть с 2016 года, это просто кладезь умных и амбициозных людей, с кем можно и карьерку обсудить и вопрос по ML задать, так что по опыту реального проекта ответят, и для пет-проджекта или соревнования найти коллег. На моей совести приглашения порядка 30 тыс. членов сообщества, так как для многих сообщество ассоциировалось с курсом по машинному обучению http://mlcourse.ai, который я активно тащил в 2017-2019. Тем обиднее видеть раскол, который начался в феврале 2022, сначала по понятным причинам выделился Ukrainian Data Science, затем пошли санкции, не самый удачный переезд в Matrix, провал запуска открытого ML курса под руководством другого человека и, наконец, сейчас понятно, что Slack ODS прикроется, скорее всего 21 марта. Думаю, какие-то новости появиться 12 марта, в 8-ой день рождения ODS, но посмотрим. Возможно, вы видели печальный новости про сотрудничество нашего экс-кумира К.В. Воронцова, а также основателя сообщества ODS Алексея Натекина с РКН. Все это очень печально, но я готов подождать публичного ответа Лёши (с первого раза объясниться не удалось, были только мемы про “научный туризм” и прочее), но уже понятно, что сообщество раскололось, и прежнего ODS не будет. Поэтому в этом посте я хочу поблагодарить Алексея за все что было, а также пригласить вас в форк сообщества Singularis. OpenDataScience – это явление, сообщество было источником уникальных знаний, крутых историй, социального капитала, да и просто местом, где можно было беззаботно побыть собой, покекать вечером после целого дня корпоративного притворства. За все это надо сказать огромное спасибо Алексею Натёкину – без его драйва, безумия в хорошем смысле, самоотдачи такого сообщества не было бы. Не стоит недооценивать усилия, вложенные в организацию Data Fest, ёлок, митапов, да даже такие мелочи как мёрч – все это было возможным прежде сего благодаря Натекину. Роль Лёши в развитии русскоязычного Data Science сообщества просто колоссальна. Безусловно, раскол случился из-за войны, развязанной РФ в Украине. К сожалению, стол был очень длинным, и даже админы не понимали, что на уме у Натекина, в итоге админы собрались и организовали новое сообщество – Singularis. Это неофициальный форк ODS, в котором уже 2к+ участников, много олдов, публичный список админов (среди них – небезызвестные Вадим Семенов (ex-omnislash), Валерий Бабушкин @cryptovalerii Арсений Кравченко @partially_unsupervised, Селим Сефербеков, Семён Козлов (sim0nsays), Саша Демидко (xdralex) и еще 7 благородных донов; я не админ, уже давно наадминился, еще с млкурсом) и ясно объявленные ценности сообщества. Ах да, также нет крыс-админов, подтирающих неугодные сообщения без объяснения причин, простите. На мой взгляд, Singularis победил в гонке форков ODS. Телеграм и matrix проиграли слэку по UX (в телеге есть @cleandatascience и @betterdatacommunity), а реально соперничать со слэком по UX может только Discord, но админ крупного русскоязычного дискорд-сообщества Data Breakfast https://discord.gg/data-breakfast-748059315239256156, сильно промахнулся, пытаясь банить людей за ссылки на ODS и Singularis. Как видите, я и на них оставляю ссылку, очевидцы говорят, в сообществе много всего полезного (встречи, посвященные литкоду, статьям, кэгглу и т.д.). Сложно сказать, что теперь ODS. Это matrix и датафесты? Просто критическая масса крутых квалифицированных спецов? Не знаю, но знаю, что Singularis - это то, что мне заменит слэк ODS. Посмотрим, что будет с Matrix (для полноты картины оставлю ссылку и на матрикс https://ods.ai/tracks/odsmatrix101), дождемся официальных объявлений Натекина, но тем не менее, приглашаю всех в Singularis. Ссылка на вступление в слэк-сообщество Singularis (действительна 30 дней и работает макс. для 400 чел. Если истечет, заменим ссылку). Из РФ надо заходить под VPN, надеюсь, за год это все уже освоили. https://join.slack.com/t/singularis-ai/shared_invite/zt-1qkaio30y-klRW7kY9oGH6JTQBHgAMGg Можете делиться этим сообщением, приглашать друзей.

#книги#DS#ML#DL#Python#OREILLY https://mega.nz/folder/3A421KgL#i728bs_kLYnC-_jP7nPg8w

Машинное обучение и безопасность. Защита систем с помощью данных и алгоритмов Авторы: Кларенс Чио, Дэвид Фримэн Год: 2020 #books#ml#русский

Изучаем pandas + исходный код примеров Библиотека pandas – популярный пакет для анализа и обработки данных на языке Python. Он предлагает эффективные, быстрые, высокопроизводительные структуры данных, которые позволяют существенно упростить работу. Данная книга познакомит вас с обширным набором инструментов, предлагаемых библиотекой pandas, – начиная с обзора загрузки данных с удаленных источников, выполнения численного и статистического анализа, индексации, агрегации и заканчивая визуализацией данных и анализом финансовой информации. Автор: Майкл Хейдт Год: 2018 #books#ml#python#русский

💾 Практический анализ временных рядов. Прогнозирование со статистикой и машинное обучение Автор: Эйлин Нильсен Год: 2021 #books#ml#python#русский

#книга#ML#DS

​​🤖 Numpy, Pandas, matplotlib – необходимый минимум для старта в Machine Learning В одном обзоре мы рассмотрим базовый программный минимум для старта в Machine Learning. Для этого понадобятся: Python 3.8+, Jupyter Notebook, numpy, pandas и matplotlib. Статья #start#ml#pandas#numpy#matplotlib

​Машинное обучение для начинающих: алгоритм случайного леса Алгоритм случайного леса один из самых простых способов познакомиться с машинным обучением — он не требует сложной теории и является достаточно гибким. В этой статье вы изучите, как работает этот алгоритм, где используется и увидите, как он реализуется в Python: https://tprg.ru/AGYh #ml

#книги#ML

#книги#ML