DataSciencePRO

🐼Pandas умирает медленной и мучительной смертью. Это самая популярная в мире библиотека обработки данных, но она медленная, и многие библиотеки значительно превзошли ее. Проблема альтернатив Pandas в том, что никто не хочет изучать новый API. Давайте посмотрим правде в глаза: люди не будут переносить свои проекты, га другие фреймворки, без особой причины. Я уже давно работаю с FireDucks🦆 Эта библиотека в разы быстрее Pandas, и вам не придется менять код старых проектов для перехода на нее. Вы можете изменить *одну* строку кода и весь остальной код будет работать на FireDucks : import fireducks.pandas as pd Вы также можете запустить свой код *не* изменяя ни одной строки, используя хук: python $ python -mfireducks.imhook yourfile[.]py FireDucks — это многопоточная библиотека с ускорением компилятора и полностью совместимым с pandasAPI. Она быстрее, чем Polars. Ниже приведена ссылка на некоторые бенчмарки, сравнивающие Pandas, Polars и FireDucks. FireDucks побеждает с отрывом. ⛓️Здесь находится репозиторий FireDucks на GitHub: https://github.com/fireducks-dev/fireducks ⛓️Если вы хотите пощупать либу, откройте этот пример: https://github.com/fireducks-dev/fireducks/tree/main/notebooks/nyc_demo ⛓️Если вы хотите сравнить FireDucks с Polars и Pandas, вот еще один блокнот: https://github.com/fireducks-dev/fireducks/blob/main/notebooks/FireDucks_vs_Pandas_vs_Polars.ipynb ⛓️И наконец, бенчмарки, с которыми стоит ознакомиться: https://fireducks-dev.github.io/docs/benchmarks/ ⭐️Подписаться: @data_analysis_ml #fireducks#Pandas#dataanalysis#datascience#python#opensource

PandasGUI — графический интерфейс для работы с DataFrame PandasGUI — это удобный инструмент, который предоставляет графический интерфейс для работы с Pandas DataFrame. Он позволяет визуализировать, фильтровать и редактировать данные прямо в интерактивном окне, что делает анализ данных более интуитивным и быстрым. Python Education | #Python

🐼Сложная агрегация в Pandas с MultiIndex В новой статье на «Хабре» объясняется, как ▫️создать мультииндекс и управлять его уровнями; ▫️проводить агрегацию данных с его помощью; ▫️работать со срезами данных по уровням. 🔗Читать статью

🐼Сложная агрегация в Pandas с MultiIndex В новой статье на «Хабре» объясняется, как ▫️создать мультииндекс и управлять его уровнями; ▫️проводить агрегацию данных с его помощью; ▫️работать со срезами данных по уровням. 🔗Читать статью

Коллеги, вижу что пришло много новых людейтю. Наберём нового и полезного материала) будет интересно, не переключайтесь

Google починил SQL Как думаете, что делает запрос ниже? FROM customer |> LEFT OUTER JOIN orders ON c_custkey = o_custkey AND o_comment NOT LIKE '%unusual%packages%' |> AGGREGATE COUNT(o_orderkey) c_count GROUP BY c_custkey |> AGGREGATE COUNT(*) AS custdist GROUP BY c_count |> ORDER BY custdist DESC, c_count DESC; А делает он то же, что вот этот: SELECT c_count, COUNT(*) AS custdist FROM ( SELECT c_custkey, COUNT(o_orderkey) c_count FROM customer LEFT OUTER JOIN orders ON c_custkey = o_custkey AND o_comment NOT LIKE '%unusual%packages%' GROUP BY c_custkey ) AS c_orders GROUP BY c_count ORDER BY custdist DESC, c_count DESC; Главное отличие в том, что первая версия кода — это новый более лучший улучшенный SQL от Google. 👀 А что не так со старым? У SQL много плюсов, но давайте честно — это не самый простой язык. Иногда даже опытным экспертам бывает сложно разобраться, как написать или прочитать особенно хитрый запрос. Но и отказываться от него не хочется: во-первых, мы все-таки его любим, а во-вторых, достойной альтернативы ему просто нет. Поэтому ребята из Google предложили решение — конвейерный синтаксис, который вы и видите выше. Что такое GoogleSQL? GoogleSQL — это диалект SQL, разработанный в Google. К нему прикрутили поддержку «конвейерных» запросов (но обычные и смешанные тоже допускаются). Они отмечаются значком |> и в основном выполняют те же функции, что их «тезки» в стандартном SQL. Хотя есть и несколько экспериментальных, у которых нет аналогов. 🔜 Подробнее можно почитать в публикации от команды Google. Самое интересное начинается с 4 страницы — там про операторы, синтаксис и логику работы. Если совсем кратко (чтобы влезло в пост в Tg), то главный плюс подхода, предложенного Google, — запросы намного проще писать, читать, редактировать, дебажить, добавлять новые операторы и так далее. Вот такой апдейт для старого доброго SQL. Что скажете? ❤️ — так действительно удобнее 🌚 — это уже не SQL

🖥Fireducks: Ускорь Pandas в 20 раз, изменив всего одну строчку кода! https://www.youtube.com/watch?v=3mcs_MDiLwY @data_analysis_ml

PyGWalker PyGWalker — это инструмент для удобного анализа данных и визуализации в Jupyter Notebook, который превращает dataframe в интерактивный интерфейс. Пользователи могут осуществлять визуализацию, очистку и аннотирование данных с помощью перетаскивания и естественных языковых запросов. Он интегрируется с Graphic Walker и доступен на таких платформах, как Google Colab и Kaggle Code. https://github.com/Kanaries/pygwalker ================ 👁@open_source_friend

DataSciencePRO pinned «Коллеги, доброго дня) 3 года я веду этот канал и делюсь с вами интересными материалами с статьями. Пишу с чем сталкиваюсь в обучении, а теперь уже и по работе. Хотел бы посоветовать изучить материалы, которые мне помогли максимально быстро поднять уровень…»

Коллеги, доброго дня) 3 года я веду этот канал и делюсь с вами интересными материалами с статьями. Пишу с чем сталкиваюсь в обучении, а теперь уже и по работе. Хотел бы посоветовать изучить материалы, которые мне помогли максимально быстро поднять уровень скиллов. Особенно в прогнозирования временных рядов и прочих интересных темах (например TimeGPT и тд) очень много интересных книг, думаю ни один DS или DA не может пройти мимо. https://t.me/Gewissta канал блог Артёма Груздева

Продвинутая шпаргалка по SQL На GitHub слили самую полную шпаргалку по SQL. Здесь собрано буквально все, с чем можно работать на этом языке программирования. Она отлично подойдет даже для самых новичков. Сохраняйте себе и пересылайте изучающим SQL. 2️⃣TechnoHub Media