TGTGInsighttelegram intelligenceLIVE / telegram public index
← DataSciencePRO
DataSciencePRO avatar

TGINSIGHT POST

Post #507

@ds1pro

DataSciencePRO

Прегледи705Број на прегледи
Објавено15 дек.15.12.2022 г., 16:35
Содржина

Содржина на објавата

🚀Как ускорить Pandas с библиотекой Pandarallel Каждый Data Scientist знает, что Python-библиотека Pandas работает довольно медленно и не предназначена для больших объемов данных. Тем не менее, каждый Data Scientist ее использует.🤷‍♀️ Чтобы сделать Pandas более быстрой, можно включить в свой проект Pandarallel — простой и эффективный инструмент для распараллеливания операций Pandas на всех доступных процессорах. Pandas использует только одно ядро ЦП, а Pandarallel позволяет воспользоваться преимуществами многоядерного компьютера. Еще Pandarallel предлагает индикаторы выполнения программы, доступные на ноутбуке и терминале, чтобы получить приблизительное представление об оставшемся объеме вычислений, которые необходимо выполнить. Библиотеку можно использовать на любом компьютере под управлением Linux и macOS, а в Windows есть небольшие особенности: из-за многопроцессорной системы функция, которая отправляется в Pandarallel, должна быть автономной и не должна зависеть от внешних ресурсов. https://nalepae.github.io/pandarallel/