TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #335 · 29 мар.

В Linux стандартными средствами можно использовать часть оперативной памяти как диск. Для этого требуется указать тип монтирования tmpfs в команде mount mount -t tmpfs -o size=5G tmpfs /mnt/ram Теперь путь /mnt/ram можно использовать как обычный каталог. Для чего это может быть нужно? ▫️ Скорость работы с таким каталогом выше чем многие SSD и тем более HDD. ▫️ Если у вас очень быстрый SSD на NVMe M.2 то такой способ особо не прибавит вам скорости, но поможет сохранить ресурс SSD когда требуется обрабатывать очень много мелких файлов и оперативка позволяет выделить нужный объем. ▫️ Оперативка это энергозависимая память, поэтому выключении питания все файлы безвозвратно теряются. Такой "non persistent" каталог гарантирует удаление временных файлов. Я написал небольшой скрипт для условного теста и сравнения скорости копирования файлов между SSD и RAM. Вот мои результаты: Single File Size: 30.0Gb ssd > ssd: 0:00:12.850 / 2.3Gb/s sdd > ram: 0:00:06.453 / 4.6Gb/s ram > ram: 0:00:06.995 / 4.3Gb/s ram > sdd: 0:00:06.217 / 4.8Gb/s Dir size: 32.7Gb, File count: 11127 ssd > ssd: 0:00:15.063 / 2.2Gb/s sdd > ram: 0:00:08.486 / 3.9Gb/s ram > ram: 0:00:08.032 / 4.1Gb/s ram > sdd: 0:00:07.026 / 4.7Gb/s Скрипт для теста ↗️ На моём железе прирост скорости ~2x. Плюс экономия ресурса SSD. В Windows такой фишки по умолчанию нет, но обязательно найдутся аналогичные решения #linux#triks

Hashtags

Резултати

Пронајдени 3 слични објави

Пребарај: #dataengineering

当前筛选 #dataengineering清除筛选
Repositorio data science

@repo_science · Post #3567 · 06.09.2023 г., 19:13

#python#dataEngineering 📃 Amazon Web Services in Action Description Master essential best practices for deploying and managing applications on Amazon Web Services. This revised bestseller is packed with techniques for building highly available and scalable architectures and automating deployment with Infrastructure as Code. ⚖️1.7 GB 🔗Enlace ----- Main channel: @repo_science Coupons: @freecoupons_reposcience -----

Repositorio data science

@repo_science · Post #3495 · 03.08.2023 г., 13:47

#dataEngineering#IBM 🤖 IBM Data Warehouse Engineer Professional Certificate Description This Professional Certificate is intended to help you develop the job-ready skills and portfolio for an entry-level Business Intelligence (BI) or Data Warehousing Engineering position. Throughout the online courses in this program, you will immerse yourself in the in-demand role of a Data Warehouse Engineer and acquire the essential skills you need to work with a range of tools and databases to design, deploy, operationalize and manage Enterprise Data Warehouses (EDW). 🔗ETLanddatapipelinesshellairflowkafka 🔗Gettingstartedwithdatawarehousingandbianalytics 🔗Handsonintroductiontolinuxcommandsandshellscripting 🔗Introductiontodataengineering 🔗Introductiontorelationaldatabases 🔗Relationaldatabaseadministration 🔗SQLdatascience ----- Main channel:@repo_science Coupons: @freecoupons_reposcience -----