TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #335 · 29 мар.

В Linux стандартными средствами можно использовать часть оперативной памяти как диск. Для этого требуется указать тип монтирования tmpfs в команде mount mount -t tmpfs -o size=5G tmpfs /mnt/ram Теперь путь /mnt/ram можно использовать как обычный каталог. Для чего это может быть нужно? ▫️ Скорость работы с таким каталогом выше чем многие SSD и тем более HDD. ▫️ Если у вас очень быстрый SSD на NVMe M.2 то такой способ особо не прибавит вам скорости, но поможет сохранить ресурс SSD когда требуется обрабатывать очень много мелких файлов и оперативка позволяет выделить нужный объем. ▫️ Оперативка это энергозависимая память, поэтому выключении питания все файлы безвозвратно теряются. Такой "non persistent" каталог гарантирует удаление временных файлов. Я написал небольшой скрипт для условного теста и сравнения скорости копирования файлов между SSD и RAM. Вот мои результаты: Single File Size: 30.0Gb ssd > ssd: 0:00:12.850 / 2.3Gb/s sdd > ram: 0:00:06.453 / 4.6Gb/s ram > ram: 0:00:06.995 / 4.3Gb/s ram > sdd: 0:00:06.217 / 4.8Gb/s Dir size: 32.7Gb, File count: 11127 ssd > ssd: 0:00:15.063 / 2.2Gb/s sdd > ram: 0:00:08.486 / 3.9Gb/s ram > ram: 0:00:08.032 / 4.1Gb/s ram > sdd: 0:00:07.026 / 4.7Gb/s Скрипт для теста ↗️ На моём железе прирост скорости ~2x. Плюс экономия ресурса SSD. В Windows такой фишки по умолчанию нет, но обязательно найдутся аналогичные решения #linux#triks

Hashtags

Резултати

Пронајдени 2 слични објави

Пребарај: #dataanalysts

当前筛选 #dataanalysts清除筛选
KYVE Announcements

@kyveannouncements · Post #288 · 07.04.2023 г., 16:35

Any #dataengineers or #dataanalysts interested in a little weekend project? 🧑‍💻 📄 A new tutorial is live & ready to guide you through setting up an ELT pipeline to fetch trustless data from KYVE & import it into a local Postgres database! Try it out 🔎https://github.com/KYVENetwork/DataPipeline/blob/kyvve-test-pagination/README.md https://twitter.com/KYVENetwork/status/1644321002418057216

Data Science Jobs

@datasciencejobs · Post #1420 · 15.04.2023 г., 07:01

Всем привет! Мы в Okko расширяем департамент анализа данных. Сейчас в команде больше 50 человек, мы продолжаем расти, совершенствуя работу с данными, в т.ч. рекомендательную систему. Поэтому ищем близких по духу людей, вместе с которыми создадим принципиально новый подход к зрительскому опыту. Мы ждем Data Scientists, Data Analysts, Data Engineers, Python Developers и т.д. уровня middle+/senior. Можно выбрать направление – «Платформа экспериментов», «Рекомендации», «Поиск», «Монетизация», «Growth», «Контент», «Техническая команда». Сделали страничку со всеми подробностями, там же можно откликнуться на понравившуюся вакансию: https://analytics.okko.tv/ Ждем твой отклик #data#datascientists#dataanalysts#dataengineers#ds#da#de#ml#recsys#recommendations#search#datadriven#AB#growth#okko