TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #335 · 29 мар.

В Linux стандартными средствами можно использовать часть оперативной памяти как диск. Для этого требуется указать тип монтирования tmpfs в команде mount mount -t tmpfs -o size=5G tmpfs /mnt/ram Теперь путь /mnt/ram можно использовать как обычный каталог. Для чего это может быть нужно? ▫️ Скорость работы с таким каталогом выше чем многие SSD и тем более HDD. ▫️ Если у вас очень быстрый SSD на NVMe M.2 то такой способ особо не прибавит вам скорости, но поможет сохранить ресурс SSD когда требуется обрабатывать очень много мелких файлов и оперативка позволяет выделить нужный объем. ▫️ Оперативка это энергозависимая память, поэтому выключении питания все файлы безвозвратно теряются. Такой "non persistent" каталог гарантирует удаление временных файлов. Я написал небольшой скрипт для условного теста и сравнения скорости копирования файлов между SSD и RAM. Вот мои результаты: Single File Size: 30.0Gb ssd > ssd: 0:00:12.850 / 2.3Gb/s sdd > ram: 0:00:06.453 / 4.6Gb/s ram > ram: 0:00:06.995 / 4.3Gb/s ram > sdd: 0:00:06.217 / 4.8Gb/s Dir size: 32.7Gb, File count: 11127 ssd > ssd: 0:00:15.063 / 2.2Gb/s sdd > ram: 0:00:08.486 / 3.9Gb/s ram > ram: 0:00:08.032 / 4.1Gb/s ram > sdd: 0:00:07.026 / 4.7Gb/s Скрипт для теста ↗️ На моём железе прирост скорости ~2x. Плюс экономия ресурса SSD. В Windows такой фишки по умолчанию нет, но обязательно найдутся аналогичные решения #linux#triks

Hashtags

Резултати

Пронајдени 1 слични објави

Пребарај: #mlteam

当前筛选 #mlteam清除筛选
Data Science Jobs

@datasciencejobs · Post #1422 · 17.04.2023 г., 06:20

ML engineer Team Lead #vacancy#вакансия#remote#удаленно#MLTeam Lead #NLP#RecSys#fulltime Role: ML Team Lead Company: http://Whisk.com Location: Remote Compensation: from 8k usd monthly About us: Whisk is the thriving cooking community available on iOS/Android, Web and Samsung hardware (Whisk was acquired by Samsung in 2019). Today we reach millions of users across many markets and languages. Our stack: Python, PyTorch, CatBoost, Pytorch Lightning, Transformers, Nvidia Triton, ClickHouse, Mongo, MySQL, Elasticsearch, MLFlow, DVC, KubeFlow, Kubernetes, GCP Required Qualifications: • 6+ years working in a software/machine learning engineering role with NLP and/or RecSys technologies. • Strong machine learning background, and experience in building and productionizing machine learning models. • Experience leading a team of machine learning engineers and managing project roadmap with data, product, and other engineering teams. • A history of mentoring other machine learning engineers, if not being a direct manager and scaling a team successfully. • Strong communication skills and the ability to lead and work with others in a closely collaborative team environment. • Strong leadership, problem-solving, and relationship-building skills. • Working proficiency in English. Type of Work: Contract-based (Long-term project), full-time (40 hours per week), 100% remotely. If you interested in this opportunity you can text me in telegram @polina_whisk. ❗️Please note that currently we only can hire people who located outside of Russia or Belarus.