TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #335 · 29 мар.

В Linux стандартными средствами можно использовать часть оперативной памяти как диск. Для этого требуется указать тип монтирования tmpfs в команде mount mount -t tmpfs -o size=5G tmpfs /mnt/ram Теперь путь /mnt/ram можно использовать как обычный каталог. Для чего это может быть нужно? ▫️ Скорость работы с таким каталогом выше чем многие SSD и тем более HDD. ▫️ Если у вас очень быстрый SSD на NVMe M.2 то такой способ особо не прибавит вам скорости, но поможет сохранить ресурс SSD когда требуется обрабатывать очень много мелких файлов и оперативка позволяет выделить нужный объем. ▫️ Оперативка это энергозависимая память, поэтому выключении питания все файлы безвозвратно теряются. Такой "non persistent" каталог гарантирует удаление временных файлов. Я написал небольшой скрипт для условного теста и сравнения скорости копирования файлов между SSD и RAM. Вот мои результаты: Single File Size: 30.0Gb ssd > ssd: 0:00:12.850 / 2.3Gb/s sdd > ram: 0:00:06.453 / 4.6Gb/s ram > ram: 0:00:06.995 / 4.3Gb/s ram > sdd: 0:00:06.217 / 4.8Gb/s Dir size: 32.7Gb, File count: 11127 ssd > ssd: 0:00:15.063 / 2.2Gb/s sdd > ram: 0:00:08.486 / 3.9Gb/s ram > ram: 0:00:08.032 / 4.1Gb/s ram > sdd: 0:00:07.026 / 4.7Gb/s Скрипт для теста ↗️ На моём железе прирост скорости ~2x. Плюс экономия ресурса SSD. В Windows такой фишки по умолчанию нет, но обязательно найдутся аналогичные решения #linux#triks

Hashtags

Резултати

Пронајдени 1 слични објави

Пребарај: #tenserflow

当前筛选 #tenserflow清除筛选
Data Science Jobs

@datasciencejobs · Post #1535 · 24.06.2023 г., 06:31

#вакансия#vacancy#ML#pytorch#python#релокация#rибрид#relocate#fulltime#Gym#tenserflow#Грузия#Тбилиси#DS 🚀 Компания: the_covert 🔎 Вакансия: Machine Learning Engineer 🌍 Локация: Тбилиси 🚧 Тип занятости: full-time ⏰ Формат: Remote/офис/гибрид 💵 Зп вилка: 2000- 5000 $ (по итогам собеседования) 🗣Сейчас мы находимся в поиске опытного Machine Learning engineer, чтобы усилить команду машинного обучения. 💫Мы – международная группа IT-компаний. С 2006 года создаём собственные продукты, которые востебованы пользователями во всём мире. Наш продукт – это финтех платформа, предлагающая доступ к многофункциональной экосистеме для работы с финансами. Мы работаем с клиентами по всему миру, а общая аудитория насчитывает более 100 млн пользователей. ❗️Стек: Pytorch+Pytroch-Lighting, Gym, ClearML, ETL Airflow, Docker, Crontab, Jira+Confluence, Slack. 💰Что предлагаем: – ЗП в в долларах без привязки к курсу рубля; – Возможность релокации, помогаем с переездом; – Забота о здоровье сотрудников - медицинская страховка после прохождения ИС; – Компенсация спорта; – Индивидуальный подход к области ответственности и пулу задач. ✅Что предстоит делать: – Работать над организацией бесшовной генерацией конфигов для работы с данными; – Рефакторинг кода; – Автоматизация рутинных процессов; – Проводить эксперименты с моделью; – Организация, настройка и сопровождение процессов ETL\ELT. ⚠️Ожидаем от вас: – Опыт работы с пайплайнами ML/DL; – Опыт программирования на Python 3.7+; – Опыт работы с одной или несколькими средами deep learning, такими как Tensorflow/Keras или PyTorch. ➕Будет плюсом: – Опыт программирования на C++; – Участие в олимпиадах/хакатонах по data science. ✉️Контакты: Даниил, @danpushkin