TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #335 · 29 мар.

В Linux стандартными средствами можно использовать часть оперативной памяти как диск. Для этого требуется указать тип монтирования tmpfs в команде mount mount -t tmpfs -o size=5G tmpfs /mnt/ram Теперь путь /mnt/ram можно использовать как обычный каталог. Для чего это может быть нужно? ▫️ Скорость работы с таким каталогом выше чем многие SSD и тем более HDD. ▫️ Если у вас очень быстрый SSD на NVMe M.2 то такой способ особо не прибавит вам скорости, но поможет сохранить ресурс SSD когда требуется обрабатывать очень много мелких файлов и оперативка позволяет выделить нужный объем. ▫️ Оперативка это энергозависимая память, поэтому выключении питания все файлы безвозвратно теряются. Такой "non persistent" каталог гарантирует удаление временных файлов. Я написал небольшой скрипт для условного теста и сравнения скорости копирования файлов между SSD и RAM. Вот мои результаты: Single File Size: 30.0Gb ssd > ssd: 0:00:12.850 / 2.3Gb/s sdd > ram: 0:00:06.453 / 4.6Gb/s ram > ram: 0:00:06.995 / 4.3Gb/s ram > sdd: 0:00:06.217 / 4.8Gb/s Dir size: 32.7Gb, File count: 11127 ssd > ssd: 0:00:15.063 / 2.2Gb/s sdd > ram: 0:00:08.486 / 3.9Gb/s ram > ram: 0:00:08.032 / 4.1Gb/s ram > sdd: 0:00:07.026 / 4.7Gb/s Скрипт для теста ↗️ На моём железе прирост скорости ~2x. Плюс экономия ресурса SSD. В Windows такой фишки по умолчанию нет, но обязательно найдутся аналогичные решения #linux#triks

Hashtags

Резултати

Пронајдени 2 слични објави

Пребарај: #matching

当前筛选 #matching清除筛选
Data Science Jobs

@datasciencejobs · Post #2751 · 04.06.2025 г., 14:15

#Senior#DataScientist#ML#NLP#LLM#VLM#matching#DS#fulltime#ecommerce Senior Data Scientist (NLP/LLM/VLM) 💼 Ozon Tech 💰 От 455 000 ₽ gross совокупный доход Команда занимается развитием автоматического матчинга — технологии поиска одинаковых товаров как внутри Ozon, так и между Ozon и другими маркетплейсами. В работе — масштабные проекты с использованием LLM, NLP и VLM, направленные на повышение точности и полноты поиска дубликатов и объединения товарных карточек. Основные задачи: — Аналитика текущих проблем матчинга; — Обучение новых NLP-моделей (bi-encoder, late fusion, early fusion); — Адаптация новых LLM/VLM-моделей. Требования: — 4+ лет коммерческого опыта в Data Science; — 2+ года — в задачах NLP; — Опыт обучения и вывода ML-моделей в прод; — Знание современных и классических NLP-подходов; — Уверенное владение Python и PySpark (bigdata датасеты собираем на Hadoop-кластере); — Знание алгоритмов и структур данных; — Проактивность, ответственность, нацеленность на результат. Будет плюсом: — Участие в ML-соревнованиях; — Опыт построения протоколов и пайплайнов разметки данных; — Опыт работы с задачами матчинга / entity resolution. Что предлагаем: — Динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе лучший продукт на рынке e-commerce; — Свобода решений, внимание к качеству инженерии; — Сильную профессиональную команду; — Возможность развиваться вместе с бизнесом; — От 455 000 ₽ gross совокупный доход. 📩Контакт: [email protected] — присылай резюме, обсудим детали.