TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #335 · 29 мар.

В Linux стандартными средствами можно использовать часть оперативной памяти как диск. Для этого требуется указать тип монтирования tmpfs в команде mount mount -t tmpfs -o size=5G tmpfs /mnt/ram Теперь путь /mnt/ram можно использовать как обычный каталог. Для чего это может быть нужно? ▫️ Скорость работы с таким каталогом выше чем многие SSD и тем более HDD. ▫️ Если у вас очень быстрый SSD на NVMe M.2 то такой способ особо не прибавит вам скорости, но поможет сохранить ресурс SSD когда требуется обрабатывать очень много мелких файлов и оперативка позволяет выделить нужный объем. ▫️ Оперативка это энергозависимая память, поэтому выключении питания все файлы безвозвратно теряются. Такой "non persistent" каталог гарантирует удаление временных файлов. Я написал небольшой скрипт для условного теста и сравнения скорости копирования файлов между SSD и RAM. Вот мои результаты: Single File Size: 30.0Gb ssd > ssd: 0:00:12.850 / 2.3Gb/s sdd > ram: 0:00:06.453 / 4.6Gb/s ram > ram: 0:00:06.995 / 4.3Gb/s ram > sdd: 0:00:06.217 / 4.8Gb/s Dir size: 32.7Gb, File count: 11127 ssd > ssd: 0:00:15.063 / 2.2Gb/s sdd > ram: 0:00:08.486 / 3.9Gb/s ram > ram: 0:00:08.032 / 4.1Gb/s ram > sdd: 0:00:07.026 / 4.7Gb/s Скрипт для теста ↗️ На моём железе прирост скорости ~2x. Плюс экономия ресурса SSD. В Windows такой фишки по умолчанию нет, но обязательно найдутся аналогичные решения #linux#triks

Hashtags

Резултати

Пронајдени 1 слични објави

Пребарај: #groovy

当前筛选 #groovy清除筛选
Data Science Jobs

@datasciencejobs · Post #3205 · 02.04.2026 г., 09:00

#вакансии#работа#Data#Engineer#Инженер#Россия#РФ#Java#Groovy#BigData#Hadoop#ETL#DWH#удаленка#Senior 👾Senior Data инженер cтавка в час: 2000-2700 руб. гросс. Локация: удаленная работа из РФ, РБ. Проект: ритейл Компания: Omega Solutions ☕️Требования - Владение одним из языков программирования (Java, Groovy), знание принципов ООП, умение читать чужой код; - Опыт сборки проекта, компиляции и деплоя в Rancher (Docker); - Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке технологий BigData; - Знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов); - Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.); - Умение работать с Git в консоли; - Знания специфики работы ETL инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.); - Опыт работы с Hadoop; - Понимание устройства HDFS, форматов данных; - Опыт работы с Hive или любым другим хранилищем на основе Hadoop; - Опыт использования систем ведения проектов и документации; - Умение работы с архитектурными схемами; - Понимание принципов построения и хранения данных - DWH и DataLake. Дополнительные требования - Желателен опыт администрирования Unix/Linux или Hadoop (HDFS , Yarn, Ranger , Spark, Zookeeper), Zabbix, Ansible; - Понимание диагностических и трейc‑файлов SAP HANA: структура, назначение, базовая интерпретация событий; - Уверенный Python/Go/Java/C++/Rust для парсинга логов и бинарных форматов, опыт написания утилит для разбора файлов; - Опыт работы с SAP HANA как источником данных: SQL‑диалект HANA, типы данных, форматы экспорта (CSV/бинарный), базовая администрация полезна; -Умение превращать разобранные данные в формат Iceberg/Paimon (таблицы, события, JSON) и выгружать в Apache Kafka (или любой другой подходящий источник); - Практика в data engineering/observability/SRE: автоматизация анализа логов/трейсов, расследование инцидентов производительности и ошибок. 🤝Задачи: • Разработка и поддержка интеграций • Выбор технологий и решение сложных задач • Контроль качества и документации • Развитие архитектуры и процессов (CI/CD) 🪂Условия Оформление по ИП Дружелюбная атмосфера внутри компании Развитие через реальные задачи, а не формальные курсы Возможность предлагать идеи и видеть, как они внедряются Гибкий график работы и возможность удаленной работы Оплата за фактически отработанное время Участие в интересных проектах без лишнего микроменеджмента 👋Контакт:@CodeVal Любишь разбираться в сложных системах и делать их лучше — откликайся!