TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #335 · 29 мар.

В Linux стандартными средствами можно использовать часть оперативной памяти как диск. Для этого требуется указать тип монтирования tmpfs в команде mount mount -t tmpfs -o size=5G tmpfs /mnt/ram Теперь путь /mnt/ram можно использовать как обычный каталог. Для чего это может быть нужно? ▫️ Скорость работы с таким каталогом выше чем многие SSD и тем более HDD. ▫️ Если у вас очень быстрый SSD на NVMe M.2 то такой способ особо не прибавит вам скорости, но поможет сохранить ресурс SSD когда требуется обрабатывать очень много мелких файлов и оперативка позволяет выделить нужный объем. ▫️ Оперативка это энергозависимая память, поэтому выключении питания все файлы безвозвратно теряются. Такой "non persistent" каталог гарантирует удаление временных файлов. Я написал небольшой скрипт для условного теста и сравнения скорости копирования файлов между SSD и RAM. Вот мои результаты: Single File Size: 30.0Gb ssd > ssd: 0:00:12.850 / 2.3Gb/s sdd > ram: 0:00:06.453 / 4.6Gb/s ram > ram: 0:00:06.995 / 4.3Gb/s ram > sdd: 0:00:06.217 / 4.8Gb/s Dir size: 32.7Gb, File count: 11127 ssd > ssd: 0:00:15.063 / 2.2Gb/s sdd > ram: 0:00:08.486 / 3.9Gb/s ram > ram: 0:00:08.032 / 4.1Gb/s ram > sdd: 0:00:07.026 / 4.7Gb/s Скрипт для теста ↗️ На моём железе прирост скорости ~2x. Плюс экономия ресурса SSD. В Windows такой фишки по умолчанию нет, но обязательно найдутся аналогичные решения #linux#triks

Hashtags

Резултати

Пронајдени 19 слични објави

Пребарај: #dba

当前筛选 #dba清除筛选

3/16 #DBA#越南 DBA 📍 工作地点:胡志明 📍 上班时间:10休4 📍 试用期间:2个月 📍 薪资范围:5000U-8000U(具体看面试) 白产项目开发,不要BC经验 ⭐️⭐️ 岗位职责: 本岗位为数据中心核心技术岗位,负责数据库架构设计、性能治理与高可用体系建设。深度参与数据中台、数据仓库及分析型数据库平台搭建,支撑大规模数据处理与高并发查询场景。 该岗位定位为高级/专家型技术骨干,不仅负责数据库稳定运行,更参与架构规划与平台能力建设。 二、岗位职责 负责数据中心数据库整体架构设计与技术选型(MySQL / TiDB / ClickHouse / Doris); 参与数据中台、数据仓库及实时分析场景的数据库架构规划; 负责分布式数据库集群部署、高可用架构设计及容量规划; 深度参与数据库性能调优(SQL优化、索引设计、执行计划分析、参数调优); 建立数据库监控、告警与自动化运维体系; 参与数据治理专项,支撑数据质量校验规则开发与数据加工优化; 解决复杂数据库性能瓶颈、疑难故障及稳定性问题; 参与数据库安全体系建设(权限管理、审计、备份恢复策略); 编写数据库规范、运维标准与技术方案文档。 ☀️☀️ 任职要求: (一)基本条件 本科及以上学历,计算机相关专业; 5年以上数据库相关经验,其中3年以上分布式数据库或大型数据平台经验; 有数据中心、数据中台或大型数据仓库建设经验优先; 有金融行业或强监管行业经验优先。 (二)核心技术能力 1️⃣ 数据库基础能力 扎实的数据库原理基础(事务、锁机制、MVCC、索引结构、执行计划); 精通SQL优化与复杂查询设计; 熟练编写存储过程、函数及性能分析脚本。 2️⃣ 数据库技术栈要求(必须具备实战经验) MySQL 主从复制、读写分离、分库分表 索引优化、慢SQL治理 TiDB 分布式事务机制 HTAP场景优化 集群部署与扩缩容 ClickHouse 列式存储原理 大规模数据分析性能调优 分区与数据建模优化 Doris MPP架构原理 实时数仓或分析型场景优化 3️⃣ 架构能力 熟悉数据仓库分层建模(ODS/DM/ADS); 理解数据湖/湖仓一体架构优先; 有高并发、TB级以上数据量场景优化经验; 具备数据库容量规划与扩展方案设计能力。 4️⃣ 工程能力 能独立排查复杂数据库故障; 具备数据库自动化运维经验; 熟悉Shell/Python等脚本语言优先。 四、综合素质 具备架构思维与系统性问题分析能力; 具备技术攻坚能力与关键系统保障经验; 良好的跨团队沟通与推动能力; 责任心强,具备平台级稳定性意识。 五、优先条件 主导过数据库架构升级或国产数据库替代项目; 有数据治理与数据质量体系技术落地经验; 有数据资产管理或监管报送系统支撑经验; 有云原生数据库部署经验优先。 不要有博彩行业经验的人 @kirakira1214

Hashtags

StarRocks 数据库工程师 序列:#数据库#DBA 岗位职责 • 负责StarRocks数据库的部署、配置、性能调优及日常运维管理,保障系统稳定运行 • 参与公司数据仓库架构设计与优化,持续提升查询性能与系统稳定性 • 基于 StarRocks 构建实时及离线分析系统(OLAP 场景) • 负责数据建模工作(如维度建模、宽表设计),优化数据结构与查询效率 • 与数据开发、BI 及业务团队紧密协作,支持数据分析与报表需求落地 • 监控并排查性能瓶颈,解决慢查询、资源调度等问题 • 持续关注 StarRocks 社区发展,推动新特性在业务场景中的应用(如物化视图、向量化执行等) 任职要求 • 计算机相关专业,本科及以上学历,3 年以上大数据或数据库相关经验 • 熟悉至少一种 OLAP 数据库:StarRocks / Apache Doris / SelectDB • 熟练掌握 SQL,具备复杂查询分析与优化能力 • 熟悉数据仓库建模方法(如 Kimball、星型模型、雪花模型) • 熟悉 Linux 环境,具备基本系统运维能力 • 至少掌握一门编程语言(如 Go / Java / Python) 加分项 • 有 StarRocks 生产环境落地经验(重点加分) • 熟悉数据处理框架:Flink / Spark / Kafka / ETL 流程 • 有实时数仓、日志分析或 BI 系统建设经验 • 有 PB 级数据处理经验 • 具备数据库性能调优或内核原理相关

Data Science Jobs

@datasciencejobs · Post #2561 · 18.02.2025 г., 16:04

#Вакансия#DBA#Senior#Удаленка Вакансия: Senior DBA (ClickHouse) Компания: deeplay (аккредитованная IT-компания) Формат работы: Удаленно, также есть офисы в Санкт-Петербурге, Омске и Новосибирске. Рассматриваем кандидатов не только из РФ. Занятость: Полная Зарплата: От 300K 🚀 О проекте У нас более 200ТБ данных, около 150 схем и 2000 таблиц, а также 200+ активных пользователей. Вся инфраструктура работает на едином ClickHouse-кластере, который обслуживает сотни пользователей и хранит огромные объемы информации Сейчас мы решаем ключевые вызовы: – Noisy neighbor – влияние отдельных пользователей на производительность кластера – Проблемы с масштабируемостью, бэкапами, обновлениями и безопасностью – Отсутствие четких SLA и гарантий по доступности и производительности Цель проекта – создать надежный, доступный и управляемый multi-tenant ClickHouse, который обеспечит гибкость, масштабируемость и стабильность для будущих задач 🎯 Что предстоит делать – Устанавливать, настраивать и поддерживать высоконагруженные кластеры ClickHouse – Конфигурировать систему для обеспечения высокой производительности и отказоустойчивости – Оптимизировать запросы и структуру таблиц – Мониторить и анализировать производительность, выявлять и устранять узкие места – Проектировать и поддерживать инфраструктуру 🛠 Что важно для нас – Опыт настройки и администрирования ClickHouse-кластеров, понимание архитектуры и принципов работы колоночных баз – Опыт оптимизации сложных SQL-запросов – Знание методов индексации, сжатия данных, работы с распределенными системами – Умение работать с большими объемами данных (24/7 доступность) – Опыт интеграции ClickHouse с Kafka, ETL-инструментами, BI-платформами – Навыки работы с инструментами мониторинга (Prometheus, VictoriaMetrics, Grafana) – Знание Linux и опыт работы с автоматизацией (Bash, Python, Ansible) – Опыт с PostgreSQL, MySQL, облачными решениями (AWS, GCP, Azure), контейнеризацией (Docker, Kubernetes) 💼 Что предлагаем – Полная удаленная работа с гибким началом рабочего дня – Оклад + компенсация затрат на здоровье, спорт и обучение – Ежегодные performance review и планирование развития – Официальное трудоустройство, больничные и отпуска по ТК РФ 📩Контакт для откликов – @venkkaya

Data Science Jobs

@datasciencejobs · Post #2198 · 09.07.2024 г., 15:04

#вакансия#удаленка#DBA#job#работа Вакансия: DBA КА: HuntIT Вилка: 200 000 - 500 000 руб Формат работы: удаленно, без ограничений по гео Занятость: full-time Опыт от 3х лет Здравствуйте! 🤗 Меня зовут Анна, IT-рекрутер компании HuntIT. Сейчас мы находимся в поиске DBA в компанию, которая является игровым провайдером и известна в области Сrash & Instant игр. Стек проекта: PostgreSQL, Clickhouse, Amazon RDS, Linux,Docker / Kubernetes, Python, C++, Java, Go, AWS CloudFormation, Terraform, Ansible. Функциональные обязанности: - Понимание планов запросов и отслеживание неоптимальных операций в базе данных; - Настройка алертинга и мониторинга, адаптация стандартных операционных процедур под бизнес-потребности; - Использование существующих балансировщиков или обеспечение ясного понимания DevOps командой необходимых настроек; - Эффективное восстановление баз данных из резервных копий или предоставление альтернативных решений для обеспечения бесперебойной работы сервисов. Требования: - Опыт работы с Amazon RDS / ClickHouse; - Экспертное знание SQL с возможностью оптимизации запросов и процедур; - Опыт настройки мониторинга и алертинга с использованием AWS CloudWatch для оперативного обнаружения и устранения проблем; - Навыки общения и сотрудничества с DevOps командой для настройки балансировки нагрузки и других инфраструктурных процессов; - Умение взаимодействовать с Data Engineers для балансировки входящих и исходящих потоков данных, а также обеспечения успешной аналитики и процессов ETL; - Опыт в оптимизации производительности и структуры данных БД с большой историчностью хранения данных и запросов для работы с высоконагруженными приложениями, в том числе потоковой поставки данных; - Знание инструментов мониторинга, администрирования и автоматизации, таких как AWS CloudFormation, Terraform, Ansible и других. Для тебя: - Интересная и разнообразная работа в дружном коллективе; - Бонусы после закрытия испытательного срока; - Полностью удаленный формат работы; - Гибкое начало рабочего дня с 9:00 до 12:00; - Конкурентоспособная зарплата (обсуждается по итогам собеседования); - Возможность карьерного роста в команде профессионалов. Если позиция вас заинтересовала, то можете напрямую связаться с нашими IT рекрутерами!❤️ @AnnaHr_huntit@Ayalga_huntit@kristina_HuntIT P.S. Просьба прикладывать файл резюме вместе с откликом на вакансию 🤗

4/8 #越南胡志明 #DBA 不压护照 公司包吃住/宿舍1-2人/间/不禁足 DBA (要求精通Doris 或者Starrock) 年龄:35岁以内 本科学历 🧡工作地点:胡志明 第二郡 【不压护照】 🧡薪资范围:5000U-8000U + 绩效 上班时间:10休4 单休 (10:00-20:00) 🧡运营项目:海外广告媒体/白产项目

Data Science Jobs

@datasciencejobs · Post #2616 · 19.03.2025 г., 06:04

#вакансия#гибрид#DBA#финтех Всем привет! • Позиция: Главный эксперт DBA; • Формат: гибрид в Москве; • З/п: от 280 тыс. до 350 тыс. gross; • Оформление: ТК РФ, ИП, ГПХ. • Компания: iFellow. Мы сейчас находимся в поиске Главного эксперта DBA (инженера по сопровождению БД/системного администратора с опытом DBA) на крупный банковский проект по разработке мобильного приложения. Наши пожелания к кандидату: • Опыт работы по специальности: от 3-х лет; • Опыт работы инженером по сопровождению БД с опытом работы в качестве DBA (сначала обязанности будут 50/50, но потом обязанности DBA 70%, а обязанности сопровождения 30%); • Администрирование БД Postgresql (опыт управления и развертывания); • Опыт работы с ansible; • Администрирование серверов Linux; • Знание SQL (t-sql, pl-sql); • Сопровождение высоконагруженных БД. Задачи: • Накопление и передача технической экспертизы по бизнес-процессам; • Оперативная разработка программного обеспечения по задачам бизнес-линий; • Обеспечение развития бизнес-процессов; • Развитие и контроль средств анализа и мониторинга; • Управление и контроль клиентской доступности бизнес-процессов и систем; • Функциональное сопровождение систем. Наши условия: - Работа в аккредитованной IT- компании; - Официальное трудоустройство (бессрочный трудовой договор); - Расширенная программа ДМС после ИС; - Корпоративный английский; - Корпоративная библиотека на платформе ЛитРес; - 5 дополнительных оплачиваемых дней к больничному; - Техника по требованиями проекта. 💭 Для отправки резюме и по всем вопросам - @lyonatuna

Data Science Jobs

@datasciencejobs · Post #1274 · 10.01.2023 г., 06:20

#вакансия#удаленно#dba#fulltime#middle#senior Название вакансии: DBA/ Администратор баз данных (Middle/ Senior) Компания:Livemaster Форма работы: удаленно Занятость: полная Зарплатная вилка: 100000 - 150 000 net (обсуждаем) Ищем опытного dba в команду на высоконагруженный проект. Основные задачи: отказоустойчивость БД на Percona Server, экспертиза схем баз данных, запросов, индексов, помощь разработчикам с выбором оптимальных решений по хранению и выдаче данных, настройка индексов, ответственность за автоматическое резервирование БД. Ожидания от кандидата: - отлично знаешь SQL; - проектируешь хранилища данных; - знаком с настройкой репликации (master-slave, master-master, multi-master), GTID; знаешь и юзаешь способы бэкапирования MySQL; - строил отказоустойчивые БД систем на базе MySQL Условия: - удаленная работа, график работы c гибким утром; - обучение, конференции; - 3 sick day в год + к отпуску и больничным для восстановления здоровья; - гибкая и прозрачная культура общения и продукта; - доверие и автономность для достижения целей; - классный опыт в твою копилку в одной из самых перспективных ниш рынка e-commerce. Контакты: @gulakdasha

Data Science Jobs

@datasciencejobs · Post #1933 · 23.02.2024 г., 12:12

#вакансия#dba#mssql#postgresql#удаленно Компания - занимает лидирующие позиции на рынке импорта продовольственных и непродовольственных товаров, импортируемых из разных стран. Администратор СУБД MS SQL и/или PostgreSQL Обязанности: - Администрирование (инсталляция, обновления, поддержка работоспособности) СУБД MS SQL/ - Администрирование (инсталляция, обновления, поддержка работоспособности) СУБД PostgreSQL. - Мониторинг работы, анализ и оптимизация производительности СУБД, предоставление рекомендаций разработчикам; - Формирование планов и схем резервного копирования, проведение регламентных работ, контроль и анализ результата; Требования: - Высшее техническое образование; - Опыт работы администраторов БД от 3-х лет; Условия: - Удаленный формат работы. - Работа в аккредитованной IT компании; - Официальное оформление с первого дня по ТК РФ, предоставляется ДМС. - Конкурентный уровень заработной платы, итоговая сумма обсуждается на собеседовании (от 180 gross); - Решение уникальных инфраструктурных задач с лучшими специалистами в своей области; - Возможность карьерного и профессионального роста. Подробнее узнать или прислать резюме: @NataliaHRD

11/7 #DBA#双休#菲假#菲律宾 全菲最幸福企业需求 双休+菲假 股票上市集团 签证需正常 DBA 职位描述 工作内容: 承担所负责数据库(TiDB / MySQL / Oracle)的 SLA 目标,持续优化数据库架构,提升可用性与性能。 负责数据库的安装、升级、扩容、迁移及运维工作,快速识别并处理故障,保障业务稳定运行。 制定并实施备份恢复策略,定期校验备份集有效性,确保数据安全与合规。 建立完善的数据库监控体系,实时采集关键指标,配置合理的告警机制,迅速应对异常情况。 负责数据库版本更新与补丁发布,协助开发团队进行问题排查与 SQL 优化,提升系统吞吐与响应速度。 制定并维护数据库操作规范、变更流程,对开发团队提交的 SQL 进行审核,保障质量和安全性。 评估新数据库需求与技术方案,进行性能与容量规划测试,确保可行性与可扩展性。 熟悉使用 OGG、Canal、TiCDC 等工具实施异构数据库间的数据迁移与同步,确保数据一致性与可追溯性。 编写并维护自动化脚本(如数据下线、历史数据清理等)与流程,推进数据库运维的自动化与标准化,不断提升工作效率。 任职要求: ● 3年以上大型数据库维护经验 ● 熟悉Linux操作系统工作原理,熟练使用CentOS操作系统。 ● 熟悉shell/python等至少一种语言,可以使用脚本完成相关工作。 ● 熟悉TIDB、MySQL 安装备份,故障处理。 ● 熟悉数据库优化技术。 ● 熟悉数据库补丁维护,包括Oracle升级PSU,One-off patch,MySQL的大版本升级、OEM升级等。 ● 熟悉数据库的高可用技术的搭建及维护,如Oracle使用DG,MySQL MGR或者MHA高可用集群。 ● 熟悉Oracle Goldengate、TICDC、canal。 ● 掌握数据库监控工具,包括Zabbix,OEM。 ● 工作态度良好,有较强的责任感,思维严谨,做事认真。 ● MySQL、TIDB实际维护管理经验是必须项

12
ПретходнаСтраница 1 од 2Следна