TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #239 · 3 мај

Один из самых удобных способов записать данные это использование готовых форматов, такие как JSON или YAML. Из плюсов такого подхода стоит отметить вот что: 🔸 готовый, повсеместно используемый и поддерживаемый формат 🔸 простой и понятный файл, удобочитаемый для человека 🔸 можно легко редактировать в любом текстовом редакторе без специальных программ и библиотек Но есть и минусы 🔹 затраты времени при записи файла (кодирование данных в нужный формат строки) 🔹 затраты времени при чтении файла (декодирование данных в Python объекты) 🔹 размер файла увеличивается из-за разметки данных (скобки, запятые, переносы, отступы...) 🔹 перед записью все данные должны быть помещены в память в полном объёме (не всегда) 🔹 при чтении необходимо считать весь файл в память и только потом декодировать данные Если нужно писать немного данных в несколько файлов, то затраты по времени не ощутимы. Обычно это файлы конфига или какие-либо метаданные. Это отличный вариант под такие задачи. Есть и другой поход к записи файлов - это бинарные файлы. Используется, когда данных достаточно много и никто их не собирается читать глазками😳. 🔸 очень быстрая запись 🔸 чтение значительно быстрей чем JSON, YAML итд 🔸 размер файла значительно меньше, так как нет разметки 🔸 можно записывать данные по мере поступления не загружая всё в память 🔸 можно извлечь любую часть данных независимо Из минусов 🔹 нужно определить свой формат записи данных (если не используете готовую спецификацию определённого формата) 🔹 не получится открыть файл и визуально понять что там записано, а для чтения файла потребуется знать его спецификацию. 🔹 не так-то просто создать такой файл без специальной библиотеки В таком виде удобно записывать большой массив любых однородных данных. Например, мониторинг валютной биржи или кэшированная анимация 3D геометрии. (Это не означает что нельзя записать данные разного типа, просто это будет не так удобно) Представьте себе JPG-картинку. По сути это немного мета-информации и большой массив пикселей. Тоже самое со звуком или видео файлом. Поэтому, если вы попробуете открыть картинку в текстовом редакторе вы увидите что-то вроде такого f15d cd29 a564 4578 ... 09e2 9bc4 a696 1253 ... 84e9 4de1 3b23 c24a ... 2534 5161 28e0 709d ... ... Это и есть записанные байтики. И для их чтения требуется определённый софт который знает что с ними делать. Под каждый тип файла. К чему это я? Читайте в следующем посте... #tricks#basic

Резултати

Пронајдени 12 слични објави

Пребарај: #jenkins

当前筛选 #jenkins清除筛选
IT Events RU

@iteventsru · Post #227 · 27.02.2018 г., 10:13

🔥 Сегодня SPb Jenkins Meetup #10 📅 27 февраля / 19:00–21:30 (время МСК) / Санкт-Петербург 💵 Бесплатно 📝 Регистрация тут: https://goo.gl/iEzREt 27-го февраля соберёмся в офисе Dell EMC, чтобы поговорить о применении Jenkins Pipeline и управлении инфраструктурой Jenkins. 🔗 Программа: https://goo.gl/iEzREt #devops#jenkins#СанктПетербург

IT Events RU

@iteventsru · Post #221 · 26.02.2018 г., 16:13

✅ Завтра SPb Jenkins Meetup #10 📅 27 февраля / 19:00–21:30 (время МСК) / Санкт-Петербург 💵 Бесплатно 📝 Регистрация тут: https://goo.gl/iEzREt 27-го февраля соберёмся в офисе Dell EMC, чтобы поговорить о применении Jenkins Pipeline и управлении инфраструктурой Jenkins. 🔗 Программа: https://goo.gl/iEzREt #devops#jenkins#СанктПетербург

infosecurity

@tg_infosec · Post #2745 · 05.12.2024 г., 12:29

👨‍💻 Изучаем Jenkins. Мини-курс на русском языке. • Автоматизация CI/CD - полный курс на простом языке; • Установка на Linux Ubuntu; • Администрирование Jenkins; • Управление Plugins; • Простейшие Jobs включая Deployment; • Добавление Slave/Node; • Удалённое и локальное управление через CLI Client; • Деплоим из GitHub; • Автоматизация запуска Build Job из GitHub - Build Triggers; • Автоматизация запуска Build из GitHub - trigger from GitHub, webhook; • Build с параметрами; • Deploy в AWS Elastic Beanstalk - пример решения задания на интервью для DevOps Engineer; • Запуск Groovy Script - обнуление счетчика Build; • Основы Pipeline и Jenkinsfile. #DevOps#Jenkins#RU#Курс

Data Science Jobs

@datasciencejobs · Post #2847 · 05.08.2025 г., 12:04

#вакансии#dataengineer#Spark#Scala3#Jenkins Ищем Инженера по инфраструктуре на курс по Spark для действующих Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Задача: Собрать Jupyter Notebook с ядром Scala, который может: • запускать код прямо из тетрадки, • обращаться к реальному Hadoop-кластеру (чтение, запись, обработка данных). Курс ведётся в формате: преподаватель идёт по тетрадке, рассказывает теорию и показывает практику на реальных данных в кластере. Формат занятости: проектная работа (один проект) Оплата: 50 000 ₽ Резюме и рекомендации можно кидать сюда: @KaterinkaGl

Data Science Jobs

@datasciencejobs · Post #2991 · 20.10.2025 г., 13:16

#вакансии#dataengineer#Spark#Scala3#Jenkins#Senior Друзья, всем привет! Ищем Преподавателя для уроков и проверки задач на практический курс по разработке на Spark для действующих Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Кого ищем: Преподавателя, которому интересно поучаствовать в качественном образовательном проекте. Что нужно делать: • Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа. • Общаться в чате и отвечать на вопросы слушателей курса. • Проверять домашние задания и давать развернутую обратную связь слушателям. Что мы ждем от кандидата: • От 3 - 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов; • Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn. Что мы предлагаем: • Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования. • За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта. • За проверку ДЗ и итогового проекта – до 60т.р. в зависимости от количества человек в группе. Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: @Kate_HR_IT _____ За успешную рекомендацию по традиции бонус! Суммарно 15т.р.: при прохождении тестового 5 т.р., еще 10 т.р. после 2 месяцев хорошей работы. Если у Вас классный кандидат с большим опытом, то пишите в ЛС, согласуем другой бонус!

Data Science Jobs

@datasciencejobs · Post #2789 · 26.06.2025 г., 16:01

#вакансии#dataengineer#Spark#Scala3#Jenkins#Senior Друзья, всем привет! Ищем Преподавателя уроков и задач на практический курс по разработке на Spark для действующих Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Кого ищем: Преподавателя, которому интересно поучаствовать в качественном образовательном проекте. Что нужно делать: • Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа. • Общаться в чате и отвечать на вопросы слушателей курса. Что мы ждем от кандидата: • более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов; • Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn. Что мы предлагаем: • Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования. • За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта. Если у Вас классный кандидат с большим опытом, то пишите в ЛС, согласуем другой бонус! Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl

Data Science Jobs

@datasciencejobs · Post #2695 · 25.04.2025 г., 07:51

#вакансии#dataengineer#Spark#Scala3#Jenkins#Senior Друзья, всем привет! Ищем авторов уроков и задач на практический курс по разработке на Spark для продвинутых Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Кого ищем: Авторов уроков и задач, которым интересно сделать качественный образовательный продукт, решающий задачи нашей аудитории) Мы ожидаем от вас опыт работы со Spark для решения рабочих задач от 5 лет. Что нужно делать: • Разработка материалов: лекции, семинары, ДЗ, проекты по следующим темам: - Structured Streaming - Чтение потоков данных (Kafka, сокеты), - Реализация операций: трансформация потоков, фильтрация, агрегация и использование оконных функций. - Запись обработанных данных в разные целевые хранилища (файлы, базы данных). - Оптимизации: Checkpoints. Caching. Performance tuning. • Проводить занятия, по выбранным темам. Занятия в формате онлайн вебинаров 2 раза в неделю по 2 часа. Что мы ждем от кандидата: • более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов; • Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn. Будет большим плюсом: Опыт в DevOps (Jenkins) и знание пакета MLib в Spark. Что мы предлагаем: • За разработку комплекта материалов к одной теме: лекция, семинар, тест, ДЗ – 30т.р.-50т.р. • Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования. • За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта. Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl

Data Science Jobs

@datasciencejobs · Post #2541 · 05.02.2025 г., 07:46

#вакансии#dataengineer#Spark#Scala3#Jenkins#Senior Друзья, всем привет! Ищем авторов уроков и задач на практический курс по разработке на Spark для продвинутых Data Engineer. О нас: Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки. Кого ищем: Авторов уроков и задач, которым интересно сделать качественный образовательный продукт, решающий задачи нашей аудитории! Мы ожидаем от вас опыт работы со Spark для решения рабочих задач от 5 лет. Кроме того, важна готовность работать в команде, быть на связи и регулярно уделять 10+ часов в неделю. Что нужно делать: • Разработка материалов: лекции, семинары, ДЗ, проекты. • Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа. • Прямо сейчас мы на стадии старта разработки курса, поэтому наиболее актуальна именно разработка материалов. Далее, примерно через 3 месяца уже проведение занятий (и далее продолжаем развивать этот курс). Что мы ждем от кандидата: • более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов; • Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn. Будет большим плюсом: Опыт в DevOps (Jenkins) и знание пакета MLib в Spark. Что мы предлагаем: • За разработку комплекта материалов к одной теме: лекция, семинар, тест, ДЗ – 30т.р.-50т.р. • Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования. • За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта. Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl

Data Science Jobs

@datasciencejobs · Post #3132 · 06.02.2026 г., 12:01

#vacancy#Fulltime#remote#MLOps#Jenkins#ITВакансии#УдалённаяРабота#Prometheus#Вакансия 🔎Senior MLOps в крупный ритейлер. 💰Зарплата: 240-270К руб/мес.Гросс 🎯Локация/гр.: Россия 🕰Срок проекта: 6 месяцев + 📄Оформление: только ИП 📌 Требования: - Опыт работы с Kubernetes и облачными/on-prem кластерами; - Знание Python и инструментов ML Ops (Kubeflow, Airflow); - Опыт настройки CI/CD (Jenkins); - Опыт работы с системами хранения и векторными БД (Weaviate/Qdrant/PGVector); - Знания в области мониторинга и логирования (Prometheus, Grafana, ELK, OpenTelemetry). ✅Задачи: - Развертывание и поддержка LLM-платформы в Kubernetes (Helm, Terraform, K8s Operators); - Настройка CI/CD для ML/AI сервисов (обучение, inference, data pipelines); - Автоматизация ML workflow в Kubeflow; - Настройка и поддержка мониторинга моделей (latency, drift, cost metrics); - Управление пайплайнами данных для обучения и inference (Kafka, DataLake, объектное хранилище S3, векторные БД); - Оптимизация работы GPU-кластера (распределённое обучение, эффективное использование ресурсов); - Обеспечение безопасности и комплаенса: изоляция сред, контроль доступа, логирование. 🏛О проекте: Разработка внутренней корпоративной LLM-платформы для автоматизации процессов, поддержки сотрудников и повышения эффективности взаимодействия с данными. В задачи проекта входит создание удобных пользовательских интерфейсов (чат-ассистенты, RAG-поиск, генерация текстов и изображений), интеграция с существующими системами компании и обеспечение контроля и мониторинга использования модели. 📲Как откликнуться: Отправляйте своё резюме @AllaDemHR

infosecurity

@tg_infosec · Post #2923 · 09.02.2025 г., 12:29

👨‍💻 DevOps and IT Cheat-Sheet Collection. • Коллекция полезных шпаргалок для DevOps и IT специалистов. Содержание следующее: - #Nginx; - #Docker; - #Ansible; - #Python; - Go (Golang); - #Git; - Regular Expression (Regex); - #PowerShell; - #VIM; - #Jenkins; - Continuous Integration and Continuous Delivery (CI/CD); - #Kubernetes; - #Linux; - Redis; - Slack; - Puppet; - Google Cloud Developer; - PostgreSQL; - Ajax; - Amazon Web Services (AWS). ➡️https://github.com/sk3pp3r/cheat-sheet-pdf #CheatSheet#DevOps

GitHub Trends

@githubtrending · Post #15021 · 01.08.2025 г., 13:30

#go#argocd#cloud_native#cncf#container_management#devops#ebpf#hacktoberfest#istio#jenkins#k8s#kubernetes#kubernetes_platform_solution#kubesphere#llm#multi_cluster#observability#servicemesh KubeSphere is an easy-to-use, open-source platform that helps you manage Kubernetes clusters across clouds, data centers, and edge devices from one place. It offers a friendly web interface, supports multi-cluster and multi-tenant management, and automates DevOps tasks like CI/CD pipelines. You get built-in monitoring, logging, alerting, and security features such as role-based access control. It also includes an App Store for quick deployment of applications and supports various storage and networking options. This makes managing complex Kubernetes environments simpler, faster, and more secure, saving you time and reducing operational challenges. https://github.com/kubesphere/kubesphere

GitHub Trends

@githubtrending · Post #15060 · 15.08.2025 г., 11:30

#python#alibabacloud#android#android_emulator#aws#azure#cloud#docker#docker_android#emulator#gcp#genymotion#jenkins#kubernetes#mobile_app#mobile_web#novnc#saltstack#selenium#selenium_grid#terraform You can use Docker-Android to run Android emulators inside Docker containers, which helps you develop and test Android apps easily without needing physical devices. It offers many device profiles like Samsung Galaxy and Nexus models, supports viewing the emulator via VNC, sharing logs through a web interface, and controlling the emulator remotely with adb. It works on Ubuntu and can integrate with cloud services like Genymotion. This setup speeds up development, testing, and automation, making your workflow more consistent and efficient while saving resources. You can also persist data and run unit or UI tests with popular frameworks like Appium and Espresso. This helps you build and test Android apps faster and more reliably. https://github.com/budtmo/docker-android