Можно ли в Python создавать бинарные файлы? Конечно можно.
Для этого в Python есть следующие инструменты:
▫️ тип данных bytes и bytearray
▫️ открытие файла в режиме wb (write binary) или rb (read binary)
▫️ модуль struct
Про модуль struct поговорим в первую очередь.
Файл в формате JSON или Yaml внутри себя содержит разметку данных. Всегда можно определить где список начался а где закончился. Где записана строка а где словарь. То есть формат записи данных содержит в себе элементы разметки данных.
В binary-файле данные не имеют визуальной разметки. Это просто байты, записанные один за другим. Правила записи и чтения находятся вне файла.
Модуль struct как раз и помогает с организацией данных в таком файле с помощью определения форматов записи для разных частей файла.
Модуль struct преобразует Python-объекты в массив байт, готовый к записи в файл и имеющий определённый вид.
Для этого всегда следует указывать формат преобразования (или, как оно здесь называется - запаковки).
Формат нужен для того, чтобы выделить достаточное количество байт для записи конкретного типа объекта. В последствии с помощью того же формата будет производиться чтение.
При этом следует помнить что мы говорим о типах языка С а не Python.
Именно формат определяет, что записано в конкретном месте файла, число, строка или что-то еще.
Вот какие токены формата у нас есть.
Помимо этого, первым символом можно указать порядок байтов. На разных системах одни и те же типы данных могут записываться по-разному, поэтому желательно указать конкретный способ из доступных. Если этого не сделать, то используется символ '@', то есть нативный для текущей системы.
В строке формата мы пишем в каком порядке и какие типы собираемся преобразовать в байты.
Запакуем в байты простое число, токен "i".
>>> import struct
>>> struct.pack('=i', 10)
b'\n\x00\x00\x00'
Теперь несколько float, при этом нужно передавать элементы не массивом а последовательностью аргументов.
>>> struct.pack('=fff', 1.0, 2.5, 4.1)
b'\x00\x00\x80?\x00\x00 @33\x83@'
Вместо нескольких токенов можно просто указать нужное количество элементов перед одним токеном, результат будет тот же.
>>> struct.pack('=3f', 1.0, 2.5, 4.1)
b'\x00\x00\x80?\x00\x00 @33\x83@'
Теперь запакуем разные типы
>>> data = struct.pack('=fiQ', 1.0, 4, 100500)
я запаковал типы float, int и unsigned long long (очень большой int, на 8 байт)
b'\x00\x00\x80?\x04\x00\x00...'
Распаковка происходит аналогично, но нужно указать тот же формат, который использовался при запаковке. Результат возвращается всегда в виде кортежа.
>>> struct.unpack('=fiQ', data)
(1.0, 4, 100500)
Как видите, ничего страшного!
#lib#basic
Очень много классных новинок в Grafana, от ускорения работы Loki для логов (который будет теперь на кафке), до повсеместного AI который помогает найти root case инцидентов, строить дашборды, алерты, очень круто, да еще новая тула https://github.com/grafana/gcx и AI agent friendly strategy и тд.
Но что реально круто, это то, что меня сфоткали и теперь у меня будет новая аватарка 😅
#grafana
👁 Nmap + Grafana.
• Grafana является прекрасной системой визуализации и анализа информации, которая позволяет «из коробки» работать с широким спектром источников данных (data source) – Elasticsearch, Loki, MS SQL, MySQL, PostgreSQL, Prometheus и др. При необходимости также интегрируется с Zabbix, PRTG и др. системами. Свободно распространяется по лицензии GNU AGPL v3 (бесплатно).
• В этой статье описано создание панели управления Nmap с помощью Grafana и Docker, чтобы получить полноценный обзор сети и открытых служб: https://hackertarget.com/nmap-dashboard-with-grafana/
#Nmap#Grafana
#IoT#Grafana#book
🛠
Building IoT Visualizations using Grafana: Power up your IoT projects and monitor with Prometheus, LibreNMS, and Elasticsearch
✍️Rodrigo Juan Hernandez
📆 2022
🔗Link
-----
Main channel:@repo_science
Coupons:@freecoupons_reposcience
-----
На днях разработчики Angie анонсировали свой готовый Dashboard для мониторинга веб сервера через Prometheus и Grafana. Решил сразу его попробовать. Забегая вперёд скажу, что всё это существенно упрощает настройку мониторинга, который и так уже был на хорошем уровне в Angie. Стало просто отлично.
Напомню, что у Angie есть встроенный prometheus exporter. Включаем его так. Добавляем куда-нибудь location. Я обычно на ip адрес его вешаю в default сервер и ограничиваю доступ:
location =/p8s {
prometheus all;
allow 127.0.0.1;
allow 1.2.3.4;
allow 4.3.2.1;
deny all;
}
И добавляем в секцию http:
include prometheus_all.conf;
Далее добавляем в prometheus:
scrape_configs:
- job_name: "angie"
scrape_interval: 15s
metrics_path: "/p8s"
static_configs:
- targets: ["1.2.3.4:80"]
Только убедитесь, что ваш веб сервер отдаёт метрики по http://1.2.3.4/p8s. Либо какой-то другой url используйте, который настроили.
Вот и всё. Теперь идём в свою Grafana и добавляем готовый дашборд. Вот он:
⇨ https://grafana.com/grafana/dashboards/20719-angie-dashboard
Дашборд полностью автоматизирован. Сам подхватывает все настройки из Angie. Покажу, как это работает. Допустим, вы хотите получать метрики по какому-то конкретному виртуальному хосту. Идём в него и добавляем в секцию server:
server {
server_name serveradmin.ru;
status_zone serveradmin.ru;
................
}
Перезапускаем Angie и переходим в Dashboard. В разделе HTTP Server Zones появится отдельная статистика по этому виртуальному хосту. То же самое можно сделать с отдельными location. Добавим отдельную зону в основной location и с php бэкендом:
location / {
status_zone main;
...............
}
или
location ~ \.php$ {
status_zone php;
...................
}
Идём в раздел HTTP Location Zones и смотрим там статистику по указанным location.
Статистика по бэкендам, зонам с лимитами тоже подхватывается автоматически, если они у вас настроены, и сразу видна в дашборде.
Сделано всё очень удобно. Мониторинг веб сервера настраивается максимально быстро и при этом очень функционально.
Отдельно напомню, что у Angie вся эта же статистика видна в веб интерфейсе Console Light. И так же доступна через модуль API. Я через него сделал шаблон для Zabbix с основными метриками. Шаблон по ссылке стоит рассматривать только как пример создания. Он был сделан на скорую руку. Я его у себя немного доделал, но новую версию не выкладывал. Уже не помню, какие там отличия. С выходом этого дашборда для графаны мне шаблоном для Zabbix заниматься не хочется. Довольно хлопотно всё это реализовывать в нём и не особо имеет смысл, раз уже всё сделано за нас. Графаной я и так постоянно пользуюсь в связке с Zabbix, и Prometheus тоже использую.
📌 Ссылки по теме:
⇨ Настройка панели Prometheus
⇨ Модуль API
⇨ Директива status_zone
⇨ Web Console Demo
Как по мне, возможностей бесплатного веб сервера Angie на текущий момент существенно больше, чем у бесплатного Nginx. И речь не только о мониторинге. Там есть много других удобств. Разница в функциональности тянет уже на отдельную заметку.
#angie#мониторинг#grafana
#go#cloudnative#grafana#hacktoberfest#logging#loki#prometheus
Loki is a log aggregation system inspired by Prometheus but designed specifically for logs instead of metrics. It is cost-effective and easy to operate because it only indexes metadata (labels) about logs, not the full log content, which reduces storage and complexity. Loki works well with Kubernetes by automatically indexing pod labels and integrates natively with Grafana for easy log visualization. Its stack includes an agent (Alloy) to collect logs, Loki to store and query them, and Grafana to display them. This setup helps you efficiently manage and analyze logs with less cost and simpler operation compared to traditional logging systems[2].
https://github.com/grafana/loki
#vacancy#Fulltime#remote#DevOps#MLOps#ITВакансии#УдалённаяРабота#Grafana#ML#Вакансия
🔎Senior DevOps в ритейл ❇️ |агентство TopSelection
💰Зарплата: 270-300К руб/мес.Гросс
🎯Локация/гр.: Россия
🕰Срок проекта: 3 месяца +
📄Оформление: только ИП
🏛О проекте: Команда создаёт интеллектуальную ML - систему прогнозирования спроса, которая учитывает сезонность, промо, макро- и микроэкономические факторы, поведение клиентов и ограничения логистики.
Стек: GitHub/Gitlab, Jfrog Artifactory, SonarQube, Jenkins/GitlabCI, ArgoCD, Helm, Hashicorp Vault, OpenTelemetry, Grafana, Grafana Tempo, Mimir, Prometheus, Apache Spark, k8s.
📌 Требования:
— DevOps с опцией MLOps (работать придется с продуктом прогнозирования с ML, причем частично в режиме spark);
— Опыт проектирования, настройки и поддержки CI/CD-процессов;
— Умение выявлять и автоматизировать рутинные операции для повышения эффективности команды разработки и эксплуатации;
— Готовность участвовать в диагностике и устранении инцидентов: сбор диагностических данных, анализ окружения, содействие разработчикам в дебаге;
— Практический опыт настройки централизованного логирования, мониторинга и алертинга для обеспечения наблюдаемости систем.
Задачи:
- Облегчение и ускорение труда разработчиков;
- Создание CI/CD пайпланов;
- Помощь в контейнеризации приложений, подготовке к доставке и развертыванию;
- Техническая консультация;
- Помощь в настройке централизованной среды разработки;
- Управление релизным процессом, проведение, сопровождение релизов;
- Заведение RFC;
- Проведение релизов;
- Контроль работоспособности систем до, во время и после релизов;
- Актуализация технической документации;
- Управление инфраструктурой;
- Поддержание работоспособности инфраструктурных сервисов;
- Настройка мониторинга сервисов;
- Контроль за утилизацией ресурсов, повышение оптимальности их использования;
- Своевременное обновление сервисов и зависимостей;
- Своевременное устранение обнаруженных уязвимостей в исходном коде и подконтрольных сервисах.
📲 Как откликнуться:
Отправляйте своё резюме @AllaDemHR