Можно ли в Python создавать бинарные файлы? Конечно можно.
Для этого в Python есть следующие инструменты:
▫️ тип данных bytes и bytearray
▫️ открытие файла в режиме wb (write binary) или rb (read binary)
▫️ модуль struct
Про модуль struct поговорим в первую очередь.
Файл в формате JSON или Yaml внутри себя содержит разметку данных. Всегда можно определить где список начался а где закончился. Где записана строка а где словарь. То есть формат записи данных содержит в себе элементы разметки данных.
В binary-файле данные не имеют визуальной разметки. Это просто байты, записанные один за другим. Правила записи и чтения находятся вне файла.
Модуль struct как раз и помогает с организацией данных в таком файле с помощью определения форматов записи для разных частей файла.
Модуль struct преобразует Python-объекты в массив байт, готовый к записи в файл и имеющий определённый вид.
Для этого всегда следует указывать формат преобразования (или, как оно здесь называется - запаковки).
Формат нужен для того, чтобы выделить достаточное количество байт для записи конкретного типа объекта. В последствии с помощью того же формата будет производиться чтение.
При этом следует помнить что мы говорим о типах языка С а не Python.
Именно формат определяет, что записано в конкретном месте файла, число, строка или что-то еще.
Вот какие токены формата у нас есть.
Помимо этого, первым символом можно указать порядок байтов. На разных системах одни и те же типы данных могут записываться по-разному, поэтому желательно указать конкретный способ из доступных. Если этого не сделать, то используется символ '@', то есть нативный для текущей системы.
В строке формата мы пишем в каком порядке и какие типы собираемся преобразовать в байты.
Запакуем в байты простое число, токен "i".
>>> import struct
>>> struct.pack('=i', 10)
b'\n\x00\x00\x00'
Теперь несколько float, при этом нужно передавать элементы не массивом а последовательностью аргументов.
>>> struct.pack('=fff', 1.0, 2.5, 4.1)
b'\x00\x00\x80?\x00\x00 @33\x83@'
Вместо нескольких токенов можно просто указать нужное количество элементов перед одним токеном, результат будет тот же.
>>> struct.pack('=3f', 1.0, 2.5, 4.1)
b'\x00\x00\x80?\x00\x00 @33\x83@'
Теперь запакуем разные типы
>>> data = struct.pack('=fiQ', 1.0, 4, 100500)
я запаковал типы float, int и unsigned long long (очень большой int, на 8 байт)
b'\x00\x00\x80?\x04\x00\x00...'
Распаковка происходит аналогично, но нужно указать тот же формат, который использовался при запаковке. Результат возвращается всегда в виде кортежа.
>>> struct.unpack('=fiQ', data)
(1.0, 4, 100500)
Как видите, ничего страшного!
#lib#basic
#GitLab
Modern CI/CD with GitLab: Productivity and Workflow Boost
Your journey to the modern CI/CD with Gitlab starts here! Learn how you can boost your productivity and workflows.
🔗Link
-----
Main channel:@repo_science
Coupons: @freecoupons_reposcience
-----
🦊 Настройка автоматизация проверки качества, сборки и запуск тестов Android проекта в Gitlab
CI/CD - неотъемлемая часть любого мобильного и не только проекта! Даже если вы делаете всё один, вас стоит настроить CI/CD. GitHub, Gitlac, Jenkins и множество других решений подойдут для решения задачи.
Если вы решили использовать CI/CD от Gitlab, тогда вам может пригодиться серия статей:
1️⃣Планирование, настройка Gitlab файла, публикация в Telegram сборок
2️⃣Запуск Android-тестов: Marathon Labs, Firebase Test Lab
3️⃣Автоматизация публикации версий в Play Store с помощью Gradle Play Publisher plugin и Fastlane, а также собственного Docker образа для сборки
#andorid#ci#gitlab#автоматизация
#вакансия#инженер#engineer#DataEngineer#middle#machinelearning#Python#PostgreSQL#SQL#Redis#gitlab#работа#job#удаленно
Компания: Sever X
Формат: удаленно
Занятость: полная, 5/2
💵: от 250 000 руб.
🚀Отличная возможность для опытного Data Engineer реализовать и развить как технические компетенции, так и навыки коммуникации с бизнесом, лидерские качества, навыки формирования команды. С развитием проекта предполагается создание команды под себя, сейчас необходимо возглавить текущие задачи и реализовать их.
🗝задача: поддержка и развитие Data Lake и связанных с ним проектов
📍Основные обязанности
•Интеграция с источниками данных и построение ETL-процессов
•Разработка и поддержка аналитической отчётности системами и API
•Выявление и устранение аномалий в данных
•Взаимодействие с другими членами команды
🛠Стек:
Основной язык разработки – Python 3.8
Платформа разработки – Яндекс.Облако (Managed Services + виртуальные машины)
Хранилища данных – GreenPlum 6.2, PostgreSQL 14, Redis
Оркестратор процессов – Apache Airflow 2.0
Система управления версиями – GitLab
Контейнеризация приложений – Docker + k8s
📍Обязательные требования
•Уверенное владение SQL: базовый синтаксис, транзакции, представления, хранимые процедуры
•Опыт интеграции с различными источниками данных: файловые системы (локальные/ftp/sftp), API, SQL и NoSQL базы данных
•Понимание принципа работы распределённых баз данных
•Знание Python 3: модули pandas, pyodbc (либо другие модули, имплементирующие ODBC), paramiko, requests
•Базовые навыки использования Linux
🔥Преимуществом при отборе будет:
•Опыт работы с распределёнными хранилищами данных: Hadoop (Hive/Impala), GreenPlum, ClickHouse
•Опыт разработки пайплайнов на Apache Airflow
•Навыки оптимизации процессов SQL
•Опыт реализации RestAPI
⚖️Условия работы и что мы можем предложить взамен:
•Место работы: удаленно
•Возможны различные варианты оформления
•Рассматриваются кандидаты в часовом поясе максимум +5 часов к МСК
•Обязательно наличие гражданства РФ
•Квартальные премии в размере 30% от квартального оклада
•ДМС со стоматологией
•Профессиональная и амбициозная команда
•Открытая корпоративная культура, атмосфера доверия и сотрудничества
•Драйв, высокие скорости, непосредственное влияние на результат
📲контакт: @Oskar17