Можно ли в Python создавать бинарные файлы? Конечно можно.
Для этого в Python есть следующие инструменты:
▫️ тип данных bytes и bytearray
▫️ открытие файла в режиме wb (write binary) или rb (read binary)
▫️ модуль struct
Про модуль struct поговорим в первую очередь.
Файл в формате JSON или Yaml внутри себя содержит разметку данных. Всегда можно определить где список начался а где закончился. Где записана строка а где словарь. То есть формат записи данных содержит в себе элементы разметки данных.
В binary-файле данные не имеют визуальной разметки. Это просто байты, записанные один за другим. Правила записи и чтения находятся вне файла.
Модуль struct как раз и помогает с организацией данных в таком файле с помощью определения форматов записи для разных частей файла.
Модуль struct преобразует Python-объекты в массив байт, готовый к записи в файл и имеющий определённый вид.
Для этого всегда следует указывать формат преобразования (или, как оно здесь называется - запаковки).
Формат нужен для того, чтобы выделить достаточное количество байт для записи конкретного типа объекта. В последствии с помощью того же формата будет производиться чтение.
При этом следует помнить что мы говорим о типах языка С а не Python.
Именно формат определяет, что записано в конкретном месте файла, число, строка или что-то еще.
Вот какие токены формата у нас есть.
Помимо этого, первым символом можно указать порядок байтов. На разных системах одни и те же типы данных могут записываться по-разному, поэтому желательно указать конкретный способ из доступных. Если этого не сделать, то используется символ '@', то есть нативный для текущей системы.
В строке формата мы пишем в каком порядке и какие типы собираемся преобразовать в байты.
Запакуем в байты простое число, токен "i".
>>> import struct
>>> struct.pack('=i', 10)
b'\n\x00\x00\x00'
Теперь несколько float, при этом нужно передавать элементы не массивом а последовательностью аргументов.
>>> struct.pack('=fff', 1.0, 2.5, 4.1)
b'\x00\x00\x80?\x00\x00 @33\x83@'
Вместо нескольких токенов можно просто указать нужное количество элементов перед одним токеном, результат будет тот же.
>>> struct.pack('=3f', 1.0, 2.5, 4.1)
b'\x00\x00\x80?\x00\x00 @33\x83@'
Теперь запакуем разные типы
>>> data = struct.pack('=fiQ', 1.0, 4, 100500)
я запаковал типы float, int и unsigned long long (очень большой int, на 8 байт)
b'\x00\x00\x80?\x04\x00\x00...'
Распаковка происходит аналогично, но нужно указать тот же формат, который использовался при запаковке. Результат возвращается всегда в виде кортежа.
>>> struct.unpack('=fiQ', data)
(1.0, 4, 100500)
Как видите, ничего страшного!
#lib#basic
СМЕШАЙ И (НЕ) ДЕЛАЙ
Я уже рассказывал о гипотезах (1 часть, 2 часть), но теперь я решил связать это с показателем p-value и случайными ошибками (также известными как ⍺ и β или ошибки I и II рода) 🤯
Большинство медицинских исследований делается в рамках проверки значимости нулевой гипотезы (Null Hypothesis Significance Testing, NHST). Принцип предполагает, что мы проверяем нулевую гипотезу (Н0), а затем принимаем решение отвергать ее или нет. Но часто в этой концепции неосознанно соединяют 2 метода: Фишера и Нейрона-Пирсона 🍸
1) Подход Фишера
Он позволяет рассчитать вероятность получить такой или более экстремальный результат в исследовании при условии, что Н0 верна. Что-то это напоминает...
Верно! Это и есть определение p-value 🔥 Мы проверяем насколько вероятно наши полученные данные соответствуют заранее сформулированной Н0. Если не соответствуют, то отвергаем Н0.
Т.е. мы просто оцениваем суммарную/кумулятивную вероятность в конкретном исследовании. Низкое значение p указывает только на несоответствие Н0 полученным данным, оно не может быть интерпретировано как доказательство в пользу конкретной альтернативной гипотезы (Н1) 🤔
"No isolated experiment, however significant in itself, can suffice for the experimental demonstration of any natural phenomenon"
2) Подход Неймана и Пирсона
Это "игра в долгую", когда на основе предполагаемой величины эффекта выдвигаются Н0 и Н1. При этом с определенной вероятностью можно получить разные варианты результатов, в т.ч. ошибки I рода (⍺; ложноположительный; отклонить Н0, когда она верна) и II рода (β; ложноотрицательный; не отклонить Н0, когда она неверна) 🤖
В этом методе мы лишь предполагаем вероятности (грубо, пытаемся их контролировать/предсказать), но допустили их в конкретном исследовании или нет, не знаем. Т.е. только при многократном тестировании гипотез мы увидим частоту ошибок и сможем принять решение 📊
Эти 2 подхода часто ошибочно смешивают для простоты принятия решений (отклонить Н0), но в своей сути они разные 🎭
📍Когда заранее планируется эксперимент, исследователи пытаются контролировать вероятность ошибок (долгосрочная вероятность), для этого рассчитывают размер выборки. А когда уже получены результаты, то можно лишь рассчитать текущую вероятность получить такие или более экстремальные результаты, если бы Н0 была верна, но при этом нельзя быть уверенным, что мы не допускаем ошибку I или II рода. Однако, когда есть несколько исследований, тестирующих одну Н0, то возможно получится увидеть в каком из них допущена случайная ошибка (опять долгосрочная вероятность).
Графически различия подходов можно увидеть на рис.1
При этом, мы не можем "доказать" гипотезу (ни нулевую, ни альтернативную), для этого нужно использовать другие методы (например, Байесовский подход) 🥵
Помните, не путайте и не давайте себя путать. Если хочется разбираться в статистике, читать "критически" статьи, то нужно учиться разбираться в основах (глупо читать книгу без знания алфавита, фонетики, грамматики, орфографии) 📖
А в статистике основ дох... много 😁
@ebm_base
#ebm_statisica#ebm_base#hypothesis
#Hypothesis is a Python library for creating #unit_tests which are simpler to write and more powerful when run, finding edge cases in your code you wouldn’t have thought to look for. It is stable, powerful and easy to add to any existing #test suite.
#unittest
https://hypothesis.readthedocs.io/en/latest/
Впоследствии стеклянные сферы-шлемы под воздействием стихии и времени были полностью уничтожены. И только недавно обнаруженный документ проливает свет на происхождение и первоначальную задумку данного скульптурного комплекса. Аборигены, обладавшие утерянными ныне технологиями, воздвигли памятник инопланетянам, открывшим их остров задолго до европейцев. Doping Pong создали новую картину на основе дорожной зарисовки, не сохранившейся до наших дней, но описанной однажды в дневнике путешественника. Набросок, сопровождаемый единственной фразой, как будто озвучивал одного из изображённых героев, указывающего на небо и с уверенностью заявляющего: «Однажды они вернутся!»
Что это – картина-гипотеза или картина-документ –решать вам.
#dopingpong#history#aliens
#моаи#пасха#островпасхи#головыостровапасхи#trip#science#theory#document#hypothesis#russianart#archeology#easter#island#tour