TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #241 · 5 мај

Можно ли в Python создавать бинарные файлы? Конечно можно. Для этого в Python есть следующие инструменты: ▫️ тип данных bytes и bytearray ▫️ открытие файла в режиме wb (write binary) или rb (read binary) ▫️ модуль struct Про модуль struct поговорим в первую очередь. Файл в формате JSON или Yaml внутри себя содержит разметку данных. Всегда можно определить где список начался а где закончился. Где записана строка а где словарь. То есть формат записи данных содержит в себе элементы разметки данных. В binary-файле данные не имеют визуальной разметки. Это просто байты, записанные один за другим. Правила записи и чтения находятся вне файла. Модуль struct как раз и помогает с организацией данных в таком файле с помощью определения форматов записи для разных частей файла. Модуль struct преобразует Python-объекты в массив байт, готовый к записи в файл и имеющий определённый вид. Для этого всегда следует указывать формат преобразования (или, как оно здесь называется - запаковки). Формат нужен для того, чтобы выделить достаточное количество байт для записи конкретного типа объекта. В последствии с помощью того же формата будет производиться чтение. При этом следует помнить что мы говорим о типах языка С а не Python. Именно формат определяет, что записано в конкретном месте файла, число, строка или что-то еще. Вот какие токены формата у нас есть. Помимо этого, первым символом можно указать порядок байтов. На разных системах одни и те же типы данных могут записываться по-разному, поэтому желательно указать конкретный способ из доступных. Если этого не сделать, то используется символ '@', то есть нативный для текущей системы. В строке формата мы пишем в каком порядке и какие типы собираемся преобразовать в байты. Запакуем в байты простое число, токен "i". >>> import struct >>> struct.pack('=i', 10) b'\n\x00\x00\x00' Теперь несколько float, при этом нужно передавать элементы не массивом а последовательностью аргументов. >>> struct.pack('=fff', 1.0, 2.5, 4.1) b'\x00\x00\x80?\x00\x00 @33\x83@' Вместо нескольких токенов можно просто указать нужное количество элементов перед одним токеном, результат будет тот же. >>> struct.pack('=3f', 1.0, 2.5, 4.1) b'\x00\x00\x80?\x00\x00 @33\x83@' Теперь запакуем разные типы >>> data = struct.pack('=fiQ', 1.0, 4, 100500) я запаковал типы float, int и unsigned long long (очень большой int, на 8 байт) b'\x00\x00\x80?\x04\x00\x00...' Распаковка происходит аналогично, но нужно указать тот же формат, который использовался при запаковке. Результат возвращается всегда в виде кортежа. >>> struct.unpack('=fiQ', data) (1.0, 4, 100500) Как видите, ничего страшного! #lib#basic

Hashtags

Резултати

Пронајдени 1 слични објави

Пребарај: #chinesetech

当前筛选 #chinesetech清除筛选
AI & Law

@ai_and_law · Post #147 · 25.10.2023 г., 07:04

Proposed Chinese AI Safety Standards: A Closer Look Hey there, AI & Law community! On October 11, the National Information Security Standardization Technical Committee in China released a draft document outlining precise regulations for evaluating generative AI models. Unlike the often vague AI regulations, this document provides a clear blueprint for compliance. This standards proposal sets forth rigorous criteria for assessing AI data sources and their content. The document covers topics like training data diversity, moderation, and prohibited content. It emphasizes the need for diversified training corpora and the assessment of data quality. If more than 5% of data is "illegal and negative information," the corpus is flagged for future training. The proposal also suggests that AI companies employ moderators to enhance generated content quality, aligning with national policies and third-party complaints. This implies a potential expansion of the human-driven moderation and censorship workforce in the AI era. Companies are tasked with identifying hundreds of keywords for flagging unsafe or banned content, with separate categories for political and discriminative content. They must also generate more than 2,000 prompts, ensuring fewer than 10% of responses breach the rules. Interestingly, the document encourages subtler censorship measures, such as not refusing to answer sensitive prompts but allowing AI models to respond to specific, non-sensitive inquiries. It's crucial to clarify that these standards are not laws, and non-compliance doesn't result in penalties. However, proposals like these can significantly influence future regulations or work alongside them. The standards receive input from tech experts hired by companies, giving corporations like Huawei, Alibaba, and Tencent a say in shaping these regulations. Their influence could have far-reaching implications for the global AI industry and how AI technologies are regulated worldwide. #AISafety#AIRegulations#GenerativeAI#ContentModeration#ChineseTech#AIInfluence#GlobalAI