Один из самых удобных способов записать данные это использование готовых форматов, такие как JSON или YAML.
Из плюсов такого подхода стоит отметить вот что:
🔸 готовый, повсеместно используемый и поддерживаемый формат
🔸 простой и понятный файл, удобочитаемый для человека
🔸 можно легко редактировать в любом текстовом редакторе без специальных программ и библиотек
Но есть и минусы
🔹 затраты времени при записи файла (кодирование данных в нужный формат строки)
🔹 затраты времени при чтении файла (декодирование данных в Python объекты)
🔹 размер файла увеличивается из-за разметки данных (скобки, запятые, переносы, отступы...)
🔹 перед записью все данные должны быть помещены в память в полном объёме (не всегда)
🔹 при чтении необходимо считать весь файл в память и только потом декодировать данные
Если нужно писать немного данных в несколько файлов, то затраты по времени не ощутимы. Обычно это файлы конфига или какие-либо метаданные. Это отличный вариант под такие задачи.
Есть и другой поход к записи файлов - это бинарные файлы. Используется, когда данных достаточно много и никто их не собирается читать глазками😳.
🔸 очень быстрая запись
🔸 чтение значительно быстрей чем JSON, YAML итд
🔸 размер файла значительно меньше, так как нет разметки
🔸 можно записывать данные по мере поступления не загружая всё в память
🔸 можно извлечь любую часть данных независимо
Из минусов
🔹 нужно определить свой формат записи данных (если не используете готовую спецификацию определённого формата)
🔹 не получится открыть файл и визуально понять что там записано, а для чтения файла потребуется знать его спецификацию.
🔹 не так-то просто создать такой файл без специальной библиотеки
В таком виде удобно записывать большой массив любых однородных данных. Например, мониторинг валютной биржи или кэшированная анимация 3D геометрии.
(Это не означает что нельзя записать данные разного типа, просто это будет не так удобно)
Представьте себе JPG-картинку. По сути это немного мета-информации и большой массив пикселей. Тоже самое со звуком или видео файлом. Поэтому, если вы попробуете открыть картинку в текстовом редакторе вы увидите что-то вроде такого
f15d cd29 a564 4578 ...
09e2 9bc4 a696 1253 ...
84e9 4de1 3b23 c24a ...
2534 5161 28e0 709d ...
...
Это и есть записанные байтики. И для их чтения требуется определённый софт который знает что с ними делать. Под каждый тип файла.
К чему это я? Читайте в следующем посте...
#tricks#basic
🔒 NebulaEncrypt - Chrome Extension for Secure Local Encryption on the Web.
• Автор этого репозитория решил еще больше обезопасить свои сообщения в Telegram и закодил плагин для локального шифрования для Telegram Web.
• Идея такая, отправлять не явные сообщения, а локально зашифрованные и далее плагин на лету их расшифровывает непосредственно на клиенте. Тем самым, даже если сервер скомпрометируют, то там можно будет найти только ваши закодированные сообщения, которые зашифрованы локальным ключем.
• Плагин больше, как концепция, интересно было попробовать насколько это может быть удобно. Так то можно использовать не только в телеге, но и в других мессенджерах, главное написать адаптер.
➡https://github.com/dmitrymalakhov/NebulaEncrypt
#Privacy
#PRIVACY
Il Garante per la protezione dei dati personali ha ordinato all’INPS il pagamento di una sanzione pari a 300mila euro in relazione alle violazioni commesse nell’ambito dell’accertamento effettuato dall’istituto di previdenza per il “bonus Covid” ai politici muniti di partita Iva.
La motivazione: l’istituto ha effettuato incroci tra i dati dei parlamentari che hanno richiesto il bonus con quelli di altri soggetti che ricoprivano incarichi di natura politica, senza però aver prima determinato se a costoro spettasse o meno il bonus. Inoltre, l’INPS ha violato il principio di “minimizzazione dei dati”, per aver avviato i controlli volti al recupero dei bonus anche nei confronti di coloro che avevano richiesto il beneficio, senza averlo però percepito a causa dell’assenza dei requisiti previsti in tal senso.
👉@giurisprudentia
📖Scraping vs. Privacy
Daniel Solove and Woodrow Hartzog published the final version of their paper “The Great Scrape: The Clash Between Scraping and Privacy,” which offers important insights on the intersection of privacy and AI.
The paper explores the fundamental tension between scraping and privacy law. With the zealous pursuit and astronomical growth of AI, we are in the midst of what we call the “great scrape.” There must now be a great reconciliation".
#AI#Privacy
Australia's Privacy Chief Hits Brakes on Untamed AI Rollout
Australia's newly appointed Privacy Commissioner, Carly Kind, is urging caution regarding the rapid implementation of Artificial Intelligence technologies. While not opposed to AI, Kind emphasizes the need for robust safeguards before widespread adoption.
Kind expresses frustration with the tech industry's push for swift AI deployment, prioritizing speed over careful consideration of potential risks and ethical implications. She highlights the need for a measured approach, allowing time to understand the technology's nuances and establish appropriate regulations to prevent misuse.
Australia's cautious approach to AI deployment reflects growing global concerns about the responsible development and use of this powerful technology. As AI continues to evolve, ensuring its implementation aligns with ethical principles and safeguards privacy will be crucial.
#ResponsibleAI#Privacy
19 октября успешно прошел Евразийский конгресс по защите данных (EDPC 2023).
DPO крупных компаний рассказывали об опыте построения систем защиты персональных данных.
Тема актуальная, доклады чрезвычайно полезные.
#privacy#dataprotection