Один из самых удобных способов записать данные это использование готовых форматов, такие как JSON или YAML.
Из плюсов такого подхода стоит отметить вот что:
🔸 готовый, повсеместно используемый и поддерживаемый формат
🔸 простой и понятный файл, удобочитаемый для человека
🔸 можно легко редактировать в любом текстовом редакторе без специальных программ и библиотек
Но есть и минусы
🔹 затраты времени при записи файла (кодирование данных в нужный формат строки)
🔹 затраты времени при чтении файла (декодирование данных в Python объекты)
🔹 размер файла увеличивается из-за разметки данных (скобки, запятые, переносы, отступы...)
🔹 перед записью все данные должны быть помещены в память в полном объёме (не всегда)
🔹 при чтении необходимо считать весь файл в память и только потом декодировать данные
Если нужно писать немного данных в несколько файлов, то затраты по времени не ощутимы. Обычно это файлы конфига или какие-либо метаданные. Это отличный вариант под такие задачи.
Есть и другой поход к записи файлов - это бинарные файлы. Используется, когда данных достаточно много и никто их не собирается читать глазками😳.
🔸 очень быстрая запись
🔸 чтение значительно быстрей чем JSON, YAML итд
🔸 размер файла значительно меньше, так как нет разметки
🔸 можно записывать данные по мере поступления не загружая всё в память
🔸 можно извлечь любую часть данных независимо
Из минусов
🔹 нужно определить свой формат записи данных (если не используете готовую спецификацию определённого формата)
🔹 не получится открыть файл и визуально понять что там записано, а для чтения файла потребуется знать его спецификацию.
🔹 не так-то просто создать такой файл без специальной библиотеки
В таком виде удобно записывать большой массив любых однородных данных. Например, мониторинг валютной биржи или кэшированная анимация 3D геометрии.
(Это не означает что нельзя записать данные разного типа, просто это будет не так удобно)
Представьте себе JPG-картинку. По сути это немного мета-информации и большой массив пикселей. Тоже самое со звуком или видео файлом. Поэтому, если вы попробуете открыть картинку в текстовом редакторе вы увидите что-то вроде такого
f15d cd29 a564 4578 ...
09e2 9bc4 a696 1253 ...
84e9 4de1 3b23 c24a ...
2534 5161 28e0 709d ...
...
Это и есть записанные байтики. И для их чтения требуется определённый софт который знает что с ними делать. Под каждый тип файла.
К чему это я? Читайте в следующем посте...
#tricks#basic
Вчера общался в наиприятнейшем коллективе государевых, и не только, людей. Надо было решить некоторые оргвопросы, поэтому в чат была закинута ссылка на гугл-таблицы, чтобы каждый мог отметить себя и работать дальше.
На мое старческое брюзжание, что инициативно на гугле собирать персональные данные русских людей негоже, получил что хотел. Иронию.
Но если серьезно, то сразу же в голове вспыхнуло: мы ведь не осознаем масштаб профайлинга нас самих. Профайлинг — это анализ поведения человека, на основе которого предсказываются его действия. В этот анализ идёт все: вербалика, невербалика, социальные паттерны в конкретных ситуациях и многое другое.
Естественно, ИИ-инструменты насыщают профайлинг каждого из нас тончайшими деталями. Такой цифровой след делает нашу личность уникальной и совокупный массив данных о нас позволяет идентифицировать человека даже без сотового телефона или аккаунта в соцсети. Потому что если на цифровом продукте нет плашки "Ai" или "Нейро", то, будьте уверены, под капотом у него нейросеть, которая анализирует и собирает воедино разрозненные данные.
В краткосрочной перспективе на нас таким нехитрым образом наживается рекламодатель, подсовывая именно то, что вы минуту назад запрашивали у умной колонки или поисковика. В долгосрочной...тут много вариантов, способных испортить аппетит утром.
Кадровый, маркетинговый, бизнес-профайлинг позволяют качественно решать задачи оценки рисков и принятия стратегии. Это если вы используете профайлинг. А если это делается в отношении вас? Да, сегодня мы привычно заливаем обобщенные данные в таблицу, а завтра по привычке взяли и закинули туда конфиденциальные сведения. И это тоже можно просчитать про каждого.
Оценить какие для вас ссылки самые кликбейтные тоже можно. И в нужный момент подсунуть именно такую, чтобы при нажатии вы словили логгер, — не так сложно. Для госслужащих рекомендую все же прочитать мой старый пост про Google и PRISM.
Табличку в итоге перенесли на Яндекс, хоть я и не настаивал. А вот следующая лекция в рамках общества "Знание" будет про профайлинг. Слишком уж там заманчивый компот из социологии, криминалистики, психологии и айти, куда ж без этого.
#google#prism#профайлинг#osint#внк
Вопросик на контроле
Фильм на вечер
Большой брат следит за нами. Тезис от капитана очевидность. Сегодня— да. До появления в московском аэропорту Эдварда Сноудена в массовом сознании было совсем иначе. Обыватель свято верил в тайну переписки, в неприкосновенность личной жизни и всё прочее благостное, шедшее по умолчанию с демократией из Белого Дома.
Привезший кучу материала про систему глобальной компьютерной разведки "PRISM" Сноуден раскрыл секрет Полишинеля. Оказывается, самые популярные сервисы, которые пользователь беззаботно кликает каждый день, работают в интересах Агентства национальной безопасности США.
Пойти против такой системы — это смертный приговор себе. Не взять такую систему себе на вооружение, когда к тебе приехал сотрудник АНБ, — фатальное упущение.
Потом уже выяснится, что "PRISM" — вершина айсберга и является составной частью системы глобальной разведки американцев. Имя ей — "Эшелон". Но это уже совсем другая история.
#prism#nsa#анб#инфобез#osint#кино
Вопросик на контроле