@cogload · Post #118 · 09.11.2023 г., 07:02
Буду потихоньку тизерить личный проект. Покажу процесс и что в итоге получилось На видео собираю данные 👩💻 #hoith
Hashtags
TGINSIGHT SIMILAR POSTS
Изворен канал @pythonotes · Post #239 · 3 мај
Один из самых удобных способов записать данные это использование готовых форматов, такие как JSON или YAML. Из плюсов такого подхода стоит отметить вот что: 🔸 готовый, повсеместно используемый и поддерживаемый формат 🔸 простой и понятный файл, удобочитаемый для человека 🔸 можно легко редактировать в любом текстовом редакторе без специальных программ и библиотек Но есть и минусы 🔹 затраты времени при записи файла (кодирование данных в нужный формат строки) 🔹 затраты времени при чтении файла (декодирование данных в Python объекты) 🔹 размер файла увеличивается из-за разметки данных (скобки, запятые, переносы, отступы...) 🔹 перед записью все данные должны быть помещены в память в полном объёме (не всегда) 🔹 при чтении необходимо считать весь файл в память и только потом декодировать данные Если нужно писать немного данных в несколько файлов, то затраты по времени не ощутимы. Обычно это файлы конфига или какие-либо метаданные. Это отличный вариант под такие задачи. Есть и другой поход к записи файлов - это бинарные файлы. Используется, когда данных достаточно много и никто их не собирается читать глазками😳. 🔸 очень быстрая запись 🔸 чтение значительно быстрей чем JSON, YAML итд 🔸 размер файла значительно меньше, так как нет разметки 🔸 можно записывать данные по мере поступления не загружая всё в память 🔸 можно извлечь любую часть данных независимо Из минусов 🔹 нужно определить свой формат записи данных (если не используете готовую спецификацию определённого формата) 🔹 не получится открыть файл и визуально понять что там записано, а для чтения файла потребуется знать его спецификацию. 🔹 не так-то просто создать такой файл без специальной библиотеки В таком виде удобно записывать большой массив любых однородных данных. Например, мониторинг валютной биржи или кэшированная анимация 3D геометрии. (Это не означает что нельзя записать данные разного типа, просто это будет не так удобно) Представьте себе JPG-картинку. По сути это немного мета-информации и большой массив пикселей. Тоже самое со звуком или видео файлом. Поэтому, если вы попробуете открыть картинку в текстовом редакторе вы увидите что-то вроде такого f15d cd29 a564 4578 ... 09e2 9bc4 a696 1253 ... 84e9 4de1 3b23 c24a ... 2534 5161 28e0 709d ... ... Это и есть записанные байтики. И для их чтения требуется определённый софт который знает что с ними делать. Под каждый тип файла. К чему это я? Читайте в следующем посте... #tricks#basic
Пребарај: #hoith
@cogload · Post #118 · 09.11.2023 г., 07:02
Буду потихоньку тизерить личный проект. Покажу процесс и что в итоге получилось На видео собираю данные 👩💻 #hoith
Hashtags
@cogload · Post #125 · 20.11.2023 г., 07:36
Как я влюбился в картографию Хочу поделится проектом, который в свое время зажег во мне интерес к картографии и представлению информации. https://nakarte.me/#m=15/46.46893/8.10358&l=O/Si&r=46.798562/8.231974/Switzerland ↑ Сначала откройте ссылку и полистайте карту Все началось с заметки в блоге Эдварда Тафти про топографический атлас Швейцарсих Альп. На примере этой карты, он объясняет принципы хорошей визуализации: Общие принципы - Фокус на содержании. - Высокое разрешение. - Каждый элемент имеет несет в себе информацию, нет элементов «для красоты». - Видно картину в целом, а детали вписаны в контекст и доступны при необходимости. Детали - Объекты органично вписаны в рельеф, нет нужды во всплывающих окнах. По соседним деталям можно понять размеры рядом стоящих. - Контрастные контурные линии проявляют топографический рельеф гор. Подписи рядом с ними и на пиках сообщают количественную информацию. Цвет - Низкий контраст не создает визуального шума. - Интуитивные цвета, основанные на объектах из природы — белый снег, черные скалы, голубая вода, зеленая растительность. Типографика - Строгая иерархия шрифтов и их насыщенности (см. дополнение в коментах). - Размер шрифта соответствует масштабу объекта — чем больше объект, тем больше шрифт. Почему это круто? Все это вместе создает эффект проявления информации Когда я впервые увидел эту анимацию плавно двигающейся карты — я словил ощущение эйфории и расфокуса — информация как будто сама заливалась мне в глаза и я её моментально понимал. С тех пор, я искал и пробовал делать штуки, которые бы повторили это ощущение. У Тани Мисютиной из лаборатории данных как раз недавно вышла заметка про этот эффект. Очень советую почитать. Ещё Таня рассказывала как книжки Тафти повлияли на неё и вдохновили начать заниматься визуализацией данных. #hoith#любопытство
Hashtags
@cogload · Post #126 · 06.12.2023 г., 17:24
Почему карта возможно не лучший каркас для визуализации данных Продолжаю рассказывать про персональный проект. Как вы могли догадаться речь пойдет про карту. Любые данные — это косвенное отражение того что происходит в реальном мире. Даже спутниковое фото может искажать реальное положение вещей. Что уж говорить о численной статистике, которая была собрана людьми в неидеальных условиях за большой период времени. Если в данных есть графа с местоположением, это не значит что карта — подходящий способ визуализации. Есть даже мем про то что все карты Европы выглядят одинаково Данные никогда не находятся в вакууме и закономерность в статистике может отражать не то, что пытались измерить. Почему же в моем случае карта подходит? Я пытаюсь визуализировать возраст домов. Минимальная частица тут — год, когда были возведены стены фасада (год постройки). В городе домов много, и общие закономерности можно оценить по столбчатой диаграмме — года выстроить по порядку, а высотой столбика показать количество домов построенных в этом году. Но чтобы действительно проявить суть информации — какие исторические слои сохранились до наших дней и как они соотносятся с моим текущим пониманием местности — эти данные нужно нанести на карту города. То есть нужно задать ключевой вопрос: помогает ли визуализация найти новые знания в общем массиве данных, или просто показывает то, что я мог увидеть и в таблице? На выходных я буду рассказывать про проект на Новисадском Митапе. Запись уже закрыта, но если вы в Сербии или поблизости — можете написать организаторам, иногда люди не успевают попасть и открываются свободные места. #hoith#maps
@cogload · Post #128 · 10.12.2023 г., 10:46
Карта возраста домов — ссылки Онлайн версия карты домов Томска. По нажатию открывается карточка дома с доступной информацией https://kontikimaps.ru/how-old/tomsk?p=h-tom Мой рассказ о процессе создания карты https://kontikimaps.ru/how-old/tomsk/process?p Карты других городов https://kontikimaps.ru/how-old/cities?p=h-menu Пост Никиты Славина на Хабре с которого все началось https://habr.com/ru/articles/504216/ Рассказ Александра Качкаева о карте Пензы и написании фреймворка для сбора данных https://kontikimaps.ru/how-old/penza/process?p=h-pnz Сайт издательства Кон Тики https://kontikimaps.ru #hoith#maps#сделал