TGINSIGHT SIMILAR POSTS
Изворен канал @pythonotes · Post #241 · 5 мај
Можно ли в Python создавать бинарные файлы? Конечно можно. Для этого в Python есть следующие инструменты: ▫️ тип данных bytes и bytearray ▫️ открытие файла в режиме wb (write binary) или rb (read binary) ▫️ модуль struct Про модуль struct поговорим в первую очередь. Файл в формате JSON или Yaml внутри себя содержит разметку данных. Всегда можно определить где список начался а где закончился. Где записана строка а где словарь. То есть формат записи данных содержит в себе элементы разметки данных. В binary-файле данные не имеют визуальной разметки. Это просто байты, записанные один за другим. Правила записи и чтения находятся вне файла. Модуль struct как раз и помогает с организацией данных в таком файле с помощью определения форматов записи для разных частей файла. Модуль struct преобразует Python-объекты в массив байт, готовый к записи в файл и имеющий определённый вид. Для этого всегда следует указывать формат преобразования (или, как оно здесь называется - запаковки). Формат нужен для того, чтобы выделить достаточное количество байт для записи конкретного типа объекта. В последствии с помощью того же формата будет производиться чтение. При этом следует помнить что мы говорим о типах языка С а не Python. Именно формат определяет, что записано в конкретном месте файла, число, строка или что-то еще. Вот какие токены формата у нас есть. Помимо этого, первым символом можно указать порядок байтов. На разных системах одни и те же типы данных могут записываться по-разному, поэтому желательно указать конкретный способ из доступных. Если этого не сделать, то используется символ '@', то есть нативный для текущей системы. В строке формата мы пишем в каком порядке и какие типы собираемся преобразовать в байты. Запакуем в байты простое число, токен "i". >>> import struct >>> struct.pack('=i', 10) b'\n\x00\x00\x00' Теперь несколько float, при этом нужно передавать элементы не массивом а последовательностью аргументов. >>> struct.pack('=fff', 1.0, 2.5, 4.1) b'\x00\x00\x80?\x00\x00 @33\x83@' Вместо нескольких токенов можно просто указать нужное количество элементов перед одним токеном, результат будет тот же. >>> struct.pack('=3f', 1.0, 2.5, 4.1) b'\x00\x00\x80?\x00\x00 @33\x83@' Теперь запакуем разные типы >>> data = struct.pack('=fiQ', 1.0, 4, 100500) я запаковал типы float, int и unsigned long long (очень большой int, на 8 байт) b'\x00\x00\x80?\x04\x00\x00...' Распаковка происходит аналогично, но нужно указать тот же формат, который использовался при запаковке. Результат возвращается всегда в виде кортежа. >>> struct.unpack('=fiQ', data) (1.0, 4, 100500) Как видите, ничего страшного! #lib#basic
Пребарај: #geotools
@datainthecity · Post #69 · 13.12.2020 г., 16:09
#geotools Еще один повод обратить внимание на мощный и понятный пользователю инструмент для пространственного анализа. Единственный язык, который нужно хоть чуть-чуть знать, чтобы работать с ним - это английский. Ссылка : https://geodacenter.github.io
Hashtags
@datainthecity · Post #113 · 31.01.2022 г., 19:45
#geotools#geodata Интересную статью выдал мне medium под вечер понедельника и внес немного баланса во вселенную. В статье автор показывает, как с помощью несложных манипуляций с OSM и геотеггированными фото становится возможным слежка за Большим Братом. Именно так, на мой взгляд, и должны работать открытые данные - давать информацию о действиях властей, которую они сами открыто афишировать не планируют, тем самым позволяя обществу контролировать власти в ответ на их контроль. У меня только один вопрос: даже если выборка неполная, точно ли локации военных баз - эта та информация, которая должна быть в открытом доступе на OSM?🤔
@datainthecity · Post #93 · 19.07.2021 г., 07:24
#geotools#geodata Хорошим поводом отвлечься от рабочих геозадач и применить свои знания для решения актуальной городской проблемы стал хакатон сервиса аренды самокатов Whoosh , первый этап которого прошел в эти выходные. Организаторы сформулировали 3 темы : безопасность поездки, навигация и транспортная доступность. Наша команда решала задачу обеспечения безопасности. Мы предложили на основе данных об авариях с участием самокатов и исторических данных о скорости их передвижения создать карту, где все участки дорог в городе будут проранжированы по уровню их безопасности для езды на самокате. Это позволит сервису улучшить свои рекомендации маршрутов, а ДТ правильно выбирать зоны для ограничения скорости. Небольшие выводы по ходу работы: 1. Наиболее удобный формат работы с геоданными: собирать и обрабатывать в питоне (библиотеки geopandas, shapely), визуализировать - в web-сервисах, мой личный топ - Unfolded.AI. Про него лучше написать отдельно, скажу только, что его делали ребята из uber - авторы kepler.gl и h3, а потому он имеет в себе весь их функционал и даже болеьше. У участников, кто пользовался qgis, 6 млн строк историии поездок на самокате сильно висели и они мало, что успели сделать. 2. искали решения похожих задач зарубежом: нашли bike compatibility index ( например, но для самокатов ничего подобного пока не расечили, а они на волне популярности удже 3 года 3. Некоторые датасеты портала ОД Москвы обладают удивительным свойством : в их названии есть слово “ Карта“, при этом они не содержат геоданных, как например эта “Карта среднемесячной загруженности дорог с индексами загруженности” 4. Из-за небольшой погрешности коодинаты самокатов плохо привязываются к графу дорог, загруженному из OSM. Чтобы это сделать нужно сначала создать прямоугольный buffer вокруг линии 5. При построении модели прогноза аварийности, если не хотите получить вывод, что аварий больше там, где больше самокатов, используйте в качестве таргета вероятность аварии, а не абсолютное число) 6. Карта ДТП (https://dtp-stat.ru/) - замечательный источник полезных открыты данных о Москве 7. Не хватило открытых данных по скоростным ограничениям для автомобилей, а также по парковкам и зонам для самокатов. Еще мы мечтали о ширине тротуаров Первые выводы по самой задаче : 1. В Москве между числом аварий и уровнем пешеходности есть сильная прямая зависимость, то есть, чем больше может быть людей на улице, тем выше вероятность столкновения 2. В Москве наличие велодорожек никак не коррелирует с аварийностью, хотя в Европе установлено, что на велодорожки приходится самый низкий уровень аварий. Видимо, в Москве их длина настолько незначительна относительно всей длины дорог, что модель воспринимает их наличие и ширину, как погрешность 3. Вне центра Москвы почти все аварии на дорожных развязках. Кажется повод задуматься о наземных переходах. 3. Скутеры, благодаря встроенной системе gps и гибкости в выборе маршрутов , отличные источники данных для изучения поведения горожан на улице