TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #270 · 9 јул.

От многопоточных вычислений переходим к распределённым. То есть вычисления, происходящие на нескольких компьютерах. Конечно, в зависимости от задачи, вы можете взять готовые решения вроде CGRU или Deadline для рендеринга, charm4py или Dask для ML, или замутить что-то на AWS С2. Но хотелось бы чего-то попроще, попитоничней что ли) А ведь в Python есть средства "из коробки" для синхронизации нескольких процессов на разных хостах. Вот простой пример кода, который синхронизирует работу двух процессов на разных компьютерах. В этом случае используется процесс-посредник, который является синхронизирующим сервером. В примере создаётся некий Manager, который шарит общую для клиентов очередь. Все подключившиеся могут что-то в неё писать или забирать. В моём коде один процесс что-то "считает" и складывает в очередь, другой забирает и продолжает какие-то свои "расчёты". Если у вас есть несколько машин, то можете попробовать это запустить по сети (нужно заменить 'localhost' на IP-адрес сервера). Но и на локальной машине сработает. Gist 🌎 #libs#source#tricks

Резултати

Пронајдени 1 слични објави

Пребарај: #datasearch

当前筛选 #datasearch清除筛选
Город на карте

@geomapers · Post #72 · 19.08.2024 г., 09:48

В рубрике интересных проектов на данныхGeoSeer [1], поисковая система по геоданным, а конкретнее по точкам API по стандартам WFS, WMC, WCS по всему миру. Я писал о нём год назад [2] и в течение года ни раз обращал внимание. Из интересного: 1. 3.5 миллиона проиндексированных георесурсов/геоданных 2. За деньги доступно API для поиска 3. Любопытная статистика по охвату [3] 4. Дают расширенное описание георесурсов с учётом его геохарактеристик (области, атрибутов WFC/WMS и др.) [4] Из особенностей: - более 60%, примерно 2 миллиона записей - это геоданные Германии. Для сравнения в Dateno 4.4 миллиона георесурсов из которых к Германии относятся 1.89, это около 43%. - реестр источников не публикуют, вернее обещают доступность только через API при платном тарифе - фасетного поиска нет, только достаточно простой язык запросов - поскольку индексируются WMS, WFC, WCS и WMTS то охватывает гораздо больше точек подключения в этих стандартах, но не охватывает все остальные геоданные, на порталах открытых данных и в каталогах ArcGIS и не только. Разницу между GeoSeer и Dateno можно описать так: 1. ✅В Dateno есть публичный реестр всех источников, он не скрывается, любой желающий может скачать его как датасет [4]. 2. ✅В Dateno есть много открытой статистики [5]. Она пока мало визуализируется, но с ней можно работать. 3. ✅В Dateno есть быстрый фасетный поиск и фильтрация по странам/территориям и другим критериям 4. ✅Dateno агрегирует геоданные из порталов неохваченных GeoSeer поскольку они не по стандартам OGC. 5. ❌Пока в Dateno нет охвата любых источников геоданным по стандартам OGC 6. ❌Пока в Dateno нет расширенного вывода метаданных для георесурсов В целом пересечение индексов GeoSeer и Dateno в части геоданных около 60-80%. GeoSeer для проекта выглядит как хороший референсный проект для проверки полноты собственной базы. Ссылки: [1] https://www.geoseer.net [2] https://t.me/begtin/5071 [3] https://www.geoseer.net/stats/ [4] https://github.com/commondataio/dataportals-registry/ [5] https://github.com/commondataio/dateno-stats #opendata#datasearch#datasets#geodata#spatial