Парсинг JSON в Python с библиотекой ujson
Сегодня мы поговорим о библиотеке ujson, которая предоставляет эффективные инструменты для работы с данными в формате JSON в Python.
JSON (JavaScript Object Notation) - это популярный формат для обмена данными между приложениями, и ujson позволяет эффективно парсить JSON-данные и создавать JSON-объекты.
Что такое ujson?
ujson - это модуль Python, который предоставляет более быструю альтернативу стандартному модулю json в стандартной библиотеке Python. Благодаря оптимизациям, ujson может значительно ускорить парсинг и создание JSON-данных.
Преимущества ujson перед обычным json:
1. Скорость:ujson известен своей высокой производительностью, что делает его отличным выбором для приложений, где важна скорость обработки JSON-данных.
2. Легкость использования: Интерфейс библиотеки очень похож на стандартный модуль json, поэтому переключение на ujson не требует больших изменений в коде.
3. Совместимость:ujson совместим с большинством современных версий Python.
4. Эффективность: Парсер ujson создан с акцентом на эффективность и оптимизацию, что позволяет экономить ресурсы при обработке JSON-данных.
P.S. Автор этого поста вдохновился идеей, предложенной одним из наших подписчиков. Если и у вас есть свои предложения, не стесняйтесь делиться ими в комментариях!
#python#ujson#json#библиотеки
#вакансия#dataengineer#remote#fulltime#Python#NoSQL
Вакансия: Data Engineer/Backend-разработчик (Middle)
Компания: АО «Антиплагиат»
Формат работы: удалёнка
Занятость: полная занятость
Вилка: 255 000 (+/-) gross оклад + годовой бонус
Работа в EdTech компании, в команде инженеров данных.
Ищем Data Engineer/Python dev (Middle), умеющего организовывать автоматизированный сбор данных из различных источников (интернет, API клиентов), а также контролировать качество получаемых данных.
В работе нужно писать краулеры сайтов, разрабатывать службы для получения данных из клиентских API; 80% задач с данными и 20% на разработку.
Ожидания от кандидата:
📌2+ года коммерческого опыта работы с Python.
📌Уверенное знание Python
📌Умение обернуть написанный код в Docker-контейнер
📌Опыт работы с SQL/NoSQL БД
📌Опыт использования Linux. Применяем Debian/Ubuntu
Что предлагает компания?
🔅Аккредитованная IT- компания и дружный коллектив, объединенный в профессиональный комьюнити
🔅Удаленный формат работы
🔅Конкурентная заработная плата (оклад+ годовой бонус)
🔅Ежегодный Performance Review
🔅Обучение, посещение конференций и курсов
🔅ДМС со стоматологией
🔅Скидки и партнёрские программы
Со мной можно связаться:
@UmraSvet
+7 910 457-77-75
🐼 Pandas тормозит на больших данных?
NVIDIA показала, как ускорить его в 40 раз — без переписывания кода.
Команда NVIDIA провела эксперимент с 18 миллионами строк данных с фондовых рынков: они выполнили типичный анализ данных с помощью pandas на CPU, а затем тоже самое — на GPU, используя cudf.pandas.
Для примеры были взяты:
📉 Скользящие средние (50D и 200D)
📅 Недельная статистика закрытия рынков
🧊 В общей сложности ~18M строк
Результат впечатляет : удалось добиться**ускорения обработки данных в 20–40 раз
Код скрипта не менялся вообще — тот же pandas, но на GPU.
Это один из примеров, где ускорение достигается без переписывания логики кода.
🟡 Потестить самому можно в Colab
🟡 Другие примеры с кодом — здесь
@ai_machinelearning_big_data
#datascience#ml#nvidia#gpu#pandas#python
⚡️Новое издание: «Концептуальная эталонная модель CIDOC CRM»
На русском языке вышла важная книга про универсальную модель данных. «Концептуальную эталонную модель CIDOC CRM» опубликовал Институт научной информации по общественным наукам РАН, а ответственным за перевод и редакцию русского издания стал Государственный Эрмитаж. Издание было представлено 25 сентября в Пловдиве (Болгария) на 59 встрече рабочей группы CIDOC CRM.
В основу русского перевода концептуальной эталонной модели (CIDOC CRM) положена версия 7.1.
«Перевод стандарта с английского на русский язык был выполнен не только самым первым, но и опубликован в виде отдельного издания.В гуманитарной области к стандартам не привыкли: их игнорируют, но этот стандарт – действующий и обновляемый, его не получится оставить без внимания. Он находится в открытом доступе. Парсинг позволил дать все соответствия в электронной версии модели на официальном сайте CIDOC CRM», – рассказала представитель рабочей группы разработчиков и переводчиков стандарта, кандидат филологических наук и старший научный сотрудник отдела археологии Восточной Европы и Сибири Государственного Эрмитажа Дарья Гук.
Ознакомиться с русскоязычной версией издания можно на официальном сайте CIDOC CRM и на Academia.edu.
Что такое CIDOC CRM?
CIDOC CRM (CIDOC Conceptual Reference Model, Концептуальная эталонная модель CIDOC) разработана рабочей группой по стандартизации документации комитета CIDOC (Международного комитета документации, International Committee for Documentation) и специализированной рабочей группой по разработке CIDOC CRM.
Модель CIDOC CRM может рассматриваться как средство для объединения разнородной информации по культурному наследию, публикуемой музеями, архивами и библиотеками. С 2006 года спецификация CIDOC CRM получила статус международного стандарта ISO 21127, используемого для проектирования электронных ресурсов и разработки алгоритмов ИИ.
Фото издания предоставлено Дарьей Гук
#данные#стандарты#издания#чтопочитать#музеи#библиотеки#архивы
#Вакансия#job#Аналитик#Remote#Data#SQL#Python
🔎 Вакансия: Product Data Analyst (SQL + Python)
💰 ЗП: 3000-3500$ (до вычета)
🌍 Формат: Full time, удаленно из любой точки мира
📍 Локация компании: Сербия
📌Компания CyberYozh - разработка ПО, обучающих материалов и решений для защиты данных в сети
📋 Основные задачи:
- Анализировать данные проектов для выявления ключевых показателей и трендов
- Настраивать систему получения и обработки данных (SQL, API)
- Выявлять аномалии и готовить аналитические отчёты
- Работать с дашбордами (Looker Studio, GA, Яндекс Метрика)
- Проверять гипотезы и A/B-тесты
🛠 Требования:
- Опыт написания оптимизированных SQL-запросов (PostgreSQL, MySQL)
- Владение Python для анализа данных (pandas, numpy) и автоматизации процессов
- Опыт работы с API и автоматизацией отчётности
- Навыки настройки аналитических систем и построения дашбордов
- Умение работать с метриками, когортами, retention, LTV
🎯 Мы предлагаем:
- Гибкий график и удаленную работу из любой точки мира
- Долгосрочный проект и своевременные выплаты.
- 28 дней оплачиваемого отпуска.
- Минимум бюрократии.
- Регулярные performance review с возможностью роста з/п.
- Сильная команда и здоровая рабочая атмосфера.
📩 Контакт для связи: @hr_olga_osipova
#вакансия#backend#python#senior#удаленно#Сербия
Middle + / Senior Backend разработчик
(удаленно / гибрид, офисы в Белграде и Бангкоке)
О компании
Graphlogic – продуктовая IT-компания. Мы разрабатываем экосистему Conversational AI продуктов – чат-боты, голосовые боты, аватары, ASR & TTS as APIs, LLM – объединенных на единой платформе.
🚀 Развиваем международное направление при поддержке швейцарского инвестора и партнёра. В команду ищем опытного Middle+ / Senior Backend разработчика – того, кто хочет делать коммерческий продукт, который будет использоваться бизнесом по миру.
Чем предстоит заниматься
– Проектировать и разрабатывать компоненты платформы
– Участвовать в проектировании решений с момента разработки концепта и составления плана реализации
– Отвечать за конечную реализацию фич в срок, включая разрешение блокеров, своевременную эскалацию проблем и запрос дополнительных ресурсов
– Улучшать масштабируемость, производительность и надежность продукта
– Взаимодействовать с проектной командой по реализации требований для повышения функциональности и UX платформы.
Стек: Python, asyncio, aiohttp, GraphQL, PostgreSQL, RabbitMQ, Docker, Kubernetes, Gitlab (VCS, CI/CD, Registry).
Навыки, которые мы ожидаем увидеть
– Опыт работы на стеке от 3 лет
– Уверенное владение английским
– Разработка архитектуры системы – обязательный уклон в микросервисы, понимание горизонтально масштабируемых систем
– Разработка архитектуры БД
– Глубокое понимание принципов объектно-ориентированного подхода
Минимальные требования по опыту
– Асинхронный питон, микросервисы, postgres – 3 года
– RabbitMQ – 1 год
– Общий опыт работы разработчиком – от 5 лет.
Работа у нас – это:
– Гибкий график
– Официальное трудоустройство, административная и юридическая поддержка
– Офисы в Белграде и Бангкоке или полностью удалённый формат
– Больничные без справок - 3 оплачиваемых wellness дня в год
– Участие в конференциях и митапах.
По всем вопросам и для резюме: @dpmorozova