Один из самых удобных способов записать данные это использование готовых форматов, такие как JSON или YAML.
Из плюсов такого подхода стоит отметить вот что:
🔸 готовый, повсеместно используемый и поддерживаемый формат
🔸 простой и понятный файл, удобочитаемый для человека
🔸 можно легко редактировать в любом текстовом редакторе без специальных программ и библиотек
Но есть и минусы
🔹 затраты времени при записи файла (кодирование данных в нужный формат строки)
🔹 затраты времени при чтении файла (декодирование данных в Python объекты)
🔹 размер файла увеличивается из-за разметки данных (скобки, запятые, переносы, отступы...)
🔹 перед записью все данные должны быть помещены в память в полном объёме (не всегда)
🔹 при чтении необходимо считать весь файл в память и только потом декодировать данные
Если нужно писать немного данных в несколько файлов, то затраты по времени не ощутимы. Обычно это файлы конфига или какие-либо метаданные. Это отличный вариант под такие задачи.
Есть и другой поход к записи файлов - это бинарные файлы. Используется, когда данных достаточно много и никто их не собирается читать глазками😳.
🔸 очень быстрая запись
🔸 чтение значительно быстрей чем JSON, YAML итд
🔸 размер файла значительно меньше, так как нет разметки
🔸 можно записывать данные по мере поступления не загружая всё в память
🔸 можно извлечь любую часть данных независимо
Из минусов
🔹 нужно определить свой формат записи данных (если не используете готовую спецификацию определённого формата)
🔹 не получится открыть файл и визуально понять что там записано, а для чтения файла потребуется знать его спецификацию.
🔹 не так-то просто создать такой файл без специальной библиотеки
В таком виде удобно записывать большой массив любых однородных данных. Например, мониторинг валютной биржи или кэшированная анимация 3D геометрии.
(Это не означает что нельзя записать данные разного типа, просто это будет не так удобно)
Представьте себе JPG-картинку. По сути это немного мета-информации и большой массив пикселей. Тоже самое со звуком или видео файлом. Поэтому, если вы попробуете открыть картинку в текстовом редакторе вы увидите что-то вроде такого
f15d cd29 a564 4578 ...
09e2 9bc4 a696 1253 ...
84e9 4de1 3b23 c24a ...
2534 5161 28e0 709d ...
...
Это и есть записанные байтики. И для их чтения требуется определённый софт который знает что с ними делать. Под каждый тип файла.
К чему это я? Читайте в следующем посте...
#tricks#basic
Мы запустили видеоаналитику — новый продукт для бизнеса, меняющий подход к безопасности и анализу данных. Инструмент подходит для использования в ритейле, банкинге, промышленном производстве, для повышения безопасности в городе и многих других отраслях.
Рассказали что это, как работает и какие пакеты услуг мы предлагаем в новой статье ➡️https://www.spot.uz/ru/2024/02/15/veon-ad-tech/
– – –
We have launched video analytics — a new product for businesses that is changing the approach to security and data analysis. The tool is suitable for use in retail, banking, industrial production, enhancing urban security, and many other industries.
Find out what it is, how it works, and what package deals we offer in our new article ➡️https://kun.uz/en/17284086
#VEONAdTech#innovations#IT#bigdata#videoanalytics
#CVengineer#middle#job#remote#fulltime#videoanalytics
Hi! We’re looking for a skilled and proactive Computer Vision Engineer to join our team and help us develop intelligent video analytics solutions. You’ll work on detecting complex events from video streams, designing robust ML pipelines, and improving internal tools to streamline development.
Location: Remote (you should be based outside Russia and Belarus).
Type: Full-time
Salary: 3500-4500 EUR gross (higher range can be discussed depending on your experience).
✈️ Assaia provides AI-based software solutions for global airports and airlines. We were founded in February 2018 in Switzerland, headquartered in Zurich and New York and we have a fast-growing team located across Europe and North America.
Assaia offers AI-based computer-vision solutions that monitor and analyse aircraft turnaround processes from video streams. Assaia’s solutions help airports and airlines improve on-time performance, efficiency, safety, and sustainability metrics, helping them get their passengers to their destinations on time. We work with aviation companies across the world including New York JFKIAT, Toronto Pearson, United Airlines, British Airways, London Heathrow and more. See details and demos on our website and Linkedin!
🎆We are a fully remote team of 85 and growing.
Responsibilities:
✍️Design and implement pipelines for detecting various types of events in video streams.
🛠Develop and maintain an internal SDK for solving similar computer vision tasks across projects.
♾️Actively participate in brainstorming sessions and technical discussions.
🤝Regularly propose ideas to improve team workflows, reduce tech debt, and make our daily work easier and more effective.
Requirements:
🐍3+ years of hands-on experience with Python.
⏳3+ years of experience in Computer Vision.
🐳 Practical experience with PyTorch and/or TensorFlow.
💪Strong understanding of model training, evaluation, and optimization.
🙂Comfort with daily use of LLM-based tools (e.g., for code generation, debugging, or documentation).
🇬🇧Very good verbal and written English skills (at least B2+).
Nice to have:
➕Experience working with video-based CV tasks (e.g., multi-frame tracking, action recognition, temporal models).
💥Familiarity with deployment pipelines and SDK development for ML/CV.
⬆️Background in working with real-world noisy data.
Assaia is a unique place where you can work on a technically advanced and innovative product for an exciting and important industry. You will be working in a diverse international team of smart people who can learn a lot from each other – all this without leaving your home – or sunbed, if you wish!
Your input will be valuable and we actively ask everyone to share their thoughts and ideas to help steer the direction of the company’s development. Additionally, we offer:
🗺Always remote work and flexible schedule.
😍5 weeks of paid vacation, paid sick leave, paid relevant courses and conferences/online education/English courses.
💜Regular performance reviews to make sure you enjoy your tasks, challenges, growth and salary.
🤝Flat hierarchy and close to zero bureaucracy, a diverse international team of smart people.
🏝Live team events in Europe.
✅Got questions or want to apply? Reach out to @MatveevaKse