TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #239 · 3 мај

Один из самых удобных способов записать данные это использование готовых форматов, такие как JSON или YAML. Из плюсов такого подхода стоит отметить вот что: 🔸 готовый, повсеместно используемый и поддерживаемый формат 🔸 простой и понятный файл, удобочитаемый для человека 🔸 можно легко редактировать в любом текстовом редакторе без специальных программ и библиотек Но есть и минусы 🔹 затраты времени при записи файла (кодирование данных в нужный формат строки) 🔹 затраты времени при чтении файла (декодирование данных в Python объекты) 🔹 размер файла увеличивается из-за разметки данных (скобки, запятые, переносы, отступы...) 🔹 перед записью все данные должны быть помещены в память в полном объёме (не всегда) 🔹 при чтении необходимо считать весь файл в память и только потом декодировать данные Если нужно писать немного данных в несколько файлов, то затраты по времени не ощутимы. Обычно это файлы конфига или какие-либо метаданные. Это отличный вариант под такие задачи. Есть и другой поход к записи файлов - это бинарные файлы. Используется, когда данных достаточно много и никто их не собирается читать глазками😳. 🔸 очень быстрая запись 🔸 чтение значительно быстрей чем JSON, YAML итд 🔸 размер файла значительно меньше, так как нет разметки 🔸 можно записывать данные по мере поступления не загружая всё в память 🔸 можно извлечь любую часть данных независимо Из минусов 🔹 нужно определить свой формат записи данных (если не используете готовую спецификацию определённого формата) 🔹 не получится открыть файл и визуально понять что там записано, а для чтения файла потребуется знать его спецификацию. 🔹 не так-то просто создать такой файл без специальной библиотеки В таком виде удобно записывать большой массив любых однородных данных. Например, мониторинг валютной биржи или кэшированная анимация 3D геометрии. (Это не означает что нельзя записать данные разного типа, просто это будет не так удобно) Представьте себе JPG-картинку. По сути это немного мета-информации и большой массив пикселей. Тоже самое со звуком или видео файлом. Поэтому, если вы попробуете открыть картинку в текстовом редакторе вы увидите что-то вроде такого f15d cd29 a564 4578 ... 09e2 9bc4 a696 1253 ... 84e9 4de1 3b23 c24a ... 2534 5161 28e0 709d ... ... Это и есть записанные байтики. И для их чтения требуется определённый софт который знает что с ними делать. Под каждый тип файла. К чему это я? Читайте в следующем посте... #tricks#basic

Резултати

Пронајдени 7 слични објави

Пребарај: #netherland

当前筛选 #netherland清除筛选
Data Science Jobs

@datasciencejobs · Post #2845 · 01.08.2025 г., 15:30

#vacancy#relocation#Serbia#Netherland#работа#fulltime#ML#LLM#RecSys#DL#English Мы в поисках Senior ML Researcher-а в молодой инновационный стартап в области искусственного интеллекта, который строит фундаментальную ML-модель для анализа финансовых рынков. Речь идёт не о ещё одном fine-tuning LLM. Команда строит универсальную foundation модель, способную одновременно работать с текстом, временными рядами и числовыми данными — с акцентом на решение сложных задач прогнозирования. Первое приложение — финансовые рынки, но архитектура задумана как масштабируемая и мультимодальная, с потенциалом выхода далеко за рамки финтеха. У стартапа уже есть прямой доступ к новой архитектуре серверов, альтернативной современным GPU-решениям. Это даёт команде эксклюзивную возможность тестировать и масштабировать модели на инновационной инфраструктуре — за шаг до рынка. В проекте участвует ведущий профессор в области foundation моделей, профессор одного из топовых университетов Канады (U de Montréal and Milal). Она — автор множества публикаций с высокой цитируемостью, регулярный участник NeurIPS и других престижных конференций. Её вклад в проект — один из ключевых активов, привлекающих сильных исследователей. Важно: • 5+ лет в ML/Deep Learning; • Опыт работы с большими моделями (LLM, Transformers, Time Series); • Опыт в финансах; • Умение читать и быстро применять научные статьи; • Свободное владение английским языком от B2; • Приоритетные области: deep learning, Recsys. 🎯 Что вас ждёт: 💰 Зарплата: €180k – €200k gross в год; 🚀 Релокация в Сербию или Нидерланды. Коллеги также готовы обсуждать возможность работать удалённо для опытных кандидатов в индивидуальном порядке 📩 Присылайте ваше резюме в telegram: @veronikavlasovets Иногда Telegram подводит — сообщения могут теряться. Если вы не получили ответ в течение 3 дней, то продублируйте запрос на email: [email protected]

Data Science Jobs

@datasciencejobs · Post #1582 · 02.08.2023 г., 08:55

#vacancy#fulltime#relocation#office#cyprus#saint_petersburg#machine_learning#trading#c++ #HFT#ML_engineer#ml#Netherland Вакансия Senior ML инженер (С++)в HFT компанию (релокация: Нидерланды/Кипр/СПБ) Компания: HFT-компания Мы активно развиваем ML направление и ищем инженера, который будет отвечать за инженерно-инфраструктурную часть МL направления и работать с высокомасштабируемыми многопользовательскими распределенными системами данных, которым требуется очень высокий уровень производительности и доступности. Используем современное оборудование, новейшие компиляторы и версии ОС Linux — это позволяет развивать и поддерживать гибкую торговую структуру с масштабируемой архитектурой, которая быстро адаптируется к любым новым рынкам и рыночным изменениям, обеспечивает идеальную производительность и надежность. Предстоящие задачи будут включать: • Разрабатывать и развивать пайплайн для регулярного обучения-валидации-деплоя моделей; • Внедрять инновации и разрабатывать решения с учетом строгих производственных SLA: низкие задержки, высокая доступность, надежность в кластерах/центрах обработки данных и т. д. • Взаимодействовать с количественными специалистами, чтобы понять рабочие процессы, выявить и устранить неэффективность и сообщить о следующем наборе функций для платформы; • Поддерживать и разрабатывать уровень загрузки данных с C++ (собственное хранилище) на Python для обучения моделей и переноса существующих моделей с Python на C++; • Оптимизировать производительности модели в продакшене (борьба за 10 секунд микросекунд). Ожидаем: - Глубокие знания облачных технологий обработки данных, современных методов обработки данных, фреймворков и т. д. - Желание создавать надежную и масштабируемую инфраструктуру машинного обучения и опыт создания автоматических конвейеров для моделей обучения и развертывания (Airflow, MLflow, Kubeflow и т. д.). - Владение Python/С++/Linux и сервисами AWS в отношении анализа данных и технологий AI/ML - Опыт работы со стеком MapReduce/BigData и понимание принципов обработки данных в распределенных системах Мы предлагаем: - Работу над многообещающим R&D направлением и челленджевые нетривиальные задачи; - Современное оборудование и ПО, новое железо и все необходимое для продуктивной работы; - Конкурентную ЗП + высокие бонусы в размере годовых окладов; - Отсутствие жестких сроков/прессинга сверху и масса возможностей для реализации собственных идей; - Работа в молодой, драйвовой и технически сильной команде: архитекторами, инженерами, трейдерами, математиками-аспирантами и нашими фаундерами, которые принимают активное участие в работе наравне с командой; - Оформление в штат европейской или РФ компании (СПБ, Нидерланды, Кипр); - Работа в наших максимально комфортных офисах в Нидерландах, СПБ, на Кипре; - Полный релокационный пакет (оформление визы, компенсация оплаты жилья и т.п.); - Масса бенефитов: бюджет на медицину, спорт, образование; корпоративное такси; компенсация оплаты жилья для сотрудников; спонсирование участия в конференциях и многое другое. Пишите в телеграм @foreverinlovewithsummer

Hong Kong Democracy Movement

@hkdmovement · Post #7458 · 01.06.2024 г., 05:13

The 35th anniversary protest and rally for #tianamensquaremassacre is hosting all around the world. Countries include #USA, #Canada#UK, #Japan, #Taiwan, #Netherland, #Australia, and #NewZealand. We urge everyone to gather to protest against tyranny and never forget the day #CCP killed thousands of innocent people who were only seeking for democracy. #tiananmensquare#june4#june41989#tianamensquareprotest