TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #241 · 5 мај

Можно ли в Python создавать бинарные файлы? Конечно можно. Для этого в Python есть следующие инструменты: ▫️ тип данных bytes и bytearray ▫️ открытие файла в режиме wb (write binary) или rb (read binary) ▫️ модуль struct Про модуль struct поговорим в первую очередь. Файл в формате JSON или Yaml внутри себя содержит разметку данных. Всегда можно определить где список начался а где закончился. Где записана строка а где словарь. То есть формат записи данных содержит в себе элементы разметки данных. В binary-файле данные не имеют визуальной разметки. Это просто байты, записанные один за другим. Правила записи и чтения находятся вне файла. Модуль struct как раз и помогает с организацией данных в таком файле с помощью определения форматов записи для разных частей файла. Модуль struct преобразует Python-объекты в массив байт, готовый к записи в файл и имеющий определённый вид. Для этого всегда следует указывать формат преобразования (или, как оно здесь называется - запаковки). Формат нужен для того, чтобы выделить достаточное количество байт для записи конкретного типа объекта. В последствии с помощью того же формата будет производиться чтение. При этом следует помнить что мы говорим о типах языка С а не Python. Именно формат определяет, что записано в конкретном месте файла, число, строка или что-то еще. Вот какие токены формата у нас есть. Помимо этого, первым символом можно указать порядок байтов. На разных системах одни и те же типы данных могут записываться по-разному, поэтому желательно указать конкретный способ из доступных. Если этого не сделать, то используется символ '@', то есть нативный для текущей системы. В строке формата мы пишем в каком порядке и какие типы собираемся преобразовать в байты. Запакуем в байты простое число, токен "i". >>> import struct >>> struct.pack('=i', 10) b'\n\x00\x00\x00' Теперь несколько float, при этом нужно передавать элементы не массивом а последовательностью аргументов. >>> struct.pack('=fff', 1.0, 2.5, 4.1) b'\x00\x00\x80?\x00\x00 @33\x83@' Вместо нескольких токенов можно просто указать нужное количество элементов перед одним токеном, результат будет тот же. >>> struct.pack('=3f', 1.0, 2.5, 4.1) b'\x00\x00\x80?\x00\x00 @33\x83@' Теперь запакуем разные типы >>> data = struct.pack('=fiQ', 1.0, 4, 100500) я запаковал типы float, int и unsigned long long (очень большой int, на 8 байт) b'\x00\x00\x80?\x04\x00\x00...' Распаковка происходит аналогично, но нужно указать тот же формат, который использовался при запаковке. Результат возвращается всегда в виде кортежа. >>> struct.unpack('=fiQ', data) (1.0, 4, 100500) Как видите, ничего страшного! #lib#basic

Hashtags

Резултати

Пронајдени 6 слични објави

Пребарај: #jax

当前筛选 #jax清除筛选
GitHub Trends

@githubtrending · Post #14835 · 17.06.2025 г., 12:30

#jupyter_notebook#jax Flax is a library for creating neural networks with JAX. It offers a flexible way to build and analyze these networks. The new Flax NNX API makes it easier to work with neural networks by using regular Python objects, which helps in creating, debugging, and analyzing models more efficiently. This means users can express their models in a more intuitive way, making it simpler to develop and modify neural networks. Flax also provides many tools and examples to help users get started quickly. https://github.com/google/flax

Machinelearning

@ai_machinelearning_big_data · Post #8095 · 17.07.2025 г., 13:01

✔️Stanford и Google представили Marin — первую полностью открытую LLM, разработанную на JAX Что делает Marin особенной: — Полностью открыты не только веса, но показан весь процесс обучения: код, данные, гиперпараметры модели, логи, эксперименты — всё доступно на GitHub — Модель обучена на 12.7 трлн токенов и в 14 из 19 тестов обошла Llama 3.1 8B — Лицензия Apache 2.0, всё можно использовать, модифицировать и воспроизводить — Levanter + JAX обеспечивают bit‑exact повторяемость и масштабируемость на TPU/GPU Проект позиционируется как открытая лаборатория: каждый эксперимент оформляется через pull request, логируется в WandB, обсуждается в issue и фиксируется в истории репозитория. Даже неудачные эксперименты сохраняются ради прозрачности. Выпущены две версии: - Marin‑8B‑Base — сильный base-модель, превосходит Llama 3.1 8B - Marin‑8B‑Instruct — обучена с помощью SFT, обгоняет OLMo 2, немного уступает Llama 3.1 Tulu Это не просто открытые веса, а новый стандарт для научных вычислений в эпоху больших моделей. * JAX — это фреймворк от Google для научных и численных вычислений, особенно популярен в сфере машинного обучения. **TPU (Tensor Processing Unit) — это специализированный чип от Google, созданный для ускорения AI-задач. 🟠Github: https://github.com/stanford-crfm/marin 🟠Блог: https://developers.googleblog.com/en/stanfords-marin-foundation-model-first-fully-open-model-developed-using-jax/ 🟠Гайд: https://docs.jax.dev/en/latest/quickstart.html @ai_machinelearning_big_data #ai#ml#tpu#jax#google

Data Science Jobs

@datasciencejobs · Post #2872 · 15.08.2025 г., 16:18

#вакансия#ml#rl#python#numpy#pandas#pytorch#jax#mlflow#rllib О НАШЕМ ПРОЕКТЕ Мы работаем над системой управления доходами (RMS). Наши клиенты - российские авиакомпании. Приглашаем в команду Data scientist для разработки и обучения RL-агента для управления доходами авиаперевозчика на уровне рынка. Основной стек: Python, PyTorch/JAX, NumPy/Pandas, MLFlow/Weights & Biases, приветствуются RLlib/Acme/Stable-Baselines. 🧑‍💻Чем предстоит заниматься: 🖊постановка формальной задачи RL: определение пространств состояний/действий/вознаграждения, ограничений и KPI; 🖊разработка и валидация симулятора рыночной среды на основе исторических данных (реакции спроса, сезонность, шоки); 🖊исследование и внедрение алгоритмов RL/IL (value-based, policy-gradient, actor-critic, off-policy/offline RL); 🖊экспериментальный дизайн: off-policy оценка, А/В в симуляторе, подготовка к онлайн-экспериментам; 🖊инструменты качества: стабильность обучения, воспроизводимость, мониторинг метрик (reward, RM KPI, робастность к шокам); 🖊 взаимодействие с продуктом/инженерией: требования, передача моделей в прод, контроль деградаций. 🧑‍💻Что ожидаем: 🖊сильная подготовка в RL/оптимизации/статистике (магистр/кандидат или сопоставимый опыт); 🖊практике в PyTorch/JAX; опыт построения и отладки сложных обручающих циклов; 🖊 желателен опыт causal inference/ контрафактической оценки; 🖊будет плюсом: временные ряды, эконометрика спроса, ценовые эксперименты; 🖊умение формализовать задачу и защитимо сравнивать политики. 🧑‍💻​​​​​​​Мы предлагаем: - СТАБИЛЬНОСТЬ: оформление и оклад в соответствии с ТК РФ (гпх, фриланс - невозможны); - БЕЗОПАСНОСТЬ: работа в аккредитованной IT-компании, отсрочка и т.д; - УДАЛЕННУЮ РАБОТУ: график работы 5/2 по МСК в интервале 09-18.00 -/+2 часа (гибкое начало рабочего дня с учетом планирования общих коммуникаций); - РАЗВИТИЕ: современный стек, наставничество в первый месяц работы, карьерный рост; - процессы без бюрократии, политика «открытых дверей» руководства. 📝 Ждём ваши резюме 89287653141, тг @MariP_rnd

GitHub Trends

@githubtrending · Post #14863 · 24.06.2025 г., 13:30

#other#automl#chatgpt#data_analysis#data_science#data_visualization#data_visualizations#deep_learning#gpt#gpt_3#jax#keras#machine_learning#ml#nlp#python#pytorch#scikit_learn#tensorflow#transformer This is a comprehensive, regularly updated list of 920 top open-source Python machine learning libraries, organized into 34 categories like frameworks, data visualization, NLP, image processing, and more. Each project is ranked by quality using GitHub and package manager metrics, helping you find the best tools for your needs. Popular libraries like TensorFlow, PyTorch, scikit-learn, and Hugging Face transformers are included, along with specialized ones for time series, reinforcement learning, and model interpretability. This resource saves you time by guiding you to high-quality, actively maintained libraries for building, optimizing, and deploying machine learning models efficiently. https://github.com/ml-tooling/best-of-ml-python

GitHub Trends

@githubtrending · Post #14988 · 23.07.2025 г., 00:00

#python#deep_learning#diffusion#flax#flux#hacktoberfest#image_generation#image2image#image2video#jax#latent_diffusion_models#pytorch#score_based_generative_modeling#stable_diffusion#stable_diffusion_diffusers#text2image#text2video#video2video The Hugging Face Diffusers library is a powerful and easy-to-use tool for generating images, audio, and 3D molecular structures using advanced diffusion models. It offers ready-to-use pretrained models and flexible components like pipelines, schedulers, and model building blocks, allowing you to quickly create or customize your own diffusion-based projects. Installation is simple via pip or conda, and you can generate high-quality outputs with just a few lines of code. This library benefits you by making cutting-edge AI generation accessible, customizable, and efficient, whether you want to run models or train your own[1][2][5]. https://github.com/huggingface/diffusers