TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #241 · 5 мај

Можно ли в Python создавать бинарные файлы? Конечно можно. Для этого в Python есть следующие инструменты: ▫️ тип данных bytes и bytearray ▫️ открытие файла в режиме wb (write binary) или rb (read binary) ▫️ модуль struct Про модуль struct поговорим в первую очередь. Файл в формате JSON или Yaml внутри себя содержит разметку данных. Всегда можно определить где список начался а где закончился. Где записана строка а где словарь. То есть формат записи данных содержит в себе элементы разметки данных. В binary-файле данные не имеют визуальной разметки. Это просто байты, записанные один за другим. Правила записи и чтения находятся вне файла. Модуль struct как раз и помогает с организацией данных в таком файле с помощью определения форматов записи для разных частей файла. Модуль struct преобразует Python-объекты в массив байт, готовый к записи в файл и имеющий определённый вид. Для этого всегда следует указывать формат преобразования (или, как оно здесь называется - запаковки). Формат нужен для того, чтобы выделить достаточное количество байт для записи конкретного типа объекта. В последствии с помощью того же формата будет производиться чтение. При этом следует помнить что мы говорим о типах языка С а не Python. Именно формат определяет, что записано в конкретном месте файла, число, строка или что-то еще. Вот какие токены формата у нас есть. Помимо этого, первым символом можно указать порядок байтов. На разных системах одни и те же типы данных могут записываться по-разному, поэтому желательно указать конкретный способ из доступных. Если этого не сделать, то используется символ '@', то есть нативный для текущей системы. В строке формата мы пишем в каком порядке и какие типы собираемся преобразовать в байты. Запакуем в байты простое число, токен "i". >>> import struct >>> struct.pack('=i', 10) b'\n\x00\x00\x00' Теперь несколько float, при этом нужно передавать элементы не массивом а последовательностью аргументов. >>> struct.pack('=fff', 1.0, 2.5, 4.1) b'\x00\x00\x80?\x00\x00 @33\x83@' Вместо нескольких токенов можно просто указать нужное количество элементов перед одним токеном, результат будет тот же. >>> struct.pack('=3f', 1.0, 2.5, 4.1) b'\x00\x00\x80?\x00\x00 @33\x83@' Теперь запакуем разные типы >>> data = struct.pack('=fiQ', 1.0, 4, 100500) я запаковал типы float, int и unsigned long long (очень большой int, на 8 байт) b'\x00\x00\x80?\x04\x00\x00...' Распаковка происходит аналогично, но нужно указать тот же формат, который использовался при запаковке. Результат возвращается всегда в виде кортежа. >>> struct.unpack('=fiQ', data) (1.0, 4, 100500) Как видите, ничего страшного! #lib#basic

Hashtags

Резултати

Пронајдени 7 слични објави

Пребарај: #naturallanguageprocessing

当前筛选 #naturallanguageprocessing清除筛选
Venture Village Wall 🦄

@venturevillagewall · Post #3481 · 19.12.2024 г., 13:57

Codebuff Secures $500K Funding Codebuff, an AI-powered tool for codebase editing, raised $500K in funding on December 4, 2024. The platform utilizes natural language instructions for programming assistance from its expert AI, Buffy. More details can be found on their website: Codebuff. #Codebuff#AI#Programming#Startups#Funding#NaturalLanguageProcessing

Data Science Jobs

@datasciencejobs · Post #2422 · 13.11.2024 г., 07:01

#ТБанк#вакансия#ML#NLP#NaturalLanguageProcessing#LLM#RecSys#CV#senior#middle Ищем ML-engineer в Т-Банк 💻 Мы создаем и применяем AI-технологии для развития финансовой экосистемы Т-Банка: внедряем в продукты и внутренние процессы компании, делаем решения качественнее, безопаснее и удобнее для пользователей, вкладываемся в долгосрочные исследования. Кратко про работу в команде: ▪️Делимся опытом во всех областях машинного обучения - рекомендации, компьютерное зрение, голосовые технологии и работа с текстом и языком. ▪️Даем возможность как закидывать наработки в прод на миллионы пользователей, так и проводить исследования в своей области. ▪️Фокусируемся на принципе AI-first и не копим легаси. ▪️Оплачиваем участие в топовых AI-конференциях 2-3 раза в год. Основные задачи: - Изучать научные статьи, генерировать гипотезы, ставить на их основе эксперименты и доносить результат до команды. - Улучшать качество моделей в различных сценариях. - Ускорять работу моделей, применяя современные методы оптимизации и построения архитектуры. - Писать воспроизводимый код, оформлять эксперименты в воспроизводимые пайплайны, включающие разметку и обработку данных, обучение моделей и валидацию системы в целом. Ожидания по опыту: - Опыт работы от 2-х лет в индустриальных ML проектах, обязателен опыт доставки предсказаний и моделей до прода). - Опыт разработки моделей с использованием современных DL-фреймворков (Pytorch, Jax/Tensorflow и других) и их применения в продакшене. - Разбираетесь в принципах работы современных алгоритмов машинного обучения. - Умеете декомпозировать задачу в переиспользуемые и тестируемые библиотеки и компоненты. - Знаете теорию в сфере математики, прикладной статистики, алгоритмов и структур данных. - Готовы изучать научные статьи на английском языке и ставить эксперименты на основе прочитанного. - Знаете Linux, Git, Bash и Docker. Мы предлагаем: ▫️Гибридный формат работы в РФ. ▫️Платформу обучения и развития «Т-Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии. ▫️Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. ▫️Возможность работы в аккредитованной ИТ-компании. ▫️Сервисы для поддержки сотрудника по психологическим, юридическим и финансовым вопросам. ▫️Три дополнительных дня отпуска в год. ▫️Достойную зарплату — обсудим ее на собеседовании. Присылайте резюме и вопросы мне в tg @aetern1tas. Буду рада ответить на вопросы и сориентировать по вакансиям 💻

Data Science Jobs

@datasciencejobs · Post #2360 · 10.10.2024 г., 09:00

#ТБанк#вакансия#ML#NLP#NaturalLanguageProcessing#LLM#RecSys#CV#senior#middle Ищем ML-engineer в Т-Банк 👋 Мы создаем и применяем AI-технологии для развития финансовой экосистемы Т-Банка: внедряем в продукты и внутренние процессы компании, делаем решения качественнее, безопаснее и удобнее для пользователей, вкладываемся в долгосрочные исследования. Кратко про работу в команде: ▪️Делимся опытом во всех областях машинного обучения - рекомендации, компьютерное зрение, голосовые технологии и работа с текстом и языком. ▪️Даем возможность как закидывать наработки в прод на миллионы пользователей, так и проводить исследования в своей области. ▪️Фокусируемся на принципе AI-first и не копим легаси. ▪️Оплачиваем участие в топовых AI-конференциях 2-3 раза в год. Основные задачи: - Изучать научные статьи, генерировать гипотезы, ставить на их основе эксперименты и доносить результат до команды. - Улучшать качество моделей в различных сценариях. - Ускорять работу моделей, применяя современные методы оптимизации и построения архитектуры. - Писать воспроизводимый код, оформлять эксперименты в воспроизводимые пайплайны, включающие разметку и обработку данных, обучение моделей и валидацию системы в целом. Ожидания по опыту: - Опыт работы от 2-х лет в индустриальных ML проектах (включая этап доставки предсказаний и моделей до прода) У вас есть опыт разработки моделей с использованием современных DL-фреймворков (Pytorch, Jax/Tensorflow и других) и их применения в продакшене. - Разбираетесь в принципах работы современных алгоритмов машинного обучения. - Умеете декомпозировать задачу в переиспользуемые и тестируемые библиотеки и компоненты. - Знаете теорию в сфере математики, прикладной статистики, алгоритмов и структур данных. - Готовы изучать научные статьи на английском языке и ставить эксперименты на основе прочитанного. - Знаете Linux, Git, Bash и Docker. Мы предлагаем: ▫️Гибридный формат работы. ▫️Платформу обучения и развития «Т-Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии. ▫️Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. ▫️Возможность работы в аккредитованной ИТ-компании. ▫️Сервисы для поддержки сотрудника по психологическим, юридическим и финансовым вопросам. ▫️Три дополнительных дня отпуска в год. ▫️Достойную зарплату — обсудим ее на собеседовании. Присылайте резюме и вопросы мне в tg @aetern1tas или на почту [email protected]. Буду рада ответить на вопросы и сориентировать по вакансиям 💻

Data Science Jobs

@datasciencejobs · Post #2297 · 04.09.2024 г., 14:33

#ТБанк#вакансия#ML#NLP#NaturalLanguageProcessing#LLM#RecSys#CV#senior#middle Ищем ML-engineer в Т-Банк 👋 Мы создаем и применяем AI-технологии для развития финансовой экосистемы Т-Банка: внедряем в продукты и внутренние процессы компании, делаем решения качественнее, безопаснее и удобнее для пользователей, вкладываемся в долгосрочные исследования. Кратко про работу в команде: ▪️Делимся опытом во всех областях машинного обучения - рекомендации, компьютерное зрение, голосовые технологии и работа с текстом и языком. ▪️Даем возможность как закидывать наработки в прод на миллионы пользователей, так и проводить исследования в своей области. ▪️Фокусируемся на принципе AI-first и не копим легаси. ▪️Оплачиваем участие в топовых AI-конференциях 2-3 раза в год. Основные задачи: - Изучать научные статьи, генерировать гипотезы, ставить на их основе эксперименты и доносить результат до команды. - Улучшать качество моделей в различных сценариях. - Ускорять работу моделей, применяя современные методы оптимизации и построения архитектуры. - Писать воспроизводимый код, оформлять эксперименты в воспроизводимые пайплайны, включающие разметку и обработку данных, обучение моделей и валидацию системы в целом. Ожидания по опыту: - Опыт работы от 2-х лет в индустриальных ML проектах (включая этап доставки предсказаний и моделей до прода) У вас есть опыт разработки моделей с использованием современных DL-фреймворков (Pytorch, Jax/Tensorflow и других) и их применения в продакшене. - Разбираетесь в принципах работы современных алгоритмов машинного обучения. - Умеете декомпозировать задачу в переиспользуемые и тестируемые библиотеки и компоненты. - Знаете теорию в сфере математики, прикладной статистики, алгоритмов и структур данных. - Готовы изучать научные статьи на английском языке и ставить эксперименты на основе прочитанного. - Знаете Linux, Git, Bash и Docker. Мы предлагаем: ▫️Гибридный формат работы. ▫️Платформу обучения и развития «Т-Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии. ▫️Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. ▫️Возможность работы в аккредитованной ИТ-компании. ▫️Сервисы для поддержки сотрудника по психологическим, юридическим и финансовым вопросам. ▫️Три дополнительных дня отпуска в год. ▫️Достойную зарплату — обсудим ее на собеседовании. Присылайте резюме и вопросы мне в tg @aetern1tas или на почту [email protected]. Буду рада ответить на вопросы и сориентировать по вакансиям 💻

Data Science Jobs

@datasciencejobs · Post #2252 · 06.08.2024 г., 13:04

#ТБанк#вакансия#ML#NLP#NaturalLanguageProcessing#LLM#RecSys#CV#senior#middle Ищем ML-engineer в Т-Банк 👋 Мы создаем и применяем AI-технологии для развития финансовой экосистемы Т-Банка: внедряем в продукты и внутренние процессы компании, делаем решения качественнее, безопаснее и удобнее для пользователей, вкладываемся в долгосрочные исследования. Кратко про работу в команде: ▪️Делимся опытом во всех областях машинного обучения - рекомендации, компьютерное зрение, голосовые технологии и работа с текстом и языком. ▪️Даем возможность как закидывать наработки в прод на миллионы пользователей, так и проводить исследования в своей области. ▪️Фокусируемся на принципе AI-first и не копим легаси. ▪️Оплачиваем участие в топовых AI-конференциях 2-3 раза в год. Основные задачи: - Изучать научные статьи, генерировать гипотезы, ставить на их основе эксперименты и доносить результат до команды. - Улучшать качество моделей в различных сценариях. - Ускорять работу моделей, применяя современные методы оптимизации и построения архитектуры. - Писать воспроизводимый код, оформлять эксперименты в воспроизводимые пайплайны, включающие разметку и обработку данных, обучение моделей и валидацию системы в целом. Ожидания по опыту: - У вас есть опыт разработки моделей с использованием современных DL-фреймворков (Pytorch, Jax/Tensorflow и других) и их применения в продакшене. - Разбираетесь в принципах работы современных алгоритмов машинного обучения. - Умеете декомпозировать задачу в переиспользуемые и тестируемые библиотеки и компоненты. - Знаете теорию в сфере математики, прикладной статистики, алгоритмов и структур данных. - Готовы изучать научные статьи на английском языке и ставить эксперименты на основе прочитанного. - Знаете Linux, Git, Bash и Docker. Мы предлагаем: ▫️Гибридный формат работы. ▫️Платформу обучения и развития «Т-Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии. ▫️Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. ▫️Возможность работы в аккредитованной ИТ-компании. ▫️Сервисы для поддержки сотрудника по психологическим, юридическим и финансовым вопросам. ▫️Три дополнительных дня отпуска в год. ▫️Достойную зарплату — обсудим ее на собеседовании. Присылайте резюме и вопросы мне в tg @aetern1tas или на почту [email protected]. Буду рада ответить на вопросы и сориентировать по вакансии 💻

Data Science Jobs

@datasciencejobs · Post #2363 · 11.10.2024 г., 09:00

#NLP#ML#AI#NaturalLanguageProcessing#DeepLearning#Python#УдаленнаяРабота#ИП#LLM#TextAnalysis Вакансия: ML/NLP разработчик Грейд: Middle+/Senior Локация: строго РФ Формат работы: удалённая, трудоустройство только по ИП Зарплата: 250-350 тыс. руб. 💸 📌О проекте: Мы разрабатываем интеллектуальную Систему анализа проектной документации для обработки и анализа текстовых данных. В рамках проекта вы будете участвовать в создании когнитивного поиска, рекомендательных систем и digital-ассистентов, помогая реализовать передовые решения на основе естественного языка. 📌Задачи: - Разработка моделей для структурирования текстов и понимания запросов на естественном языке 🧠 - Решение NLP задач для когнитивного поиска и рекомендательных систем - Разработка NLU моделей для digital-ассистентов - Развитие и оптимизация больших языковых моделей (LLM) 📌Мы предлагаем: - Удалённую работу с гибким графиком 🏡 - Трудоустройство по ИП с прозрачными условиями - Участие в интересных проектах по текстовому анализу - Возможности для профессионального роста 🚀 - Работа с передовыми технологиями и решениями 📌Наши ожидания: - Опыт работы с NLP задачами от 3 лет - Глубокие знания машинного обучения и deep learning в NLP - Практический опыт работы с задачами для русского языка: классификация текста, topic modeling, NER, Text2SQL - Участие в хакатонах или Kaggle будет плюсом 🏆 📌Технологический стек: Python, NLTK, DeepPavlov, Hugging Face, LSH, faiss, nmslib, HNSW, Spark, Pandas, Numpy, Sklearn, Keras, PyTorch, Tensorflow, RNN, CNN, Transformer, BERT. 📌Преимуществом будет: - Опыт работы с LLM, включая RAG, LangChain, LoRA - Навыки fine-tuning и prompt engineering Если хотите присоединиться к нашему проекту, пишите в Telegram: @BekhterevaElena.

Data Science Jobs

@datasciencejobs · Post #2243 · 02.08.2024 г., 12:34

#вакансия#nlp#llm#senior Senior QA Automation (LLM, NLP) Требуемый опыт работы: 3–6 лет Полная занятость, полный рабочий день Мы — АТОМ. Разрабатываем электромобиль-гаджет и его версии для семьи, такси, каршеринга и службы доставки, а также собственный маркетплейс приложений и другие сервисы. Ищем Senior QA Automation в команду AI, LLM-Lab, которая работает над рядом проектов: Голосовой ассистент для заказа товаров и услуг, в котором используются передовые технологии распознавания и синтеза речи, понимания естественного языка на основе нейросетевых моделей. Разработка умных чат-ботов и других проектов в домене LLM/NLP. Ваши задачи: - налаживать процесс автоматизации тестирования; - проводить тестирование - регрессионное, интеграционное и функциональное; - тестировать ML-системы; - анализировать функциональные требования и результаты тестирования на соответствие этим требованиям; - исследовать проблемы, возникающих в работе сервисов; - анализировать проблемы и запросы пользователей, ставить задачи разработчикам; - вести тест-кейсы в системе управления тестами (Allure TestOps). Стек: Python, PostgreSQL, PyTorch, Ray/Triton Inference Server, k8s, redis Наши ожидания: - опыт построения систем автоматизированного тестирования; - умение читать и писать код на Python; - опыт работы/тестирования ML-систем (NLP/LLM-моделей); - опыт работы с CI/CD инструментами; - опыт работы с Allure TestOps; - Fiddler, Swagger, Postman; - опыт оценки задач на тестирование с учетом ресурсов и рисков; - знание английского языка на уровне, необходимом для чтения технической литературы. Будет плюсом: - опыт работы с системами оркестрации контейнеров - OS/K8s на уровне пользователя; - опыт работы с GraphQL; - опыт работы с брокерами сообщений Kafka/Rabbit; - опыт работы auto-QA в команде GigaChat, YaLM , YandexGPT; - опыт работы auto-QA в голосовых ассистентах Маруся, Алиса, Салют. Мы предлагаем: - высокотехнологичный, интересный продукт, возможность создавать новые процессы и влиять на развитие; - работа в команде высококвалифицированных профессионалов из России, Китая, Европы; - корпоративная культура, выстраиваемая в духе инноваций, открытые горизонтальные коммуникации; - конкурентная официальная белая заработная плата; - годовой бонус; - кафетерий льгот (“плюшки”) - ДМС со стоматологией, питание, транспорт, страхование жизни и имущества, фитнес, обучение и многое другое; - бесплатный доступ к платформе с обучающими курсами iSpring, корпоративное обучение китайскому языку, спортивные командные игры и другие приятные мелочи; корпоративное оборудование; - гибридный или удаленный формат работы; - трудоустройство в аккредитованной ИТ-компании. Пройди вместе с нами крутой кейс по созданию электромобиля с нуля! ✍️По всем вопросам, а также для отправки резюме/cv обращайтесь: @tanya_yuu #CI#CD#Allure#TestOps#SQL#Fiddler#Swagger#Postman#QA#Python#LLM#NLP#ML#DataScience#AutomationQA#NaturalLanguageProcessing