TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #239 · 3 мај

Один из самых удобных способов записать данные это использование готовых форматов, такие как JSON или YAML. Из плюсов такого подхода стоит отметить вот что: 🔸 готовый, повсеместно используемый и поддерживаемый формат 🔸 простой и понятный файл, удобочитаемый для человека 🔸 можно легко редактировать в любом текстовом редакторе без специальных программ и библиотек Но есть и минусы 🔹 затраты времени при записи файла (кодирование данных в нужный формат строки) 🔹 затраты времени при чтении файла (декодирование данных в Python объекты) 🔹 размер файла увеличивается из-за разметки данных (скобки, запятые, переносы, отступы...) 🔹 перед записью все данные должны быть помещены в память в полном объёме (не всегда) 🔹 при чтении необходимо считать весь файл в память и только потом декодировать данные Если нужно писать немного данных в несколько файлов, то затраты по времени не ощутимы. Обычно это файлы конфига или какие-либо метаданные. Это отличный вариант под такие задачи. Есть и другой поход к записи файлов - это бинарные файлы. Используется, когда данных достаточно много и никто их не собирается читать глазками😳. 🔸 очень быстрая запись 🔸 чтение значительно быстрей чем JSON, YAML итд 🔸 размер файла значительно меньше, так как нет разметки 🔸 можно записывать данные по мере поступления не загружая всё в память 🔸 можно извлечь любую часть данных независимо Из минусов 🔹 нужно определить свой формат записи данных (если не используете готовую спецификацию определённого формата) 🔹 не получится открыть файл и визуально понять что там записано, а для чтения файла потребуется знать его спецификацию. 🔹 не так-то просто создать такой файл без специальной библиотеки В таком виде удобно записывать большой массив любых однородных данных. Например, мониторинг валютной биржи или кэшированная анимация 3D геометрии. (Это не означает что нельзя записать данные разного типа, просто это будет не так удобно) Представьте себе JPG-картинку. По сути это немного мета-информации и большой массив пикселей. Тоже самое со звуком или видео файлом. Поэтому, если вы попробуете открыть картинку в текстовом редакторе вы увидите что-то вроде такого f15d cd29 a564 4578 ... 09e2 9bc4 a696 1253 ... 84e9 4de1 3b23 c24a ... 2534 5161 28e0 709d ... ... Это и есть записанные байтики. И для их чтения требуется определённый софт который знает что с ними делать. Под каждый тип файла. К чему это я? Читайте в следующем посте... #tricks#basic

Резултати

Пронајдени 7 слични објави

Пребарај: #naturallanguageprocessing

当前筛选 #naturallanguageprocessing清除筛选
Venture Village Wall 🦄

@venturevillagewall · Post #3481 · 19.12.2024 г., 13:57

Codebuff Secures $500K Funding Codebuff, an AI-powered tool for codebase editing, raised $500K in funding on December 4, 2024. The platform utilizes natural language instructions for programming assistance from its expert AI, Buffy. More details can be found on their website: Codebuff. #Codebuff#AI#Programming#Startups#Funding#NaturalLanguageProcessing

Data Science Jobs

@datasciencejobs · Post #2422 · 13.11.2024 г., 07:01

#ТБанк#вакансия#ML#NLP#NaturalLanguageProcessing#LLM#RecSys#CV#senior#middle Ищем ML-engineer в Т-Банк 💻 Мы создаем и применяем AI-технологии для развития финансовой экосистемы Т-Банка: внедряем в продукты и внутренние процессы компании, делаем решения качественнее, безопаснее и удобнее для пользователей, вкладываемся в долгосрочные исследования. Кратко про работу в команде: ▪️Делимся опытом во всех областях машинного обучения - рекомендации, компьютерное зрение, голосовые технологии и работа с текстом и языком. ▪️Даем возможность как закидывать наработки в прод на миллионы пользователей, так и проводить исследования в своей области. ▪️Фокусируемся на принципе AI-first и не копим легаси. ▪️Оплачиваем участие в топовых AI-конференциях 2-3 раза в год. Основные задачи: - Изучать научные статьи, генерировать гипотезы, ставить на их основе эксперименты и доносить результат до команды. - Улучшать качество моделей в различных сценариях. - Ускорять работу моделей, применяя современные методы оптимизации и построения архитектуры. - Писать воспроизводимый код, оформлять эксперименты в воспроизводимые пайплайны, включающие разметку и обработку данных, обучение моделей и валидацию системы в целом. Ожидания по опыту: - Опыт работы от 2-х лет в индустриальных ML проектах, обязателен опыт доставки предсказаний и моделей до прода). - Опыт разработки моделей с использованием современных DL-фреймворков (Pytorch, Jax/Tensorflow и других) и их применения в продакшене. - Разбираетесь в принципах работы современных алгоритмов машинного обучения. - Умеете декомпозировать задачу в переиспользуемые и тестируемые библиотеки и компоненты. - Знаете теорию в сфере математики, прикладной статистики, алгоритмов и структур данных. - Готовы изучать научные статьи на английском языке и ставить эксперименты на основе прочитанного. - Знаете Linux, Git, Bash и Docker. Мы предлагаем: ▫️Гибридный формат работы в РФ. ▫️Платформу обучения и развития «Т-Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии. ▫️Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. ▫️Возможность работы в аккредитованной ИТ-компании. ▫️Сервисы для поддержки сотрудника по психологическим, юридическим и финансовым вопросам. ▫️Три дополнительных дня отпуска в год. ▫️Достойную зарплату — обсудим ее на собеседовании. Присылайте резюме и вопросы мне в tg @aetern1tas. Буду рада ответить на вопросы и сориентировать по вакансиям 💻

Data Science Jobs

@datasciencejobs · Post #2360 · 10.10.2024 г., 09:00

#ТБанк#вакансия#ML#NLP#NaturalLanguageProcessing#LLM#RecSys#CV#senior#middle Ищем ML-engineer в Т-Банк 👋 Мы создаем и применяем AI-технологии для развития финансовой экосистемы Т-Банка: внедряем в продукты и внутренние процессы компании, делаем решения качественнее, безопаснее и удобнее для пользователей, вкладываемся в долгосрочные исследования. Кратко про работу в команде: ▪️Делимся опытом во всех областях машинного обучения - рекомендации, компьютерное зрение, голосовые технологии и работа с текстом и языком. ▪️Даем возможность как закидывать наработки в прод на миллионы пользователей, так и проводить исследования в своей области. ▪️Фокусируемся на принципе AI-first и не копим легаси. ▪️Оплачиваем участие в топовых AI-конференциях 2-3 раза в год. Основные задачи: - Изучать научные статьи, генерировать гипотезы, ставить на их основе эксперименты и доносить результат до команды. - Улучшать качество моделей в различных сценариях. - Ускорять работу моделей, применяя современные методы оптимизации и построения архитектуры. - Писать воспроизводимый код, оформлять эксперименты в воспроизводимые пайплайны, включающие разметку и обработку данных, обучение моделей и валидацию системы в целом. Ожидания по опыту: - Опыт работы от 2-х лет в индустриальных ML проектах (включая этап доставки предсказаний и моделей до прода) У вас есть опыт разработки моделей с использованием современных DL-фреймворков (Pytorch, Jax/Tensorflow и других) и их применения в продакшене. - Разбираетесь в принципах работы современных алгоритмов машинного обучения. - Умеете декомпозировать задачу в переиспользуемые и тестируемые библиотеки и компоненты. - Знаете теорию в сфере математики, прикладной статистики, алгоритмов и структур данных. - Готовы изучать научные статьи на английском языке и ставить эксперименты на основе прочитанного. - Знаете Linux, Git, Bash и Docker. Мы предлагаем: ▫️Гибридный формат работы. ▫️Платформу обучения и развития «Т-Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии. ▫️Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. ▫️Возможность работы в аккредитованной ИТ-компании. ▫️Сервисы для поддержки сотрудника по психологическим, юридическим и финансовым вопросам. ▫️Три дополнительных дня отпуска в год. ▫️Достойную зарплату — обсудим ее на собеседовании. Присылайте резюме и вопросы мне в tg @aetern1tas или на почту [email protected]. Буду рада ответить на вопросы и сориентировать по вакансиям 💻

Data Science Jobs

@datasciencejobs · Post #2297 · 04.09.2024 г., 14:33

#ТБанк#вакансия#ML#NLP#NaturalLanguageProcessing#LLM#RecSys#CV#senior#middle Ищем ML-engineer в Т-Банк 👋 Мы создаем и применяем AI-технологии для развития финансовой экосистемы Т-Банка: внедряем в продукты и внутренние процессы компании, делаем решения качественнее, безопаснее и удобнее для пользователей, вкладываемся в долгосрочные исследования. Кратко про работу в команде: ▪️Делимся опытом во всех областях машинного обучения - рекомендации, компьютерное зрение, голосовые технологии и работа с текстом и языком. ▪️Даем возможность как закидывать наработки в прод на миллионы пользователей, так и проводить исследования в своей области. ▪️Фокусируемся на принципе AI-first и не копим легаси. ▪️Оплачиваем участие в топовых AI-конференциях 2-3 раза в год. Основные задачи: - Изучать научные статьи, генерировать гипотезы, ставить на их основе эксперименты и доносить результат до команды. - Улучшать качество моделей в различных сценариях. - Ускорять работу моделей, применяя современные методы оптимизации и построения архитектуры. - Писать воспроизводимый код, оформлять эксперименты в воспроизводимые пайплайны, включающие разметку и обработку данных, обучение моделей и валидацию системы в целом. Ожидания по опыту: - Опыт работы от 2-х лет в индустриальных ML проектах (включая этап доставки предсказаний и моделей до прода) У вас есть опыт разработки моделей с использованием современных DL-фреймворков (Pytorch, Jax/Tensorflow и других) и их применения в продакшене. - Разбираетесь в принципах работы современных алгоритмов машинного обучения. - Умеете декомпозировать задачу в переиспользуемые и тестируемые библиотеки и компоненты. - Знаете теорию в сфере математики, прикладной статистики, алгоритмов и структур данных. - Готовы изучать научные статьи на английском языке и ставить эксперименты на основе прочитанного. - Знаете Linux, Git, Bash и Docker. Мы предлагаем: ▫️Гибридный формат работы. ▫️Платформу обучения и развития «Т-Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии. ▫️Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. ▫️Возможность работы в аккредитованной ИТ-компании. ▫️Сервисы для поддержки сотрудника по психологическим, юридическим и финансовым вопросам. ▫️Три дополнительных дня отпуска в год. ▫️Достойную зарплату — обсудим ее на собеседовании. Присылайте резюме и вопросы мне в tg @aetern1tas или на почту [email protected]. Буду рада ответить на вопросы и сориентировать по вакансиям 💻

Data Science Jobs

@datasciencejobs · Post #2252 · 06.08.2024 г., 13:04

#ТБанк#вакансия#ML#NLP#NaturalLanguageProcessing#LLM#RecSys#CV#senior#middle Ищем ML-engineer в Т-Банк 👋 Мы создаем и применяем AI-технологии для развития финансовой экосистемы Т-Банка: внедряем в продукты и внутренние процессы компании, делаем решения качественнее, безопаснее и удобнее для пользователей, вкладываемся в долгосрочные исследования. Кратко про работу в команде: ▪️Делимся опытом во всех областях машинного обучения - рекомендации, компьютерное зрение, голосовые технологии и работа с текстом и языком. ▪️Даем возможность как закидывать наработки в прод на миллионы пользователей, так и проводить исследования в своей области. ▪️Фокусируемся на принципе AI-first и не копим легаси. ▪️Оплачиваем участие в топовых AI-конференциях 2-3 раза в год. Основные задачи: - Изучать научные статьи, генерировать гипотезы, ставить на их основе эксперименты и доносить результат до команды. - Улучшать качество моделей в различных сценариях. - Ускорять работу моделей, применяя современные методы оптимизации и построения архитектуры. - Писать воспроизводимый код, оформлять эксперименты в воспроизводимые пайплайны, включающие разметку и обработку данных, обучение моделей и валидацию системы в целом. Ожидания по опыту: - У вас есть опыт разработки моделей с использованием современных DL-фреймворков (Pytorch, Jax/Tensorflow и других) и их применения в продакшене. - Разбираетесь в принципах работы современных алгоритмов машинного обучения. - Умеете декомпозировать задачу в переиспользуемые и тестируемые библиотеки и компоненты. - Знаете теорию в сфере математики, прикладной статистики, алгоритмов и структур данных. - Готовы изучать научные статьи на английском языке и ставить эксперименты на основе прочитанного. - Знаете Linux, Git, Bash и Docker. Мы предлагаем: ▫️Гибридный формат работы. ▫️Платформу обучения и развития «Т-Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии. ▫️Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. ▫️Возможность работы в аккредитованной ИТ-компании. ▫️Сервисы для поддержки сотрудника по психологическим, юридическим и финансовым вопросам. ▫️Три дополнительных дня отпуска в год. ▫️Достойную зарплату — обсудим ее на собеседовании. Присылайте резюме и вопросы мне в tg @aetern1tas или на почту [email protected]. Буду рада ответить на вопросы и сориентировать по вакансии 💻

Data Science Jobs

@datasciencejobs · Post #2363 · 11.10.2024 г., 09:00

#NLP#ML#AI#NaturalLanguageProcessing#DeepLearning#Python#УдаленнаяРабота#ИП#LLM#TextAnalysis Вакансия: ML/NLP разработчик Грейд: Middle+/Senior Локация: строго РФ Формат работы: удалённая, трудоустройство только по ИП Зарплата: 250-350 тыс. руб. 💸 📌О проекте: Мы разрабатываем интеллектуальную Систему анализа проектной документации для обработки и анализа текстовых данных. В рамках проекта вы будете участвовать в создании когнитивного поиска, рекомендательных систем и digital-ассистентов, помогая реализовать передовые решения на основе естественного языка. 📌Задачи: - Разработка моделей для структурирования текстов и понимания запросов на естественном языке 🧠 - Решение NLP задач для когнитивного поиска и рекомендательных систем - Разработка NLU моделей для digital-ассистентов - Развитие и оптимизация больших языковых моделей (LLM) 📌Мы предлагаем: - Удалённую работу с гибким графиком 🏡 - Трудоустройство по ИП с прозрачными условиями - Участие в интересных проектах по текстовому анализу - Возможности для профессионального роста 🚀 - Работа с передовыми технологиями и решениями 📌Наши ожидания: - Опыт работы с NLP задачами от 3 лет - Глубокие знания машинного обучения и deep learning в NLP - Практический опыт работы с задачами для русского языка: классификация текста, topic modeling, NER, Text2SQL - Участие в хакатонах или Kaggle будет плюсом 🏆 📌Технологический стек: Python, NLTK, DeepPavlov, Hugging Face, LSH, faiss, nmslib, HNSW, Spark, Pandas, Numpy, Sklearn, Keras, PyTorch, Tensorflow, RNN, CNN, Transformer, BERT. 📌Преимуществом будет: - Опыт работы с LLM, включая RAG, LangChain, LoRA - Навыки fine-tuning и prompt engineering Если хотите присоединиться к нашему проекту, пишите в Telegram: @BekhterevaElena.

Data Science Jobs

@datasciencejobs · Post #2243 · 02.08.2024 г., 12:34

#вакансия#nlp#llm#senior Senior QA Automation (LLM, NLP) Требуемый опыт работы: 3–6 лет Полная занятость, полный рабочий день Мы — АТОМ. Разрабатываем электромобиль-гаджет и его версии для семьи, такси, каршеринга и службы доставки, а также собственный маркетплейс приложений и другие сервисы. Ищем Senior QA Automation в команду AI, LLM-Lab, которая работает над рядом проектов: Голосовой ассистент для заказа товаров и услуг, в котором используются передовые технологии распознавания и синтеза речи, понимания естественного языка на основе нейросетевых моделей. Разработка умных чат-ботов и других проектов в домене LLM/NLP. Ваши задачи: - налаживать процесс автоматизации тестирования; - проводить тестирование - регрессионное, интеграционное и функциональное; - тестировать ML-системы; - анализировать функциональные требования и результаты тестирования на соответствие этим требованиям; - исследовать проблемы, возникающих в работе сервисов; - анализировать проблемы и запросы пользователей, ставить задачи разработчикам; - вести тест-кейсы в системе управления тестами (Allure TestOps). Стек: Python, PostgreSQL, PyTorch, Ray/Triton Inference Server, k8s, redis Наши ожидания: - опыт построения систем автоматизированного тестирования; - умение читать и писать код на Python; - опыт работы/тестирования ML-систем (NLP/LLM-моделей); - опыт работы с CI/CD инструментами; - опыт работы с Allure TestOps; - Fiddler, Swagger, Postman; - опыт оценки задач на тестирование с учетом ресурсов и рисков; - знание английского языка на уровне, необходимом для чтения технической литературы. Будет плюсом: - опыт работы с системами оркестрации контейнеров - OS/K8s на уровне пользователя; - опыт работы с GraphQL; - опыт работы с брокерами сообщений Kafka/Rabbit; - опыт работы auto-QA в команде GigaChat, YaLM , YandexGPT; - опыт работы auto-QA в голосовых ассистентах Маруся, Алиса, Салют. Мы предлагаем: - высокотехнологичный, интересный продукт, возможность создавать новые процессы и влиять на развитие; - работа в команде высококвалифицированных профессионалов из России, Китая, Европы; - корпоративная культура, выстраиваемая в духе инноваций, открытые горизонтальные коммуникации; - конкурентная официальная белая заработная плата; - годовой бонус; - кафетерий льгот (“плюшки”) - ДМС со стоматологией, питание, транспорт, страхование жизни и имущества, фитнес, обучение и многое другое; - бесплатный доступ к платформе с обучающими курсами iSpring, корпоративное обучение китайскому языку, спортивные командные игры и другие приятные мелочи; корпоративное оборудование; - гибридный или удаленный формат работы; - трудоустройство в аккредитованной ИТ-компании. Пройди вместе с нами крутой кейс по созданию электромобиля с нуля! ✍️По всем вопросам, а также для отправки резюме/cv обращайтесь: @tanya_yuu #CI#CD#Allure#TestOps#SQL#Fiddler#Swagger#Postman#QA#Python#LLM#NLP#ML#DataScience#AutomationQA#NaturalLanguageProcessing