TGTGInsighttelegram intelligenceLIVE / telegram public index
← Python Заметки

TGINSIGHT SIMILAR POSTS

Најди сличен содржај

Изворен канал @pythonotes · Post #121 · 20 јул.

Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример). Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать? В Django по умолчанию есть готовая функция slugify для таких случаев. Но я её никогда не использую. Почему? Потому что её недостаточно! Приведём пример >>> from django.utils.text import slugify >>> slugify('This is a Title') 'this-is-a-title' Пока всё отлично >>> slugify('This is a "Title!"') 'this-is-a-title' Спец символы удалились, всё хорошо. >>> slugify('Это заголовок статьи') '' Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить >>> slugify('Это заголовок статьи', allow_unicode=True) 'это-заголовок-статьи' Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте. Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою. Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку: 🔸1. Исходный текст: >>> text = 'Мой заголовок №10 😁!' Взял специально посложней со специальными символами. 🔸2. Транслит Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги. from unidecode import unidecode >>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山") 'N S (r) u P 1/4 Yue Shan' Очень крутая библиотека, советую👍 В нашем случае получаем такое преобразование: >>> text = unidecode(text) >>> print(text) 'Moi zagolovok No. 10 !' Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы. А еще наш код уже поддерживает любой язык, будь то хинди или корейский. 🔸4. Фильтр символов Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона. >>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text) >>> print(text) 'Moi_zagolovok_No_10_' Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_". 🔸5. Slugify Осталось удалить лишние символы по краям и сделать нижний регистр >>> text = text.strip('_').lower() >>> print(text) 'moi_zagolovok_no_10' Получаем отличный slug! 😎 🌎 Полный код в виде функции. ______________ PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию. #libs#tricks#django

Резултати

Пронајдени 2 слични објави

Пребарај: #scikit

当前筛选 #scikit清除筛选
Data Science Jobs

@datasciencejobs · Post #2280 · 24.08.2024 г., 15:33

#вакансия#ml#engineer#scikit#TensorFlow#PyTorch Machine Learning Engineer в сельскохозяйственной сфере При отклике на вакансию сразу присылайте резюме @echeveria_woman Отклики без резюме рассматриваться не будут! Основные задачи: - Создание и внедрение ML-моделей для анализа агроданных - Оптимизация и поддержка моделей для работы с большими объемами данных - Прогнозирование урожайности и мониторинг здоровья растений Ключевые требования: - 3+ лет опыта в ML - Глубокие знания алгоритмов ML и анализа данных - Владение Python и ML-библиотеками (scikit-learn, TensorFlow, PyTorch и т.д.) - Опыт работы с большими данными и CI/CD Преимуществом будет: - Опыт в агросфере - Знание анализа изображений и сенсорных данных - Работа с облачными платформами Мы предлагаем: - Вилку 3.5-5 тысяч долларов в месяц - Гибкий график - Работу в инновационной команде - Возможности для роста - Участие в значимых агропроектах

Data Science Jobs

@datasciencejobs · Post #1494 · 31.05.2023 г., 15:02

Мы – компания Sense Machine - лидеры на российском рынке нейробиологических исследований. Изучаем эмоциональный отклик на рекламные ролики, ТВ контент, прототипы приложений и многое другое, вплоть до дизайна интерьера банков с использованием собственной facial coding платформы. Являемся сердцем крупнейшей в Европе UX - лаборатории Альфа – банка и работаем с самыми большими клиентами российского рынка, такими как Альфа-банк, МТС, Danone, Ozon, Мail.ru, Lamoda, Самокат, Sokolov Компания представляет из себя команду людей, по-настоящему увлечённых наукой и её технической интерпретацией, которая делает уникальный продукт, меняющий представление о познании и востребованный самыми крупными игроками. Этот продукт показывает рост в одном из наиболее востребованных сегментов современного наукоёмкого бизнеса - нейробиологических исследованиях, которые до 2024 года по оценке Gartner будут применяться в 50% всех маркетинговых тестов. Мы строим настоящий двигатель того, как будут совершаться открытия о человеческом восприятии в ближайшее время и уверены, что талантливые и открытые знаниям люди – это то, что нам нужно на этом пути На данном этапе, мы в поиске профессионального Lead Data Scientist в нашу драйвовую команду. Требования к кандидату: - Высшее профильное образование (инженерное или математическое) - Опыт коммерческой разработки в области DS/ML на Python - Наличие успешных коммерческих проектов или проектов в эксплуатации - Опыт поддержки и развития продуктов находящихся в эксплуатации - Уверенные знания и опыт работы с #Python для анализа данных, включая основные библиотеки ( #numpy, #scipy, #pandas, #Scikit-learn) - Опыт работы с технологиями Face Detection, Face Analyze, Computer Vision. - Опыт работы с #Tensorflow / #PyTorch / #OpenVINO - Умение разбираться в чужом коде - Опыт постановки задач Желательно: - Опыт работы с #SQL - Опыт работы с Apache Spark ( #Pyspark / Scala, #Spark SQL) - Знание #Docker Ваши обязанности: • Рефакторинг существующей системы • Создание улучшенного решения на основании текущего • Постановка и контроль выполнения задач • Построение процессов тестирования решений на базе технологий обработки видео с помощью нейросетевых моделей • Разработка алгоритмов преобразования данных • Организация процессов разработки и руководство командой ML-специалистов • Взаимодействие с командой аналитики и разработки инфраструктуры • Контроль исполнения задач Что предлагаем мы: - Работа в команде разработчиков, сердцем которой является data science. - Большое количество очень интересных гипотез, которые основаны на современных научных теориях и большой простор в их проверке, освоение которого будет поддержано профессиональными и увлечёнными коллегами - Амбициозные задачи, масштабные проекты и возможность создать по-настоящему уникальный продукт, который сможет быть стандартом индустрии. - Большую продуктовую команду мечты – все ребята ладят с методами изучения данных и ходят не с проблемами, но с предложениями - Всю нужную инфраструктуру и поддержку в экспериментах Участие в работе крупнейшей в Европе ux лаборатории - Оплата обучения и тренингов для вашего профессионального роста - Белая заработная плата. - Фиксированный, достойный оклад от 300 до 500 k ( обсуждаем на собеседовании) - Возможность работать удаленно Уютный "pet-frendly" офис, в 2-минутах от метро Парк Культуры (да, можно приносить/приводить с собой пушистых любимцев) - Официальное трудоустройство с первого рабочего дня, полное соблюдение ТК РФ - Отсутствие строгого дресс-кода и бюрократии, открытость и лояльность руководства, общение на - "ты" Мы всегда готовы принять в команду талантливых и перспективных сотрудников, готовых стать частью нашей классной команды и делать мир рекламы лучше с помощью нашей платформы. В свою очередь мы готовы делится своим опытом, экспертностью, всячески направлять и поддерживать Откликайтесь или отправляйте свое резюме: https://t.me/hr_sensemachine почта- [email protected] Просьба в письме указывать желаемый уровень заработной платы!