Најди сличен содржај

Изворен канал @pythonotes · Post #121 · 20 јул.

Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример). Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать? В Django по умолчанию есть готовая функция slugify для таких случаев. Но я её никогда не использую. Почему? Потому что её недостаточно! Приведём пример >>> from django.utils.text import slugify >>> slugify('This is a Title') 'this-is-a-title' Пока всё отлично >>> slugify('This is a "Title!"') 'this-is-a-title' Спец символы удалились, всё хорошо. >>> slugify('Это заголовок статьи') '' Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить >>> slugify('Это заголовок статьи', allow_unicode=True) 'это-заголовок-статьи' Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте. Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою. Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку: 🔸1. Исходный текст: >>> text = 'Мой заголовок №10 😁!' Взял специально посложней со специальными символами. 🔸2. Транслит Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги. from unidecode import unidecode >>> unidecode("Ñ Σ ® µ ¶ ¼ 月山") 'N S (r) u P 1/4 Yue Shan' Очень крутая библиотека, советую👍 В нашем случае получаем такое преобразование: >>> text = unidecode(text) >>> print(text) 'Moi zagolovok No. 10 !' Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы. А еще наш код уже поддерживает любой язык, будь то хинди или корейский. 🔸4. Фильтр символов Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона. >>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text) >>> print(text) 'Moi_zagolovok_No_10_' Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_". 🔸5. Slugify Осталось удалить лишние символы по краям и сделать нижний регистр >>> text = text.strip('_').lower() >>> print(text) 'moi_zagolovok_no_10' Получаем отличный slug! 😎 🌎 Полный код в виде функции. ______________ PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию. #libs#tricks#django

Hashtags

#libs #tricks #django

Резултати

Пронајдени 2 слични објави

Пребарај: #datasciense

当前筛选 #datasciense清除筛选

Data Science Jobs

@datasciencejobs · Post #2043 · 19.04.2024 г., 16:05

Најди слично Погледај

#вакансия#vacancy#job#timeseries #datasciense#remote Вакансия: Middle/ Senior Data Scientist Кадровое агентство: DevHunt ЗП: от 150.000 до 250.000 руб на руки Формат: удаленка Почему стоит выбрать именно эту позицию: - Удаленка с гибким началом рабочего дня - Свобода в принятии решений - Возможности для роста - Никакого тайм-трекинга - Неформальная атмосфера с минимальным числом бюрократии - Проекты не "в стол" - Плюшки IT-аккредитации - Годовые бонусы: х1, х1.5 - ДМС после испытательного срока Чек-лист идеального кандидата: - Опыт ML-разработки на Python от 3х лет - Опыт работы с Pandas, NumPy, SсiPy, scikit-learn, Keras/TensoFlow - Опыт работы с XGboost, LightGBM, Random Forest, линейными моделями, основными архитектурами нейронных сетей. Понимание механизмов их работы - Знание SQL на продвинутом уровне, опыт работы с реляционными СУБД (PostgreSQL, Oracle, MS SQL и пр.) Опыт работы с *nix системами - Навыки работы с Git и с Conda окружениями Будет плюсом: - Опыт разработки проектной документации в части подготовки разделов по предиктивному анализу - Опыт разработки архитектуры данных и структур баз данных - Знание и опыт работы с ETL/ELT инструментами Знание TimescaleDB, InfluxDB, AVEVA (OSIsoft) PI System - Понимание специфики работы IT-интегратора (outsource) - Опыт работы в нефтегазовой или смежной области Задачи: - Реализации проектов по предиктивной аналитике на промышленных предприятиях - Анализ и прогнозирование временных рядов - Анализ производственных процессов и выработка требований к сбору данных Выбор и обоснование моделей машинного обучения для решения бизнес-задач - Конструирование признаков для ML-моделей (feature engineering) Выбор и обоснование метрик для оценки моделей машинного обучения - Интерпретация результатов функционирования моделей машинного обучения - Разработка и автоматизация ML-пайплайнов Контакт:@barnes_recruiter

Hashtags

#вакансия #vacancy #job #timeseries #datasciense #remote

Data Science Jobs

@datasciencejobs · Post #1757 · 03.11.2023 г., 06:02

Најди слично Погледај

#вакансия#senior#python#ai#ml#ии#llm#datasciense ML-разработчик / Python-разработчик с опытом внедрения ИИ (Senior) ЗП: договорная, отталкиваемся от пожеланий кандидата Формат работы: full-time, удаленно, в офисе или гибрид Контакт:@pstarasov ❤️ О компанииЛайк: Мы EdTech компания, которая обладает уникальным доменным знанием в области бизнеса. Мы запускаем проект AI практически с нуля, поэтому в нем не будет раздражающего легаси, зато будет готовая инфраструктура и десятки разработчиков, которые могут воплотить в жизнь любые нужные тебе интерфейсы. Твоя задача – помогать в создании AI архитектуры внутри бизнеса, которая изменит рынок образования 🤔 Чем предстоит заниматься: • Создание архитектуры, на основе которой компания переедет на рельсы AI • Писать код руками. Мы ищем играющего тренера, который в будущем будет добирать команду, но основы должны быть заложены самостоятельно • У нас есть несколько направлений, которые мы успешно апробировали в формате MVP: – Продукт: верификация и генерация нового контента основываясь на базе знаний – Сервис-менеджмент: Q&A – Коммерция: технотрипваеры 👨‍💻Требования: • Опыт в Data Science от 2-х лет • Опыт работы с Python от 5-ти лет • Опыт работы с LLM и фреймворками (LangChain или аналоги) • Опыт дообучения моделей • Понимание принципов ООП, паттернов проектирования • Опыт работы с SQL, REST APIs • Будет плюсом опыт работы на уровне Deep Learning 👍 Мы предлагаем: • Возможность работать над интересными и сложными задачами в области ИИ • Удаленную работу из любой страны или работу в офисе в Москва-Сити • Конкурентоспособную зарплату • Работу в компании с IT-аккредитацией • Компенсацию 50% затрат на образовательные программы для сотрудников • Отпуск 28 календарных дней

Hashtags

#вакансия #senior #python #ai #ml #ии #llm #datasciense