Најди сличен содржај

Изворен канал @pythonotes · Post #121 · 20 јул.

Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример). Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать? В Django по умолчанию есть готовая функция slugify для таких случаев. Но я её никогда не использую. Почему? Потому что её недостаточно! Приведём пример >>> from django.utils.text import slugify >>> slugify('This is a Title') 'this-is-a-title' Пока всё отлично >>> slugify('This is a "Title!"') 'this-is-a-title' Спец символы удалились, всё хорошо. >>> slugify('Это заголовок статьи') '' Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить >>> slugify('Это заголовок статьи', allow_unicode=True) 'это-заголовок-статьи' Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте. Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою. Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку: 🔸1. Исходный текст: >>> text = 'Мой заголовок №10 😁!' Взял специально посложней со специальными символами. 🔸2. Транслит Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги. from unidecode import unidecode >>> unidecode("Ñ Σ ® µ ¶ ¼ 月山") 'N S (r) u P 1/4 Yue Shan' Очень крутая библиотека, советую👍 В нашем случае получаем такое преобразование: >>> text = unidecode(text) >>> print(text) 'Moi zagolovok No. 10 !' Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы. А еще наш код уже поддерживает любой язык, будь то хинди или корейский. 🔸4. Фильтр символов Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона. >>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text) >>> print(text) 'Moi_zagolovok_No_10_' Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_". 🔸5. Slugify Осталось удалить лишние символы по краям и сделать нижний регистр >>> text = text.strip('_').lower() >>> print(text) 'moi_zagolovok_no_10' Получаем отличный slug! 😎 🌎 Полный код в виде функции. ______________ PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию. #libs#tricks#django

Hashtags

#libs #tricks #django

Резултати

Пронајдени 1 слични објави

Пребарај: #fiddler

当前筛选 #fiddler清除筛选

Data Science Jobs

@datasciencejobs · Post #2243 · 02.08.2024 г., 12:34

Најди слично Погледај

#вакансия#nlp#llm#senior Senior QA Automation (LLM, NLP) Требуемый опыт работы: 3–6 лет Полная занятость, полный рабочий день Мы — АТОМ. Разрабатываем электромобиль-гаджет и его версии для семьи, такси, каршеринга и службы доставки, а также собственный маркетплейс приложений и другие сервисы. Ищем Senior QA Automation в команду AI, LLM-Lab, которая работает над рядом проектов: Голосовой ассистент для заказа товаров и услуг, в котором используются передовые технологии распознавания и синтеза речи, понимания естественного языка на основе нейросетевых моделей. Разработка умных чат-ботов и других проектов в домене LLM/NLP. Ваши задачи: - налаживать процесс автоматизации тестирования; - проводить тестирование - регрессионное, интеграционное и функциональное; - тестировать ML-системы; - анализировать функциональные требования и результаты тестирования на соответствие этим требованиям; - исследовать проблемы, возникающих в работе сервисов; - анализировать проблемы и запросы пользователей, ставить задачи разработчикам; - вести тест-кейсы в системе управления тестами (Allure TestOps). Стек: Python, PostgreSQL, PyTorch, Ray/Triton Inference Server, k8s, redis Наши ожидания: - опыт построения систем автоматизированного тестирования; - умение читать и писать код на Python; - опыт работы/тестирования ML-систем (NLP/LLM-моделей); - опыт работы с CI/CD инструментами; - опыт работы с Allure TestOps; - Fiddler, Swagger, Postman; - опыт оценки задач на тестирование с учетом ресурсов и рисков; - знание английского языка на уровне, необходимом для чтения технической литературы. Будет плюсом: - опыт работы с системами оркестрации контейнеров - OS/K8s на уровне пользователя; - опыт работы с GraphQL; - опыт работы с брокерами сообщений Kafka/Rabbit; - опыт работы auto-QA в команде GigaChat, YaLM , YandexGPT; - опыт работы auto-QA в голосовых ассистентах Маруся, Алиса, Салют. Мы предлагаем: - высокотехнологичный, интересный продукт, возможность создавать новые процессы и влиять на развитие; - работа в команде высококвалифицированных профессионалов из России, Китая, Европы; - корпоративная культура, выстраиваемая в духе инноваций, открытые горизонтальные коммуникации; - конкурентная официальная белая заработная плата; - годовой бонус; - кафетерий льгот (“плюшки”) - ДМС со стоматологией, питание, транспорт, страхование жизни и имущества, фитнес, обучение и многое другое; - бесплатный доступ к платформе с обучающими курсами iSpring, корпоративное обучение китайскому языку, спортивные командные игры и другие приятные мелочи; корпоративное оборудование; - гибридный или удаленный формат работы; - трудоустройство в аккредитованной ИТ-компании. Пройди вместе с нами крутой кейс по созданию электромобиля с нуля! ✍️По всем вопросам, а также для отправки резюме/cv обращайтесь: @tanya_yuu #CI#CD#Allure#TestOps#SQL#Fiddler#Swagger#Postman#QA#Python#LLM#NLP#ML#DataScience#AutomationQA#NaturalLanguageProcessing

Hashtags

#вакансия #nlp #llm #senior #ci #cd #allure #testops #sql #fiddler #swagger #postman #qa #python #ml #datascience #automationqa #naturallanguageprocessing