Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
🔴Se ha publicado el texto completo del discurso del ayatolá Jameneí en el reciente encuentro con un grupo de mujeres
🔰«A pesar de que entre hombre y #mujer existen diferencias físicas aparentes, desde el punto de vista de las capacidades intelectuales en ambos sexos existen talentos infinitos y no hay diferencia alguna entre ellos...»
🔗👉LEER EL TEXTO COMPLETO DEL DISCURSO
Sigan el canal en Telegram del Ayatolá Jameneí 👉@khamenei_es
KHAMENEI.IR | 𝕏 | Facebook| TikTok
Por esta #mujer Telegram está por cambiar, ¿Será acaso esto un caso "Yoko Ono"?
Dudo que Durov se relacione con una mujer que no tenga una perspectiva similar a la de él, entonces, los #cambios que vendrán deben ser buenos...
¿O ustedes qué opinan?
💥Chubasquero Joma Galia para Mujer
Protégete del frío y la lluvia con estilo en tus actividades al aire libre. Apro
✅OFERTA: 16.45€
❌ Antes: 23.5€
💰Ahorras un 30%🔥
Diseño elegante en azul marino, resistente al agua y viento para mantenerte seca
👉 Hazte con el tuyo y disfruta de la temporada
#chubasquero#mujer#ofertas#descuentos#rebajas
🛰️Oferta publicada en Deporte y Outdoor
Regalos para #Ella Nuestras recomendaciones de regalos para #Chica#Mujer
https://www.milideaspararegalar.es/regalos-para-ella
💻www.milideaspararegalar.es
Regalos para #Ella Nuestras recomendaciones de regalos para #Chica#Mujer
https://www.milideaspararegalar.es/regalos-para-ella
💻www.milideaspararegalar.es
Regalos para #Ella Nuestras recomendaciones de regalos para #Chica#Mujer
https://www.milideaspararegalar.es/regalos-para-ella
💻www.milideaspararegalar.es
💥Leggings Nike Mujer, color Negro y Blanco, Talla L
Brilla esta Navidad con estilo y comodidad
✅OFERTA: 22.49€
❌ Antes: 54.99€
💰Ahorras un 59%🔥
Diseño moderno para realzar tu figura y tejido transpirable para mayor confort
👉 Hazte con ellos y deslumbra en tus entrenamientos
#nike#leggings#mujer#ofertas#deporte#navidad
🛰️Oferta publicada en Deporte y Outdoor
El #feminismo justifica su propia existencia a través de dos mitos, capciosos y confusos, que utiliza con fines políticos: por un lado el mito del #patriarcado como institución opresora sobre la #mujer, y por otro el del #género como constructo social impuesto por el patriarcado. Esta definición de género como constructo social desestima la importancia de los procesos biológicos inherentes a cada #sexo en las pautas de comportamiento y roles sociales que históricamente han asumido tanto mujeres como hombres. Además, el feminismo afirma que patriarcado y género son instituciones culturales creadas, organizadas, sostenidas y dirigidas por varones para asegurar unos supuestos privilegios de éstos y para someter a las mujeres, víctimas de esas instituciones opresoras https://www.larazoncomunista.com/post/13-1-patriarcado-y-g%C3%A9nero-mitos-fundacionales-del-feminismo
💥Sostén Playtex Classic Micro Support
Respaldo y comodidad para tu día a día
✅OFERTA: 18.25€
❌ Antes: 38.45€
💰Ahorras un 53%🔥
Sujeción perfecta con soporte adicional y diseño elegante
👉 Renueva tu comodidad ahora
#playtex#sujetador#mujer#ofertas#descuentos#moda#rebajas#invierno
🛰️Oferta publicada en Moda y Belleza
Ideas para regalar a tu novia o esposa #ParaElla#Novia#Esposa#Mujer#RegalosParaElla
https://www.milideaspararegalar.es/ideas-para-regalar/ideas-para-regalar-a-tu-novia-o-esposa/
💻www.milideaspararegalar.es
💥Gorra de running HeyCaps para mujer
Protección UV y estilo para tus entrenamientos
✅OFERTA: 9.99€
❌ Antes: 12.99€
💰Ahorras un 23%🔥
Mantente protegida del sol mientras corres con comodidad y estilo
👉 Corre con estilo y protección este invierno
#gorra#running#proteccionuv#deporte#verano#rebajas#outdoor#mujer
🛰️Oferta publicada en Deporte y Outdoor