Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
#URGENTE Fox News informa que, Cole Allen, el tirador que intentó asesinar a Trump enfrenta tres cargos.
Cargo 1: Intento de asesinar al Presidente de los Estados Unidos. Pena de hasta cadena perpetua.
Cargo 2: Transportar un arma de fuego a través de fronteras estatales. Pena de diez años y una multa de $250,000.
Cargo 3: Disparar un arma de fuego durante un crimen de violencia. Pena mínima obligatorio de diez años.
🚨#Urgente / La artillería de ocupación está atacando la casa de la familia “Al-Tanani” en las inmediaciones del Hospital Kamal Adwan, al norte de la Franja de Gaza.
🚨#Urgente / Corresponsal: Incursión israelí dentro de las zonas controladas por la ocupación al sur y este de Khan Yunis, en el sur de la Franja de Gaza.
🔴#URGENTE
¡Pa´lante! El juez Peinado envía al banquillo a Begoña Gómez por cuatro delitos
https://www.mediterraneodigital.com/espana/juicio-begona-gomez-delitos-peinado-pedro-sanchez
⚠️#URGENTE: CACEROLAZO EN TODO EL TERRITORIO NACIONAL 📣 por Pescadores desaparecidos en Coronel
📌 Hoy, 21 horas: Cacerolazo nacional en apoyo a la búsqueda de los 7 pescadores artesanales desaparecidos en Coronel.
📌 Mañana, 10 AM: Marcha hasta La Moneda para exigir la extensión de la búsqueda.
💬 Comparte y difunde
para mostrar solidaridad con las familias afectadas.
Síguenos t.me/Epinforma🔁 comparte
#URGENTETarek William Saab presenta su renuncia como Fiscal General ante la Asamblea Nacional.
También se hizo pública la renuncia del Defensor del Pueblo.
Fundación GEP
🐦@fundacion_gep
____
#URGENTE La semana que viene se va a tratar el #PCT en el #Congreso. ¡Defendamos la soberanía en salud! https://t.co/CDgNRlcVOT
____
🔗http://twitter.com/fundacion_gep/status/1142104016542998528
"VOY A TENER QUE EMPEZAR A HABLAR YO": LA ADVERTENCIA DE TAILHADE QUE HACE TEMBLAR A LA ROSADA 💣🔥
@rodotailhade puso la mira en el escándalo internacional del que pocos hablan: los 350.000 dólares que Javier Milei habría destinado a una red financiada por el narcotráfico para desestabilizar gobiernos populares y perseguir al peronismo.
Cuando el "especialista en denunciar corruptos y narcos" dice que va a empezar a hablar, es porque lo que viene es pesado. ¿Se le viene la noche a la estrategia digital de los libertarios?
#Tailhade#EscandaloNarco#Milei#Persecucion#Urgente
#URGENTE#DIFUNDIR
#FacundoJonesHuala#ExtradiciónIlegal#LibertadYA
Lista de detenidxs tras la represión frente al juzgado en el que el juez Gustavo Villanueva ordenó la extradición de Facundo Jones Huala. Al menos dos detenidxs de menos de 18 años y una mujer embarazada.
Elías Troncoso
Luciana Mosca
Lorena Claro
Mario Fierro
Lucho Beveraggi
Eduardo Loque
Gustavo Peñaponce
Luciana Baso
Rocío Soya
Fernanda Nequi
Alejandro Gomez Peña
Luciana Beredayi
Silvia Narvaez
Florencia Fernández
Gaby Balmaceda
Martina Villavoz
Ezequiel Lira
A. T. (14 años)
A. P. (14 años)
Seguí la #CoberturaEspecial de la #RNMA por http://www.rnma.org.ar/radio/#/app/radio y por nuestras redes sociales.