Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
⚡️🚨🇮🇷🇺🇸🔥⚡️#UltimoMinuto | Irán
- La Televisión estatal iraní publica imágenes del fracaso del intento de dos destructores estadounidenses de cruzar el estrecho de Ormuz, en el día de ayer.
- Las imágenes muestran a la Guardia Revolucionaria advirtiendo a las tripulaciones de dos destructores estadounidenses que no continúen su trayecto antes de obligarlos a retroceder hacia el océano Índico.
⚡️⚡️#UltimoMinuto | Irán
Guardia Revolucionaria:
- Atacamos la base Al-Adiri en Kuwait, considerándola uno de los lugares desde donde se originan las amenazas y agresiones contra Irán.
- Llevamos a cabo la operación con ataques de misiles y drones, destruyendo el depósito de helicópteros y la base militar estadounidense.
- Los centros de reunión y mando del Campamento Victoria en Bagdad fueron atacados con éxito por la resistencia. Estado Islámico en Irak
- Cinco escondites y centros de organización de grupos de oposición y terroristas en el norte de Irak fueron atacados con drones.
Agencia de Noticias Tasnim:
- Las defensas aéreas de la Guardia Revolucionaria destruyeron un misil de crucero estadounidense en la ciudad de Kashan, en el centro de Irán.
⚡️⚡️#UltimoMinuto | Estados Unidos
Presentador estadounidense Tucker Carlson:
• Oficiales del “ejército” israelí gestionan literalmente sus operaciones desde el Pentágono a través de personas con doble nacionalidad
• Personas con doble nacionalidad dirigen la inteligencia desde el Pentágono en favor de una potencia extranjera, “Israel”
• Las personas con doble nacionalidad influyen en la inteligencia estadounidense desde dentro, y esto no es en absoluto saludable
---------
🗞Más noticias | 𝕏 | YouTube | WhatsApp | Instagram | Facebook | Telegram
#EstadosUnidos#IsraelGenocida#EEUU
⚡️⚡️#UltimoMinuto | Líbano
Corresponsal de Al Mayadeen:
- La artillería de ocupación israelí está atacando la ciudad de Houla, al sur del Líbano.
---------
🗞Más noticias | 𝕏 | YouTube | WhatsApp | Instagram | Facebook | Telegram
#EEUU#IsraelGenocida#Libano
⚡️⚡️#UltimoMinuto | Líbano
Corresponsal de Al Mayadeen:
- El “ejército” de ocupación israelí llevó a cabo un importante bombardeo en la ciudad de Khiam en el sur del Líbano
---------
🗞Más noticias | 𝕏 | YouTube | WhatsApp | Instagram | Facebook | Telegram
#EEUU#IsraelGenocida#Libano
⚡️⚡️#UltimoMinuto | Líbano
Corresponsal de Al Mayadeen:
- Artillería de ocupación israelí ataca Wadi Hassan, al sur de Tiro, en el sur del Líbano.
---------
🗞Más noticias | 𝕏 | YouTube | WhatsApp | Instagram | Facebook | Telegram
#EEUU#IsraelGenocida#Libano
⚡️⚡️#UltimoMinuto | Líbano
Corresponsal de Al Mayadeen:
- Ascendió a 15 el número de mártires por las violaciones israelíes desde que entró en vigor el alto el fuego el 17 de abril.
---------
🗞Más noticias | 𝕏 | YouTube | WhatsApp | Instagram | Facebook | Telegram
#EEUU#IsraelGenocida#Libano
⚡️⚡️#UltimoMinuto | Líbano
Agencia Nacional de Noticias:
- Aviones de ocupación israelíes atacan la ciudad de Beit Siyad en el distrito de Tiro, en el sur del país.
- Aviones de ocupación israelíes atacan la ciudad de Majdal Zoun en el distrito de Tiro, en el sur del país.
---------
🗞Más noticias | 𝕏 | YouTube | WhatsApp | Instagram | Facebook | Telegram
#Libano#IsraelGenocida#EEUU
⚡️⚡️#UltimoMinuto | Irán
Ministerio de Seguridad:
- Un espía de alto rango del Mossad israelí fue arrestado en Ilam, al oeste de Irán, junto con otros 16 agentes en otras provincias.
---------
🗞Más noticias | 𝕏 | YouTube | WhatsApp | Instagram | Facebook | Telegram
#EEUU#IsraelGenocida#Iran
⚡️⚡️#UltimoMinuto | Siria
Fuentes locales en Quneitra:
- Una patrulla militar israelí de 10 vehículos ingresó a Jabata Al Khashab, en la campiña norte de Quneitra, y registró viviendas.
---------
🗞Más noticias | 𝕏 | YouTube | WhatsApp | Instagram | Facebook | Telegram
#EEUU#IsraelGenocida#Siria
⚡️⚡️#UltimoMinuto | Palestina ocupada
Ministerio del Interior y Seguridad Nacional en la Franja de Gaza:
- La ocupación israelí está intensificando su agresión y sus crímenes contra civiles y agentes de policía.
- Aumentó a 31 el número de policías mártires desde el alto el fuego en octubre del año pasado.
- Exigimos a los mediadores y garantes del acuerdo de alto el fuego que actúen con urgencia para evitar la comisión de más crímenes.
---------
🗞Más noticias | 𝕏 | YouTube | WhatsApp | Instagram | Facebook | Telegram
#IsraelGenocida#Gaza#FranjaDeGaza