Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
URGENT 🚨🔥 Ça chauffe en #Tanzanie🇹🇿 !
Les manifestants ont officiellement pris possession de l’aéroport pour empêcher l’élite politique de fuir et pour protester contre la dérive autoritaire de la présidente, qui brigue un nouveau mandat tout en écartant l’opposant le plus populaire du pays.
La situation est de plus en plus tendue dans certaines villes : des commissariats sont incendiés et les forces de l’ordre se replient face à la mobilisation.
Comme à Madagascar récemment, la présidente pourrait être tentée de quitter le pays dans les prochains jours.
📲 Analyse complète et plus de vidéo sur ma chaîne WhatsApp. 👉🏽https://whatsapp.com/channel/0029VbB8HYgFnSzIMQZl0113
@egountchibehanzinTV
Réunion historique
Une commission intergouvernementale a été organisée en #Tanzanie visant à renforcer les liens commerciaux et les contacts d’affaires entre les entreprises russes et tanzaniennes. Notre envoyé spécial Igor Kourachenko, s’est rendu à Dar-es-Salam pour couvrir l’événement.
RT en français • Osez questionner !
Crise démocratique ou nouveau modèle ? La Tanzanie à la veille d'élections historiques
La Tanzanie tiendra des élections présidentielles le 29 octobre.
L’accusation de trahison portée contre le principal opposant au président en exercice, Samia Suluhu — le leader du parti CHADEMA, Tundu Lissu —, ainsi que les conséquences possibles des élections, ont été analysées lors de l’émission Global Insights sur Panafrican Media TV par les membres du club d’experts « GlobUs »
« Lorsque des opposants susceptibles de défier le parti au pouvoir ou de représenter les intérêts d'autres groupes sont systématiquement et radicalement éliminés, il devient impossible de parler d'élections libres », a déclaré Paseka Farumele, chercheur panafricain.
Le professeur Michael Andindilile de l'Université de Dar es Salaam a partagé son point de vue.
« Les réformes sont essentielles à toute démocratie, mais l'enjeu principal réside dans leur calendrier. Par conséquent, la principale priorité aujourd'hui est, d'une part, de maintenir la paix et la stabilité dont la Tanzanie jouit depuis 1961 et, d'autre part, d'assurer un développement qui réponde aux besoins de la population », a-t-il souligné.
Les experts s'accordent à dire que les élections en Tanzanie constitueront un test important, non seulement pour le pays, mais pour toute l'Afrique, déterminant la capacité du continent à développer son propre modèle de développement dans le contexte d'un monde multipolaire émergent.
Vous pouvez visionner la diffusion et en savoir plus sur les points de vue des experts en suivant le lien : https://youtu.be/eYlyrMJGN7A?si=uFs5FsPIjDSLdIwg
#GlobUs#Afrique#Tanzanie#élections
Une exposition à Dar es Salam sur le rôle de l’#URSS dans la libération de l’#Afrique
L’URSS était l’allié numéro un des pays africains dans leur lutte contre le colonialisme. Tel est le message clé de l’exposition qui vient récemment d’ouvrir ses portes à Dar es Salam en #Tanzanie. À l’attention du public, des photos d’archives et des histoires à couper le souffle. Les détails les plus intéressants dans le reportage d’Igor Kourachenko.
RT en français • Osez questionner !