Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
[The Embassy of South Africa in Moscow informs:]
South African Ambassador to the Russian Federation, HE Mzuvukile Maqetuka received a delegation from the National Library of South Africa (NLSA) led by its CEO, Mr. Kepi Madumo (Left) and the Chairperson of NLSA, Mr. Andries Smith this owning, 12 December 2024 at the South African embassy.
The South African delegation attended a two-day Conference of BRICS Libraries in Moscow. The delegation briefed the embassy staff on key issues pertaining to the organisation and collaboration amongst BRICS countries.
#news#meetings
Сотрудники офиса Почётного консула ЮАР приняли участие в мероприятии «Дипломатический клуб КОНТЕКСТ».
В мероприятии приняли участие Заместитель Руководителя Аппарата Губернатора Свердловской области и Правительства Свердловской области Вадим Дубичев, представители МИДа, иностранные дипломаты и почётные консулы.
Политологи Екатеринбурга осветили актуальные вопросы российской внутриполитической повестки.
#встречи
___________________
The Office of the Honorary Consul of South Africa participated in an event organized by the CONTEXT Diplomatic Club.
The event was hosted by distinguished guests, including Vadim Dubichev, Deputy Chief of the Governor and Government of the Sverdlovsk Region’s Executive Office, Yekaterinburg-based political scientists, representatives from the Ministry of Foreign Affairs, as well as foreign diplomats and honorary consuls.
During the event, Yekaterinburg political scientists led discussions on pressing issues within Russia's domestic political agenda.
#meetings
Сотрудники офиса Почётного консула ЮАР приняли участие в мероприятии «Дипломатический клуб КОНТЕКСТ».
В мероприятии приняли участие Заместитель Руководителя Аппарата Губернатора Свердловской области и Правительства Свердловской области Вадим Дубичев, представители МИДа, иностранные дипломаты и почётные консулы.
Политологи Екатеринбурга осветили актуальные вопросы российской внутриполитической повестки.
#встречи
___________________
The Office of the Honorary Consul of South Africa participated in an event organized by the CONTEXT Diplomatic Club.
The event was attended by distinguished guests, including Vadim Dubichev, Deputy Chief of the Governor and Government of the Sverdlovsk Region’s Executive Office, Yekaterinburg-based political scientists, representatives from the Ministry of Foreign Affairs, as well as foreign diplomats and honorary consuls.
During the event, Yekaterinburg political scientists led discussions on pressing issues within Russia's domestic political agenda.
#meetings
Во вторник 10 декабря Почётный консул Сергей Мазуркевич встретился в Москве с Послом ЮАР Мзувукиле Макетукой.
Они обсудили текущие проекты офиса Почётного консула ЮАР и планы на 2025 год.
#встречи#новости#Посол#Макетука#Мазуркевич
_________________
On Tuesday, December 10, Honorary Consul Sergey Mazurkevich met with South African Ambassador Mzuvukile Maqetuka in Moscow.
They discussed current projects of the Honorary Consul's office and plans for 2025.
#meetings#news#Ambassador#Maqetuka#Mazurkevich
Сотрудники офиса Почётного консула ЮАР приняли участие в мероприятии «Дипломатический клуб КОНТЕКСТ».
🌍 В числе участников — Заместитель Руководителя Аппарата Губернатора Свердловской области и Правительства Свердловской области Вадим Дубичев, иностранные дипломаты и почётные консулы.
🗣 Политологи Екатеринбурга осветили актуальные вопросы российской внутриполитической повестки.
#Дипломатия#ЮАР#Екатеринбург#МеждународныеОтношения#Консул#Встречи#Политика#Контекст
___________________
The Office of the Honorary Consul of South Africa participated in an event hosted by the CONTEXT Diplomatic Club.
🌍 The event featured prominent guests, including Vadim Dubichev, Deputy Chief of Staff of the Sverdlovsk Region Government, foreign diplomats, and honorary consuls.
🗣 Yekaterinburg political scientists discussed current issues on Russia's domestic political agenda.
#Diplomacy#SouthAfrica#Yekaterinburg#InternationalRelations#HonoraryConsul#Meetings#Politics#Context