Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
A new exhibition “Solidarity in Action – Honouring the Role of the Soviet Union and Cuba in Supporting Southern Africa’s Liberation Struggles” has opened at the Robben Island Museum, highlighting the decisive contribution of international solidarity in the fight for freedom.
Created in collaboration with the Russian State University for the Humanities and based on Russian archival materials, the exhibition has already been shown in Tanzania and Zimbabwe — and is now available to visitors in Cape Town.
📖 Read more in the Cape Argus
#RussiaSouthAfrica#RobbenIsland#SolidarityInAction#History#Diplomacy#Consulate#CapeTown
📜 В Кейптауне открылась архивно-документальная выставка «Солидарность в действии: признание роли Советского Союза и Кубы в поддержке борьбы против апартеида»
Архивно-документальная выставка «Солидарность в действии: признание роли Советского Союза и Кубы в поддержке борьбы против апартеида» открылась в Кейптауне. Экспозиция организована Российским государственным гуманитарным университетом (РГГУ) при поддержке Музея Роббен-Айленд.
Выставка будет работать в течение шести месяцев в галерее Музея Роббен-Айленд на набережной Виктории и Альфреда — одной из самых популярных и посещаемых частей города.
В церемонии приняли участие ветераны АНК, российские учёные, представители Генерального консульства РФ в Кейптауне, африканские дипломаты и члены «Общества дружбы Кубы».
Генеральный консул Российской Федерации в Кейптауне Р. Ю. Голубовский отметил:
«В современном мире, когда объём и разнообразие информационных потоков постоянно возрастают, особенно важно обеспечить общественности доступ к достоверным историческим сведениям. Совместная работа Российского государственного гуманитарного университета и музея Роббен-Айленд в рамках этой выставки направлена на сохранение объективного взгляда на события прошлого и предотвращение их искажения. Размещение экспозиции в одном из наиболее значимых и посещаемых музеев Южной Африки создаёт возможность донести историческую правду до широкой аудитории — от представителей академических кругов до студентов и туристов. Это станет значимым вкладом в сохранение памяти о нашем общем наследии».
Профессор В. И. Заботкина, и. о. проректора по международной работе РГГУ, и директор Центра африканистики РГГУ Александр Зотин подчеркнули, что выставка является уникальным исследовательским проектом, направленным на сохранение исторической памяти о роли СССР и Кубы в поддержке народов Юга Африки в их борьбе против колониализма и апартеида.
Команда проекта, в состав которой вошли учёные Института Африки РАН, представила уникальные материалы, фотографии и свидетельства из личных архивов ветеранов борьбы с апартеидом — как российских, так и южноафриканских.
По словам эксперта Центра африканистики РГГУ и заведующей Центром изучения африканской стратегии БРИКС Института Африки РАН Дарьи Зеленовой:
«Многие материалы имеют уникальную историческую ценность. Например, впервые рассказано о гуманитарной помощи, которая была собрана школьниками из Екатеринбурга для детей бойцов АНК, обучающихся в колледже им. Соломона Махлангу. Благодаря совместной работе архивистов и историков удалось найти не только личные фотографии участниц этой акции, но и газетные вырезки, в которых задокументирована эта фантастическая акция солидарности советских детей с южноафриканским народом».
#CapeTown#RSUH#RussiaSouthAfrica#RobbenIsland#HistoricalMemory#SolidarityInAction#SovietUnion#Consulate#RussianMFA