Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
🎊🎉🍾🇳🇬🇷🇺
Our beloved organisation, NIDO Russia has been officially accepted as a full member of NIDO Europe yesterday evening 01.02.2025 by the overwhelming majority of the general house which is the supreme organ. We owe this success to our faithful members, the board of trustees, the chairmen Emeritus and stakeholders.
Recall that, a tiny group of people prevented this for many years, saying that we must be part of their cabal for our rights to be respected in Europe. We rejected their ideas and protocols, we refused to be gradually assimilated, we took our destiny in our hands, knowing God was on our side. Their condition for peace was that we stoop low and be under them. We rejected that kind of parasitic peace. This group said it was either their way or the highway. We chose the beautiful highway. You must not be a doctor or lawyer or teacher to be part of NIDO Russia or NIDO Europe. Every Nigerian legally residing in Russia has a right to apply to be part of us. Even those who may not yet be fully legal, it is not our duty to judge or condemn them, but rather to guide them (socioeconomically adapt them) towards legalisation and contributing positively to Russia and their families in Nigeria.
It is a huge lesson for us all. "Na who give up, na him lose".
Nevertheless, we are open to working together with everyone for our common good including those few people who worked against us. It is a new era.
What are the benefits of being part of NIDO Europe?
1. The interests of Nigerians in Russia can be represented on a continental level.
2. The interests of the Russian Federation which are also our interests as residents can be represented on a continental level
3. Better negotiating power with the government on matters important to us as Diasporans.
4. Better synergy of efforts towards national development, bilateral trade, foreign direct investments and human capital development.
I, on behalf of the executives congratulate us all for this huge achievement including those members who witnessed it live and direct.
Yours in service,
Dr. Godwin Ibe
https://t.me/nido_russia/1937
#NidoRussia#NidoEurope#NIDO#NidoE#Nigeria#Russia
NIDO Europe invites all members of NIDO Russia to an extraordinary general meeting. It will be held online.
Benefits
✅ Take part in shaping Diaspora affairs on a continental level.
✅ Attendance is free
✅ Network with business partners around the European continent
✅ Make new friends/acquaintances
✅ Pitch your ideas
✅ The most active unofficial participant from NIDO Russia positively representing our interests will receive a token of appreciation for voluntary contribution to the diasporan affairs on a continental level.
Take advantage of this golden opportunity.
Registered members can simply send me a short message saying "I'm interested", and we'll do the rest and hook you up.
Dr. Godwin Ibe,
Chairman, NIDO Russia
+79262385618
*This is a requisitioned EGM by members in accordance with the act of Parliament in the United Kingdom.
#nidoe#nidoEurope#nidorussia#nido#NigeriansInDiaspora#egm
NIDO Europe invites all members of NIDO Russia to an extraordinary general meeting. It will be held online.
Benefits
✅ Take part in shaping Diaspora affairs on a continental level.
✅ Attendance is free
✅ Network with business partners around the European continent
✅ Make new friends/acquaintances
✅ Pitch your ideas
✅ The most active unofficial participant from NIDO Russia positively representing our interests will receive a token of appreciation for voluntary contribution to the diasporan affairs on a continental level.
Take advantage of this golden opportunity.
Registered members can simply send me a short message saying "I'm interested", and we'll do the rest and hook you up.
Dr. Godwin Ibe,
Chairman, NIDO Russia
+79262385618
*This is a requisitioned EGM by members in accordance with the act of Parliament in the United Kingdom.
#nidoe#nidoEurope#nidorussia#nido#NigeriansInDiaspora#egm
NIDO Europe invites all members of NIDO Russia to an extraordinary general meeting. It will be held online.
Benefits
✅ Take part in shaping Diaspora affairs on a continental level.
✅ Attendance is free
✅ Network with business partners around the European continent
✅ Make new friends/acquaintances
✅ Pitch your ideas
✅ The most active unofficial participant from NIDO Russia positively representing our interests will receive a token of appreciation for voluntary contribution to the diasporan affairs on a continental level.
Take advantage of this golden opportunity.
Registered members can simply send me a short message saying "I'm interested", and we'll do the rest and hook you up.
Dr. Godwin Ibe,
Chairman, NIDO Russia
+79262385618
*This is a requisitioned EGM by members in accordance with the act of Parliament in the United Kingdom.
#nidoe#nidoEurope#nidorussia#nido#NigeriansInDiaspora#egm