Регулярно требуется преобразовать какой-либо текст в максимально совместимый текст для URL, имени файла, имени объекта в каком-то софте и тд. Требования совместимости простые: в тексте должны быть только допустимые символы. Обычно это a-z, 0-9 и "_" или "-". То есть, только прописные буквы латинского алфавита и цифры (как пример).
Допустим, нам нужно название статьи в блоге преобразовать в slug для добавления его в URL этой статьи. Как это лучше всего сделать?
В Django по умолчанию есть готовая функция slugify для таких случаев.
Но я её никогда не использую. Почему? Потому что её недостаточно!
Приведём пример
>>> from django.utils.text import slugify
>>> slugify('This is a Title')
'this-is-a-title'
Пока всё отлично
>>> slugify('This is a "Title!"')
'this-is-a-title'
Спец символы удалились, всё хорошо.
>>> slugify('Это заголовок статьи')
''
Вот и приехали 😢. Если текст не английский то буквы просто игнорируются. Можно это поправить
>>> slugify('Это заголовок статьи', allow_unicode=True)
'это-заголовок-статьи'
Но тогда мы не вписываемся в условие. У нас появилась кириллица в тексте.
Так как я часто пишу сайты для русскоязычных пользователей эта проблема весьма актуальна. Я не использую стандартную функцию и всегда пишу свою.
Оригинал я не беру в расчёт и пишу полностью свою функцию. И так, по порядку:
🔸1. Исходный текст:
>>> text = 'Мой заголовок №10 😁!'
Взял специально посложней со специальными символами.
🔸2. Транслит
Необходимо сделать транслит всех символов в латиницу. Здесь очень выручает библиотека unidecode. Помимо простого транслита кириллицы в латиницу она умеет преобразовывать спец символы и иероглифы в текстовые аналоги.
from unidecode import unidecode
>>> unidecode("Ñ Σ ® µ ¶ ¼ 月 山")
'N S (r) u P 1/4 Yue Shan'
Очень крутая библиотека, советую👍
В нашем случае получаем такое преобразование:
>>> text = unidecode(text)
>>> print(text)
'Moi zagolovok No. 10 !'
Отличный транслит. Смайл просто удалился, хотя я ждал что-то вроде :). Ну и ладно, всë равно невалидные символы.
А еще наш код уже поддерживает любой язык, будь то хинди или корейский.
🔸4. Фильтр символов
Unidecode не занимается фильтрацией по недопустимым символам. Это мы делаем в следующем шаге через regex. Просто заменим все символы на "_" если они вне указанного диапазона.
>>> text = re.sub(r'[^a-zA-Z0-9]+', '_', text)
>>> print(text)
'Moi_zagolovok_No_10_'
Символ "+" в паттерне выручает когда несколько недопустимых символов идут рядом. Все они заменяются на один символ "_".
🔸5. Slugify
Осталось удалить лишние символы по краям и сделать нижний регистр
>>> text = text.strip('_').lower()
>>> print(text)
'moi_zagolovok_no_10'
Получаем отличный slug! 😎
🌎 Полный код в виде функции.
______________
PS. Проверку что в строке остался хоть один допустимый символ я бы вынес в отдельную функцию.
#libs#tricks#django
ㅤ
▎我们每天的胜利
...
然后你就不再想要它了。他停止了疼痛的可能性，这绝不会逍遥法外。只是停下来，没有发现其他任何东西。我没有说我有多少，但我仍然有强烈的寻找和强烈的希望。不是你低沉甜美的声音。而且我不哭，如果必须的话，有一天我会哭的，Lori。我正处于一场斗争中，比你更接近所谓的人类胜利，但这就是胜利。我已经可以用我的身体和灵魂拥有你了。我会等待，即使是多年，你也有身体和灵魂去爱。我们还年轻，我们可以浪费一些时间而不浪费我们的一生。但是看看你周围的每个人，看看我们为自己做了什么，并考虑了我们每天的胜利。我们没有爱高于一切。我们没有接受不被理解的东西，因为我们不想被愚弄。我们一直在堆积东西和安全，因为没有彼此。我们没有尚未编目的快乐。我们建造了大教堂，我们一直呆在外面，因为我们自己建造的大教堂，我们担心它们是陷阱。我们没有放弃自己，因为那将是长寿的开始，我们害怕它。我们避免在第一个出于爱而说：你害怕的人面前跪下。我们组织了协会和微笑俱乐部，提供或不提供苏打水。我们试图拯救自己，但没有使用拯救这个词，这样我们就不会为自己的无辜感到羞耻。我们没有使用爱这个词，因此我们不必认识它的仇恨、爱、嫉妒和许多其他矛盾的质地。我们对死亡保密，以使我们的生命成为可能。我们中的许多人创作艺术是因为我们不知道其他事物是什么样的。我们用虚假的爱掩饰了我们的冷漠，知道我们的冷漠是伪装的痛苦。我们用小恐惧掩盖了大恐惧，这就是为什么我们从不谈论真正重要的事情。谈论真正重要的事情被认为是失态。我们没有敬拜，是因为我们有理智的小心思及时记住假神。我们没有纯洁和天真，所以我们不会嘲笑自己，所以在一天结束时我们可以说“至少我不是傻瓜”，所以我们不会在关闭之前感到困惑光。我们在公共场合微笑，而不是我们独自一人时不会微笑。我们称自己是坦率的弱点。我们最害怕对方。对于这一切，我们认为我们每天的胜利。但我逃脱了它，Lori，带着瘟疫的凶猛逃脱了，Lori，我会等到你也准备好。
Clarice Lispector
(fragmento de Uma aprendizagem ou o livro dos prazeres, Rocco, 1998)
Google 译
#摘#克拉丽丝·李斯佩克朵